목록MLOps (3)
Ssoon
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/qUoKy/btsH854U4Js/j682WWcEr1KFFkkhzDYCq0/img.png)
✅ KubeRay쿠버네티스에서 Ray 애플리케이션의 배포와 관리를 간소화하는 강력한 오픈 소스 쿠버네티스 운영자입니다. KubeRay core:RayCluster, RayJob, RayService 라는 세 가지 사용자 정의 리소스 정의를 제공하는 KubeRay의 공식적이고 완벽하게 유지 관리되는 구성 요소입니다. 이러한 리소스는 다양한 워크로드를 쉽게 실행할 수 있도록 설계되었습니다.RayCluster: KubeRay는 클러스터 생성/삭제, 자동 확장, 내결함성 보장 등 RayCluster의 수명 주기를 완벽하게 관리합니다.RayJob: 레이잡을 사용하면 KubeRay는 자동으로 레이클러스터를 생성하고 클러스터가 준비되면 작업을 제출합니다. 또한 작업이 완료되면 자동으로 RayCluster를 삭제하도록..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/cJ4fXp/btsH7C9Mxl3/amERm4UfVCvHORQLNuJEO1/img.png)
데이터 파이프라인(workflows)을 작성, 예약, 모니터링하기 위한 오픈소스 플랫폼입니다.데이터 파이프라인은 데이터를 이동하고 변환하는 과정으로, 복잡한 데이터 처리 작업을 자동화하는 데 사용됩니다.Airflow는 이를 코드로 정의하여 유연하고 확장 가능한 워크플로우 관리 시스템을 제공합니다.🧿 주요 개념1. DAG (Directed Acyclic Graph)정의: DAG는 데이터 파이프라인의 청사진입니다. 작업(task)들의 모음으로, 각 작업이 어떻게 순서대로 실행될지를 정의합니다.특징: 유향 비순환 그래프(사이클이 없음) 구조를 가지고 있습니다.예시: 예를 들어, 데이터 추출 → 데이터 변환 → 데이터 로드 작업 순서로 구성된 파이프라인.2. Task정의: DAG 안의 각 개별 작업을 Task..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/biUIjl/btsH5HLBamq/q3rHqvD1GE7IFPKHKMSZy0/img.png)
Kubeflow:Kubernetes + ML flow의 합성어로, Kubernetes에서 머신 러닝(ML) 워크플로우를 배포하고 관리하기 위한 오픈 소스 플랫폼✅ Kubeflow의 주요 구성 요소Kubeflow Pipelines머신 러닝 파이프라인을 정의하고 실행할 수 있는 플랫폼입니다. 시각적 인터페이스를 통해 파이프라인을 설계하고, 단계별로 실행 결과를 확인할 수 있습니다.Katib하이퍼파라미터 튜닝을 자동화하는 컴포넌트로, 다양한 최적화 알고리즘을 지원합니다. 이를 통해 최적의 하이퍼파라미터 조합을 찾을 수 있습니다.KFServing모델 배포 및 서빙을 위한 플랫폼으로, 자동 확장, 롤링 업데이트, A/B 테스트 등을 지원합니다. 다양한 프레임워크의 모델을 쉽게 배포할 수 있습니다.TFJob 및 P..