Ssoon

✅ KubeRay쿠버네티스에서 Ray 애플리케이션의 배포와 관리를 간소화하는 강력한 오픈 소스 쿠버네티스 운영자입니다. KubeRay core:RayCluster, RayJob, RayService 라는 세 가지 사용자 정의 리소스 정의를 제공하는 KubeRay의 공식적이고 완벽하게 유지 관리되는 구성 요소입니다. 이러한 리소스는 다양한 워크로드를 쉽게 실행할 수 있도록 설계되었습니다.RayCluster: KubeRay는 클러스터 생성/삭제, 자동 확장, 내결함성 보장 등 RayCluster의 수명 주기를 완벽하게 관리합니다.RayJob: 레이잡을 사용하면 KubeRay는 자동으로 레이클러스터를 생성하고 클러스터가 준비되면 작업을 제출합니다. 또한 작업이 완료되면 자동으로 RayCluster를 삭제하도록..

데이터 파이프라인(workflows)을 작성, 예약, 모니터링하기 위한 오픈소스 플랫폼입니다.데이터 파이프라인은 데이터를 이동하고 변환하는 과정으로, 복잡한 데이터 처리 작업을 자동화하는 데 사용됩니다.Airflow는 이를 코드로 정의하여 유연하고 확장 가능한 워크플로우 관리 시스템을 제공합니다.🧿 주요 개념1. DAG (Directed Acyclic Graph)정의: DAG는 데이터 파이프라인의 청사진입니다. 작업(task)들의 모음으로, 각 작업이 어떻게 순서대로 실행될지를 정의합니다.특징: 유향 비순환 그래프(사이클이 없음) 구조를 가지고 있습니다.예시: 예를 들어, 데이터 추출 → 데이터 변환 → 데이터 로드 작업 순서로 구성된 파이프라인.2. Task정의: DAG 안의 각 개별 작업을 Task..

Kubeflow:Kubernetes + ML flow의 합성어로, Kubernetes에서 머신 러닝(ML) 워크플로우를 배포하고 관리하기 위한 오픈 소스 플랫폼✅ Kubeflow의 주요 구성 요소Kubeflow Pipelines머신 러닝 파이프라인을 정의하고 실행할 수 있는 플랫폼입니다. 시각적 인터페이스를 통해 파이프라인을 설계하고, 단계별로 실행 결과를 확인할 수 있습니다.Katib하이퍼파라미터 튜닝을 자동화하는 컴포넌트로, 다양한 최적화 알고리즘을 지원합니다. 이를 통해 최적의 하이퍼파라미터 조합을 찾을 수 있습니다.KFServing모델 배포 및 서빙을 위한 플랫폼으로, 자동 확장, 롤링 업데이트, A/B 테스트 등을 지원합니다. 다양한 프레임워크의 모델을 쉽게 배포할 수 있습니다.TFJob 및 P..