본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. (https://fastcampus.info/4oKQD6b)
오늘은 MLOps 구축을 위해 주로 사용되는 플랫폼들인 MLflow, Kubeflow, AWS Sagemaker, GCP AI Platform등 려러 블랫폼을 사용, 비교해보면서 복습해 보는 시간을 가졌습니다. 아래 다시한번 정리해보겠습니다.
MLflow는 가벼운 머신러닝 관리 오픈소스 플팻폼이며, 주요 기능을 다시 한번 리마인드 해보면 Tracking은 실험 결과를 추적하고 재현성을 보장한다. Registry는 모델의 버전을 관리하고 Staging/Proudciton 단계를 관리할 수 있다. Kubeflow는 쿠버네티스 기반이며 확장성이 높다는것이 장점이다. 복잡한 ML 워크플로우를 DAG 형태로 정의, 자동화 할 수 있다. Katib은 하이퍼파라미터 튜닝과 NAS 기능을 지원 하는것이 특징입니다.
AWS SageMaker는 앞서 있던 다른 플랫폼과 달리, 완전 관리형 서비스로 인프라 구축 부담이 적다는 것이 특징입니다. Studio & pipeline은 개발부터 배포까지 통합된 환경을 제공하여 CI/CD를 제공한다. 배포된 모델의 성능과 데이터 드리프트를 지속적으로 감시한다. 이러한 통합된 기능들이 있다고 공부했습니다.
마지막으로 GCP AI Platform은 구글에서 제공하는 완전 관리형 머신러닝 인프라 구축 서비스이며, SQL만으로 머신러닝 기능을 하숑할 수 있는 BigQuery ML, 그리고 학습과 모델 서빙간의 Feature 불일치를 줄여주는 Feature Store등 여러 좋은 기능들이 많습니다.
이렇게 각각 플랫폼마다 해결하고자 하는 Pain Point가 다르다는 생각이 들었습니다. 실험관리 위주인가, 인프라 관리 위주인가, 이렇게 따라 각 플랫폼에서 제공하는 기능, 특징이 매우 다르다는 느낌이 들었습니다.
