본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. (https://fastcampus.info/4oKQD6b)
학습 후기
이번에는 머신러닝 상품화를 위한 클라우드 플팻폼 부분에서 MLops 구현을 도와주는 플랫폼들에 대해서 스터디를 해보았습니다. MLops의 인프라를 일일이 다 구축하려면 너무 바닥부터 구축하기엔 너무 복잡함으로, 효율적으로 구현할 수 있도록 알려주는 다양한 플랫폼들에 대해서 한번 스터디를 해보았습니다.
일단 오픈소스 기반 플랫폼들에 대해서 한번 정리를 해보자면, 실험 추적, 프로젝트 패키징, 모델 배포, 레지스트리 관리는 모델의 생명주기 전반을 관리하는 도구인 MLFlow, 쿠버네티스 위에서 머신러닝 워크플로우를 배포하고 확장하는 도구 모임인 Kubeflow. 이건 확장성과 이식성이 뛰어나지만 운영 난이도가 높습니다. 그리고 구글의 프로덕션 ML 파이프라인 구축 경험이 녹아 잇는 플랫폼인 Tensorflow Extended도 배웠습니다. 이건 대규모 데이터 처리와 모델 서빙에 강력하다고 합니다.
또한 이제 글라우드 및 상용 플랫폼에서도 활용할 수 있는 도구들도 있습니다. Databricks라고 Apache Spark 기반의 통합 데이터 플랫폼으로, MLFlow를 내장하고 있으며, 대규모 데이터 처리와 협업에 적합하다고 합니다. 또한 여기서 AWS의 완전 관리형 서비스인 Amazon SageMaker로, 데이터 라벨링부터, 모델 구축, 훈련, 배포까지 모든 과정을 단일 환경에서 제공해서 특히 인프라 관리가 필요 없다는것이 장점이라고 배웠습니다.
여기서 흥미롭게 느낀점은 내가 어떠한 도구를 선택하냐에 따라서 구축 난이도가 매우 달라진다는것을 이해했습니다. 자유도가 높지만 내가 모든것을 관리하는 Kubeflow, 비용은 들지만 인프라적 고민을 덜어주는 Amazon SageMaker와의 대조적인 접근 방식이 매우 신기했습니다. 앞으로 개발의 난이도, 시간 등 여러 요소를 고려했을때 이러한 선택지를 선택해 보는것도 좋은 방식 인것 같습니다.
