본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. (https://fastcampus.info/4oKQD6b)
오늘은 MLOps 구축을 위해 주로 사용되는 플랫폼들 중에서 제일 먼저 사용되는 머신러닝 모델의 개발부터 배포까지 전체 수명 주기(LifeCycle)을 관리하는 오픈소스 플랫폼인 MLFlow(02-01. MLFlow란 무엇인가?)에 대해서 다시한번 스터디를 해보고 4가지의 주요 기능들에 대해서 한번 알아보는 시간을 가졌습니다.
주로 활용되는 컴포넌트들을 하나하나씩 설명해보면, MLflow Tracking은 머신러닝 실험 과정에서 발생하는 파라미터, 성능지표, 결과물등 모든 메타데이터를 기록하고 추적하여 실험의 재현성을 보장하는 특징이 있습니다. 그리고 MLflow Project는 코드와 실행환경(즉, 라이브러리 버전)등을 패키징 하여, 어떤 환경에서도 동일하게 실행되도록 돕는다는 특징이 있습니다.
그리고 MLflow Model은 학습된 모델을 다양한 서빙 환경(Docker, AWS, Apache Spark 등)에 배포할 수 있도록 표준 포맷으로 패키징 한다는 특징이 있습니다. 그리고 모델의 버전을 중앙 저장소에서 관리하며, 모델의 상태를 Staging, Prodiuction(운영)단계에서 올리거나 관리하는 협업 도구의 기능도 있습니다.
제일 신기했던 것은 내가 테스트 했던 모델의 실험, 관리 기록을 자동화 하여 확인할 수 있다는 점과 모델도 여러 관리 기능을 통해 데이터 과학자의 불필요한 기억 리소스 부분을 최소화 해주고, 이 모든 과정을 시각화, 그래프화 하여 연구 & 개발 하기에 큰 도움을 준다는것을 알았습니다. 또한 모델이 학습되었다고 바로 서비스 환경에 올라가는 것이 아니라, 일종의 Staging 이라는 검증 과정을 거친 후, Production 단계로 올라가서 개발 & 서비스 환경에서 테스트, 배포를 함으로써 소프트웨어 공학에 나오는 내용인 배포 안정성을 ML쪽에서 활용한 것을 보고 잘 활용할 수 있겠다는 생각이 들었습니다.
