본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. (https://fastcampus.info/4oKQD6b)
오늘은 MLOps 구축을 위해 주로 사용되는 플랫폼들 중에서 AWS에서 직접 제공하는 완전 관리형 서비스, Fully Managed 서비스인 Amazon SageMaker에서 Model Training, Estimator 설정, Training Job를 보고 확인해 보는 실습을 해보았습니다. 그리고 AWS의 클라우드 컴퓨팅 자원을 필요할때만 호출하여 사용하는 본격적인 MLOps 방식을 다루었습니다.
먼저, SageMaker Estimator에 대해서 한번 알아보았는데, 코드 형태로 머신러닝 학습에 필요한 모든 인프라와 환경 설정을 추상화한 객체라고 생각했습니다. 어떠한 프레임워크를 사용해야할지, 어떤 인스턴스를 몇대 사용할지, 그리고 실행할 코드는 무엇인지 정의를 하고 복잡한 도커 이미지를 빌드 하지 않아도, 내가 작성한 스크립트만 있으면 SageMaker가 관리하는 컨테이너에서 바로 실행할 수 있는 기능을 실습해 보았습니다.
또한 실행프로세스를 직접 경험해봄으로써 명령어를 실행하면 자동으로 인스턴스 설정, 데이터 다운로드, 학습 수행, 결과값 업로드, 인스턴스 종료의 이러한 과정들을 수행함으로써 모델의 학습부터 관리까지 파이프라인을 직접 구축해보고 실습해보았습니다. 가장 흥미로운 점은, 개발환경과 학습환경을 분리할수 있다는 점이였습니다.
기존에는 주피터 노트북 창을 닫으면 모델의 학습도 중단되었지만, Estimator를 사용하니 노트북은 단지 모델 학습에 대한 커맨드를 내리는 역할만 한다는것이 신기했습니다. 명령을 보낸 뒤, 노트북을 꺼도 클라우드 어딘가에 있는 서버들이 작업ㅇ르 수행하고, 작업이 끝나면 알아서 종료되어 요금 폭탄을 막아주는 좋은 기능이 있다는 점에서 인프라를 운영하는 관점에서 매우 인상적이였고, 안정적이였다는 생각이 들었습니다. 나중에 분석, 개발 환경을 구축할때 적극적으로 활용해야 겠다는 생각이 들었습니다.
