본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. (https://fastcampus.info/4oKQD6b)
학습 후기
오늘은 Chapter Part.2 머신러닝 상품화 내용에서 쿠버네티스를 활용한 오케스트레이션 실습과 airflow를 활용한 워크플로우 관리를 해봄으로써 대규모의 시스템을 조율하고, 작업의 순서를 자동화하는 여러 기술들을 다뤄보았습니다.
먼저 쿠버네티스를 활용한 실습은 로컬환경에서 작은 쿠버네티스 클러스터를 구축해보고, Ngnix 뤱 서버를 배포해보고, 서버를 여러개 증설해보는 오케스트레이션 실습을 해보았습니다. 또한 명령어로 외부에서 접속이 가능한 ip를 할당하여 서비스가 실제 동작하는것도 확인해 보았습니다. 이렇게 이제 자동화 하는 MLOps의 중추적인 메인 기능들을 하나씩 스터디 해보고 실습을 해보았습니다.
그리고, 그 다음에는 워크플로우 매니지먼트 실습을 해보았습니다. 우리가 일반적으로 생각해 볼수 있는 ML 파이프라인 (전처리, 학습, 배포)는 각 단계가 의존성을 가지며 순서대로 실행이 되어야 한다고 합니다. 이를 관리하는 도구로 Airflow, Kubeflow가 있습니다. 이제 워크플로우에서 많이 나오는 개념이 DAG라고 하는데, 이건 작업의 흐름을 방향성이 있는 비순환 그래프로 정의한다고 합니다. 순환 방향 없이 한 방향으로 흐르는 것이 핵심입니다.
또한 이제 파이썬 코드로 워크플로우를 정의합니다. 이제 Bash, Python Operator를 활용하여 작업을 정의하고, 작업간의 순서를 지정하는 실습도 해보았습니다. 여기서 가장 신기했던 점은 인프라와 프로세스가 모두 코드로 제어가 가능하다는 점이였습니다. 단순히, 우리가 서버를 늘리기 위해서 복잡한 설치 과정을 반복하는 것이 아니라, 단지 숫자만 봐꿔주면 시스템이 알아서 상태를 맞춰주고, 데이터 파이프라인을 관리할때 문제가 생긴것을 보면, 어디서 막혔는지 한눈에 파악을 할수 있어 회사에서 개발 업무를 할 때 디버깅과 운영에 큰 도움이 될것이라고 생각했습니다.
