[kakaotech] Pitching 개발기 - Vision Language Model Research

Pitching Project를 PM & AI Tech 담당자로 개발한지 몇달이 지났지만, 다시 한번 정리하는 개념으로 어떠한 내용을 개발했는지 올려보려고 합니다.

• Pitching Github Organization

Pitching-kakaotech

 

팀에서 AI기술을 활용한 실시간 발표 피드백 기능을 제공하는 프로덕트를 만들어보자고 아이디어가 나와서 개발을 할때,
주제와 MVP & 요구사항 명세서(SRS)를 정의한후, 내용을 한번 정리해 보았습니다.

기능 우선순위 설정: 우선순위는 "P0", "P1", "P2"으로 구분되며, 사용자 가치, 기술적 난이도, 개발 시간 등을 고려하여 결정

우선순위	기능	설명
P0 - AI	데이터 수집 및 AI 모델 개발	필요한 데이터 확보 및 AI 모델 학습
P0 - AI	시선처리, 표정 (온라인)	시선 처리, 표정을 통한 발표 피드백 제공
P0 - AI	음성	발음 정확도, 억양, 속도, 암기 여부 등을 분석하여 피드백 제공
P1 - AI	제스처 (오프라인)	제스처를 통한 발표 피드백 제공
P0 - FS	기본 로그인	기본 로그인, 회원가입
P1 - FS	간편 로그인	OAuth2, JWT 기능
P1 - FS	마이페이지	프로필 사진, 정보 변경
P0 - FS	화상회의 기능 구현	실시간 화상회의를 통한 발표 연습 기능 제공
P1 - FS	화면공유	실시간 화상 회의에서 화면 공유
P2 - FS	발표 노하우 공유 커뮤니티 기능	사용자 간 발표 팁과 노하우를 공유할 수 있는 커뮤니티 기능
P0 - FS	화면 녹화, 음성 녹화	발표 피드백을 위한 화면 녹화 및 음성 녹화
P0 - FS	AI 피드백 요청	녹화된 영상(음성)을 AI 서버에 피드백 요청
P0 - FS	채팅 기능 구현	1:1 및 그룹 채팅, 채팅방 생성 기능 제공
P1 - FS	채팅 부하 테스트	JMeter 등으로 테스트하며 개선
P2 - FS	알림 서비스	채팅 알람 서비스 기능
P3 - FS	커뮤니티	커뮤니티 서비스 기능
P4 - FS	채팅 관련 기능	투표, 이모지, 답장 등 채팅에서 편리한 기능
P0 - Cloud	배포 & 서버 구축 & CI/CD	AWS, Docker, k8s, Jenkins, ArgoCD, Ansible, Terraform
P1 - Cloud	무중단 배포	BlueGreen
P1 - Cloud	모니터링	Grafana, Prometheus
P2 - Cloud	Terraform 모듈화
P2 - Cloud	MSA	분산 서비스 아키텍처 (여유가 되면 진행)

 

요구 사항을 정의한후, 첫 피드백때 개발 전체 주제가 생성형 AI를 활용해야 한다는 문제도 있었고, Cloud Team에서 CV 모델을 학습할때 필요한 GPU를 사용할수 없다는 이슈가 존재함을 알게된후, 최대한 GPU를 사용하지 않고, 리소스를 최소한으로 사용해서 AI Model을 서빙하기 위해 고민을 했습니다.

이떄, VLM (Vision-Language-Model)이 있다는것을 알게 되었고, VLM에 관하여 한번 Research를 진행해 보기로 했습니다.

---

VLM(Vision-Language Models)을 활용한 발표자 분석 서비스 개발

VLM 모델 현황 및 특징

처음에는 어떤 모델을 활용해야 할지 막막했는데요, 리서치를 통해 발견한 주요 VLM 모델들의 특징을 공유합니다.

1. Video-LLaMA

GitHub - DAMO-NLP-SG/Video-LLaMA: [EMNLP 2023 Demo] Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Unde

제가 처음 살펴본 것은 Video-LLaMA였습니다. 이 모델은 BLIP-2와 MiniGPT-4를 기반으로 구축된 다중 모달 프레임워크인데요, 핵심 특징은 다음과 같습니다:

• 비전-언어(VL) 분기와 오디오-언어(AL) 분기를 포함한 통합 아키텍처를 갖추고 있어요
• 대형 언어 모델이 시청각 콘텐츠를 종합적으로 이해할 수 있도록 설계되었습니다
• 비디오 프레임과 오디오 스트림을 동시에 처리할 수 있어요

---

2. Video-LLaVA

GitHub - PKU-YuanGroup/Video-LLaVA: 【EMNLP 2024🔥】Video-LLaVA: Learning United Visual Representation by Alignment Before P

두 번째로 살펴본 Video-LLaVA는 이미지와 비디오 간의 상호작용 능력이 뛰어난 모델인데요, 저는 특히 이 모델의 다음 특징들이 인상적이었습니다:

• 이미지-언어 사전 학습 모델을 비디오 데이터로 효과적으로 확장했어요
• 비디오와 이미지 데이터를 상호 보완적으로 활용하는 방식이 흥미로웠습니다
• 비디오 관련 작업의 성능을 크게 향상시키는 것을 목표로 하고 있어요
• 비디오 프레임 간의 시간적 관계를 잘 이해합니다

제 생각에는 이 모델이 발표자의 제스처나 표정 변화와 같은 시간적 요소를 분석하는 데 효과적일 것 같았으나, 
이 모델을 사용하려면? 피드백 제공시 Question - Answering 방식으로 변경해야한다는 문제가 있었고, 그것까지 하면 상황상 욕심일거 같았습니다.

---

3. Video-ChatGPT

GitHub - mbzuai-oryx/Video-ChatGPT: [ACL 2024 🔥] Video-ChatGPT is a video conversation model capable of generating meaningful

 

세 번째로 살펴본 Video-ChatGPT는 비디오와 관련된 의미 있는 대화를 생성할 수 있는 비디오 대화 모델입니다. 이 모델의 특징은:

• ACL 2024에 발표된 최신 모델이라는 점이 눈에 띄었습니다
• 대형 언어 모델의 기능과, 사전 훈련된 비디오 데이터를 결합했어요
• 100,000개의 비디오-지침 쌍으로 훈련되었다고 해요
• 시공간적 비디오 표현을 위한 시각 인코더가 포함되어 있습니다
• 비디오 기반 대화 모델을 위한 '정량적 평가 벤치마킹'을 도입했어요

---

4. PLLaVA

PLLaVA, Vision-Language 모델인 LLaVA를 Video로 확장하는 프로젝트

마지막으로 살펴본 PLLaVA는 기존의 이미지-언어 사전 학습 모델을 비디오 데이터로 확장한 모델인데요. 제가 주목한 특징은 다음과 같습니다:

• 간단한 풀링 전략을 사용하여 시간적 차원을 평활화하는 방식이 흥미로웠어요
• 비디오 프레임에서 지배적인 토큰들의 영향을 줄여 성능을 개선했다고 합니다
• 컴퓨터 비전과 자연어 처리의 경계를 허물어 더욱 정교한 비디오 내용 이해가 가능해요
• 장시간 비디오 처리에 효율적인 접근 방식을 제공합니다

---

리서치후 서비스 개발 방향

리서치를 진행하면서 서비스 개발 방향도 좀 더 구체화했습니다.

• 목적: Vision-Language 모델을 활용하여 실시간으로 발표자의 비디오를 분석하고, 발표 내용과 전달 방식에 대한 피드백을 제공하는 것입니다
• 기능: 음성 인식으로 발표 내용을 텍스트로 변환하고, 비디오 분석을 통해 비언어적 요소(표정, 제스처 등)를 평가할 계획이에요

기술 구현 방법

서비스 개발을 위한 절차는 다음과 같이 계획하고 있습니다:

1. 요구 사항 분석: 먼저 서비스에서 제공할 피드백의 종류와 깊이를 결정할 예정입니다
2. 데이터 수집 및 전처리:
   • 발표 영상과 해당 피드백 데이터를 수집하고 있어요
   • 개인정보 보호를 위한 조치도 함께 시행 중입니다
3. 모델 선택 및 개발:
   • 음성 인식 모델: Whisper, DeepSpeech 등 검토 중이며, 어떤 모델이 가장 적합할지 테스트 중입니다
   • 비디오 분석 모델: 위에서 소개한 VLM 모델 중 저희 서비스에 가장 적합한 것을 선정 중이에요
   • 텍스트 분석: NLP 기술로 전사된 텍스트를 분석하는 방법도 연구 중입니다
4. 시스템 통합:
   • 실시간 처리를 위한 스트리밍 파이프라인 구축이 필요해요
   • 각 모듈 간의 데이터 흐름 최적화도 중요한 과제입니다
5. 성능 최적화:
   • 모델 경량화 및 하드웨어 가속 활용 방안을 고민 중이에요
   • 병렬 처리 및 비동기 처리로 지연 시간을 최소화하는 것이 중요할 것 같습니다.

---

기술적 과제와 해결 방안

리서치를 진행하며 현재 기술 수준과 해결해야 할 과제들도 파악했습니다.

현재 기술 수준

• OpenAI의 Whisper, Google's Speech-to-Text 등 고품질의 실시간 음성 인식 모델이 이미 존재합니다
• CLIP, ViLT 등 이미지와 텍스트를 동시에 처리하는 모델도 계속 발전하고 있어요
• OpenPose 등으로 자세와 제스처를 실시간으로 인식하는 것도 가능해졌습니다
• 전사된 텍스트를 분석하여 언어 사용 패턴, 감정, 어조 등을 파악하는 NLP 기술도 꽤 성숙단계에 있어요

해결해야 할 기술적 과제

제가 파악한 주요 과제는 다음과 같습니다:

1. VLM으로 Object Detection 최적화
   • 발표자의 행동을 탐지하고 분석하기 위한 방법론이 필요합니다
   • Prompt 기반 특징 추출 방식에 대한 연구가 더 필요해요
2. 장시간 영상 분석 가능성
   • VLM으로 최대 몇 분까지의 영상 분석이 가능한지 검증이 필요합니다
   • 목표는 최대 1시간 발표 영상을 분석할 수 있는 시스템을 구축하는 것이에요
3. 적합한 모델 선정 및 최적화
   • Video to text 변환이 가능한 모델을 찾는 중입니다
   • 필요시 Fine-tuning 및 모델 사용법도 정립해야 할 것 같아요

필수 요건 및 성공 지표

서비스 개발을 위한 필수 요건은 다음과 같이 정리했습니다:

• 실시간 처리 능력: 최소한의 지연 시간으로 피드백을 제공해야 합니다
• 높은 정확도: 음성 인식과 비디오 분석의 정확도가 높아야 해요
• 다국어 지원: 한국어를 포함한 다양한 언어를 지원해야 합니다
• 사용자 개인정보 보호: 데이터 암호화, 익명화 등 보안 조치가 필요해요
• 확장성: 사용자 증가에 따른 시스템 스케일링이 가능해야 합니다
• 사용자 친화적 인터페이스: 쉽게 접근하고 이해할 수 있는 UI/UX를 제공해야 해요

---

Vision-Language Model을 활용한 발표자 분석 서비스 개발을 위한 기술 리서치 내용을 정리해 보았습니다. 현재 다양한 VLM 모델(Video-LLaMA, Video-LLaVA, Video-ChatGPT, PLLaVA 등)이 개발되어 있으며, 각 모델마다 고유한 특성과 장점이 있다는 것을 확인했어요. 다음 단계로는 구체적인 모델 선정 및 프로토타입 개발을 통해 실제 서비스 구현 가능성을 검증하는 테스트 코드를 작성해서 돌려본 내용을 올릴 예정입니다. 감사합니다. 😊