[kakaotech] Pitching 개발기 - PLLaVA Paper Review

VLM (Vision Language Model)을 공부하던중 PLLaVA 논문을 읽은후 정리한 내용을 공유합니다.

• Paper Link

PLLaVA : Parameter-free LLaVA Extension from Images to Videos for Video Dense Captioning

---

PLLaVA의 주요 개념

PLLaVA는 기존의 이미지-언어 사전 학습 모델(LLaVA)을 비디오 데이터에 맞게 효율적으로 적용하는 방법을 연구한 모델입니다. 비디오 관련 작업을 위한 사전 학습은 막대한 컴퓨팅 및 데이터 자원이 필요한데, PLLaVA는 이런 제약을 극복하고 더 효율적인 방식으로 비디오 이해 능력을 향상시키는 방법을 제안합니다.

 

그림 1: PLLaVA의 성능 프레젠테이션 .

 

(a) PLLaVA 34B로 생성된 캡션의 예. (b) PLLaVA와 다양한 비디오 벤치마크에 대한 최근의 강력한 기준선의 성능 비교 및 (c) PLLaVA 및 최근 SOTA 방법의 스케일링 곡선.

 

---

핵심 문제점 및 해결 방안

연구팀은 기존 이미지-언어 모델을 비디오 데이터에 적용할 때 발생하는 두 가지 주요 문제를 발견했습니다.

 

1. 프롬프트에 대한 취약성: 학습된 모델이 프롬프트 패턴 변화에 매우 민감하게 반응
2. 언어 모델 크기 확장의 한계: 언어 모델 크기를 늘려도 비디오 이해 성능이 향상되지 않음

 

이러한 문제의 근본 원인을 분석한 결과, 특정 시각적 특징 토큰이 미세 조정 과정에서 다른 토큰보다 현저히 큰 노름(norm)을 갖는 현상을 발견했습니다.

4-Frame 및 PLLaVA에 대한 생성 텍스트 길이 분포의 히스토그램 . x축은 텍스트 길이이고, y축은 텍스트 길이의 카운트를 나타냅니다. 4-Frame은 더 많은 훈련 단계와 배포 중단 프롬프트에서 더 짧은 텍스트를 생성하는 반면, PLLaVA는 두 상황 모두에서 일관성을 유지합니다.

 

이 그림에서 볼 수 있듯이, 기존 4-Frame 방식은 더 많은 학습 단계와 배포 중단 프롬프트에서 더 짧은 텍스트를 생성하는 반면, PLLaVA는 두 상황 모두에서 일관성을 유지합니다.

 

그림 3: n-frame과 PLLaVA의 norm 분포 및 생성된 텍스트 비교

 

위 그림은 n-frame과 PLLaVA의 norm 분포 및 생성된 텍스트를 비교한 예시입니다. n-frame 설정에서는 더 많은 데이터 샘플을 학습할수록 dominant tokens(높은 norm을 가진 토큰들)이 증가하고 생성된 텍스트의 품질이 저하됩니다. 반면 PLLaVA의 norm 분포는 다양한 학습 데이터 및 프롬프트 수에 따라 일관성을 유지하며, 생성된 텍스트도 일관된 품질을 보여줍니다.

 

 

---

PLLaVA의 핵심 해결책: Pooling 전략

이러한 문제를 해결하기 위해 PLLaVA는 시간 차원에 따라 특징 분포를 부드럽게 하여 극단적인 특징의 지배적인 영향을 줄이는 간단하지만 효과적인 pooling 전략을 제안합니다.

 

 

PLLaVA의 프레임워크는 다음과 같은 과정으로 작동합니다

1. 사용자가 제공한 비디오를 ViT-L과 MM projector를 통해 처리
2. (T, w, h, d) 형태의 시각적 특징을 추출
3. 평균 풀링을 통해 시간적 및 공간적 차원을 효과적으로 축소
4. 풀링된 특징을 평탄화한 후 질문 임베딩과 결합
5. 이미지 Large Language Model (LLM)의 입력으로 사용하여 응답 생성
6. 이미지 LLM의 가중치를 비디오 샘플에서 학습된 LoRA 가중치와 결합

---

Pooling의 영향과 최적 설계

pooling이 시간적(temporal) 차원과 공간적(spatial) 차원에 미치는 영향을 분석했습니다.

 

 

위 그림에서 볼 수 있듯이, 공간적 차원을 50% 축소해도 모델 성능이 저하되지 않지만, 시간적 차원에서의 풀링은 항상 모델 성능을 저하시키는 결과를 낳습니다. 따라서 PLLaVA는 계산 오버헤드와 성능 간의 균형을 고려하여 공간적 차원을 12×12로 설정했습니다.

---

Post-Training Optimization

PLLaVA는 모델 크기 확장과 관련된 성능 저하 문제를 해결하기 위해 Post-Training Optimization 접근 방식을 제안합니다.
이 방법은 비디오 데이터를 사용하여 학습된 Language Model(LLM)과 기본 이미지 MLLM의 원래 LLM을 결합하는 방식입니다.

 

Video MLLMs가 모델 크기를 확장할 때 성능이 향상되지 않음을 보여주는 그래프

 

• 위 그림에서 볼 수 있듯이, Post Optimization 접근 방식은 모델 크기 확장 시 발생하는 성능 저하 문제를 효과적으로 해결합니다.

---

실험 결과

PLLaVA는 다양한 비디오 이해 벤치마크에서 놀라운 성능을 보여주었습니다.

 

그림 9: MVBench와 VCG Score 성능에 대한 다운샘플링 비율의 영향

 

 

이 그림은 다운샘플링 비율이 MVBench와 VCG Score 성능에 미치는 영향을 보여줍니다. 두 벤치마크 간에 뚜렷한 차이가 있으며, 이상적인 조합 비율은 태스크에 따라 다릅니다. PLLaVA의 자막 작성 능력을 보여주는 몇 가지 사례 연구도 있습니다:

 

그림 10: Case Studies

 

위 그림에서 볼 수 있듯이, PLLaVA 34B는 IG-VLM과 비교했을 때 비디오에 대한 더 많은 세부 사항을 인식하고, 비디오 내용도 더 정확하게 이해합니다.

 

그림 11: PLLaVA 34B와 Open-Sora의 Recaption 비교

 

 

PLLaVA의 자막 재작성(recaption) 능력도 인상적입니다. Open-Sora GPT-4 파이프라인과 비교했을 때, PLLaVA는 더 나은 자막 세부 사항을 포착하며, 비디오 내의 움직임 정보를 더 효과적으로 강조합니다.

---

주요 성과

PLLaVA는 다음과 같은 놀라운 성과를 달성했습니다:

 

1. Video ChatGPT 벤치마크에서 5가지 평가된 차원에서 평균 3.48점을 기록하여, 이전의 state-of-the-art 결과보다 9% 향상
2. MVBench에서 20개 하위 작업에서 평균 58.1%의 정확도를 기록하며 기존 최고 성능보다 14.5% 향상
3. VideoQA에서 MSVD, MSRVTT, ActivityNet, TGIF의 정확도와 점수 지표에서 기존 모든 방법 능가

---

결론

PLLaVA는 이미지-언어 모델을 비디오로 확장하기 위한 간단하면서도 매우 효과적인 방법을 제시합니다. 이 모델은 더 많은 데이터와 더 큰 언어 모델로 훈련을 확장하는 것을 용이하게 만들고, 과훈련과 성능 포화에 대해 더 잘 제어할 수 있는 전략을 제공합니다.

PLLaVA의 세부적인 자막 제공 능력은 발표자 분석 서비스에도 도움이 될수 있을것이라고 생각.
특히 발표 영상에서 발표자의 행동, 제스처, 표정 등을 상세하게 분석하고 설명할 수 있는 능력은 매력적.