[Paper Review] Prompting Medical Large Vision-Language Models to Diagnose Pathologies by Visual Question Answering

Large Vision Language Model을 Medical 도메인에 연관된 내용을 공부해보다가 논문을 읽어서 한번 정리해보겠습니다.

• 논문 원문 사이트

Prompting Medical Large Vision-Language Models to Diagnose Pathologies by Visual Question Answering

---

Abstract

LVM(Large Vision-Language Model)은 몇 년간 큰 성공을 거두었으며, 의료 분야로 확장되었습니다.

Medical Vision Language Model은 의료 관련 질문 응답 작업(Visual Question Answering, VQA)에서 만족할 만한 성능을 보여주었으나, 환각(hallucination) 문제로 정확한 병리 진단에 실패할 수도 있습니다.

 

또한 Training data의 불균형으로 소수 병리(minority pathologies)에 관한 학습이 되지 않는 경우도 있습니다.

이에, MLVLMs(Medical Large Vision Language Model)의 환각을 줄이고 VQA 성능을 향상시키기 위한 두 가지 프롬프트 전략을 제시합니다.

1. 질의된 병리(pathologies)에 대한 상세한 설명을 제공합니다.
2. 특정 지표(metric)에서 높은 성능을 달성하기 위한 약한 학습자(weak learner)를 파인튜닝하여 그 판단을 토대로 MLVLMs에 제공합니다.

MIMIC-CXR-JPG와 Chexpert 데이터셋에서 테스트한 결과, F1 스코어를 크게 향상시켰으며, 가장 큰 증가폭은 0.27이었습니다.

또한 이 논문에서 제시한 프롬프트 전략이 Large Vision Language Model 도메인으로 확장될 수 있음을 입증하였습니다.

PoPE 지표에 따르면, 기존 Large Vision Language Model의 거짓 예측을 억제하여 리콜(Recall)을 0.07 향상시켰습니다.

MIMIC-CXR-JPG와 Chexpert 데이터셋?
PoPE 지표?
VM이 의료 분야로 확장됨. MLVLM이 VQA에서 좋은 성능을 보였지만 환각 문제로 인해 병리 진단에 실패할 수 있음.
Training data의 불균형 문제로 소수 병리에 대한 학습이 어려움

---

Introduction

수십억 개의 매개변수를 가진 LLM들은 광범위한 응용 시나리오에서 뛰어난 능력을 입증했습니다.
→ LLM(Large Language Models)의 성공은 Vision-Language 도메인으로 확장되고 있습니다.

 

LVLM(Large Vision Language Models)은 LLM에 기반한 시각적 특징을 LLM이 해석할 수 있는 특징으로 투사하는 어댑터를 훈련하고 구축합니다. 질문 응답 작업(Visual Question Answering, VQA)은 LVLM의 필수 기술이며, VQA 정확도는 모델의 대부분의 테스트 지표로 사용됩니다.

 

LVLM은 의료 데이터셋으로 사전 학습되어 Medical VQA 작업에서 테스트됩니다.

이러한 MLVLM(Medical Large Vision Language Model)은 입력된 의료 스캔이 나타내는 영상 모달리티, 장기, 이상에 관한 질문에 답변할 수 있게 됩니다. 그러나 환각 문제는 LVLM의 주요한 문제로, 입력된 이미지와 모순되는 내용을 생성합니다. 또한 환각은 VQA를 통해 측정 가능합니다. 모델에 입력된 이미지에 객체 존재 여부에 대한 질문을 하여 올바르게 답한 질문의 비율로 환각을 평가합니다.

 

VQA는 의료 이미지 진단에 활용될 수도 있습니다. 사용자는 병리에 관한 질문을 하고, MLVLM은 의료 영상을 분석 후 답변합니다.

그러나 대부분의 의료 데이터셋은 이미지의 모달리티, 이미지에서 장기나 조직은 무엇인지와 같은 간단한 질문으로 제공됩니다.

또한 MLVLM은 아직 광범위한 병리에서 VQA 정확도를 충분히 평가받지 못했습니다.

 

일반적인 VQA 모델은 일반적으로 올바르게 답한 질문의 비율로 테스트되는데, 이는 의료 VQA에 대한 적합한 측정 지표가 아닙니다.

의료 이미지 분류 지표인 정밀도(Precision), 재현율(Recall), F1 스코어가 의료 VQA 모델을 평가하는 데 더 적합합니다.

또한 LLM/LVLM의 질문 및 답변을 향상시키기 위한 여러 전략들이 탐구되고 있습니다. 예를 들어, 사고의 연결망 프롬프트(Chain of Thought Prompting), 자기 일관성(Self-Consistency), 검색 기반 증강(Retrieval-based Augmentation)등이 있습니다.

 

이러한 모든 방법들은 모델을 파인튜닝하는 것을 포함하지만, 비용 문제가 있습니다.

의료 비전 언어 모델의 VQA 정확도를 향상시키는 방법은 학습이 필요 없는(training-free) 방법이 바람직합니다.

 

MLVLMs는 불균형한 훈련 데이터로 인한 환각 현상이 악화됩니다. 많은 병리들은 의료 데이터셋에서 소수의 범주에 속합니다.

대규모 의료 데이터에서 학습된 모델은 흔히 발생하지 않는 병리에 대한 특징을 학습하지 못할 수 있습니다.

 

데이터 편향을 해결하기 위해 더 나은 품질의 데이터를 포함하는 전략이 필요하지만, 부족한 의료 데이터를 고려할 때 데이터셋을 급격하게 증가시키는 것은 실현하기 어려울 수 있습니다. 일반적으로 양성 및 음성 사례가 균형을 이루도록 데이터를 재샘플링하는 방식이 사용되지만, 이 방법은 여러 가지 병리 카테고리가 있는 데이터셋의 경우 어려울 수 있습니다.

 

또한 재샘플링은 일반적으로 많은 양의 데이터셋을 요구하는 LVLM에서는 훈련 성능을 저하시킬 수 있습니다.

이러한 문제는 데이터셋에서 소수의 문제를 해결하기 위한 비용 효율적인 접근 방식을 강조합니다.

 

이 연구에서는 MLVLM의 VQA 능력에 초점을 두며, 특히 기존의 MLVLM인 LLaVA-Med(Li et al., 2023a)를 사용하여 흉부 X-ray VQA에서 5가지 병리에 대한 성능을 테스트하였습니다. 결과적으로 모델은 소수 병리에 대해 낮은 정확도를 보였습니다.

 

VQA 정확도를 높이기 위한 두 가지 프롬프트 전략을 제시합니다.

1. 질의된 병리에 대한 자세한 설명을 추가합니다 (질의된 병리에 대한 설명 및 이미지에 나타나는 방식 포함).
2. 약한 학습자 모델을 다른 에이전트로 도입하여 소형 이미지 분류기를 훈련하고 파인튜닝하여 부정적인 이미지를 정확하게 식별하도록 조정하며, 분류기의 부정적 예측을 프롬프트에 참고로 추가합니다.

MIMIC-CXR-JPG(Goldberger et al., 2000)와 Chexpert 데이터셋으로 실험을 수행하였습니다.

결과적으로 이 논문의 프롬프트 전략이 대부분의 병리 범주에서 F1 스코어를 크게 향상시켰으며(최대 +0.27), 우리의 약한 학습자 프롬프트 전략이 일반 도메인에도 적용 가능함을 보여주었습니다.

이 전략은 일반 도메인의 LVLM에서 부정적 예측을 줄이며, POPE 지표(Li et al., 2023c)에 따르면 재현율을 약 0.07 향상시켰습니다.

---

Introduction Summary

pathologies의 상세한 explain을 prompt로 제공하여 MLVLMs의 VQA 정확도를 향상시켰습니다.
LLaVA-Med의 참조로 low-coat의 weak-learner Model을 도입하여 거짓 양성(FP) 응답을 효과적으로 줄였습니다.
두 번째 prompt strategy이 일반 domain으로 확장되어 모델이 특정한 accurary 요구에 적응하도록 돕는 것을 보여줌.

---

Related Work

LVLMs와 VQA

LVLM은 LLMs 기반으로 구축되며, Pre-trained된 Visual Encoder는 시각적 Feature를 추출하고 Adapter Module은 추출된 Feature를 LLM이 이해할 수 있는 Feature로 투사합니다. 이러한 유형의 모델에는 Zhang et al.(2023)이 포함됩니다.

Training 시, Visual Encoder와 LLM은 고정(fix)됩니다. VQA는 LVLMs의 필수 기술로, Input Image가 주어진 상태에서 모델은 해당 이미지에 대한 Question에 올바르게 답할 수 있어야 합니다.

LVLM VQA에서의 hallucination(환각)

Hallucination Issue는 LVLM이 Input Image와 일치하지 않는 응답을 생성하는 것을 의미합니다.

VQA에서 모델이 생성한 답변은 Object의 존재 여부, 위치, 속성 또는 Object 간 상호 관계에서 오류를 일으킬 수 있습니다.

Li et al.(2023c)은 LVLMs가 자주 발생하는 Object를 쉽게 Hallucination할 수 있으며, 이는 해당 Object가 Image에 존재하지 않더라도 모델이 이를 언급하는 경향이 있음을 발견했습니다.

Qian et al.(2024)과 Liu et al.(2023a)는 LVLMs가 때때로 질문의 전제를 참(true)으로 간주하고, 이미지에 없는 Object에 대해 질문을 받을 때 쉽게 잘못된 답변을 할 수 있음을 보여주었습니다.

LVLM VQA 환각의 원인

Hallucination은 Data의 편향(Bias), 미세한 Fine-grained Visual Features, LLM Decoding 전략으로 인해 발생할 수 있습니다.

Data의 편향(Bias)의 경우, 데이터의 불균형한 분포가 중요한 요소입니다.

Training Data에 특정 질문에 대한 답변이 대부분 "Yes"인 경우, 모델은 해당 질문에 "Yes"라고 답할 가능성이 높아집니다.

Missing Fine-grained Visual Feature의 부족은 주로 Visual Encoder의 Pretraining으로 인해 발생합니다.

 

대부분의 LVLMs는 Contrastive Learning(대조 학습)을 통해 Train된 CLIP의 Visual Encoder를 사용합니다.

이 Encoder는 주로 Salient Feature(두드러진 특징)에 초점을 맞추고 Fine-grained된 Feature들을 무시합니다 (Jain et al., 2023).

LVLM의 Decoding 전략은 대부분 이전의 Text와 Input Image를 고려하여 Conditional Probability(조건부 확률)가 가장 높은 단어를 선택합니다. 이는 모델이 Training Text에 Train된 지식에 과도하게 의존할 때 Hallucination이 발생할 수 있습니다.

기타 원인으로는 모델의 단순성 및 주의력 부족 등이 있습니다.

LVLM VQA Hallucination(환각) 완화

LVLMs에서 Hallucination(환각)을 완화하는 전략은 Prompt Engineering과 모델 개선으로 나뉩니다.

전자의 경우, Liu et al.(2023a)는 Input Image의 Bounding Box 정보를 사용해 Visual Instruction(시각 지침)을 만들어 LLMs를 Prompt합니다.

 

Zheng et al.(2023)은 Chain-of-thought Schema(사고 방식)를 사용하여 모델이 사람처럼 단계적으로 Visual-Language 추론을 할 수 있도록 Prompt를 구성하여 올바른 답에 도달하게 합니다. Wang et al.(2023)은 Chain-of-thought Schema를 생성하고 다수결 투표를 통해 답변을 선택합니다.

 

Caffagni et al.(2024)은 질문의 Term을 설명하는 Prompt를 모델에 제공합니다.

Hallucination을 줄이기 위한 모델 개선 전략과 관련하여, Sun et al.(2023b)는 Reinforcement Learning(강화 학습)을 통해 Visual Feature와 Text Feature의 정렬을 개선합니다.

 

Leng et al.(2023)은 Pre-trained된 지식에 대한 의존을 줄이기 위해 Contrastive Decoding(대조 디코딩) 전략을 제안합니다.

Favero et al.(2024)와 Zhao et al.(2024)도 Inference(추론) 단계에 중점을 두고 Hallucination을 완화하기 위한 특수 Decoding 전략을 제안하며, Hallucination을 줄이기 위한 다른 전략들도 제안합니다.

 

예를 들어, Zhou et al.(2024)는 Hallucination된 Object를 Detect하고 생성된 답변을 수정하는 Post-processing 모델을 설계했으며, Sun et al.(2023a)는 Human Feedback을 활용한 Reinforcement Learning을 채택하여 Hallucination 수준을 개선했습니다.

LVLM Hallucination(환각) 평가

LVLMs에서 hallucination(환각)을 평가하는 방법은 두 가지 접근 방식이 있습니다.

1. 첫 번째는 VQA입니다. Input Image의 진실된 Information을 활용해 이미지 내 Object 존재 여부에 대한 질문(예: "이 이미지에 검은 고양이가 있습니까?")과 이미지에 존재하지 않는 Object에 대한 질문을 구성합니다.
   • 모델은 올바르게 답변한 Question의 비율로 평가됩니다. 이러한 유형의 지표에는 POPE(Li et al., 2023c), CIEM(Hu et al., 2023), NOPE(Lovenia et al., 2023)가 포함됩니다.
2. 두 번째 접근 방식은 Pre-designed된 Prompt를 사용하여 모델이 다양한 Generated Answer를 만들고 이를 평가하는 것입니다.
   • 예로는 Generated된 Image Caption에서 Hallucination된 객체를 Count하는 CHAIR(Rohrbach et al., 2018), GPT-4(OpenAI et al., 2023)를 사용해 Generated & Human Answer를 비교하여 Hallucination Propensity(경향)을 평가하는 MMHAL-BENCH(Sun et al., 2023b)가 있습니다.

---

Methodology

LVLM의 구조

위의 그림은 일반적인 LVLMs의 구조를 보여줍니다. 이는 Pre-trained된 Unimodal(단일모달) LLM인 Llama와 Vicuna를 기반으로 합니다. Pre-trained된 Visual Encoder, 예를 들어 ViT나 기존의 CNNs가 Image Feature를 추출하고, Adapter가 이러한 특징을 Text Feature 공간으로 투사합니다.

 

투사된 Visual Feature는 Text Prompt Embedding과 결합되어 LLM에 입력됩니다.

• Adapter는 일반적으로 여러 개의 Non-linear Activation이 포함된 Linear Layer로 구성됩니다.
• Visual Encoder와 Weight(가중치)는 Training 중에 고정됩니다.

이 논문에서는 Pre-Trained된 LLaVA-Med(Li et al., 2023a)를 모델로 선택하였으며, 이는 LLaVA(Liu et al., 2023b)를 기반으로 구축된 MLVLM입니다. 모델 구조는 Figure 1과 유사하며, Pre-Trained된 Vicuna를 사용하고, Visual Encoder로 CLIP에서 Pre-Trained된 ViT Encoder를 사용합니다.

• 여기서 Adapter는 단순히 Trainable(훈련 가능)한 Projection Matrix(투사 행렬)입니다.
• Visual Encoder와 LLM의 Weight(가중치)는 Training 중에 고정됩니다.

LLaVA-Med는 LLaVA를 두 단계에 거쳐서 Fine-tuning(미세 조정)합니다.

1. 첫 번째 단계에서 입력된 Medical Image로부터 Medical Report를 생성하도록 LLaVA를 Fine-tuning합니다.
2. 두 번째 단계에서는 GPT-4를 사용해 Truth Reports로부터 다양한 Question을 생성하고, 모델이 Question에 답할 수 있도록 Fine-tuning합니다.

대부분의 LVLMs는 현재 Medical VQA를 통해 Training되며, 다양한 Pathologies(병리)에 관련된 질문을 통해 Medical 진단을 수행할 수 있습니다. 예를 들어 “이 이미지에 폐 병변이 있습니까?”와 같은 질문이 이에 해당합니다.

 

모델의 Hallucination을 줄이고 VQA Accuracy를 향상시키기 위해, Inference(추론) 단계에서 두 가지 전략을 제시합니다.

1. 질의된 Pathologies(병리)에 관해 상세한 설명을 모델에 제공합니다.
2. Weak-learner의 Inference(추론)를 고려하도록 모델에 요청합니다.

상세 설명을 통한 Prompt 제공

불균형한 training data로 인해 LLVLMs는 소수 pathologies(병리)의 특징을 충분히 학습하지 못할 수 있습니다.

이 문제를 보완하기 위해 inference(추론) 단계에서 Prompt로 질의된 pathologies(병리)에 대한 상세한 설명을 제공합니다.

설명은 pathologies(병리)를 간략히 정의하고, pathologies(병리)를 나타낼 수 있는 medical image의 몇 가지 주요 소견을 나타냅니다. 예시는 figure 2에 나와 있습니다. Model은 폐부종(Pulmonary Edema)이 폐에 액체가 축적되는 것임을 알려줍니다. 그다음 폐부종을 시사할 수 있는 몇 가지 흉부 X-ray 소견을 제공합니다.

 

Model은 주어진 image와 소견을 연결하여 주어진 image에 폐부종이 있는지 여부를 판단합니다.

Prompt Template은 여러 pathologies별로 제공되며, 부록 A에 자세히 나열되어 있습니다.

그림 2: 의료용 VQA를 위해 MLVLM을 요청할 때 병리학 설명을 포함하는 예.

Q: Pulmonary edema는 폐에 체액이 축적되는 현상입니다. 몇 가지 일반적인 X-ray 소견은 다음과 같습니다.

1. 박쥐 날개 모양을 닮은 중심 폐 영역의 밀도 증가.
2. 폐 주변부에서 얇고 선형의 불투명성, 종종 간질부종을 나타냅니다.
3. 폐혈관의 압력 증가로 인한 혈관 확장으로 인한 혈관 표식의 두드러짐. 위 정보를 고려했을 때, 이 이미지에 부종이 있습니까?

A: 이 이미지에는 부종이 없습니다.

그림 3: weak-learner의 병리학 설명과 참조 예측을 모두 사용하여 의료 VQA를 위한 MLVLM을 촉구하는 예.

Q: Pulmonary edema는 폐에 체액이 축적되는 현상입니다. 몇 가지 일반적인 X-ray 소견은 다음과 같습니다:

1. 박쥐 날개 모양을 닮은 중심 폐 영역의 밀도 증가.
2. 폐 주변부에서 얇고 선형의 불투명성, 종종 간질부종을 나타냅니다.
3. 폐혈관의 압력 증가로 인한 혈관 확장으로 인한 혈관 표식의 두드러짐. 다른 전문가는 이 이미지에서 부종의 가능성을 0.1로 생각합니다. 위 정보를 고려했을 때, 이 이미지에 부종이 있습니까?

A: 이 이미지에는 부종이 없습니다.

---

상세 설명과 Weak-learner를 통한 Prompt 제공

Data Re-sampling은 weak-learner에서 negative prediction을 반환하는 전통적인 이미지 분류 모델의 경향을 해결하기 위해 일반적으로 사용되는 전략입니다.

Re-sampling된 데이터셋에서 훈련된 모델은 precision(정밀도) 및 recall(재현율) 스코어가 향상되는 경우가 있지만, MLVLMs에 적합하지 않을 수도 있습니다.

• 이유 1: 여러 병리(pathologies) 범주를 포함한 데이터셋의 균형을 잡기가 어렵습니다.
• 이유 2: MLVLMs는 일반적으로 더 큰 데이터셋을 요구하며, 파인튜닝에는 비용이 많이 소모됩니다.

그럼에도 불구하고, MLVLMs는 Resampling된 데이터셋에서 훈련된 소형 모델을 활용하여 이점을 볼 수 있습니다.

이 논문에서 제시하는 방법은 Du et al.(2023)과 같은 Multi-Agent LLM 시스템과 유사합니다. 여러 LLM이 서로 토론하며, 다른 모델이 생성한 출력물을 참조하여 환각(hallucination)을 교정할 수 있습니다.

 

전통적인 이미지 분류기는 더 작기 때문에, 특정 병리의 재샘플링된 데이터셋에서 훈련된 다수의 소형 분류기를 훈련시키는 것이 가능합니다. 이러한 모델들은 세분화된 특정 측면(예: False Positive(FP) 또는 False Negative(FN)의 감소)을 최적화하도록 파인튜닝할 수 있으며, 분류기는 의료 이미지에 적용되어 초기 예측을 반환합니다.

 

따라서 MLVLM은 특화된 모델이 제공할 수 있는 세부적인 이해로부터 간접적으로 혜택을 받을 수 있습니다.

이 방법은 임상의들이 의료 결정을 내릴 때 과잉 치료(overtreatment)와 부족 치료(undertreatment) 간의 균형을 맞춰야 하기 때문에 의미가 있습니다. 예를 들어, 과잉 치료의 비용이 부족 치료의 비용보다 클 경우, 그들은 거짓 양성(FP) 비율이 낮은 모델을 선호할 수 있습니다.

 

그림 3은 폐부종의 존재에 대한 질의 예시로, 모델이 폐부종(edema)에 대한 상세한 설명을 제공합니다. 그런 다음, weak-learner를 사용해 거짓 양성(FP)을 억제합니다. 이미지는 높은 민감도와 진음성(TN) 비율로 균형 잡힌 데이터셋에서 파인튜닝된 폐부종 분류기(edema classifier)에 입력됩니다.

 

예측이 부정적인 경우, 병리 설명 뒤에 "이 이미지에서 또 다른 에이전트는 폐부종의 확률을 0.1로 생각합니다."라는 프롬프트를 추가합니다. 의사 결정 임계값(decision threshold)이 파인튜닝되어 더 이상 0.5가 아니기 때문에 실제 예측 확률 대신 값을 수동으로 선택합니다.

 

여기서 False Positive(FP)를 줄이는 것이 목표이지만, 이 논문의 전략은 True Positive(TP)의 비율을 높이도록 분류기를 파인튜닝하고, 긍정적인 예측인 경우 프롬프트를 적용하여 False Negative(FN)의 비율을 줄이는 데에도 적용 가능합니다.

---

Methodology Summary

모델 구조:
LLaVA-Med는 사전 훈련된 LLM(Vicuna)과 시각 인코더(CLP의 ViT)를 사용하여 구축됨.
어댑터 모듈은 시각적 특징을 텍스트 특징으로 투사하며, 시각 인코더와 LLM의 가중치는 고정됨.

연구 목표
MLVLMs의 VQA 성능을 향상시키기 위해 두 가지 프롬프트 전략을 제안:
1. 질의된 병리에 대한 상세 설명 제공: 병리의 정의와 주요 X-ray 소견을 포함하여 모델이 미처 학습하지 못한 병리를 이해하도록 돕는 전략.
2. 약한 학습자(weak learner) 모델 도입: 소형 이미지 분류기를 사용해 부정적 예측을 생성하고, 이를 프롬프트에 반영하여 진단 정확도를 높이는 전략.

실험 및 평가
MIMIC-CXR-JPG와 Chexpert 데이터셋을 사용하여 실험을 수행.
PT1(기본 프롬프트), PT2(병리 설명 포함 프롬프트), PT3(약한 학습자 포함 프롬프트) 세 가지 프롬프트 전략을 비교.
약한 학습자는 거짓 양성(FP)을 줄이도록 설계되었으며, PT3 전략에서 F1 점수가 크게 향상됨.

Weak-Learner(약한 학습자)적용
약한 학습자는 ResNet50을 기반으로 훈련되며, 특정 병리에 대해 부정적 예측을 제공하여 FP를 억제하는 데 사용됨.
LLaVA-Med의 예측 응답을 "예/아니오" 형태로 요약하는 데 Llama-7B를 사용함.

일반 도메인 확장성
이 프롬프트 전략은 의료 도메인을 넘어 일반 LVLMs에도 적용 가능하며, 다른 도메인에서도 거짓 예측을 줄이고 재현율을 높이는 데 기여할 수 있음.

---

Empirical Study (실증 연구)

LLaVA-Med는 PMC-15M 데이터셋에 기반하여 사전 훈련되었습니다.

이 데이터셋에는 CT, MRI, X-ray 등 여러 모달리티의 이미지-텍스트 쌍이 포함되어 있습니다.

• 첫 번째 단계에서는 467,710개의 이미지-리포트 쌍이 훈련에 선택되었습니다.
• 두 번째 단계에서는 첫 번째 단계의 데이터를 바탕으로 56,708개의 질문-답변 쌍이 생성되어 모델을 질문 및 응답에 맞춰 파인튜닝하였습니다.

표 1은 LLaVA-Med 훈련 데이터(두 번째 단계)에서 테스트된 5가지 병리 중 하나로 양성 사례로 언급된 리포트 수를 보여줍니다. 이는 전체 데이터에 비해 이 5가지 범주가 소수에 속함을 의미합니다.

MLVLM의 제로샷 성능을 평가하기 위해 MIMIC-CXR-JPG(Goldberger et al., 2000) 및 Chexpert(Irvin et al., 2019) 흉부 X-ray 테스트 셋을 사용하였습니다.

• 각각 5,159개와 668개의 이미지를 가지고 있으며, 두 데이터셋 모두 PMC-15M과 중복되지 않습니다.

MIMIC-CXR-JPG는 13개의 카테고리를 다루는 이미지와 의료 리포트를 포함하고 있습니다.

• 무기폐(Atelectasis), 심비대(Cardiomegaly), 농축(Consolidation), 부종(Edema), 심비대증(Enlarged Cardiomediastinum), 골절(Fracture), 폐 병변(Lung Lesion), 폐 혼탁(Lung Opacity), 흉막 삼출(Pleural Effusion), 폐렴(Pneumonia), 기흉(Pneumothorax), 기타 흉막 병변(Pleural Other), 보조 장치(Support Devices) 등이 있습니다.

리포트는 파싱되어 규칙 기반 접근법을 통해 자동으로 대략적인 이미지 수준 태그가 생성됩니다(Irvin et al., 2019).

 

각 라벨에는 4가지 값이 포함됩니다: 1(긍정적), 0(부정적), -1(불확실함), 누락. 간단히 하기 위해, 여기서는 불확실함과 누락을 부정적 라벨로 처리합니다. 또한 weak-learner 모델을 훈련시키기 위해 227,827개의 흉부 X-ray와 리포트를 포함하는 MIMIC-CXR-JPG 훈련 셋을 사용하였습니다.

 

Chexpert는 MIMIC-CXR-JPG와 동일한 13개의 카테고리를 가지고 있습니다. 그러나 의료 리포트를 포함하지 않으며, 이미지 수준 라벨만 있습니다. MIMIC-CXR-JPG와 Chexpert 사이에 중복되는 데이터는 없습니다.

표 2는 MIMIC-CXR-JPG 및 Chexpert 테스트 셋에서 병리 범주(정상을 제외한)의 분포를 보여줍니다. 거의 모든 병리 범주는 양성(긍정적 발생)보다 음성(부정적 발생)이 훨씬 적은 소수 범주입니다.

주요 테스트 체계에서 이 논문에서는 Chexpert Competition(Irvin et al., 2019)에서의 다섯 가지 병리, 즉 무기폐(Atelectasis), 심비대(Cardiomegaly), 농축(Consolidation), 부종(Edema), 심비대증(Enlarged Cardiomediastinum)을 선택하였습니다.

---

구현 세부 사항

앞장에서 언급했듯이, 우리는 사전 훈련된 LLaVA-Med MLVLM을 추가적인 fine-tuning 없이 사용하였습니다.

Classification 작업을 VQA 작업으로 변환하기 위해 표 3의 첫 번째 행에 표시된 Prompt Template을 사용하였습니다.

이를 프롬프트 템플릿 1(PT1)이라고 합니다.

 

먼저 PT1을 사용하여 사전 훈련된 LLaVA-Med를 실행하였습니다. 다음으로, 병리학적 설명을 포함하여(표 3의 두 번째 행) 프롬프트 템플릿 2(PT2)를 얻었습니다.

마지막으로 weak-learner의 예측을 프롬프트에 통합하여 프롬프트 템플릿 3(PT3)을 완성하였습니다.

 

실험을 통해 검증되었듯이, weak-learner는 False Positive(FP) 예측을 억제하도록 설계하였습니다.

이를 위해 사전 훈련된 ResNet50(He et al., 2016)을 사용하였습니다.

각 병리에 대해 양성 사례와 음성 사례의 비율이 2:1인 데이터셋으로 훈련 데이터를 샘플링하였습니다.

모델은 학습률 1e-4로 10번의 epoch 동안 훈련되었습니다.

 

훈련 과정은 AUC 점수를 사용하여 모니터링되었으며, 가장 높은 검증 AUC를 기록한 모델을 유지하였습니다. 그런 다음 decision threshold(임계값) d는 Specificity(특이도)와 Negative Prediction Value(음성 예측 값, NPV)의 가중 합을 최적화하도록 fine-tuning하였습니다.

즉, 가중치 w1, w2는 각각 0.2, 0.8로 설정하였습니다. 의료 이미지는 weak-learner에 입력되어 각 병리에 대한 초기 예측을 얻으며, 음성 예측은 선택되어 PT3 프롬프트를 구성하는 데 사용됩니다.

LLaVA-Med가 반환한 응답은 "이 이미지에 부종이 있습니다", "부종이 발견되었습니다", "폐 내의 액체가 부종을 나타냅니다" 등 다양한 형태를 취할 수 있습니다. 길어진 응답을 예/아니오로 요약하기 위해 Llama-7B(Touvron et al., 2023)를 사용하였습니다.

---

Result

프롬프트 전략의 효능을 입증하기 위해, PT1 기준선에서 시작하여 병리 정보를 제공한 후(전략 PT2), 이후 Weak-learner를 참조하여 특정 측면의 성능을 개선함으로써 전략 PT3을 도출하였습니다.

PT2: 병리 설명 추가

표 4는 MIMIC-CXR-JPG 및 Chexpert 테스트 셋에서 PT1 및 PT2 전략의 정밀도(Precision), 재현율(Recall) 및 F1 스코어를 보고합니다. MIMIC-CXR-JPG에서 병리 설명을 추가한 후, 무기폐, 심비대, 부종, 흉막 삼출의 F1 점수가 증가했으나, 농축에서는 거의 변화가 없었습니다.

 

Chexpert에서는 무기폐(Atelectasis), 심비대(Cardiomegaly), 부종(Edema)의 F1 Score가 증가했으나, 농축과 흉막 삼출에서는 증가하지 않았습니다.

 

정밀도 및 재현율 점수를 보면, 설명을 추가하면 재현율이 크게 증가하지만 정밀도에는 거의 영향을 미치지 않는 것으로 나타납니다.

농축과 같은 소수 병리의 경우 F1 점수가 낮은 정밀도에 의해 지배되므로, 재현율을 높이는 것이 큰 효과를 발휘하지 못합니다. 따라서 PT2의 성능 병목은 정밀도입니다.

PT3: Weak-Learner 참조

PT2 전략을 넘어, PT3 전략을 적용하여 진단 정확도를 더욱 향상시켰습니다.

표 5는 Chexpert 테스트 셋에서 PT2 전략을 사용하는 LLaVA-Med의 True Positive(TP), False Positive(FP), False Negative(FN) 예측 수를 제공합니다. 많은 FP 사례가 눈에 띕니다. 따라서 FP 예측을 억제하도록 Weak-learner를 설계하였습니다.

 

표 6은 Chexpert에서 Weak-learner를 참조하기 전후의 성능을 비교합니다. 심비대(Cardiomegaly), 부종(Edema), 흉막 삼출(Pleural Effusion)의 F1 스코어가 각각 0.115, 0.194, 0.089만큼 증가하였습니다.

 

PT3 전략의 효능을 더욱 입증하기 위해, 표 7은 PT2와 PT3 전략의 FP 예측을 비교합니다.

Weak-learner의 예측을 프롬프트에 포함함으로써 F1 예측 정확도가 크게 증가할 수 있음을 보였습니다. FP 사례의 감소는 특히 부종(Edema)에서 두드러지며, FP 수가 78.5% (322건) 감소하였습니다.

추가 VQA 실험

표 8 은 LLaVA-Med에 PT1, PT2, PT3 전략을 적용하여 확대 심비대, 폐 병변, 폐 혼탁, 폐렴, 기흉 등 5가지 병리에서 
MIMIC-CXR-JPG 및 Chexpert 데이터셋을 테스트한 결과를 보여줍니다.

표 8은 LLaVA-Med에 PT1, PT2, PT3 전략을 적용하여 확대 심비대, 폐 병변, 폐 혼탁, 폐렴, 기흉 등 5가지 병리에서 MIMIC-CXR-JPG 및 Chexpert 데이터셋을 테스트한 결과를 보여줍니다.

 

병리 설명(PT2)을 제공하면 일반적으로 PT1 기준선보다 나은 결과를 얻을 수 있지만, 일관되지는 않습니다. Weak-learner 참조(PT3)는 정밀도에서 제한적인 증가를 가져오지만, 재현율에서는 큰 감소를 보입니다. 전반적으로 큰 개선은 나타나지 않았습니다.

 

확대 심비대, 폐 병변, 폐렴, 기흉은 소수 범주이며, 실험 설정과 Weak-learner를 포함하여 이를 학습하지 못합니다. 프롬프트는 이러한 상황에서 큰 도움이 되지 않는 것으로 보입니다.

SOTA Benchmark

Tiu et al.(2022)는 Chexpert 데이터셋에서 무기폐, 심비대, 농축, 부종, 흉막 삼출을 감지하는 데 있어 딥러닝 모델과 방사선 전문의의 성능을 F1 스코어로 보고하였습니다.

이는 흉부 X-ray 진단의 최신 벤치마크를 제공합니다. 표 9는 방사선 전문의, Tiu et al.(2022)의 모델, LLaVA-Med의 F1 스코어를 비교한 것입니다. LLaVA-Med의 VQA 성능은 PT1 기준 전략에서 불만족스러워, 모델이 임상 실무에 배포되기에는 거리가 멉니다.

그러나 방사선 전문의보다 여전히 성능이 떨어지지만, 우리의 PT3 전략은 특히 무기폐, 심비대, 부종에서 F1 스코어가 약 17%에서 21% 증가하면서 상당한 개선을 가져왔습니다

일반 도메인 LVLMs에의 적용

프롬프트 전략은 일반 도메인 LVLMs에도 적용될 수 있습니다.

LLaVA(Liu et al., 2023b) 및 MiniGPT-v2(Zhu et al., 2023)의 POPE 지표(Li et al., 2023c)를 사용한 성능을 연구하였으며, 이는 LVLMs의 환각(hallucination)을 평가하기 위해 객체 존재 여부에 대한 질문을 묻는 방식입니다.

 

LLaVA 및 MiniGPT-v2의 POPE 스코어는 높은 정밀도와 낮은 재현율을 보였습니다.

따라서 Weak-learner 전략은 False Negative 예측을 줄이는 데 사용됩니다.

우리는 사전 훈련된 Fast-RCNN(Girshick, 2015)을 Weak-learner로 선택하고, 바운딩 박스 점수의 임계값을 파인튜닝하여 높은 재현율을 달성했으며, Weak-learner의 긍정적 예측을 프롬프트에 포함하였습니다.

 

표 10의 결과는 세 가지 POPE 범주에서 재현율 점수가 약 7% 증가(정밀도 점수는 약간 감소)하여 F1 스코어가 향상됨을 보여줍니다.

---

Empirical Study (실증 연구) Summary

4.1 데이터셋
LLaVA-Med는 PMC-15M 데이터셋에서 사전 훈련됨. MIMIC-CXR-JPG와 Chexpert 데이터셋을 사용해 MLVLM의 제로샷 성능을 평가함. 주요 테스트 병리로 무기폐(Atelectasis), 심비대(Cardiomegaly), 농축(Consolidation), 부종(Edema), 흉막 삼출(Pleural Effusion)을 선택함.

4.2 구현 세부 사항
LLaVA-Med는 추가 미세 조정 없이 사용되었으며, 세 가지 프롬프트 템플릿(PT1, PT2, PT3)으로 테스트됨. PT1: 기본 프롬프트, PT2: 병리 설명을 포함한 프롬프트, PT3: 약한 학습자 예측을 포함한 프롬프트. 약한 학습자는 ResNet50 기반으로 훈련되었으며, 거짓 양성(FP)을 줄이는 데 초점을 맞춤.

4.3 결과
PT2: 병리 설명을 추가한 후, 일부 병리에서 F1 점수가 증가했지만, 소수 병리에서는 큰 효과가 나타나지 않음. PT3: 약한 학습자 예측을 통합한 후, F1 점수가 크게 향상되었으며, 특히 심비대(Cardiomegaly), 부종(Edema), 흉막 삼출(Pleural Effusion)에서 큰 개선이 있었음.

추가 VQA 실험에서는 PT3 전략이 일부 병리에서는 성능이 향상되었지만, 다른 병리에서는 큰 변화가 없었음. SOTA Benchmark와의 비교에서, PT3 전략이 적용된 LLaVA-Med는 기존 모델보다 성능이 향상되었으나, 여전히 방사선 전문의의 성능에는 미치지 못함. 일반 도메인 LVLMs에도 프롬프트 전략이 적용 가능하며, POPE 지표를 통해 재현율이 약 0.07 향상됨.

---

Conclusion & Discussion

LLaVA-Med 의료 대규모 Vision-Language Model의 시각 질문 응답(VQA) 능력을 병리 진단에 적용하여 테스트하였습니다.

그 결과, 모델이 복잡한 병리의 존재 여부를 묻는 질문에 대해 만족스럽지 않은 성능을 보였음을 알 수 있었습니다.

 

모델의 Vision-Question-Answer 정확도를 향상시키기 위해 두 가지 프롬프트 엔지니어링 전략을 사용하였습니다.

병리에 대한 설명을 제공하는 전략과 Weak-Learner(약한 학습자)의 예측을 참조하는 전략입니다.

1. 첫 번째 전략은 모델이 훈련 단계에서 충분히 학습하지 못한 소수 병리를 이해하는 데 도움을 줍니다.
2. 두 번째 전략은 거짓 양성(False Positive)을 억제함으로써 진단 정확도를 특정 측면에서 개선합니다. 이 전략은 다른, 비의료 도메인에서도 LVLMs에 적용할 수 있습니다.

그러나 두 가지 전략은 매우 희소한 데이터가 있는 병리에는 효과적이지 않습니다.

 

예를 들어, 농축, 골절, 폐 병변, 폐렴, 기흉과 같은 병리에 대해 텍스트 설명을 제공하는 것만으로는 충분하지 않을 수 있으며, 이는 Visual Encoder가 의미 있는 시각적 특징을 충분히 학습하지 못했기 때문입니다.

 

또한, 이러한 병리를 위한 Weak-Learner를 충분히 훈련시키기에는 데이터가 충분하지 않을 수 있습니다. 미래 연구에서는 이러한 희소 범주를 처리하기 위한 전략을 고안하는 것이 유망한 방향입니다.

 

예를 들어, Retrieval Augmented Generation(RAG) 방법이 잠재적인 해결책이 될 수 있습니다.

병리에 대한 텍스트 설명뿐만 아니라, 전형적인 예시 이미지도 함께 제공하여 모델이 진단 결정을 내리는 데 도움을 줄 수 있습니다.

---

Pathologies Explain (병리 설명) - 부록

무기폐(Atelectasis)

무기폐는 폐 또는 폐의 일부가 부분적으로 또는 완전히 허탈되는 것을 의미합니다.

X-ray에서 무기폐의 특징은 허탈의 원인과 범위에 따라 다를 수 있습니다. 몇 가지 일반적인 X-ray 특징은 다음과 같습니다:

1. 허탈로 인해 영향을 받은 부위가 정상 폐 조직보다 더 밀도가 높거나 하얗게 나타나며, X-ray에서 불투명도가 증가합니다.
2. 허탈된 폐 부분이 주변의 건강한 폐 조직과 비교하여 더 작거나 압축된 것처럼 보일 수 있습니다.
3. 무기폐는 기관 또는 심장과 같은 주변 구조물의 이동 또는 변위를 일으켜 영향을 받은 부위로 이동시킬 수 있습니다.
4. 기도 폐색에 의해 발생하는 폐색성 무기폐의 경우, 영향을 받지 않은 폐 영역에서 과팽창의 징후가 있을 수 있으며, 해당 기관지에 눈에 띄는 폐색이나 좁아짐이 있을 수 있습니다.
5. 선형 또는 띠 모양의 불투명도가 보일 수 있으며, 이는 소기도의 허탈로 인해 발생하는 판 또는 띠 무기폐라고 불리기도 합니다.

심비대(Cardiomegaly)

심비대는 심장의 비대를 의미합니다. 정의는 흉부 방사선 사진 또는 컴퓨터 단층촬영에서 심장 윤곽의 가로 직경이 흉부의 가로 직경의 50% 이상인 경우(심장 흉곽 비율 증가)입니다.

농축(Consolidation)

X-ray에서 농축은 폐의 공기 공간이 염증성 삼출물 또는 세포 물질로 채워지는 것을 의미합니다.

농축을 시사하는 전형적인 X-ray 소견은 다음과 같습니다.

1. 폐 조직에서 밀도가 증가된 영역이 나타나며, X-ray에서 불투명하거나 흐릿한 부분으로 나타납니다.

부종(Edema)

폐부종은 폐에 액체가 축적되는 것을 의미합니다. 몇 가지 일반적인 X-ray 특징은 다음과 같습니다:

1. 박쥐 날개 모양을 닮은 중심 폐 영역의 밀도 증가.
2. 종종 간질성 부종을 나타내는 폐 주변의 얇고 선형의 불투명도.
3. 폐 혈관 내압 증가로 인한 혈관의 확장으로 인한 두드러진 혈관 표식.

흉막 삼출(Pleural Effusion)

흉막 삼출은 벽측 흉막과 장측 흉막 사이에 액체가 축적되는 것을 의미합니다. 몇 가지 일반적인 X-ray 특징은 다음과 같습니다:

1. 늑골횡격막각 또는 심장횡격막각의 무딤.
2. 수평 또는 경사 균열 내의 액체.
3. 반월형 소견이 보임.
4. 삼출액으로 인해 종격동이 반대쪽으로 이동.