🏄

Juyeon’s Research Blog

Hello! I'm Juyeon Kim, an M.S./Ph.D. student advised by Professor Yukyung Choi at the Robotics and Computer Vision Lab at Sejong University in Seoul, South Korea. 

My research interests include multimodal learning (or reasoning), multimodal emotion recognition, and causal reasoning. If you want to know more about me, please click the 'About Me' page for further details.

I post reviews of papers in my areas of interest, insights gained from my research, and things I'd like to share from my studies on this blog. 

Feel free to contact me if you have any questions!!

 How to reach me: jykim@rcv.sejong.ac.kr / juyeonk.kor@gmail.com

About Me

Book Review

안녕하세요. 저번주 금요일에서 토요일 넘어가는 새벽에 첫 저널 논문을 투고한 기념으로, 논문 작성하며 느꼈던 것에 대해서 공유하고자 이렇게 논문 작성기를 작성합니다.

저는 첫 저널 논문을 작성하고자 무려 2024년의 1월~10월을 사용하였다고 말할 수 있는데요. 물론 해당 기간 중간에 과제 회의 준비, 데모 준비, 시험 등 온전히 모든 시간을 논문을 위한 실험 및 논문 작성에 할애했다고 말할 수는 없지만, 아이디어 구상부터 실험 및 논문 작성까지 다른 사람에 비해서 정말 많은 시간이 걸렸습니다.

해당 기간동안 논문을 작성하며 제가 생각했던 바를 말씀드리고자 합니다.

pdf

•

Code&Dataset

안녕하세요! 따근따근한 7월 10일에 arXiv에 등록된 EMER 저자의 후속 논문을 가지고 와봤습니다. EMER 논문이 새로운 감정 인식의 포문을 연 논문이라 생각이 들지만 조금 아쉬운 부분이 있었는데요, 이번에는 이러한 것들을 보완하여 좀더 완성하여 작성한 것이 아닌가 싶습니다. EMER 논문과 마찬가지로 under review 중이라고 합니다.

논문 리뷰를 시작하기 전에 TMI를 말씀드리자면 논문 저자에 대해서 찾아봤더니 [Institute of Automation, Chinese Academy of Sciences (CASIA)]에 소속된 대학 교수님 이었고, Multimodal Emotion Recognition을 하는 사람이면 아는 MER 대회를 개최하신 분들 중 한 분 이었습니다. 교수님이 작성한 논문이라 생각이 드니 읽으면서 긴장하면서 읽은 것같습니다.

서론이 너무 길었습니다. 그럼 리뷰 시작하겠습니다!

<1. Introduction>

감정인식은 human-computer interaction에서 주요한 연구 주제 중 하나입니다. (사실 매번 감정인식 논문을 읽으면 나오는 문구인데 최근에는 computer와 좀더 상호작용을 쉽게 할 수 없을까 이런 생각을 하니 슬쩍 적어봤습니다) 감정인식 task의 주요목표는 고정된 label space에서 가장 가능성 있는 label을 예측하는 것입니다. 하지만, 감정은 고정된 label space에서는 담을 수 없을만큼 복잡하고, 주관적인 감정 label을 과연 신뢰할 수 있을까?라는 문제가 있습니다.

그래서 최근에는 Explainable Multimodal Emotion Recognition (EMER)이라는 새로운 task가 제안되었습니다. EMER은 multi-modal과 다방면인 단서들을 활용하여 open-vocabulary (OV) 방식으로 감정을 예측합니다. multi-modal과 다방면인 단서를 제공하기 때문에 정확하고 신뢰할 수 있는 감정 인식을 수행할 수 있어 더욱 인기가 많아질 수 밖에 없습니다. 그런데, EMER 데이터셋을 만들 때 너무나도 많은 annotation cost가 있고, 이전 연구는 소수 라벨만 지정된 sample(이를 EMER-Fine으로 부르겠습니다)만 포함하고 있습니다. 이러한 sample은 성능 평가하는데 쓰일 수는 있지만, 지도 학습 방법론에 적용할만큼 충분하지 않습니다.

논문의 저자는 이러한 문제점을 해결하고자, 이전의 방법론에서 데이터셋을 어떻게 구성했는지에 대해서 리뷰하였습니다. 이전의 데이터셋은 4개의 단계로 구성되는데, (1) audio, video clues를 pre-labeling 하는 단계, (2) 손수 직접 audio, video clues를 checking하는 단계, (3) ambiguating한 자막을 명확하게 하는 단계, (4) 다국어 description을 얻기 위해 번역하는 단계로 구성되어 있습니다. 여기서 annotation cost를 줄이기 위해서 손수 체크하는 것을 피하고, closed-source model 대신에 open-source model로 변경하여 EMER-Coarse라는 대략적으로(coarsely하게) 라벨링된 large-scale dataset을 구축하게 됩니다. 논문의 저자는 115,595개의 human-centric한 비디오를 포함하는 MER2024-SEMI를 기반으로 구축하였다고 합니다.

EMER 외에도, EMER을 위한 two-stage training framework인 AffectGPT 또한 제안하였습니다. 첫 번째 단계에서는 대규모 EMER-Coarse를 사용하여 multi-modal input과 emotion 관련 description간의 대략적인 align을 학습하고, 두번째 단계에서는 소규모 EMER-Fine의 수동으로 손수 확인된 결과를 이용하여 align을 더 잘 맞추도록 합니다.

본 논문의 contribution을 요약하면 아래와 같습니다.

•

Dataset : 115,595개의 sample로 구성된 EMER을 위한 large-scale 데이터셋인 EMER-Coarse를 구축하였음

•

Method : two-stage framework인 AffectGPT를 제안하였음. 이를 통해 첫 단계에서는 대락적인 mapping을 학습하고 두 번쨰 단계에서는 손수 확인된 결과를 이용해 더 나은 align을 보여줌

•

Performance : high-performance를 보임!

[논문 리뷰][arXiv 2024] AffectGPT: Dataset and Framework for Explainable Multimodal Emotion Recognition

•

pdf

안녕하세요. 저번 논문에 이어서 이번에도 multi-modal learning에서 imbalance하게 학습이 되는 요인과 해결책을 제시하는 논문을 들고 왔습니다. 이전에 리뷰한 multimodal cooperation 논문 같은 경우와 비슷하면서도 다른 부분이 있으니 비교하는 재미도 있을 것 같습니다. 그럼 리뷰 시작하겠습니다.

<Introduction>

실제 real-world에서는 여러 문제가 multi-modal로 구성된 경우가 많습니다. 이 때문에 사용가능한 모든 input modality에서 학습 할 수 있도록 DNN을 end-to-end로 학습하는 방식에 대해서 많은 연구자가 관심을 갖고 연구를 하고 있습니다.(저도 마찬가지구요ㅎㅎ) 이러한 학습 체제를 multi-modal learning process라고 하며 이를 통해 생성된 DNN을 multi-modal DNN이라 합니다.

그런데 다양한 연구에서 multimodal DNN이 여러 작업에서 기대한만큼의 성능을 내지 못한다고 결과가 나오고 있는데 그 예로 가장 유명한 분야가 VQA가 있습니다. VQA에서는 이미지와 텍스트가 input으로 들어가는데, vision modality를 무시하고 학습되면서 질문과 답변 텍스트 사이의 통계적 규칙성만을 이용하여 일반화 성능이 낮아진 사례를 쉽게 찾아볼 수 있습니다. Human Action Recognition 분야도 마찬가지로 image와 audio를 사용하는데, image만 사용한 DNN 보다 성능이 떨어진 사례가 있으며, 본 논문에서 말하길, multimodal classifier 뿐만 아니라 multimodal pretrained 모델에서도 modality간 imblance가 확인되었다고 합니다.

그래서 본 논문에서는 conditional utilization rate를 통해서 multi-modal DNN이 모든 modality를 활용하고 있는지를 확인하고자 하였습니다. 방법론에서 자세히 설명할 것이지만 두개의 modality

m_0, m_1

가 들어온다고 가정해봅시다.

u(m_1|m_0)

은

m_0, m_1

가 입력으로 들어오는 상황에서 conditional utilization rate를 측정한 것입니다.

m_0

가 주어진 상태에서

m_1

을 사용하는 것이 얼마나 중요한지에 대해서 측정합니다. 본 논문에서는 손 제스처 인식 모델에서 RGB와 Depth modality를 사용할 때를 예시를 들었는데,

u(depth|RGB)=0.63,u(RGB|depth)=0.01

로 RGB가 주어졌을 때 Depth 모달리티를 추가했을 때의 conditional utilization rate와 Depth가 주어졌을 때 RGB modality를 추가 했을 때의 값이 상당히 차이나는 것을 볼 수 있습니다. 이 예시를 통해서 Depth modality를 모델이 의존적으로 사용하고 있음을 알 수 있습니다.

논문 저자들은 이러한 것을 바탕으로 실제로 multi-modality 모델이 한 모달리티에 의존하는 것을 파악하였고 이러한 현상때문에 좋은 성능을 보이지 못한다는 것 또한 파악하였습니다. 이러한 문제를 해결하기 위해서 본 논문에서는 학습 중에 modaltiy간 conditional learning speed를 균형잡는 알고리즘을 제안하고 이것이 실제로 잘 워킹한다는 것을 여러 데이터셋을 통해 실험적으로 증명하였습니다.

<Method>

<2.Promblem Setup>

본 논문에서는 2개의 modality input인

m_0, m_1

가 오는 경우에 대해서 고려합니다. 먼저 multimodal dataset을

\mathcal{D}

로 정의합니다. 이 데이터셋은 multiple instances

(x,y)

로 구성되어 있으며,

x=(x_{m_o},x_{m_1})

는 이와 같이 주어집니다. 본 논문에서는 데이터셋을 training, validation, test set으로 나누었고

\mathcal{D^{train}}, \mathcal{D^{val}}, \mathcal{D^{test}}

로 표시하였습니다. 이 데이터셋을 사용하여

x

로부터

y

를 정확하게 예측하는 모델을 학습하는 것이 본 논문에서 목표하는 바입니다.

본 논문에서는 두개의 uni-modal branch로 구성된 multimodal DNN을 사용합니다. input으로

x_{m_0}

가 들어가는 branch를

\phi_0

x_{m_1}

가 input으로 들어가는 branch를

\phi_1

라고 지칭하겠습니다. 두개의 branch는 layer-wise fusion 모듈을 이용하여 서로 연결됩니다.

구체적으로 말씀드리면, 본 논문에서는 각 fusion module을 multi-modal transfer module(MMTM)을 이용하여 구현하였다고 합니다. MMTM을 통해 한 uni-modal branch에서 다른 uni-modal branch로 연결할 수 있습니다. 먼저, 두개의 layer에서 나온 feature map은 다음과 표현합니다.

A_0 \in \mathbb{R}^{N_1 \times \cdot \cdot \cdot \times{N_L}\times{C}}

A_1 \in \mathbb{R}^{M_1 \times \cdot \cdot \cdot \times{M_L}\times{C’}}

여기서,

N_i, M_i

은 각 feature map의 spatial dimension을 표현합니다.

C, C'

은 feature map의 수를 나타냅니다. 각 feature map의 spatial dimension에 대해서 global average pooling을 수행하여 두 벡터

h_0 \in \mathbb{R}^C, h_1 \in \mathbb{R}^{C’}

를 얻습니다. 이 두 백터에 다음과 같이 MMTM을 적용합니다.

여기서

[\cdot, \cdot]

는 concatenation 연산을 의미하며,

w_0 \in \mathbb{R}^C, w_1 \in \mathbb{R}^{C’}

입니다. 함수

g

는 FC-RELU-FC-FC로 구성된 layer라고 합니다.

[논문 리뷰][ICML 2022] Characterizing and Overcoming the Greedy Nature of Learning in Multi-modal Deep Neural Networks

•

pdf

•

code & dataset

저는 현재 multimodal imbalance, multimodal bias와 관련하여 이를 해결하는 방법론을 제안하는 논문을 작성 중에 있습니다. 그런데 이제까지 분석하는 방법에 대해서 그렇게까지 비중있게 보지 않았고, 다른 논문에서 multimodal imbalance가 존재한다고 증명할 때도 주로 ‘성능’으로만 언급하고 넘어간다는 것을 발견하였습니다. 그러던 중 이번에 CVPR 2024에 나온 본 논문의 경우, modality가 얼마나 기여하는지 정량적으로 평가할 수 있는 metric을 만들었다고 하여 흥미가 들어 리뷰를 작성하게 되었습니다. 그럼 리뷰 시작하겠습니다!

<1. Introduction>

사람은 시각, 청각, 촉각 등의 다양한 정보를 통합하여 주변 환경을 종합적으로 이해합니다. 그래서 최근에는 정말 많이 multimodal 관련 연구가 진행되고 있고 논문 또한 쏟아진다고 할 정도로 많이 나오고 있습니다. multimodal learning의 주요 목표는 서로 다른 modality에서 온 이질적인 정보를 효과적으로 결합하는 것입니다.

딥러닝을 사용하면서 multimodal learning이 많이 발전하였으나, 여전히 multimodal간 heterogeneous한 information이 잘 융합되지 않으며, 이로 인해서 학습이 불균형하게 이뤄지는 문제가 있습니다.

딥러닝 모델이 복잡한 여러 layer를 구성되고, 블랙박스 특성 때문에 각 modality가 최종 예측에서 어떤 역할을 하는지 관찰하기 어렵고 그에 따라 단일 modality 학습을 조정하는 것도 어렵습니다. 이에 어떤 연구에서는 model logits이나 graident의 크기 등을 이용하여 성능이 저조한 modality를 식별하고 학습을 개선하고 하였습니다. 하지만 이런 방법론들은 dataset-level에서의 전반적인 modality imbalance만 고려하여 Kinetics Sounds와 같은 curated된 dataset에서만 효능을 보입니다. Figure 1을 보시면 modality imbalance를 해결하기 위해서 제안된 여러 방법론이 Kinetics Sounds 데이터셋에서는 성능 향상을 보이지만, 본 논문이 제안한 MM-Debiased에서는 오히려 성능이 하락한 것을 볼 수 있습니다. 그런데, realistic 시나리오에서는 modality 간의 imbalance가 sample마다 다를 수 있습니다.

예를 들어서, Figure 2(a)와 Figure(b)는 오토바이 category의 두 개의 auido-visual sample을 보여줍니다. sample 1에서는 오토바이를 관찰하기 어렵지만, sample 2에서는 오토바이 바퀴가 뚜렷하게 보입니다. 이는 각 sample에서 각각 audio나 visual modality가 최종 예측에 더 많이 기여하게 만들 수 있습니다. 하지만 이러한 세밀한 modality imabalance는 기존에 제안된 방법론만으로는 관찰하기 어렵습니다. 따라서 sample-level에서 multimodal cooperation을 reasonably하게 관찰하고 개선하는 방법이 필요합니다.

본 논문은 각 sample에 대한 예측 과정에서 각 modality가 기여하는 정도를 관찰하기 위해 sample-level의 modality valuation metric을 도입하였습니다. 게임 이론에서 기여도에 따라 이익을 공정하게 분배하는 것을 목표로 하는 Shapley Value를 이 metric에 이론적 기반으로 활용하였습니다. 이 metric을 이용하여 단일 modality 기여도를 평가한 결과, 각 modality가 기대한 만큼 성능에 기여하지 않는다는 것을 관찰하였습니다.

먼저, Figure2(d)에서 볼 수 있듯이, Kinetics Sounds와 UCF-101을 포함한 curated된 데이터셋의 경우, dataset-level에서 한 modality의 기여도가 전체적으로 다른 modality를 압도하는 경향이 있음을 확인할 수 있습니다. 더 중요한 것은 Figure 2(c)입니다. 여기에서 볼 수 있듯이, sample-level의 modality valuation에서 dataset-level의 global 기여도 차이를 넘어 실제로 sample 간에 modality 기여도 차이가 다를 수 있음을 확인하였습니다. 본 논문에서는 이러한 sample-level의 modality imbalance를 강조하기 위해, dataset-level modality가 더 이상 유의하지 않은 global balanced MM-Dibased 데이터셋을 제안합니다. 이럴 경우, 앞에서 언급했듯이 기존의 데이터셋에서는 성능 향상을 보인 방법론들이 MM-Debiased 데이터셋에서는 성능이 하락하는 모습을 확인할 수 있습니다.

위의 결과를 바탕으로 먼저 sample에서 기여도가 낮은 modality의 효과를 분석한 결과, 이러한 modality의 존재가 잠재적으로 multimodal model이 특정 modality로 collapse될 위험을 증가시킬 수 있음을 논문의 저자는 발견했습니다. 이러한 문제를 완화하기 위해 단일 modality 변별 능력과 기여도 간의 상관관계를 분석한 결과, 학습 중에 기여도가 낮은 modality의 변별 능력을 향상시키면 sample에서 contribution을 간접적으로 향상시킬 수 있으며. 이에 따라 multimodal cooperation을 강화할 수 있다는 사실을 발견했습니다. 이를 바탕으로 논문의 저자는 modality 간의 기여도 불일치를 기반으로 sample에서 기여도가 낮은 modality를 집중적으로 학습하는 방법을 제안합니다. 구체적으로 먼저, Shapley 기반으로 modality valuation metric을 통해 sample-level에서 단일 modality의 기여도를 평가합니다. 그런 다음, 기여도가 낮은 것으로 확인된 modality의 입력은 dynamical frequency로 re-sampling하여 변별력을 향상시킵니다.

본 논문의 contribution을 정리하면 아래와 같습니다.

[논문 리뷰][CVPR 2024] Enhancing Multimodal Cooperation via Sample-level Modality Valuation

먼저, 책 저자가 아닌 글 작성자에 대해서 소개하자면 공학 계열로 대학원을 다니고 있는 대학원생으로서 GPT를 굉장히 많이 접하는 분야를 연구하고 있다. 이 때문에 시중에 나온 GPT 관련 책은 '연구도 하고 있는 내가 더 잘아는데 왜 읽어?'하는 굉장히 시니컬하면서 무지한 생각으로 읽지 않았다.

그런데, 조금 더 책이랑 친해지고 싶었고, 이런 마음에 전자책이나 실컷 읽어보자는 생각에 밀리의 서재를 구독하면서 이전에 마주했던 이 책이 눈에 띄었다. GPT 책에 대해서 편견이 있음에도 불구하고 바로 읽게 되었다.

책의 앞부분을 읽자마자 알아버렸다. '난 정말 우물 안의 개구리였구나? 괜히 책으로 나오는게 아니구나!'라는 생각이 제일 먼저 들었다.

이 책은 단순히 챗GPT로 영어를 공부하는 책이 아니다. 책의 제목이 "챗GPT 영어 질문법"인데, 여기서 key point는 바로 "질문"을 다룬다는 것이다.

"질문"을 다루기 때문에 이 책은 영어 공부하기 위해서는 "좋은 질문"을 해야만 한다는 내용을 강조한다. 이 부분을 굉장히 논리적으로 설명하였는데, 사실 이러한 내용은 챗GPT에만 해당하는 것이 아니다. 어떠한 모든 것을 공부할 때도 “좋은 질문에는 좋은 대답이 따라온다”는 말은 언제나 통용되는 사실이다.

좋은 질문을 하기 위해서는 내가 원하는 바가 무엇인지 확실히 알아야한다. 이 부분이 가장 공감이 되었던 책이었던 것 같다. 실제로 나는 이러한 부분이 부족해 내가 논문을 읽을 때 어디가 이해가 되는지 안 되는지 파악도 제대로 하지 못했다. (사실 아직도 그러는거 같지만..... 계속 나아지겠지라는 생각으로 공부하는 거라 생각한다)

앞 부분에 질문을 하기 위한 내용 외에는 챗GPT 프롬프트 관련한 내용이었지만 영어 공부도 할 겸, 질문 하는 법도 배울 겸, 챗GPT도 잘 쓰고 싶다면 이 책을 추천하고 싶다.

지금은 챗GPT를 사용할 때 한국어가 아닌 영어로 프롬프트를 작성하여 질문한다. 대답이 이전보다 더 디테일해진 것 같은 느낌은 들지만, 영어 실력 자신감 향상에 큰 도움이 된다. 챗GPT는 사용자가 틀린 문법으로 구성된 영어로 질문한다고 해서 영어 실력에 대해서 질타하거나 부정적인 뉘앙스를 풍기지 않는다. 내가 영어로 작성하는 프롬프트가 비록 틀린 문법이고, 적절한 영어 단어가 사용된 문장이 아닐지언정, 챗GPT는 잘 알아듣고 친절히 설명해준다.

이 책을 읽으면서 영어에 겁을 먹지 않게 된 것 같다. 다들 영어로 질문하는 연습을 챗GPT로 해보길 바라며 서평을 끝내보고자 한다.

[서평] 챗GPT 영어 질문법

안녕하세요. 정말 따근따근한 MER (Multimodal Emotion Recognition)논문을 들고 왔습니다. arXiv에 6월에 등록된 논문으로 EMER과 마찬가지로 under review 중에 있는 논문입니다. 새로운 MER 분야로 찾아보게 되니 아직 under review인 논문을 위주로 읽게 되는거 같습니다 그만큼 최신 연구 분야라고 생각해주시면 감사하겠습니다.

본 논문은 제목에서 알 수 있듯이 LLaMA를 이용해서 EMER 데이터셋으로 성능을 보는 논문 중에 하나로, 새로운 데이터셋을 제안할뿐만 아니라 다양한 데이터셋에서 높은 성능을 달성한 모델 또한 제안하는 논문입니다. 그럼 리뷰 시작하도록 하겠습니다!

<1.Introduction>

많은 unimodal model이 감정 인식을 굉장히 잘하고 있고 연구 또한 활발히 진행되고 있습니다. 하지만 real-worold emotion data는 주로 text, audio, images로 구성된 multimodal로 구성되어 있기 때문에 더 정확한 감정인식을 위해서는 MER (Multimodal Emotion Recognition)을 수행할 필요가 있습니다.

본 논문에서는 기존의 대부분의 연구들이 여러 modality에서 feature를 추출해서 fusion하는 feature interaction과 missing modality시에 다른 modality를 이용하여 보완하는 modality completion에 주로 포커싱하여서 진행되고 있고, 사람의 감정 추론에 필요한 knowledge-level interaction에 대한 연구가 부족하다는 것을 지적합니다.

최근에는 이러한 reasoning을 할 때 Multimodal Large Languaage Models (MLLMs)을 이용하는 트렌드인데, 감정 인식에서는 이러한 MLLM을 사용하기 힘들다고 논문의 저자는 강조합니다. 그 예로 MLLM인 GPT-4V(GPT-4 with Vision)의 경우 여전히 2가지 문제점이 있습니다. 우선 첫번째로 audio를 처리하지 못한다는 것이고, micro-expression을 잘 인지하지 못한다는 것입니다.

논문의 저자는 MLLM이 위와 같은 문제를 가지고 있는 것의 원인으로 특화된 multimodal emotion instruction dataset이 부족한 것을 주요 요인이라 생각하였습니다. 텍스트, 영상, 오디오로 구성된 multimodal 데이터셋이 충분하지 못하기 때문에 오디오를 제대로 다루는 MLLM이 없는 것이고, 오디로를 다루는 MLLM이 있어도 미묘한 얼굴의 미세한 표정을 인식하기 어렵기 때문입니다. 이 때문에 real-world 시나리오에서는 제대로 감정 인식을 하기 어렵습니다.

위의 문제를 해결하기 위해서, 먼저 본 논문에서는 텍스트, 영상, 오디오를 모두 다루는 MLLM을 가능하게 하고 다양한 시나리오에서 학습하여 실제 application 단에서 일반화할 수 있도록 instruction tuning을 지원하는 MERR 데이터셋을 제안합니다. 여기에 추가로, emotion-specific encoder를 통해 오디오, 영상, 텍스트 입력을 통합하는 Emotion-LLaMA 모델을 제안합니다. Emotion-LLaMA에 instruction tunning을 사용하여 감정 인식의 정확도와 감정 추론의 수준을 크게 향상시켜 multimodal emotion recognition의 새로운 benchmark를 설정하고자 하였습니다.

위의 내용을 정리하여 본 논문의 contribution은 다음과 같습니다.

•

28,618개의 coarse-grained sample과 4,487개의 fine-grained sample로 구성된, MMER 데이터셋을 구축하였습니다. 여기에는 “doub”, “contempt”와 같은 미묘한 emotion category도 포함되어 있습니다.

•

emotion-specific encoder를 통해 텍스트, 영상, 음성을 입력으로 받아 감정을 인식하는 Emotion-LLaMA 모델을 제안합니다.

•

Emotion-LLaMA 모델 성능이 EMER, MER2023, DFEW 데이터셋에서 높은 성능을 달성하였습니다.

<2. Related Work>

•

Multimodal Large Language Models(MLLMs)

[논문 리뷰][arXiv 2024] Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning

안녕하세요! 이번에는 arXiv 논문을 가져와봤습니다. 2023년 논문이지만 6번의 수정있었고 최종적으로 2024년도ver6으로 읽었기 때문에 2024년도 논문이라 봐도 무방할 것 같습니다. 논문 페이지 하단에 under review라고 적혀있는거 보니 아직 심사중인 것 같습니다.

학회나 저널 논문이 아닌 arXiv인 이 논문을 읽은 이유는 쉽게 설명할 수 있는데요. Multimodal Emotion Recogntion(MER)에 관심이 있는 사람이라면 무조건 알아야하는 challenge가 있습니다. 이 challenge는 MER2023, MER2024로 2023년 시작으로 현재 MER2024가 진행되고 있는데요.

MER2023 challenge의 큰 컨셉은 Robust하게 MER을 수행해보자!가 컨셉인데요. 큰 컨셉 안에 세부 track을 나눠 challenge를 진행하게 됩니다. 이번 MER2024는 IJCAI와 ACM MM과도 함께 진행하는 것 같더라구요. 나중에 MER2025가 열리게 된다면 참여해서 논문까지 작성해보고 싶네요. 아무튼! 말이 길었습니다. 이번에 MER2024에 새롭게 추가된 track이 OV MER인데요. 바로 open vocabulary Multimodal Emotion Recognition입니다.

이 track이 어떻게 생겼나 살펴보니 지금 제가 리뷰하는 논문이 인용이 되어 있었고, 본 논문에서 새로운 EMER이라는 task를 제안하는 것을 확인하였습니다. MER2024는 본 논문을 기반으로 EMER task를 OV MER track으로 지정한 것이죠. 이런 이유가 있으니 안읽어볼 이유가 없겠다는 생각에 바로 읽기 시작했습니다. (나중에 MER2024가 어떤 형식으로 이뤄지는지 baseline은 어떻게 구성되어있는지 정리해보는 것도 좋을 것 같습니다.)

자, 그럼 리뷰 시작하도록 하겠습니다!

<1. Introduction>

인공지능이 발전하고 이를 사람들이 많이 사용하면서, 사람과 밀접한 관련이 있는 감정 인식도 덩달아 활발히 연구가 진행되었습니다. 감정 인식의 연구를 크게 두 가지로 나눠 살펴보면 ‘어떻게 크고 더 현실적인 데이터셋을 모으는가’와 ‘얼마나 효과적인 아키텍쳐를 만들 수 있을까’로 나눠 진행된다고 보면 됩니다. 하지만 논문의 저자는 이 두가지에 집중하기 보다는 감정의 라벨에 대해서 집중하였습니다. 바로, 감정의 라벨이 모호하다는 것이죠.

감정의 라벨이 모호하다는 의미에 대해서 좀더 말해보겠습니다. 동일한 상황에서 사람은 동일한 감정을 느끼지 않습니다. 사람은 감정을 주관적으로 느끼기 때문에 감정 데이터셋을 라벨링 할 때도 주관적으로 라벨링 되었을 확률이 높습니다. 그리고 이러한 주관적으로 라벨링된 감정 라벨은 일관성이 없을 뿐더러 신뢰하기도 어렵습니다. 여기에 이를 기반으로 연구된 수많은 모델이 실제로 real-world에서 잘 작동할 것이라는 생각은 당연히 하기 어렵습니다.

그렇다면 감정 데이터셋은 주관적인 감정 라벨링을 막기 위해서 어떤 기법을 사용했을까요? 한 샘플에 대해서 감정을 라벨링한다고 했을 때 한 사람이 annotation하는 것이 아닌 여러 사람이 annotation을 하게 합니다. 그리고 여러 사람이 동시에 한 샘플에 대해서 annotation을 하면 거기서 가장 많이 선정된 감정을 라벨로 가져가게 되는 것이지요. MER에서 유명한 데이터셋인 IEMOCAP 또한 이러한 방식으로 감정을 라벨링하였습니다. 그런데 이렇게 라벨링할 경우, 라벨 목록에 없는 감정은 무시될 수 있고, 다수결로 선정하기 때문에 적게 선정된 감정 또한 무시될 수 있습니다. 이 때문에 감정 라벨이 부정확하게 라벨링 될 수 있는거죠.

그래서 본 논문의 저자는 신뢰할 수 있으면서도 미묘한 감정도 다루기 위해서 Explainable Multmodal Emotion Recognition (EMER)이라는 새로운 task를 제안합니다. 기존의 감정인식의 경우 sad, neutral, happy와 같이 각 샘플에 대해서 어떤 감정이라는 결과만 알려줬다면, EMER은 이러한 예측을 어떻게 하게 되었는지에 대한 설명을 제공합니다. 각 감정에 대해서 어떻게 식별했는지를 설명함으로써 라벨링의 신뢰성을 올릴 수 있습니다. 여기에 추가로, Large Language Model (LLM)의 추론 능력을 이용해서 unimodal의 clue를 명확히 하고 기존 보다 풍부한 감정 category로 포괄적인 multimodal description을 생성할 수 있습니다.

또 여기서 EMER이라는 task를 살펴보면 단순히 explainable만 붙은게 아니라 multimodal이라는 단어가 붙은 것을 볼 수 있습니다. 논문의 저자는 감정이 얼굴의 미세한 표정이나 제스쳐, 운율 같이 다양한 모달리티를 통해서도 표현되는 것에 집중하였습니다. 이에 EMER은 감정 관련 task를 다룰 수 있는 공토 포맷을 제공하여 multimodal clue를 통합해서 더 정확한 감정 라벨을 생성하는 것을 목표로 합니다. 공통 포맷은 감정을 인식할 때 다양한 clue(운율이나 얼굴 표정.. etc)를 통합하여 일관된 방식으로 설명하는 방법이라고 이해하시면 됩니다.

그리고 마지막으로 감정은 복잡하기 때문에 기존의 데이터셋처럼 label space를 몇 가지 category로 제한하는 경우, annotator가 생각하는 감정이 label space에 없을 수도 있습니다. 이에 반해 EMER은 label space를 제한하지 않고 open-vocabulary 방식으로 더 풍부하게 label을 생성할 수 있습니다.

[논문 리뷰][arXiv 2023] Explainable Multimodal Emotion Recognition

안녕하세요! 벌써 2024년도 하반기가 찾아왔습니다. 시간을 붙잡고 싶어도 붙잡을 수 없다는 것이 한탄일 정도로 너무나도 빠르게 시간이 흐르는 것 같습니다. 이번 상반기는 정말 많은 것을 배우고 성장할 수 있었던 기간이었던 것 같습니다. 사실 주저리주러리 작성한 경향이 없잖아 있는데 조금더 솔직하게 작성하고자 약간 말하는 형식을 기존과는 다르게 바꾸어 작성해봤습니다. 제 속마음이 너무 많이 들어가 있어 조금 부끄럽기도 하네요. 그럼 시작하겠습니다.

연구 주제를 정하는 과정에서 과거의 나에게 많은 감사를 표했다. 연구 과제를 수행하면서 감정 인식과 관련이 있다면 읽었던 논문, 멀티모달을 다루며 읽었던 논문, 주제가 재밌어 보여서 읽었던 논문들이 모여서 내가 무엇에 관심이 있는지를 파악할 수 있었고 덕분에 연구 주제를 빨리 정할 수 있었던 것 같다. 이 때문에 이제는 논문을 읽을 때 이 논문을 시간을 들여서 읽었는데 얻은게 없으면 어떡하지 라는 걱정 없이 읽을 수 있게 된것 같다.

연구 주제를 정하고 가설을 세운 뒤 이를 증명하고자 실험을 할 때는 내가 논리적으로 생각하고 있는지를 확인하는 것에 가장 초점을 맞추었던 것 같다. 과거에 논문 작성을 목표로 실험을 진행했을 때는 논리적으로 비약이 있거나 실험에 문제가 있다거나 하는 크리티컬한 부분을 인지하지 못하고 진행했었는데, 이번에는 정말로 그때의 실수를 번복하고 싶지 않았고, 이 때문에 나의 행동에 대해서 굉장히 점검을 많이 했던 것 같다. 내 가설이나 실험에 대해서 스스로 객관적이지 않다는 생각이 들면 바로 주변의 연구원에게 생각을 공유하여 확인을 받았고 이 덕분에 이번에는 논리적으로 행동한 부분이 많았던 것 같다. (이 자리를 빌려 주변의 연구원인 홍주영 연구원님과 천혜원 연구원에게 감사를 표한다.) 물론 아직도 부족한 부분은 많다고 생각하지만 과거에 비해서 나아진 것처럼 계속 이렇게 노력하면 더 나아지지 않을까 생각한다.

연구 주제를 정하고 실험을 하는 과정에서 성능을 어떻게 올리는지에 대해서 굉장히 많은 고심과 실패를 했다. 내 가설이 왜 워킹하지 않는지, 다른 방법론은 왜 성능이 올랐는지, 그 차이를 확인하고자 했고 이 과정에서 내 연구와 비슷한 주제를 다루는 대부분의 논문을 읽게 된 것 같다. 과거에는 논문을 읽는데 정말 많은 시간이 요구되었는데 지금은 비슷한 주제의 논문을 많이 읽게 되어서 그런건지 모르겠지만 정말 논문을 읽는 속도가 빨라졌다. 그리고 내 방법론과 뭐가 다른지에 집중하여 읽게되니 본 논문이 어필하는 바가 무엇인지 파악하기도 쉬워졌다. 빠른 리딩 속도로 인해 조금 과장해서 2023, 2024 논문 중에서 counterfactual 사용하는 논문은 거의 다 읽은 거 같았다. 많은 논문을 읽으며 인사이트를 많이 얻은 덕분인지 굉장히 낮은 성능에서 시작했던 실험이 점점 성능이 올라가는 것이 보였다. 하지만 여전히 논문을 내기에는 부족한 성능이었다.

점점 시간이 지나면서 3월이 되고, 4월이 되고 5월이 되었다. 이 와중에 많은 실험을 했고 다양한 논문도 많이 참고했다. 그런데도 논문을 작성할 수준의 성능 향상이 보이지 않았다. 3월, 4월에는 열심히 한다고 생각했는데 이게 결과로 보이지 않아 속으로 나에 대해서 많이 실망하였다. 남들과 비교하는 것이 좋은 행위가 아님을 알지만 살다보면 주변 연구원들의 소식이 아주 자연스럽게 들리기 때문에 더욱 나에게 실망하게 되는 점은 어쩔 수 없는 부분이었던 것 같다. 이 과정에서 나에 대해서 굉장히 많이 의심을 하게 되었다.

‘내가 연구하고 있는 것이 사실은 쓸모 없는거 아닐까?, 나는 역시 연구원을 하면 안되는 건가? 나는 왜케 부족하지?’ 등등 나를 자책하는 말과 함께 1월, 2월 동안 잘 유지했던 생활습관 또한 무너저 버리는 상황이 생겼다. 점점 출근도 늦게하게 되고 택시비로 2만원을 태우면서 마음도 통장도 불편한 상황이 계속 연출되었다. 지금 다시 생각해보면 연구하고 있는 이 상황이 버거웠던 것 같다. 연구 주제는 잡았고 실험은 계속 하고 있지만 성과는 안나오고, 근데 그 와주에 논문은 쓰고 싶고… 변명이지만 계속 회피하고 싶었던 마음에 늦게 자고 늦게 일어나고 x-review도 안쓰거나 늦게 쓰고…. 생활 습관이 다시 엉망이 되었다.

다시 엉망이 되었지만 교수님과 주변 사람들 덕분에 다시 정신 차리기로 했다. 근데 마음 속에서는 거의 반포기 상태여서 열심히는 하지만 성과는 못내겠지라는 생각이 계속 있었다. 그때 당시에는 이런 생각이 있었던거 같다. 어차피 망할거 연구 실~~~컷 해보고 망해보자. 그런데 계속 실험하면서 연구하나보니 너가 이기냐 내가 이기냐 하는 오기도 생기게 되었다. 그리고 점점 방법론을 적용해가면서 올라가는 성능을 보면서 나도 모르게 욕심이 났다. 근데 정말 신기하게도 긍정적으로 마음을 먹고 실험을 하면서 계속 욕심을 내니 처음으로 의미있는 성능 향상을 보였다. 누군가에게는 겨우? 이겠지만 성능 향상한 수치를 보면서 속으로 감격한 기억이 난다.

정말 다행스러웠던 부분은 NPU 과제는 매달 월례회의가 있는데, 4월 5월 회의를 하면서 방법론에 대해서 어필했다면 6월 회의 때는 이제는 정말로 성능을 리포팅 했어야 했다. 성능이 오르지 않아 정말 정말 조급한 마음이 있었는데 타이밍 맞춰 성능이 향상되어 정말 기뻤다. 사실 미미한 성능 향상이였고 아직 연구가 진행 중이었기 때문에 6월 발표자료를 만드는데 부족한 부분이 많았다. 이와 관련하여서 교수님께 피드백을 받았는데 부족한 부분에 대해서 지적받았으니 주늑들 법도 한데 정말 신기하게도 더 연구에 욕심이 생기는 것 같았다. 이제는 정말 연구원 다운 연구원이라는 것이 되가는 것인 걸지도 모르겠다.

이렇게 상반기를 연구에 올인하면서 지낸것 같다. 내가 이렇게 연구에 집중할 수 있었던 것은 교수님과 연구실의 연구원분들의 많은 배려 덕분이라 생각한다. 아직 실험을 멈춘것이 아니기 때문에 더욱 성능 향상을 해 최종적으로 논문을 투고하여 성과라는 것을 내어 연구실에 도움이 되고 싶다.

2024년 상반기 회고

Juyeon’s Research Blog

1. 실수하지 않으려면 시스템을 구축해야 한다.

2. 꾸준히 남의 코드를 보고 실행해보자

3. 내 방법론은 어떤 문제를 해결할 수 있을까? (성능 올리는 거 말고, 그래서 뭐를 할 수 있는데?)

<1. Introduction>

<Introduction>

<Method>

<2.Promblem Setup>

<1. Introduction>

<1.Introduction>

<2. Related Work>

<1. Introduction>

<연구와 관련하여>

<그 외 활동과 관련하여>