멀티모달 학습

기계 학습과 데이터 마이닝
패러다임 지도 학습 비지도 학습 온라인 기계 학습 메타-학습 준지도 학습 자기 지도 학습 강화 학습 규칙 기반 기계 학습 뉴로모픽 엔지니어링 양자 기계 학습
문제 분류 생성 모델 회귀 분석 클러스터 분석 차원 축 이상 탐지 데이터 정제 AutoML 연관 규칙 학습 구조 기반 예측 특징 공학 특징 학습 순위 학습 문법 유도 온톨로지 학습 멀티모달 학습
지도 학습 (통계적 분류 • 회귀 분석) 결정 트리 학습법 앙상블 학습법 배깅 부스팅 랜덤 포레스트 최근접 이웃 탐색 k-NN 선형 회귀 나이브 베이즈 인공신경망 로지스틱 회귀 퍼셉트론 상관 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터 분석 BIRCH CURE 알고리즘 계층적 군집화 k-평균 알고리즘 퍼지 클러스터링 기댓값 최대화 알고리즘 DBSCAN OPTICS 평균이동
차원 축소 인자 분석 CCA 독립 성분 분석 선형 판별 분석 음수 미포함 행렬 분해 주성분 분석 t-SNE
구조적 예측 그래프 모형 베이즈 네트워크 조건부 무작위장 은닉 마르코프 모형 잠재 디리클레 할당
이상 탐지 무작위 표본 합의 k-최근접 이웃 알고리즘 국소 특이점 요인 고립 포레스트
인공 신경망 오토인코더 딥 러닝 순방향 신경망 순환 신경망 LSTM GRU 볼츠만 머신 제한된 생성적 적대 신경망 확산 모델 자기조직화 지도 합성곱 신경망 U-Net LeNet 알렉스넷 딥드림 신경장 신경 방사장 물리정보 신경망 트랜스포머 비전 맘바 스파이킹 신경망 멤트렌지스터 전기화학 RAM 다층 퍼셉트론
강화 학습 Q 러닝 SARSA 시간차 학습
인간 참여학습 액티브 러닝 크라우드소싱 휴먼인더루프 RLHF
모델 진단 결정계수 혼동 행렬 러닝 커브 수신자 조작 특성
수학적 이론 커널 메소드 편향-분산 트레이드오프 계산학습이론 경험적 위험 최소화 PAC 러닝 통계적 학습이론 VC 이론
회의/저널 NeurIPS ICML ICLR ML JMLR
관련 문서 기계 학습 알고리즘 목록 기계 탈학습 지식 증류 유사도 학습 대조 학습
v t e

멀티모달 학습( - 學習, 영어: multimodal learning)은 텍스트, 오디오, 이미지, 비디오와 같이 모달리티라고 불리는 여러 유형의 데이터를 통합하고 처리하는 딥 러닝의 한 유형이다. 이러한 통합은 복잡한 데이터에 대한 더 총체적인 이해를 가능하게 하여 시각 질문 응답, 교차 모달 검색,^[1] 텍스트-이미지 생성,^[2] 미적 순위 지정,^[3] 이미지 캡셔닝^[4]과 같은 작업에서 모델 성능을 향상시킨다.

구글 제미나이 및 GPT-4o와 같은 대규모 멀티모달 모델은 2023년 이후 점점 더 인기를 얻고 있으며, 다양한 활용성과 실제 현상에 대한 폭넓은 이해를 가능하게 한다.^[5]

데이터는 일반적으로 서로 다른 정보를 담고 있는 다양한 모달리티와 함께 제공된다. 예를 들어, 이미지 자체에 표현되지 않은 정보를 전달하기 위해 이미지에 캡션을 추가하는 것은 매우 일반적이다. 마찬가지로, 텍스트로는 분명하지 않을 수 있는 정보를 설명하기 위해 이미지를 사용하는 것이 더 간단한 경우도 있다. 결과적으로, 유사한 이미지에 다른 단어가 나타나면 이 단어들은 같은 것을 묘사할 가능성이 높다. 반대로, 단어가 겉으로는 비슷하지 않은 이미지를 묘사하는 데 사용되면 이 이미지들은 같은 객체를 나타낼 수 있다. 따라서 다중 모달 데이터를 다루는 경우, 모델이 다른 모달리티의 결합된 정보를 포착할 수 있도록 정보를 공동으로 나타낼 수 있는 모델을 사용하는 것이 중요하다.

볼츠만 머신은 1985년 제프리 힌턴과 테리 세즈노프스키가 발명한 확률적 신경망의 일종이다. 볼츠만 머신은 홉필드 네트워크의 확률적, 생성적 대응물로 볼 수 있다. 이들은 통계 역학의 볼츠만 분포의 이름을 따서 명명되었다. 볼츠만 머신의 단위는 가시 단위와 숨겨진 단위의 두 그룹으로 나뉜다. 각 단위는 활성화되었는지 여부를 나타내는 이진 출력을 가진 뉴런과 같다.^[19] 일반 볼츠만 머신은 모든 단위 간의 연결을 허용한다. 그러나 일반 볼츠만 머신을 사용하여 학습하는 것은 머신의 크기에 비례하여 계산 시간이 기하급수적으로 증가하기 때문에 비실용적이다. 다음 섹션에서 설명할 더 효율적인 아키텍처는 제한된 볼츠만 머신이라고 불리며, 여기서는 숨겨진 단위와 가시 단위 사이에서만 연결이 허용된다.

멀티모달 딥 볼츠만 머신은 이미지 및 텍스트와 같은 다양한 유형의 정보를 동시에 처리하고 학습할 수 있다. 이는 각 모달리티(예: 이미지용 하나, 텍스트용 하나)에 대해 별도의 딥 볼츠만 머신을 추가 최상위 숨겨진 계층에서 연결함으로써 특히 가능하다.^[20]

멀티모달 기계 학습은 다양한 영역에서 수많은 응용 분야를 가지고 있다:

• 교차 모달 검색: 교차 모달 검색은 사용자가 다른 모달리티(예: 텍스트 설명을 기반으로 이미지 검색)에서 데이터를 검색할 수 있도록 하여 멀티미디어 검색 엔진 및 콘텐츠 추천 시스템을 개선한다. CLIP과 같은 모델은 데이터를 공유 공간에 임베딩하여 효율적이고 정확한 검색을 용이하게 하며, 제로샷 설정에서도 강력한 성능을 보여준다.^[21]
• 분류 및 누락 데이터 검색: 멀티모달 딥 볼츠만 머신은 서포트 벡터 머신 및 잠재 디리클레 할당과 같은 전통적인 모델보다 분류 작업에서 뛰어난 성능을 보이며, 이미지 및 텍스트와 같은 멀티모달 데이터 세트에서 누락된 데이터를 예측할 수 있다.
• 헬스케어 진단: 멀티모달 모델은 의료 영상, 유전체 데이터 및 환자 기록을 통합하여 진단 정확도와 조기 질병 감지, 특히 암 검진을 개선한다.^[22][23][24]
• 콘텐츠 생성: DALL-E와 같은 모델은 텍스트 설명을 기반으로 이미지를 생성하여 창작 산업에 이점을 제공하며, 교차 모달 검색은 동적 멀티미디어 검색을 가능하게 한다.^[25]
• 로봇공학 및 인간-컴퓨터 상호 작용: 멀티모달 학습은 음성, 시각, 촉각과 같은 감각 입력을 통합하여 로봇공학과 AI의 상호 작용을 개선하고, 자율 시스템 및 인간-컴퓨터 상호 작용에 도움을 준다.
• 감정 인식: 시각, 오디오, 텍스트 데이터를 결합하여 멀티모달 시스템은 감정 분석 및 감정 인식을 향상시키며, 고객 서비스, 소셜 미디어 및 마케팅에 적용된다.

• 홉필드 네트워크
• 마르코프 네트워크
• 마르코프 연쇄 몬테카를로