파운데이션 모델

파운데이션 모델(foundation model)은 광범위한 사용 사례에 적용할 수 있도록 광범위한 데이터에 대해 훈련된 기계 학습 또는 딥 러닝 모델이다. 챗GPT 등의 대형 언어 모델과 같은 생성형 인공지능이 대표적인 파운데이션 모델이다.^[1] 스탠포드 인간 중심 인공 지능 연구소(HAI)의 파운데이션 모델 연구 센터(CRFM)가 이 용어를 만들고 대중화했다.^[2]

파운데이션 모델은 다양한 사용 사례를 지원할 수 있는 범용 기술이다. 파운데이션 모델을 구축하는 것은 리소스 집약적인 경우가 많으며, 가장 비싼 모델의 경우 기본 데이터 및 필요한 컴퓨팅 비용을 지불하는 데 수억 달러가 소요된다.^[3] 대조적으로, 특정 사용 사례에 맞게 기존 기반 모델을 조정하거나 직접 사용하는 것은 비용이 훨씬 저렴하다.

파운데이션 모델의 초기 예는 구글의 BERT^[4] 및 오픈AI의 "GPT-n" 시리즈와 같은 언어 모델(LM)이었다. 텍스트 외에도 이미지용 DALL-E 및 플라밍고,^[5] 음악용 뮤직젠(MusicGen),^[6] 로봇 제어용 RT-2^[7] 등 다양한 양식에 걸쳐 기반 모델이 개발되었다. 파운데이션 모델은 AI 개발의 광범위한 변화를 구성한다. 파운데이션 모델은 천문학,^[8] 방사선학,^[9] 유전체학,^[10] 음악,^[11] 코딩,^[12] 시계열 예측^[13] 및 수학^[14]을 위해 구축되고 있다.

• 인공 초지능