Qwen
Qwen(Tongyi Qianwen이라고도 함, 중국어: 通义千问)은 알리바바 클라우드에서 개발한 대형 언어 모델 계열이다. 2024년 7월 일부 벤치마크에서 최고의 중국어 모델로 선정되었고 앤트로픽과 오픈AI의 최고 모델에 이어 전 세계적으로 3위를 차지했다. 모델알리바바는 2023년 4월에 Tongyi Qianwen이라는 이름으로 Qwen 베타를 처음 출시했다. 중국 정부의 승인을 받은 후 2023년 9월에 공개적으로 출시되었다. 2023년 12월에 72B와 1.8B 모델을 오픈 소스로 출시했고, Qwen 7B는 8월에 오픈 소스로 출시되었다. 알리바바는 2024년 6월에 Qwen 2를 출시했고, 9월에 일부 모델을 오픈 소스로 출시했지만 가장 진보된 모델은 독점적으로 유지했다. Qwen 2는 다양한 전문가를 고용했다. 2024년 11월에 OpenAI의 o1과 유사한 추론에 초점을 맞춘 모델인 QwQ-32B-Preview가 Apache 2.0 라이선스에 따라 출시되었지만, 가중치만 출시되었고 데이터 세트나 학습 방법은 출시되지 않았다. QwQ는 32,000 토큰 컨텍스트 길이를 가지고 있으며 일부 벤치마크에서 o1보다 성능이 더 좋다. Qwen-Vl 시리즈는 비전 변환기와 LLM을 결합한 시각 언어 모델 라인이다. 알리바바는 20억 및 70억 매개변수의 변형이 있는 Qwen-VL2를 출시했다. Qwen-vl-max는 2024년 현재 알리바바의 주력 비전 모델이며 알리바바 Cloud에서 1,000개의 입력 토큰당 0.00041달러의 비용으로 판매된다. 알리바바는 Qwen-Audio 및 Qwen2-Math와 같은 여러 다른 모델 유형을 출시했다. 총 100개 이상의 모델을 오픈 소스로 출시했으며, 해당 모델은 4,000만 번 이상 다운로드되었다. 샌프란시스코에 본사를 둔 Abacus AI가 개발한 "Liberated Qwen"과 같이 열광적인 사람들이 미세 조정된 버전의 Qwen을 개발했다. 이 버전은 콘텐츠 제한 없이 모든 사용자 요청에 응답한다. 알리바바는 2025년 1월에 Qwen 2.5-Max를 출시했다. 알리바바의 블로그 게시물에 따르면 Qwen 2.5-Max는 주요 벤치마크에서 GPT-4o, DeepSeek-V3, Llama-3.1-405B 등 다른 기반 모델보다 우수한 성능을 발휘한다. 외부 링크
|
Portal di Ensiklopedia Dunia
