この項目では、大規模言語モデルについて説明しています。その他のラマについては「ラマ 」をご覧ください。
Llama 4を搭載したMeta AI Imagineによって生成された画像の例。プロンプトは「A representation of Meta AI and Llama」。 Llama （ラマ、Large Language Model Meta AI）は、Meta が開発している大規模言語モデル （LLM）および小規模言語モデル （SLM）である[ 4] [ 5] Transformer アーキテクチャを採用している。
名称は当初はLLaMAだったが、2023年7月18日のLlama 2のリリースの際にLlamaに変更になった[ 6] [ 7]
LLaMAの開発者の論文[ 1] Billion のBを使って「7B」と書くことがある。以下同様。）から650億パラメータ（65B）まで、いくつものサイズのモデルが作られた。LLaMA-13Bの性能は、GPT-3 -175BをほとんどのNLP ベンチマークで上回る。そして、LLaMA-65Bの性能は、Google のPaLM -540BやDeepMind のChinchilla （英語版 ）
LLaMAの開発者は、パラメータの数ではなく、トレーニングデータの量を増やすことで、モデルの性能を上げることに注力した。
これは、トレーニングプロセスの計算コストより、トレーニング済みモデルによる推論のコストの方が支配的であるためである。
初代のLLaMAは、下記のような公開データソースから抽出した1.4兆個のトークンで学習した。
LLaMAは、2023年2月24日、ブログ投稿と論文により発表された。[ 1]
それまでは、ほとんどの強力な大規模言語モデルは制限のある API を通じてしかアクセスできなかった。Metaは、LLaMAのモデルで学習の結果得られたパラメータを内部管理し、「世界中の学術研究者、政府・市民社会・学術機関の関係者、産業界の研究所にケースバイケースで許可」として、研究コミュニティにだけ非商用ライセンスで利用許可する方針とした。
ところが2023年3月2日、LLaMAのリリースから1週間でその学習済みパラメータが漏れ、4chan 経由で拡散されてしまった[ 8]
バージョンごとにライセンス条項が異なる。
Llama 2のモデルのトレーニングに使用されたコードは、オープンソースのGPLv3 ライセンスで公開された[ 9]
Llama 3.1～3.3などのライセンスは、ホームページではオープンソース と書かれているが、月間7億アクティブ・ユーザーがいる企業の場合はMetaの利用許可の取得が必要とするなどの条項があるため[ 10] ソースアベイラブル である。[ 11]
訓練データは非公開だが、公開データソースに独自のデータを混ぜた物である。
名称
リリース日
パラメータ
学習コスト (ペタFLOP日)
コンテキスト長 (トークン)
コーパスサイズ (トークン)
商業利用
LLaMA
2023年2月24日
6,300[ 12]
2048
1–1.4T
No
Llama 2
2023年7月18日[ 13]
21,000[ 14]
4096
2T
部分的（制限あり）
Code Llama
2023年8月24日[ 15]
Llama 3
2024年4月18日[ 16]
100,000[ 17] [ 18]
8192
15T
Llama 3.1
2024年7月23日[ 19]
440,000[ 20]
128,000
Llama 3.2
2024年9月25日[ 21]
128,000[ 24]
9T
Llama 3.3
2024年12月7日
128,000
15T
Llama 4
2025年4月5日[ 7]
Llamaの派生モデルは多数あり、Hugging Face などでその学習済みパラメータが公開されている。
Alpaca
スタンフォード大学 の基盤モデル研究センター（Center for Research on Foundation Models, CRFM）は、2023年3月13日、初代のLLaMA-7Bをファイン・チューニング した、Alpaca をリリースした[ 25] [ 26]
訓練手法は、まず175個の入出力のペアのデータを作成し、OpenAIに$500支払い text-davinci-003 を使用して52,000個の訓練データに増やし、クラウドのGPUに$100支払いファインチューニングした。これにより text-davinci-003 と同程度の性能となった。なお、OpenAIはOpenAIのモデルを使用して訓練させることを禁止している。[ 25]
Stability AI
Stability AIは、2023年7月21日にLLaMA-65BをファインチューニングしたStable Beluga 1を、2023年7月27日にLlama 2 70BをファインチューニングしたStable Beluga 2を公開した。[ 27]
ELYZA LLM for JP
ELYZA（本社：東京都 文京区 ）は、2023年8月29日、Llama 2 7Bをベースに日本語性能を強化したELYZA-japanese-Llama-2-7bを公開[ 28] [ 29] [ 30]
サイバーエージェント は、2024年7月26日、Llama 3.1 70BをファインチューニングしたLlama-3.1-70B-Japanese-Instruct-2407を公開した[ 31]
Sakana AI
Sakana AI は、2024年8月2日、Llama-3-EvoVLM-JP-v2を公開した[ 32]
^ a b c “Introducing LLaMA: A foundational, 65-billion-parameter large language model ”. Meta AI (2023年2月24日). 2023年4月1日閲覧。
^ “Download Llama ”. 2025年1月15日閲覧。 ^ “llama-models/models/llama3_3/MODEL_CARD.md at main · meta-llama/llama-models ”. 2025年1月17日閲覧。 ^ Touvron, Hugo; Lavril, Thibaut; Izacard, Gautier; Martinet, Xavier; Lachaux, Marie-Anne; Lacroix, Timothée; Rozière, Baptiste; Goyal, Naman; Hambro, Eric; Azhar, Faisal; Rodriguez, Aurelien; Joulin, Armand; Grave, Edouard; Lample, Guillaume (2023). “LLaMA: Open and Efficient Foundation Language Models”. arXiv :2302.13971 cs.CL3 ]. ^ 株式会社インプレス (2024年9月26日). “Llama 3.2発表、スマホ向けの小規模モデルも ”. ケータイ Watch . 2025年5月18日閲覧。 ^ “llama 2 · meta-llama/llama@6d4c0c2 ”. 2025年1月15日閲覧。 ^ a b “Meta、ネイティブマルチモーダルAI「Llama 4」発表 最小モデルは「H100」1枚で利用可能 ”. ITmedia AI＋ (2025年4月6日). 2025年5月19日閲覧。
^ Vincent, James (2023年3月8日). “Meta's powerful AI language model has leaked online — what happens now? ”. The Verge . 2023年4月1日閲覧。 ^ llama - GitHub ^ “llama-models/models/llama3_3/LICENSE at main · meta-llama/llama-models ”. 2025年1月15日閲覧。 ^ “Llamaライセンス契約のオープンソースへの適合性について ”. Shuji Sado . 2025年1月15日閲覧。 ^ “The Falcon has landed in the Hugging Face ecosystem ”. huggingface.co . 2023年6月20日時点のオリジナルよりアーカイブ 。2023年6月20日閲覧。 ^ メリッサ・ヘイッキラ (2023年7月19日). “メタ、大規模言語モデル「Llama 2」を無料公開 オープンAIに対抗 ”. MIT Technology Review . 角川アスキー総合研究所. 2025年5月19日閲覧。 ^ “llama/MODEL_CARD.md at main · meta-llama/llama ” (英語). GitHub . 2024年5月28日時点のオリジナルよりアーカイブ 。2024年5月28日閲覧。 ^ “Meta、コーディング用生成AIモデル「Code Llama」リリース ”. ITmedia NEWS (2023年8月25日). 2025年5月19日閲覧。 ^ 樽井秀人 (2024年4月19日). “Meta、次世代大規模言語モデル「Llama 3」を発表、まもなく利用可能に ”. 窓の杜 . 2025年5月19日閲覧。 ^ “Andrej Karpathy (Apr 18, 2024), The model card has some more interesting info too ”. 2024年8月17日時点のオリジナルよりアーカイブ 。2024年10月20日閲覧。 ^ “llama3/MODEL_CARD.md at main · meta-llama/llama3 ” (英語). GitHub . 2024年5月21日時点のオリジナルよりアーカイブ 。2024年5月28日閲覧。 ^ 臼田勤哉 (2024年7月24日). “Meta、オープン/無料でGPT-4oを超える「Llama 3.1」公開 ”. Impress Watch . 2025年5月19日閲覧。 ^ “llama-models/models/llama3_1/MODEL_CARD.md at main · meta-llama/llama-models ” (英語). GitHub . 2024年7月23日時点のオリジナルよりアーカイブ 。2024年7月23日閲覧。 ^ “Meta、無料で商用可のLLM「Llama 3.2」リリース マルチモーダルモデルも ”. ITmedia News (2024年9月26日). 2025年5月19日閲覧。 ^ Robison, Kylie (2024年9月25日). “Meta releases its first open AI model that can process images ” (英語). The Verge . 2024年9月25日閲覧。 ^ Wiggers, Kyle (2024年9月25日). “Meta's Llama AI models get multimodal ” (英語). TechCrunch . 2024年9月25日時点のオリジナルよりアーカイブ 。2024年9月25日閲覧。 ^ “Archived copy ”. ai.meta.com . 2024年9月25日時点のオリジナルよりアーカイブ 。2024年9月26日閲覧。 ^ a b stanford alpaca - GitHub
^ Yizhong Wang; Yeganeh Kordi; Swaroop Mishra; Alisa Liu; Noah A. Smith; Daniel Khashabi; Hannaneh Hajishirzi (20 December 2022). “Self-Instruct: Aligning Language Model with Self Generated Instructions”. arXiv arXiv :2212.10560 ISSN 2331-8422 . Wikidata Q117202254 . ^ “Meet Stable Beluga 1 and Stable Beluga 2, Our Large and Mighty Instruction Fine-Tuned Language Models — Stability AI ”. Stability AI (2023年7月21日). 2025年1月16日閲覧。 ^ “Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc. ”. 2025年1月16日閲覧。 ^ “「GPT-4」を上回る日本語性能のLLM「Llama-3-ELYZA-JP」を開発しました ”. ELYZA (2024年6月26日). 2024年6月29日閲覧。 ^ “ELYZA、Llama 3.1ベースの日本語モデルを開発 ”. プレスリリース・ニュースリリース配信シェアNo.1｜PR TIMES . 2025年1月16日閲覧。 ^ “Xユーザーのサイバーエージェント 広報＆IRさん: 「【モデル公開のお知らせ】 Llama 3.1 70Bをベースに日本語データで追加学習を行ったLLMを公開しました。 今後もモデル公開や産学連携を通じて国内の自然言語処理技術の発展に貢献してまいります。 https://t.co/Kbo27kSSAK」 / X ”. 2025年1月16日閲覧。 ^ AI, Sakana. “進化的モデルマージによる視覚言語モデルの新たな能力の獲得 複数の画像を扱える日本語視覚言語モデルを公開 - Sakana AI ”. sakana.ai . 2025年1月17日閲覧。
.webp)
.svg){kind=small}
