転移学習

転移学習（てんいがくしゅう、英: transfer learning）は、ある問題を解決する際に得た知識を蓄積し、関連する別の問題にそれを適用することに焦点を当てた機械学習の研究領域である^[1]。たとえば、乗用車を認識するために得た知識は、トラックを認識するためにも応用できるかもしれない。この研究領域は、学習転移（英語版）に関する長い歴史を持つ心理学の文献と何かの関係をもつが、2つの分野の実用的な結びつきは限定的である。実用的な面では、過去に学習した仕事の情報を新たな仕事の学習のために再利用または転送することで、強化学習手段のサンプル効率を大幅に改善することができる可能性がある^[2]。

1976年、Stevo BozinovskiとAnte Fulgosiは、ニューラルネットワークの学習における転移学習に明示的に取り組んだ論文を発表した^[3][4]。この論文では、転移学習の数学的および幾何学的モデルを示している。1981年には、コンピュータ端末の文字を表す画像のデータセットに対して、転移学習を適用してニューラルネットワークを学習させた研究が報告された。ポジティブとネガティブな両方の転移学習が実験的に実証された^[5]。

1993年、Lorien Prattは、機械学習における転移についての論文を発表し、識別性に基づく転移アルゴリズムを定式化した^[6]。

アンドリュー・ンは、NIPS 2016のチュートリアルで^[7][8][9]、転移学習は教師あり学習の次に機械学習の商業的成功の原動力になると述べ、その重要性を強調した。

転移学習の定義は、ドメインとタスクの観点から与えられる。ドメイン ${\displaystyle {\mathcal {D}}}$ は、特徴空間 ${\displaystyle {\mathcal {X}}}$ と周辺確率分布 ${\displaystyle P(X)}$ からなり、ここに ${\displaystyle X=\{x_{1},...,x_{n}\}\in {\mathcal {X}}}$ とする。特定のドメイン ${\displaystyle {\mathcal {D}}=\{{\mathcal {X}},P(X)\}}$ が与えられた場合、タスクは、ラベル空間 ${\displaystyle {\mathcal {Y}}}$ と、目標の予測関数 ${\displaystyle f:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$ の2つの要素から構成される。この関数 ${\displaystyle f}$ は、新しいインスタンス ${\displaystyle x}$ の対応するラベル ${\displaystyle f(x)}$ を予測するために用いられる。このタスクは、${\displaystyle {\mathcal {T}}=\{{\mathcal {Y}},f(x)\}}$ で示され、${\displaystyle x_{i}\in X}$、${\displaystyle y_{i}\in {\mathcal {Y}}}$ のペア ${\displaystyle \{x_{i},y_{i}\}}$ からなる学習データから学習される^[10]。

ソースドメイン ${\displaystyle {\mathcal {D}}_{S}}$ と学習タスク ${\displaystyle {\mathcal {T}}_{S}}$ 、ターゲットドメイン ${\displaystyle {\mathcal {D}}_{T}}$と学習タスク ${\displaystyle {\mathcal {T}}_{T}}$ が与えられ、ここで ${\displaystyle {\mathcal {D}}_{S}\neq {\mathcal {D}}_{T}}$、${\displaystyle {\mathcal {T}}_{S}\neq {\mathcal {T}}_{T}}$ の場合、転移学習の目的は、 ${\displaystyle {\mathcal {D}}_{S}}$ と ${\displaystyle {\mathcal {T}}_{S}}$ の知識を用いて、${\displaystyle {\mathcal {D}}_{T}}$ の対象の予測関数 ${\displaystyle f_{T}(\cdot )}$ の学習を改善することである^[10]。

マルコフ論理ネットワーク（英語版）^[11]やベイジアンネットワーク^[12]における転移学習のアルゴリズムが利用可能である。また、転移学習は、癌（がん）の亜類型の発見^[13]、建物運用^[14][15]、一般的なゲームプレイ（英語版）、文書分類^[16][17][18]、文字認識^[19]、医療画像、スパムフィルタリング^[20]にも応用されている。

2020年に、脳波記録（EEG）波形の動きをジェスチャー認識領域から精神状態認識領域へ分類するときに、その物理的性質が似ていることから、筋肉からの電気筋運動記録（EMG）信号間で転移学習が可能であることが発見された。また、この関係は逆にも作用し、脳波記録が筋運動記録をさらに分類できることも示された^[21]。この実験では、ニューラルネットワークおよび畳み込みニューラルネットワークの精度が、最初のエポック（学習前、つまり標準的なランダムな重み分布との比較）と漸近（学習プロセスの終了）の両方で、転移学習によって向上することが分かった^[22]。すなわちアルゴリズムは別のドメインに触れさせることで改善された。さらに、事前学習されたモデルの最終使用者は、完全結合層の構造を変更することで、より優れた性能を得ることができる^[23]。

コードに関する機械学習の領域では^[24]、転移学習がセキュリティ上の脆弱性を自動的に修復するのに役立つことが示されている^[25]。

• 組換え (遺伝的アルゴリズム)（英語版） - 2つの親の遺伝情報を組み合わせて新しい子孫を生成するために用いられる遺伝的演算子
• ドメイン適応 (機械学習)（英語版） - 機械学習や転移学習に関連する学問分野の一つ
• 一般的ゲームプレイ（英語版） - 1つ以上のゲームをうまくプレイできるように人工知能プログラムを設計すること
• マルチタスク学習（英語版） - タスク間の共通性と差異を利用しながら複数の学習タスクを同時に解決する機械学習の一分野
• マルチタスク最適化（英語版） - 複数の自己完結型タスクを同時に解決することに焦点を当てた最適化に関する概念
• ゼロショット学習（英語版） - 機械学習における問題設定の一つ

• Thrun, Sebastian; Pratt, Lorien (6 December 2012). Learning to Learn. Springer Science & Business Media. ISBN 978-1-4615-5529-2. https://books.google.co.jp/books?id=X_jpBwAAQBAJ