線形分類器

線形分類器（英: Linear classifier）は、特徴の線形結合の値に基づいて分類を行う確率的分類器である。機械学習において、分類は項目群を特徴値に基づいてグループに分類することを目的とする。

分類器への入力特徴ベクトルが実数ベクトル ${\displaystyle {\vec {x}}}$ であるとき、出力のスコアは次のようになる。

${\displaystyle y=f({\vec {w}}\cdot {\vec {x}})=f\left(\sum _{j}w_{j}x_{j}\right)}$

ここで、${\displaystyle {\vec {w}}}$ は重み付けの実数ベクトル、f は2つのベクトルのドット積を必要な出力に変換する関数である。重み付けベクトル ${\displaystyle {\vec {w}}}$ はラベル付き訓練例で学習することで変化していく。f はあるしきい値以上の値を第一クラスに分類し、それ以外を第二クラスに分類するといった単純な関数であることが多い（二項分類）。より複雑な f としては、ある項目があるクラスに属する確率を与えるものなどがある。

二項分類問題は、高次元の入力空間を超平面で分割する操作として視覚化できる。その超平面の一方の側にある点は分類において "yes" とされた点であり、もう一方の側にある点は "no" とされた点である。

線形分類器は、特に ${\displaystyle {\vec {x}}}$ が疎であるとき最も高速な分類器であるため、分類の速度が重要な場合に使われることが多い。ただし、決定木の方が速い場合もある。また、線形分類器は ${\displaystyle {\vec {x}}}$ の次元が大きいときにうまく機能する。例えば、文書分類において ${\displaystyle {\vec {x}}}$ の各要素は文書における個々の単語の出現回数などになる。そのような場合、線形分類器は正則化されているべきである。

線形分類器 ${\displaystyle {\vec {w}}}$ のパラメータを決定する方法には、生成的モデルと識別的モデルという2つの大分類がある^[1][2]。1番目の生成的モデルは、条件付き確率 ${\displaystyle P({\vec {x}}|{\rm {class}})}$ をモデル化したものである。そのようなアルゴリズムの例として次のようなものがある。

• 線形判別分析 (LDA) - 正規分布モデルかつ等分散性を仮定する。
• 単純ベイズ分類器 - 独立二項分布モデルを仮定する。

2番目の識別モデルは、訓練例（英語版）の出力の品質を最大化しようとするものである。訓練コスト関数に項を追加することで、最終モデルの正則化を容易に行うことができる。線形分類器の識別的な訓練例として次のようなものがある。

• ロジスティック回帰 - 観測された訓練例が分類器の出力に依存した二項分布モデルで生成されたものと見なし、${\displaystyle {\vec {w}}}$ を最尤推定する。
• パーセプトロン - 訓練例の学習時に発生した全ての誤りを正そうとするアルゴリズム
• 線形サポートベクターマシン - 判断超平面と訓練例との間の余白を最大化するアルゴリズム

なお英語でいうと、線形判別分析（Linear Discriminant Analysis）と識別モデル（Discriminative Model）は関連がありそうだが、上のように分類されている。LDAは主成分分析（Principal Component Analysis、PCA）との対比で意味を持つ名前である。LDAは教師あり学習アルゴリズムであり、PCAは教師なし学習アルゴリズムである。^[3]

識別訓練は条件付き確率分布をモデル化する方式よりも正確であることが多い。しかし、欠落データの扱いは条件付き確率分布モデルの方が容易なことが多い。

上述の線形分類器のアルゴリズムはいずれも、カーネルトリックを使って、異なる入力空間 ${\displaystyle \varphi ({\vec {x}})}$ 上の非線形アルゴリズムに変換できる。

• 二次分類器
• 分類 (統計学)

1. Y. Yang, X. Liu, "A re-examination of text categorization", Proc. ACM SIGIR Conference, pp. 42-49, (1999). paper @ citeseer
2. R. Herbrich, "Learning Kernel Classifiers: Theory and Algorithms," MIT Press, (2001). ISBN 0-262-08306-X

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
記述統計学	連続データ 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック–ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	相関係数 ピアソンの積率相関係数 スピアマンの順位相関係数 ケンドールの順位相関係数 偏相関係数 その他 自己相関 空間的自己相関 相互相関 交絡変数 相関関係と因果関係 擬似相関 錯誤相関
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 回帰木 ランダムフォレスト ニューラルネットワーク サポートベクター回帰 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法（k-means++法） DBSCAN 密度推定（英語版） カーネル密度推定（カーネル） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉図 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存時間分析	生存時間関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ