メーリングリストの皆様
タイトルの日付が間違っておりました。お詫びし、訂正いたします。
吉野 元@阪大サイバー
------------------------------------------------------------------------------------
2016年12月5日(火) 10:00 - 大阪大学豊中キャンパス サイバーメディアセンター6F
セミナー室
http://www.cp.cmc.osaka-u.ac.jp
「一般化線形モデルにおける近似的交差検証法」
小渕 智之氏 (東工大 情報理工学院 数理・計算科学系)
交差検証法（Cross validation, CV）は、統計/学習モデルにおける
ハイパーパラメータ選択のための一般的枠組みである。
与えられたデータをトレーニングセットとテストセットに分け、
トレーニングセットでモデルを鍛え、テストセットに対して予測をし、
その予測の良し悪しを吟味するのがCVである。
この方法は汎用的だが、データを分割した分だけ
モデルのトレーニングを繰り返す必要があるので
計算量的なボトルネックが有る。
CVはスピングラス理論におけるCavity法と相性が良い。
系から１つ相互作用を抜いたときの磁化（Cavity磁化）と
全相互作用が有る時の磁化（フル磁化）の関係性を
線形応答的に結びつけるとTAP方程式が出てくる。
TAPではCavity磁化からフル磁化を導出するが、
逆に使うとフル磁化からCavity磁化を計算することも出来る。
実は、Cavity磁化はテストセットが単一データ点の場合のCV
（Leave-one-out CV) における最適解に相当するので、
これによりトレーニングの繰り返しをすることなく、
フル系の情報だけでCVを（近似的に）実行することが出来る。
最近このアイデアの元、L1正則化付き多項ロジスティックモデルにおける
近似的交差検証法の公式を導出したのでこれを紹介する[1]。
多項ロジスティックモデルとは、主に多クラス分類に用いられる
回帰モデルで、インプットデータの線形和を入力とする
ある種の一般化線形モデルである。
講演ではCavity法を用いた導出も含めてお話する予定である。
[1] Tomoyuki Obuchi and Yoshiyuki Kabashima: arxiv:1711.05420