■第13回研究会(2005年3月12日(土)14:00--18:00 東京大学 工学部6号館)の講演概要
 
14:00--15:50『ブースティングにおける損失関数の設計』東京工業大学 金森敬文 氏
機械学習の分野で提案されているブースティングの統計的な側面について解説 する.ブースティングとは判別分析のための学習方法のひとつであり,サポー トベクターマシンなどとならんで実データに広く応用されている.ブースティ ングを用いることで,あまり性能が良くない学習機械を多数組み合わせて,判 別精度の良い判別機械を構成することができる.このような学習法は,損失関 数の座標降下法による逐次最適化として導出することができる.代表的なブー スティングのアルゴリズムであるアダブーストは,学習データがあまりノイズ を含まなければ,高い判別精度を達成できることが知られている.しかし外れ 値のようなノイズを含む学習データに対しては,ノイズの影響を受けて学習結 果が不安定になることが報告されている.本発表ではブースティングにおける 損失関数と統計モデルとの関係について解説し,ロバスト統計の手法を用いて 外れ値やミスラベルなどのノイズの影響を受けにくいブースティング法を提案 する.
 
16:10--18:00『正定値行列補完を用いた準ニュートン法』京都大学 山下信雄 氏
準ニュートン法は,目的関数のヘッセ行列の近似行列を用いて,点列を生成する反復法である. 近似行列の更新規則の工夫により,準ニュートン法は大域的収束および超一次収束することが知られている. しかしながら,ヘッセ行列が疎であっても,(BFGSやDFPで)生成された近似行列は密な行列となるため, 問題の規模の2乗に比例した計算容量が必要となり,大規模な問題には準ニュートン法を適用することができなかった. 計算容量を減らす目的で記憶制限つきBFGS法が提案されているが, この手法はヘッセ行列の情報を省いてしまうため,条件数の悪い問題には収束が極端に遅くなる. 本発表では,ヘッセ行列の疎構造を利用した近似行列の更新規則を提案する. 提案手法では,まず適当な公式(BFGS, DFPなど)を用いて疎構造に対応した部分行列の更新を行う. 次に,その部分行列の(行列式を最大にする)正定値行列補完を求め,この行列を近似行列として点列を生成する. この正定値行列補完は疎な三角行列の積として表すことができるので,計算容量は少なくてすむ. いくつかの数値実験を行ったところ,反復回数はBFGS法とほとんど変わらず, 大規模な問題には非常に有効であることがわかった. 本発表では,提案手法の超1次収束性についても議論するつもりである.
 
Seminars on Algorithms in Operations Research
ホーム - SAORについて - 会場案内 - 全日程 - リンク
(c) 2003-2004 SAOR All rights reserved.