数理情報工学特論第一 【機械学習とデータマイニング】
(東京大学 工学部 計数工学科 平成22年度3年生夏学期講義)

担当教員:鹿島 久嗣(東京大学 大学院情報理工学系研究科 数理情報学専攻 数理第6研究室
時間:月曜日3限 (13:00〜14:30)
講義室:工学部6号館62号講義室


【講義の概要
データ解析技術としての機械学習、とりわけ統計的機械学習の基礎を学びます。

前提とする知識は、微積分、線形代数、確率の基本的な部分です(が、実際そんなに必要ないと思います)。

【講義資料

第1回 4月19日(月)
概論@: 機械学習とは/機械学習の応用

第2回 4月26日(月)
概論A: 機械学習問題の定式化/機械学習のアルゴリズム/機械学習手法の評価

第3回 4月30日(金)
概論B: 発展的な話題 - 多クラス分類とカーネル法
レポート課題@: 最尤推定の根拠/機械学習の応用

第4回 5月10日(月)
回帰@: 回帰問題の定義/回帰問題の定義/回線形回帰問題の初等的解法/リッジ回帰 - L2正則化による過学習の回避

第5回 5月17日(月)
回帰A: 交差確認によるハイパーパラメータの決定/Leave-one-out交差確認/回帰問題の確率モデル的解釈

第6回 5月24日(月)
回帰B: 回帰の応用/カーネル回帰/L1正則化

第7回 5月31日(月)
分類@: 分類問題の定義/分類問題の応用/分類のためのモデル - ロジスティック回帰/分類問題の定式化/学習アルゴリズム - ニュートン法と最急勾配法
レポート課題A: 機械学習を使ってみよう

第8回 6月7日(月)
分類A: パーセプトロン/マージン最大化学習/多クラス分類/多クラスロジスティック回帰/多クラスパーセプトロン

休講: 6月13日(月)

第9回 6月21日(月)
分類B: 構造データのモデル化/配列のラベル付け問題/条件付き確率場(CRF)/CRFにおける予測/CRFの学習

第10回 6月28日(月)
分類C: 分類におけるL1正則化/データの組に対する予測(データ間の関係の予測)/行列パラメータをもつモデル/トレースノルム正則化を用いた学習

第11回 7月5日(月)
教師なし学習@:教師なし学習とは/多次元の確率分布/教師なし学習の主要タスク/多次元正規分布における未観測値の推定

第12回 7月12日(月)
教師なし学習A: 多次元正規分布の最尤推定/潜在変数モデル/混合分布/混合正規分布/EM法による潜在変数モデルの最尤推定

第13回 7月26日(月)
教師なし学習B:グラフィカルモデル/グラフィカルラッソ/グラフィカルラッソの推定アルゴリズム


【参考情報】
日本語で読める機械学習の参考書をいくつか挙げておきます。
パターン認識と機械学習(上/下)
カーネル多変量解析
統計的機械学習 - 生成モデルに基づくパターン認識