数理情報工学特論第一 【機械学習とデータマイニング】
（東京大学 工学部 計数工学科
平成22年度3年生夏学期講義）
担当教員：鹿島 久嗣（東京大学 大学院情報理工学系研究科 数理情報学専攻
数理第6研究室）
時間：月曜日3限
(13:00～14:30)
講義室：工学部6号館62号講義室
【講義の概要】
データ解析技術としての機械学習、とりわけ統計的機械学習の基礎を学びます。
前提とする知識は、微積分、線形代数、確率の基本的な部分です（が、実際そんなに必要ないと思います）。
【講義資料】
第1回 4月19日（月）
概論①： 機械学習とは／機械学習の応用
第2回 4月26日（月）
概論②： 機械学習問題の定式化／機械学習のアルゴリズム／機械学習手法の評価
第3回 4月30日（金）
概論③： 発展的な話題 - 多クラス分類とカーネル法
レポート課題①： 最尤推定の根拠／機械学習の応用
第4回
5月10日（月）
回帰①： 回帰問題の定義／回帰問題の定義／回線形回帰問題の初等的解法／リッジ回帰 - L2正則化による過学習の回避
第5回 5月17日（月）
回帰②： 交差確認によるハイパーパラメータの決定／Leave-one-out交差確認／回帰問題の確率モデル的解釈
第6回 5月24日（月）
回帰③： 回帰の応用／カーネル回帰／L1正則化
第7回 5月31日（月）
分類①： 分類問題の定義／分類問題の応用／分類のためのモデル - ロジスティック回帰／分類問題の定式化／学習アルゴリズム - ニュートン法と最急勾配法
レポート課題②： 機械学習を使ってみよう
第8回 6月7日（月）
分類②： パーセプトロン／マージン最大化学習／多クラス分類／多クラスロジスティック回帰／多クラスパーセプトロン
休講： 6月13日（月）
第9回 6月21日（月）
分類③： 構造データのモデル化／配列のラベル付け問題／条件付き確率場（CRF）／CRFにおける予測／CRFの学習
第10回 6月28日（月）
分類④： 分類におけるL1正則化／データの組に対する予測（データ間の関係の予測）／行列パラメータをもつモデル／トレースノルム正則化を用いた学習
第11回 7月5日（月）
教師なし学習①：教師なし学習とは／多次元の確率分布／教師なし学習の主要タスク／多次元正規分布における未観測値の推定
第12回 7月12日（月）
教師なし学習②： 多次元正規分布の最尤推定／潜在変数モデル／混合分布／混合正規分布／EM法による潜在変数モデルの最尤推定
第13回 7月26日（月）
教師なし学習③：グラフィカルモデル／グラフィカルラッソ／グラフィカルラッソの推定アルゴリズム
【参考情報】
日本語で読める機械学習の参考書をいくつか挙げておきます。
パターン認識と機械学習（上／下）
カーネル多変量解析
統計的機械学習 - 生成モデルに基づくパターン認識