For Students in Engineeing Department
●Mathematics for Machine Learning
（At Room 64 in the 6th Building of Engineering At 10:25-12:10 on Monday in S1 and S2, 2017）
（S1・S2学期毎週月曜日 10:25-12:10 工学部6号館64号教室）
本講義では、機械学習の基礎を教えています。機械学習のトピックは数多いですが、本講義では全てをカバーするよりはむしろ、統計学・情報理論の立場から一貫性のある体系的な講義を目指します。パラメータ推定、モデル選択、教師あり・なし学習、オンライン学習を扱うための数理的な基礎を固めます。東京大学工学教程「知識システムＩ」を教科書として、「情報論的学習理論」「情報論的学習とデータマイニング」（大学院講義を参照）を参考書として用います。
１．機械学習・データマイニングとは？
２．確率モデルとパラメータ推定 （最尤推定、MAP推定、ベイズ推定）
３．線形回帰と正則化 （LASSOとGraphical LASSO)
４．モデル選択（AIC、BIC、MDL）
５．記述長最小原理と確率的コンプレキシティの理論
６．教師なし学習１．潜在変数モデル・EMアルゴリズム・MCMC
７．教師なし学習２．トピックモデル(LDA)、確率ブロックモデル(SBM)
８．教師なし学習３．非負値行列因子分解（NMF)、制約付きボルツマンマシン(RBM)
９．教師なし学習４．クラスター数決定と分解型正規化最尤符号(Decomposed NML)
８．教師なし学習５．クラスタリングの評価基準
１０．教師あり学習１．決定木、ランダムフォレスト
１１．教師あり学習２．アンサンブル学習、ブースティング
１２．教師あり学習３．サポートベクトルマシン、カーネル法
１３．教師あり学習４．ニューラルネットワーク、深層学習
１４．教師あり学習５．分類の評価基準
１５．オンライン学習（最尤予測、ベイズ予測、逐次的正規化最尤予測）
●Probability Mathematical Engineering
（At Room 63 in the 6th Building of Engineering At 10:30-12:00 on Friday in April--July, 2009-2016）
本講義では、確率統計の基礎を教えています。推定・検定に入る前に知っておくべき、確率空間の性質、特性の扱い、分布の特性、確率変数系列の収束、大数の法則と中心極限定理、マルコフ連鎖 についての基礎を固めます。これらの知識は機械学習やデータマイニング、情報理論を学ぶのに大変重要ですので、これらの分野を志す方は必ず修めてください。詳しくはシラバスを参照のこと。
１．確率空間
２．確率変数
３．期待値と特性関数
４．様々な分布
５．変数変換、畳み込み分布、複合分布
６．確率評価の不等式
７．確率変数列の収束
８．大数の法則と中心極限定理
９．確率過程
１０．マルコフ連鎖
For Graduate Students in Department of Information Science and Engineering
●Information-theoretic Learning Theory
（隔年（奇数年）冬学期毎週火曜日 13:00-14:30 工学部6号館61号教室）
本講義では、機械学習の基礎となる情報論的学習理論を教えています。これは情報理論の立場から、「学習とは最もデータを圧縮するできるための情報源の構造を発見することである」という視点に立って機械学習を統一的に説明する理論です。これを支える理論基盤がMDL原理（Minimum Description Length Principle)という情報理論の一大原理です。この理論基盤に立って、モデル選択、教師有り、教師なし学習、オンライン学習、クラスタリング、変化検知、異常検知、潜在変数モデル等といった学習の基礎的問題におけるアルゴリズムの設計と解析手法を示します。新しい手法が大量に生まれては激しいスピードで進んでいる、データマイニングの業界にあって、時代を通じて普遍的に役に立つ方法論を示していきます。著書「情報論的学習理論」と「情報論的学習とデータマイニング」を教科書として講義します。
1. 情報・符号・学習
２．確率的コンプレキシティ
３．二段階符号化とモデル選択
４．確率的PAC学習モデルと分類学習
５．逐次符号化とオンライン学習
６．集合型学習アルゴリズム
７．拡張型確率的コンプレキシティ
８．動的モデル選択
９．計算統計学基礎
１０. 有限混合モデルとクラスタリング
１１．分散協調学習、ブースティング
１２．異常検知
１３．変化検知
●Anomaly Detection with Data Mining
（隔年（偶数年）冬学期毎週火曜日 13:00-14:30 工学部6号館61号教室）
現在、ビッグデータから異常や変化を検知することが、学術的に挑戦的なテーマであると同時にビジネスにおいても重要な課題になっています。本講義では、データマイニングによる異常検知に関する基本的技術を紹介するとともに、その現実世界への応用をマーケティング、セキュリティ、障害検知、ライフサイエンス、SNS分析等を例に扱います。本講義を通じて、機械学習技術が現実問題にいかに役立てられるかを学べます。本講義では、最初の数回は基本技術の解説を行うが、その後は学生による、異常検知関連の文献調査発表（1コマに2名）によって進めます。著書「データマイニングによる異常検知」と「情報論的学習とデータマイニング」を教科書にして進めます。
１．異常検知の基本的考え方
２．外れ値検知
３．変化点検知
４．潜在構造変化検知
５．ネットワーク構造変化検知
６．データマイニング応用
攻撃検知、不正検知、なりすまし検知、
障害検知、イベント検知、ＳＮＳ分析、
マーケティング分析
