機(jī)器學(xué)習(xí)理論與實戰(zhàn)培訓(xùn)大綱
1 緒論:ML與AI的回顧和簡介
務(wù)實的AI與機(jī)器學(xué)習(xí)發(fā)展歷史回顧(課程內(nèi)容總體介紹)
AI的潮起潮落:弱人工智能和強(qiáng)人工智能
機(jī)器學(xué)習(xí)模型的構(gòu)成:目標(biāo)函數(shù)、優(yōu)化、推理預(yù)測
機(jī)器學(xué)習(xí)模型的分類:監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)
機(jī)器學(xué)習(xí)研究的新趨勢:從標(biāo)簽學(xué)習(xí)到結(jié)構(gòu)體學(xué)習(xí)模型
2 標(biāo)簽學(xué)習(xí) 介紹的機(jī)器學(xué)習(xí)模型包括:決策樹、回歸樹、GBRT、Logistic Regression、集成方法
2.1 以分類、回歸的思想建模(小化回歸誤差和小化信息熵) 決策樹:信息熵
回歸樹
Gradient Boosting Regression Tree:在工業(yè)界的廣發(fā)應(yīng)用與特征工程
核心講授思想:從優(yōu)化的觀點(diǎn)出發(fā),講解樹生成的貪心算法
2.2 以概率的框架建模(大化數(shù)據(jù)似然) 復(fù)習(xí)概率論基本知識:sum rule, product rule
Logistic Regression:從二分類到多分類的Softmax
樸素貝葉斯
核心講授思想:講授大化似然的優(yōu)化目標(biāo)、梯度下降的優(yōu)化方法、和模型預(yù)測方法
2.3 集成學(xué)習(xí)方法 Bagging、Random Forest、Adaboost
核心講授思想:集成學(xué)習(xí)核心思想,特別介紹Adaboost算法在理論上的性能保障
3 結(jié)構(gòu)體建模 主要講授:概率圖模型與EM算法
3.1 有向的概率圖模型 有向概率圖模型:基本知識(全概率公式的表達(dá)與模型條件獨(dú)立假設(shè)的等價關(guān)系)
經(jīng)典有向概率圖的具體模型:
樸素貝葉斯的概率圖模型
矩陣分解的協(xié)同過濾方法:Probabilistic Matrix Factorization(順帶講解協(xié)同過濾的其它方法)
概率圖模型設(shè)計的方法論
引入隱變量的有向圖概率圖模型
主題模型:PLSA
混合高斯模型(無監(jiān)督聚類)
EM算法細(xì)節(jié):對引入隱向量的結(jié)構(gòu)體的建模
核心講授思想:講授有向的概率圖模型的基本知識和經(jīng)典模型實例;講授引入隱變量到概率圖模型的目的,和該情況下的優(yōu)化方法(EM算法)
3.2 無向概率圖模型 無向的概率圖模型:基本知識(全概率公式的表達(dá)與模型條件獨(dú)立假設(shè)的等價關(guān)系)
經(jīng)典無向概率圖的具體模型:條件隨機(jī)場(Viterbi算法)
核心講授思想:講授無向的概率圖模型的基本知識和經(jīng)典模型實例
4 結(jié)構(gòu)體預(yù)測 主要講授:深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方法
4.1 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 神經(jīng)網(wǎng)絡(luò)概述
全連接前饋神經(jīng)網(wǎng)絡(luò):模型優(yōu)化的BP算法(隨機(jī)梯度下降、梯度消失)
PLSA的神經(jīng)網(wǎng)絡(luò)實現(xiàn)方法
核心講授思想:神經(jīng)網(wǎng)絡(luò)是對從輸入到輸出的計算流程可視化,同時便于反向求導(dǎo)等運(yùn)算
4.2 Theano編程 編程介紹、調(diào)試、Theano背后的設(shè)計思想
核心講授思想:以Theano下的全連接前饋神經(jīng)網(wǎng)絡(luò)的實現(xiàn)為例,講解Theano的神經(jīng)網(wǎng)絡(luò)編程
4.3 卷積神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò)原理:BP算法在卷積神經(jīng)網(wǎng)絡(luò)下的推導(dǎo)
卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用:基本應(yīng)用、圖像虛幻化的應(yīng)用
4.4 循環(huán)神經(jīng)網(wǎng)絡(luò) 循環(huán)神經(jīng)網(wǎng)絡(luò)原理:BP算法在循環(huán)神經(jīng)網(wǎng)絡(luò)下的推導(dǎo)
循環(huán)神經(jīng)網(wǎng)絡(luò)基本應(yīng)用:序列標(biāo)注、語言建模
循環(huán)神經(jīng)網(wǎng)絡(luò)高級應(yīng)用:機(jī)器翻譯、對話生成
核心講授思想:機(jī)器學(xué)習(xí)從特征工程邁向網(wǎng)絡(luò)設(shè)計
5 前沿研究與實際案例
5.1 機(jī)器學(xué)習(xí)案例實戰(zhàn)一 閑聊機(jī)器人構(gòu)建:生成式模型的研究前沿
對話的多機(jī)理建模
自頂向下的樹結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)生成
結(jié)構(gòu)體預(yù)測的Adaboost方法(與對抗神經(jīng)網(wǎng)絡(luò)的結(jié)合) |