➣ Reading Time: 21 minutes

前言

這幾天的文章會是一系列的,會需要一起看才比較能看懂整個ML模型的輪廓,
然而因為一天能寫的內容量有限,所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分,我們要先確認好自己在哪個階段,
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」:這裡以監督式學習(Supervised Learning)為例

階段要做的事情簡介
(訓練前)決定資料集與分析資料你想要預測的是什麼資料? 這邊需要先知道 examplelabelfeatures的概念。介紹可參考:【Day 15】,而我們這次作為範例的訓練資料集介紹在【Day 19】
(訓練前)決定問題種類依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】、與進階內容:【Day 17】
(訓練前)決定ML模型(ML models)依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】神經網路(neural network)? 簡介於:【Day 25】
(模型裡面的參數)ML模型裡面的參數(parameters)超參數(hyper-parameters) 此處可參考:【Day 18】
(訓練中) 調整模型評估當前模型好壞損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】
(訓練中) 調整模型修正模型參數梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】
(訓練中) 調整腳步調整學習腳步透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】
(訓練中) 加快訓練取樣與分堆設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】
(訓練中) 加快訓練檢查loss的頻率調整「檢查loss的頻率」,依據時間(Time-based)步驟(Step-based)。此處可參考:【Day 23】
(訓練中) 完成訓練(loop) -> 完成重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】
(訓練後)訓練結果可能問題「不適當的最小loss?」 此處可參考:【Day 28】
(訓練後)訓練結果可能問題欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】
(訓練後)評估 – 性能指標性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】、詳細介紹於:【Day 29】
(訓練後)評估 – 新資料適用性泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】
(訓練後)評估 – 模型測試使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】
(資料分堆的方式)(訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】

今天我們會直接進 Launching into Machine Learning 的第三章節~
第二章節剩下的歷史部分,因為我稍微想了一下內容,真的要寫起來應該可以寫成七篇文章,
然而因為很多都是比較舊的算法,我自己因為有研究正在做,會比較想先看新的作法,
所以我先細寫新章節的內容,一樣的,有機會我會回去補完那部分XD
(一天都可以寫一整個算法了XD)

Course – Launching into Machine Learning

第三章節的課程地圖:(紅字標記為本篇文章中會介紹到的章節)
* Optimization
* Introduction to Optimization
* Introduction
* Defining ML Models
* Defining ML Models
* Introducing the Natality Dataset
* Introducing Loss Functions
* Gradient Descent
* Gradient Descent
* Troubleshooting a Loss Curve
* ML Model Pitfalls
* TensorFlow Playground
* Lab: Introducing the TensorFlow Playground
* Lab: TensorFlow Playground – Advanced
* Lab: Practicing with Neural Networks
* Loss Curve Troubleshooting
* Performance Metrics
* Performance Metrics
* Confusion Matrix
* Module Quiz


1. Introduction to Optimization

課程地圖
* Optimization
* Introduction to Optimization
* Introduction

這個章節的名稱為Optimization,也就是說我們如何在訓練過程中優化我們的結果。

對於如何優化,我們在這的學習目標是:
* 評價model的表現,利用loss functions
* 以loss functions作為基準的使用Gradient Descent演算法
* 最佳化Gradient Descent演算法,使它的效率達到最高
* 使用Performance Metrics作商業決策

https://ithelp.ithome.com.tw/upload/images/20190919/20120424D847J1pjYg.png

(ML的整個過程,在Optimization這一章節,我們會先跑其中前半的流程。)


2. Defining ML Models

課程地圖
* Optimization
* Defining ML Models
* Defining ML Models

在介紹怎麼決定ML模型之前,我們先對整個ML的整個「訓練過程」有點概念:

註:我們在【Day 3】- 什麼是ML? 為什麼ML最近才紅起來? 有提過,整個ML過程會有兩個stage
Stage1 – training
Stage2 – inference(推理)(也有些人稱為prediction(預測))
所以這邊的「ML的整個訓練過程」,只有指Stage1的部分,
並不是訓練完整個ML的過程就結束了。

★ML的整個「訓練過程」:
* 定義 ML models -> 決定模型
* 介紹 Loss Functions -> 「訓練過程中」,我們評估「目前訓練當下」好壞的依據
* 梯度下降法 (Gradient Descent) -> 依據評估決定訓練的修正方向
* 使用 TensorFlow Playground -> 視覺化的看上述的變化過程
* 訓練結果的表現 Performance Metrics -> 「訓練結束後」,”外部”評估我們的訓練結果如何

那開始來介紹 ML模型 吧!

2.0. ML模型是什麼? 訓練目標是什麼?

ML模型簡單說就是個數學函數,我們透過「修改參數」使等式盡量成立(接近目標),

自己的註:y=Ax+B, 我們去努力試出A, B是什麼 (「修改參數」指的就是修改A, B)

https://ithelp.ithome.com.tw/upload/images/20190919/20120424h1RnzUuQXm.png

而在ML模型裡面,參數也有分成 parametershyper-parameters
* parameters : 隨著模型訓練的過程中不斷變化的(實數)變數
* hyper-parameters : 開始訓練前就設定好的變數,之後開始訓練也不會變。

而依照歷史的變化,線性模型(linear models)是最早被使用的ML模型,
甚至到現在仍然是一種重要且被廣泛使用的模型。

我們在ML模型中所做的事情,就是不斷調整變數(parameters),
使所有作為我們input的feature,都能透過這個模型,output吻合訓練目標label


再來我們要講ML模型會有哪些種類,
我們前兩天的辛苦介紹 Regression and Classification 這兩種問題的定義就是為了這邊使用:

如果不清楚 Regression and Classification 問題是什麼與有什麼差別,
詳細介紹可以先參考前面兩天的文,我們這裡直接拿結論的表格,

問題種類regression problem(回歸問題)classification problem(分類問題)
答案(label)特性預測的答案(label)為「連續」值預測的答案(label)為「非連續」值
利用資料的方式我們使用數學函數組合不同的features,預測出一個「連續函數」作為我們結果的label我們用features創造一個決策邊界,這個邊界幫助我們區分(分類)出結果label
訓練目標最小化「預測的結果」與「實際的結果(label)」的誤差最小化「誤分類(misclassification)」的數量,也就是「預測的分類」與「實際上的分類(label)」的誤差要為最小。
常用的計算誤差方法均方差(mean squared error)交叉熵(cross-entropy)
學習類型監督式學習(Supervised Learning)監督式學習(Supervised Learning)
使用的ML模型Regression model(回歸模型)Classification model(分類模型)

我們這邊只看最後一行,回歸問題用回歸模型解,分類問題用分類模型解。(滿自然而然的吧XD)
這邊就是要來實際講我們做了什麼「數學運算」,來解決這兩類問題。


2.1. Regression model 回歸模型

https://ithelp.ithome.com.tw/upload/images/20190919/20120424dwNNxdLpvj.png

我們將上述在ML模型中所做的事情數學化,可以簡單表示成 y = mx + b,
* x是input,也就是我們參考的feature
* y是output,也就是我們訓練的目標label
* 我們透過調整b(bias)、m(weight,權重),使我們方程式能接近我們想要的結果

而這個概念示範雖然只有二維空間,但只要知道labelsfeatures之前的關係,
我們可以將這概念任意拓展到更高的維度,
所有的inputs(features)經過我們的model,就會產生對應的outputs(labels)。

也就是說,我們可能可以建立一個模型,只要給他所有的inputs(features),
他就會吐出所有你想知道的outputs(labels)。

當我們增加input的維度(也就是同時輸入更多features),
我們上述所說的斜率m,也必須因此變成n維度,我們把這個m稱作權重(weight)

https://ithelp.ithome.com.tw/upload/images/20190919/20120424kDbcvYrG8X.png

視覺上的表示,在原本的一條線變成n維度的同時,
這時原本我們所說的斜率(m)也變成了超平面(ω, Omega),如上面的右圖。

同時我們也思考一下,原本的式子 y = mx + b,由於此處變多維空間,
我們改表示成 y = Xω + b,X 因為輸入變多了,所以變成多維值
所以 ω與b 應該也要變成更高維的值,才能繼續使等式成立。

自己的註:

X 代表所有inputs(features)
ω 為權重(weight)
y 依然是我們訓練的目標labels
b 偏差值(bias),調整用的參數

我們稍微想一下,X如果變成二維向量(x1,x2),
output也變成多維(y1,y2),也就是同時預測多個項目,
先看b,b需要變成高維(b1,b2)才能維持計算等式,
而ω也是,至少也要變成二維矩陣才能算啊!

★ 自己的一些小結論:

線性回歸模型的例子看起來比較直觀,重點就是在解 y = Xω + b 中的 ω與b,
X(features)與 y(labels) 我們一開始都已經有了,只差解出ω與b,
而我們所說的訓練就是在調整模型裡面的所有參數。


2.2. Classification model 分類模型

分類模型相對比較沒有回歸模型那麼直覺,
回歸模型就是找出 y = Xω + b 中的 ω與b後,我們就能用X來預測y了,
但我們要怎麼樣用線性模型(linear model)做分類呢? 連續數字要怎麼做分類?

為了討論怎麼樣將我們模型output的連續數字轉換成分類,
我們需要將這些結果做encode,也就是將這些資料做成員編碼,
來看他是不是屬於這個class的成員。

最簡單的編碼方式就是二進位編碼,

自己的註:如果你有什麼特性一類、沒有那個特性一類,
(在【Day 17】 多維度線性回歸解(N-D Regression), 交叉熵(cross-entropy)與均方差(MSE) 作為誤差函數計算所帶來的不同也有用過這樣的方法。)

當然有很多數據可能會需要分類成兩個以上,這方法依然有效,只要將每個類視為獨立的類即可。

自己的註:例如 (A,非A),(B,非B), (C,非C),
這邊有點小細節,獨立的類不是像之前分成 (~15%, 15%~25%, 25%~),
應該後面會介紹,沒有我再自己補XD

使用二進位編碼還有個好處,我們能更容易的管理我們的任務,
但以下的討論我們先以分兩類為主,這樣比較容易解釋。

我們要找到一種方法,「依據二進位分類規則」找到我們的目標線,
一個簡單的方法就是單純依靠輸出的結果。

https://ithelp.ithome.com.tw/upload/images/20190919/20120424Eh6Nsvgl5V.png

以圖來看,這條線就像是將我們的圖片分成兩大塊,在線上方的與線下方的各一區,
我們就稱這條線為決策邊界(decision boundary),區隔出這兩類。
而且,決策邊界(decision boundary)不只是描述目前的資料,
他的目標是預測我們還沒看見的資料,

而這種可以擴展預測到還沒看見的資料的特徵,我們稱之為泛化(generalization)
泛化(generalization)的過程對ML相當重要,我們後續也會有很多的討論。

★ 自己的一些小結論:
這段我真的看超級久……,我看完Classification model一直在想說,
所以你不是沒講到怎麼找到這條分類線嗎?
後來想了大概快三小時,我才想通

  1. 這個階段主要只在介紹怎麼生出一條線,
    就有點像我只是在「任意」決定 y=ax+b 的a,b而已,
    至於怎麼「找到」(或說是「修正出」)這條線,那是後面「修正階段」的事情

  2. 原來我自己的文章版本中(現在改掉了),我自己寫的註是
    「自己的註:如果你有什麼特性就是0、沒有那個特性就是1」,
    這是根據前面章節使用的方法延伸過來的,但我就是被這例子誤導,
    我後來又看了無數遍影片內容才懂,原來他指的分類是,
    「如果你有什麼特性一類、沒有那個特性一類」,
    這個差別在哪? 也就是說當任意線被決定後(例如:y=3x+2好了),
    我們可以直接將「y > 3x+2」與「y < 3x+2」分成兩類,
    而我一直在想是0、是1的問題才卡那麼久……真的是被誤導很久/images/emoticon/emoticon06.gif
    不過想出來的感覺也滿爽的啦XD /images/emoticon/emoticon07.gif(希望我想的真的是對的XD)


本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 18】 Google ML – Lesson 4 – 什麼是ML模型?訓練的目標? 回歸模型(Regression model), 分類模型(Classification model)的運算


參考資料

  ⭐Google Machine Learning 相關文章整理⭐:
1.訂閱課程【Google ML】1 – Google ML – 參賽原因 與 就先從認識 coursera 與訂閱課程開始第一天吧
⭐ML 基礎知識篇⭐:
1.基礎ML知識什麼是ML? 為什麼ML最近才紅起來? 可參考:【Day 3】
2.設計ML問題如何設計一個ML問題?可參考:【Day 4】
3.ML與一般算法比較比較一般算法與ML算法,看出ML的優勢。可參考:【Day 11】
⭐ML 應用策略篇⭐:
1.ML的成功策略使用ML要成功,常需要的關鍵策略。可參考:【Day 5】
2.ML各階段與比重分配企業運行ML時,在ML的各階段應該放的比重與心力。可參考:【Day 6】
3.ML失敗的常見原因大部分企業使用ML卻失敗的前十大主因。可參考:【Day 6】
4.企業如何引入MLML在企業運行的五大階段與注意事項。 可參考:【Day 7】
⭐GCP 認識篇⭐:
1.在GCP上運行ML的階段在GCP上運行ML大概有哪五大階段? 可參考:【Day 2】
2.GCP上ML的介紹GCP上ML的介紹。可參考:【Day 8】【Day 11】
3.已訓練好的ML模型已訓練好的ML模型。建議可直接使用,不需要再自己訓練。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。介紹:【Day 4】詳細整理與比較:【Day 12】lab實作:【Day 14】
⭐GCP 上的 lab 實作篇⭐:
1.Lab 事前準備Lab 0 – 在GCP上開始lab前的事前準備與注意事項。可參考:【Day 9】
2.GCP上使用 VMLab 1 – 在GCP上分析地震資料與製圖,並儲存在雲端。可參考: 【Day 10】
3.BigQuery 與 DatalabLab 2 – 使用 BigQuery 與 Datalab 視覺化分析資料。可參考:【Day 13】
4.google ML APIsLab 3 – 使用google已訓練好的ML模型進行實作。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。可參考:【Day 14】
⭐ML中的不同學習種類⭐:
1.【Day 15】 監督式學習(Supervised Learning) 與 非監督式學習(Unsupervised Learning) 的介紹和比較
⭐訓練「一個」ML模型⭐:
(這裡以 監督式學習(Supervised Learning) 為例)
1. (訓練前)決定資料集與分析資料你想要預測的是什麼資料? 這邊需要先知道 example、label、features的概念。介紹可參考:【Day 15】而我們這次作為範例的訓練資料集介紹在:【Day 19】
2. (訓練前)決定問題種類依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】與進階內容:【Day 17】
3. (訓練前)決定ML模型(ML models)依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】神經網路(neural network)? 簡介於:【Day 25】
4.(模型裡面的參數)ML模型裡面的參數(parameters)與超參數(hyper-parameters) 此處可參考:【Day 18】
5. (訓練中) 調整模型評估當前模型好壞損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】
6. (訓練中) 調整模型修正模型參數以梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】
7. (訓練中) 調整腳步調整學習腳步透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】
8. (訓練中) 加快訓練取樣與分堆設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】
9. (訓練中) 加快訓練檢查loss的頻率調整「檢查loss的頻率」,依據時間(Time-based)與步驟(Step-based)。此處可參考:【Day 23】
10. (訓練中) 完成訓練(loop) -> 完成重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】
11. (訓練後)訓練結果可能問題「不適當的最小loss?」 此處可參考:【Day 28】
12. (訓練後)訓練結果可能問題欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】
13. (訓練後)評估 – 性能指標性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】詳細介紹於:【Day 29】
14. (訓練後)評估 – 新資料適用性泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】
15. (訓練後)評估 – 模型測試使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】
16.(資料分堆的方式)(訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】
⭐從所有ML模型的訓練結果中,找到「最好的」ML模型⭐:
( 原因:「訓練好一個模型」不等於「找到最好的模型」 )
1.(訓練模型)【Day 27】 使用「訓練資料集(Training)」訓練模型(調整參數),也就是「上方表格」在做的內容
2.(結束訓練)【Day 27】 訓練到通過「驗證資料集(Validation)」結束訓練(未達到overfitting的狀態前)
3.(模型再調整)【Day 27】 超參數(hyperparameters)調整或神經網路的「layer數」或「使用的node數」(一些訓練前就會先決定的東西)
4.(loop)【Day 27】 (模型再調整)後,重複上述(訓練模型)、(結束訓練),完成訓練新的模型
5.(找到最佳模型)【Day 27】 從「所有訓練的模型」中,找到能使「驗證用資料集(Validation)」最小的loss,完成(找到最佳模型)
6.(決定是否生產)【Day 27】 可以開始決定要不要將此ML模型投入生產。此時我們可以使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試?
⭐訓練 ML 模型的小實驗⭐:
1.【Day 24】 TensorFlow Playground 的簡介與介面介紹
2.【Day 24】 learning rate 的改變對訓練過程的影響
3.【Day 25】 使用神經網路(neural network)分類資料
4.【Day 25】 觀察batch size如何影響gradient descent
⭐30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝⭐:
1.【Google ML】30 – 30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝