➣ Reading Time: 14 minutes

前言

這幾天的文章會是一系列的,會需要一起看才比較能看懂整個ML模型的輪廓,
然而因為一天能寫的內容量有限,所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分,我們要先確認好自己在哪個階段,
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」:這裡以監督式學習(Supervised Learning)為例

階段要做的事情簡介
(訓練前)決定資料集與分析資料你想要預測的是什麼資料? 這邊需要先知道 examplelabelfeatures的概念。介紹可參考:【Day 15】,而我們這次作為範例的訓練資料集介紹在【Day 19】
(訓練前)決定問題種類依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】、與進階內容:【Day 17】
(訓練前)決定ML模型(ML models)依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】神經網路(neural network)? 簡介於:【Day 25】
(模型裡面的參數)ML模型裡面的參數(parameters)超參數(hyper-parameters) 此處可參考:【Day 18】
(訓練中) 調整模型評估當前模型好壞損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】
(訓練中) 調整模型修正模型參數梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】
(訓練中) 調整腳步調整學習腳步透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】
(訓練中) 加快訓練取樣與分堆設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】
(訓練中) 加快訓練檢查loss的頻率調整「檢查loss的頻率」,依據時間(Time-based)步驟(Step-based)。此處可參考:【Day 23】
(訓練中) 完成訓練(loop) -> 完成重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】
(訓練後)訓練結果可能問題「不適當的最小loss?」 此處可參考:【Day 28】
(訓練後)訓練結果可能問題欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】
(訓練後)評估 – 性能指標性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】、詳細介紹於:【Day 29】
(訓練後)評估 – 新資料適用性泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】
(訓練後)評估 – 模型測試使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】
(資料分堆的方式)(訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】

而今天的文章我們也會先介紹並且稍微分析一下,接下來我們要用來作為訓練範例的資料集。

今天我們會繼續 Launching into Machine Learning 的第三章節~

Course – Launching into Machine Learning

第三章節的課程地圖:(紅字標記為本篇文章中會介紹到的章節)
* Optimization
* Introduction to Optimization
* Introduction
* Defining ML Models
* Defining ML Models
* Introducing the Natality Dataset
* Introducing Loss Functions
* Gradient Descent
* Gradient Descent
* Troubleshooting a Loss Curve
* ML Model Pitfalls
* TensorFlow Playground
* Lab: Introducing the TensorFlow Playground
* Lab: TensorFlow Playground – Advanced
* Lab: Practicing with Neural Networks
* Loss Curve Troubleshooting
* Performance Metrics
* Performance Metrics
* Confusion Matrix
* Module Quiz


1. Introducing the Natality Dataset

課程地圖
* Optimization
* Defining ML Models
* Introducing the Natality Dataset

決定訓練資料集

簡單來說這邊就是要介紹接下來我們要作為示範訓練的資料集了,
資料集很重要的原因在於它可以直接影響我們要使用什麼「ML模型」。

我們這次要訓練的是一些關於新生兒的資料集。

問題情境:

有些嬰兒剛出生時會需要緊急護理,然而能提供這樣護理的醫生卻不多,
我們希望能夠妥善的分配醫生,使得真的有需求的嬰兒能得到需要的護理。

我們將這問題轉換為ML問題:

我們想預測的目標是,預測哪些嬰兒會需要醫生的照顧

再來我們來思考一下什麼東西能作為我們的參考的依據(feature),
什麼東西能作為我們的訓練目標(label),
假設這裡有三種資料:母親的年齡, 嬰兒的生日, 嬰兒的體重,哪些是能用的呢?

https://ithelp.ithome.com.tw/upload/images/20190920/20120424Aiels1Lc6u.png

我們在這邊稍微題外話一下:

有些專業領域的知識,會告訴我們某些資料是不可能相關的,
例如(我任意舉例的):能不能用一個人的身高、體重預測那個人的年齡?
我們應該都知道這個相關性是薄弱的,但在ML模型裡面我們就是想試著找看看關聯性。

但另外一個預測的重點,那就是這些資料要在我們想預測時,資料是「可取得的」。

回到剛剛上面問題的答案:
* 嬰兒的生日:我們必須要等嬰兒出生才能知道的資料,所以就是預測時還不可取得的資料。
* 嬰兒的體重:嬰兒的體重恰好就是嬰兒是否需要照護的重要指標之一。
* 母親的年齡:雖然不確定有沒有相關性,但母親的年齡確實是我們可以觀測的資料。

選擇好我們要使用的資料後,我們來想想我們剛剛所定義的問題:

我們想預測的目標是,預測哪些嬰兒會需要醫生的照顧,
也就是預測「寶寶的健康」,嬰兒的體重是「寶寶的健康」的參考指標之一
我們就先將我們想預測的目標(label)訂為實際數據的預測「嬰兒的體重」,
而「母親的年齡」可以做為我們參考的依據(feature),
這個問題我們要預測的是「嬰兒的體重」,為連續值,
所以這是「回歸問題(regression problem)」。

再把資料丟進ML模型之前,我們通常還要先看一下這個資料是否可能存在某些特性,而非全部雜訊(noise)。
我們先觀察一下數據分布,我們將「母親的年齡」與「嬰兒的體重」做成了散佈圖。

而這個資料並不需要把全部的資料都拿來丟,我們只要取樣(sample)即可:
* 一方面是,全部的資料都丟,在計算上是不太合適的(太多資料)
* 另外一方面是,如果丟入大量資料,除了製圖困難,我們也很難解釋他

https://ithelp.ithome.com.tw/upload/images/20190920/20120424I8LBOTwCNi.png
(這個資料來自BigQuery中的公開資料,為美國政府收集的natality data)

稍微注意一下,這些資料似乎有小的正相關性。
這邊我們還可以比較另外一張圖,我們一樣使用這兩種資料作為座標,
但這次我們不做散佈圖,我們將資料分成各個資料組的累積量。

先稍微比較一下兩者的特色:

圖的種類散佈圖(scatter plot)資料組的累積圖
介紹使用一個個資料點呈現的方式,標記在圖上使用資料累積的量所畫出的圖
資料取樣需要取樣(sample),所以不會用到全部的資料使用全部的資料累積值,所以不需要取樣
代表性樣本要擔心「非代表性樣本」的風險(指比較特殊的資料,不夠有代表性)
製圖結果每次製圖結果可能不同(因為取樣)每次製圖結果皆相同

https://ithelp.ithome.com.tw/upload/images/20190920/20120424v86T66c3bw.png

這張圖是由一共22GB的資料所繪成,我們試著觀察一下裡面的關係,
這時我們就會發現,我們看見了一些散佈圖中看不出來的資訊。

我們發現,寶寶的體重似乎在母親年齡30歲左右達到最大值,
而隨著母親年齡的增長或減小,嬰兒體重逐漸減少。
這表示這組資料存在著「非線性」的關係,且在散佈圖中是觀察不出的關係。

但我們想基於昨天提到的線性模型(linear model)而分析他,似乎看起來不是那麼容易。
事實上,我們用線性模型(linear model)想去建立一個非線性函數(non-linear function)的模型,
這樣的例子有個名詞叫做欠擬合(underfitting)

也許你可能會問為什麼不使用更複雜的模型來解這個問題? 這是因為這邊作為教學示範的原因。
而其他複雜的模型我們之後也會討論到,此外我們還會討論過度擬合(overfitting)的概念。
但簡單來說,隨著「模型的複雜度」增加,「訓練過程的失敗風險」也會增加。

https://ithelp.ithome.com.tw/upload/images/20190920/2012042421rFncvnib.png

我們回到原先題目的散佈圖,我們認為母親的年齡與嬰兒的體重成些微的正相關,
於是我們先將我們的直覺判斷,以「藍線」來模擬這個概念,
而決定藍線之後,我們再來想思考這條線是否應該要高還是更低? 斜率是否正確?
要怎麼樣去決定其他的線「紅、黃線」沒有比這條「藍線」好?

這邊先來個題外話一下:

有學過統計的人,可能會知道有個「least squares regression」的方法,他能夠幫助我們在線型模型(linear models)中決定最佳權重(weights),這方法在這題目中也確實可行。
但問題在於這些解只能在「一定的數量規模」內使用,當數據量只要一大,為了解決問題使用統計方法的計算量就顯得不切實際。
那如果統計方法不行的話,這裡該怎麼辦?

我們可以使用「gradient descent(梯度下降法)」:

我們先考慮在空間中搜尋最佳化變數,
記得我們的線型模型(linear model)裡面有兩個變數,weight 和 bias。
因為這兩個數字都是實數,我們可以考慮將這兩個變數的每個組合想像成是2D空間中的一個點。

有這樣的想像後,我們要怎麼找到最佳解呢?

https://ithelp.ithome.com.tw/upload/images/20190920/20120424T0b8Gz1a65.png

首先,我們要認知到,因為input是實數,所以基本上他有無限的輸入可能,
所以以上面的圖來說,沒辦法呈現出所有的結果,
也就是說,我們沒辦法考慮所有的組合。

(自己的註:他這邊指的是所有的weight 和 bias組合,在這張圖上)

所以,我們採取的是找到點後,先進行計算,然後與我們training data比較

自己的註:比較training data的label與「我們預測的結果」的差異。

而為了做到這件事,我們需要建立能對每個點評估「我們預測的結果」品質的方法,
換句話說就是計算「我們預測結果」的誤差值(error)的方式,
用一個數值來表示我們「我們預測結果」的品質,
而這個就是我們所說的「損失函數(loss functions)」,下章節我們將仔細介紹。


本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 19】 Google ML – Lesson 5 – 接下來幾天作為範例的「訓練資料集介紹」、範例「資料集訓練前分析」(順便補上整個ML訓練流程,作為系列文章中的訓練階段參考)


參考資料

⭐Google Machine Learning 相關文章整理⭐:
1.訂閱課程【Google ML】1 – Google ML – 參賽原因 與 就先從認識 coursera 與訂閱課程開始第一天吧
⭐ML 基礎知識篇⭐:
1.基礎ML知識什麼是ML? 為什麼ML最近才紅起來? 可參考:【Day 3】
2.設計ML問題如何設計一個ML問題?可參考:【Day 4】
3.ML與一般算法比較比較一般算法與ML算法,看出ML的優勢。可參考:【Day 11】
⭐ML 應用策略篇⭐:
1.ML的成功策略使用ML要成功,常需要的關鍵策略。可參考:【Day 5】
2.ML各階段與比重分配企業運行ML時,在ML的各階段應該放的比重與心力。可參考:【Day 6】
3.ML失敗的常見原因大部分企業使用ML卻失敗的前十大主因。可參考:【Day 6】
4.企業如何引入MLML在企業運行的五大階段與注意事項。 可參考:【Day 7】
⭐GCP 認識篇⭐:
1.在GCP上運行ML的階段在GCP上運行ML大概有哪五大階段? 可參考:【Day 2】
2.GCP上ML的介紹GCP上ML的介紹。可參考:【Day 8】【Day 11】
3.已訓練好的ML模型已訓練好的ML模型。建議可直接使用,不需要再自己訓練。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。介紹:【Day 4】詳細整理與比較:【Day 12】lab實作:【Day 14】
⭐GCP 上的 lab 實作篇⭐:
1.Lab 事前準備Lab 0 – 在GCP上開始lab前的事前準備與注意事項。可參考:【Day 9】
2.GCP上使用 VMLab 1 – 在GCP上分析地震資料與製圖,並儲存在雲端。可參考: 【Day 10】
3.BigQuery 與 DatalabLab 2 – 使用 BigQuery 與 Datalab 視覺化分析資料。可參考:【Day 13】
4.google ML APIsLab 3 – 使用google已訓練好的ML模型進行實作。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。可參考:【Day 14】
⭐ML中的不同學習種類⭐:
1.【Day 15】 監督式學習(Supervised Learning) 與 非監督式學習(Unsupervised Learning) 的介紹和比較
⭐訓練「一個」ML模型⭐:
(這裡以 監督式學習(Supervised Learning) 為例)
1. (訓練前)決定資料集與分析資料你想要預測的是什麼資料? 這邊需要先知道 example、label、features的概念。介紹可參考:【Day 15】而我們這次作為範例的訓練資料集介紹在:【Day 19】
2. (訓練前)決定問題種類依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】與進階內容:【Day 17】
3. (訓練前)決定ML模型(ML models)依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】神經網路(neural network)? 簡介於:【Day 25】
4.(模型裡面的參數)ML模型裡面的參數(parameters)與超參數(hyper-parameters) 此處可參考:【Day 18】
5. (訓練中) 調整模型評估當前模型好壞損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】
6. (訓練中) 調整模型修正模型參數以梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】
7. (訓練中) 調整腳步調整學習腳步透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】
8. (訓練中) 加快訓練取樣與分堆設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】
9. (訓練中) 加快訓練檢查loss的頻率調整「檢查loss的頻率」,依據時間(Time-based)與步驟(Step-based)。此處可參考:【Day 23】
10. (訓練中) 完成訓練(loop) -> 完成重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】
11. (訓練後)訓練結果可能問題「不適當的最小loss?」 此處可參考:【Day 28】
12. (訓練後)訓練結果可能問題欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】
13. (訓練後)評估 – 性能指標性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】詳細介紹於:【Day 29】
14. (訓練後)評估 – 新資料適用性泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】
15. (訓練後)評估 – 模型測試使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】
16.(資料分堆的方式)(訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】
⭐從所有ML模型的訓練結果中,找到「最好的」ML模型⭐:
( 原因:「訓練好一個模型」不等於「找到最好的模型」 )
1.(訓練模型)【Day 27】 使用「訓練資料集(Training)」訓練模型(調整參數),也就是「上方表格」在做的內容
2.(結束訓練)【Day 27】 訓練到通過「驗證資料集(Validation)」結束訓練(未達到overfitting的狀態前)
3.(模型再調整)【Day 27】 超參數(hyperparameters)調整或神經網路的「layer數」或「使用的node數」(一些訓練前就會先決定的東西)
4.(loop)【Day 27】 (模型再調整)後,重複上述(訓練模型)、(結束訓練),完成訓練新的模型
5.(找到最佳模型)【Day 27】 從「所有訓練的模型」中,找到能使「驗證用資料集(Validation)」最小的loss,完成(找到最佳模型)
6.(決定是否生產)【Day 27】 可以開始決定要不要將此ML模型投入生產。此時我們可以使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試?
⭐訓練 ML 模型的小實驗⭐:
1.【Day 24】 TensorFlow Playground 的簡介與介面介紹
2.【Day 24】 learning rate 的改變對訓練過程的影響
3.【Day 25】 使用神經網路(neural network)分類資料
4.【Day 25】 觀察batch size如何影響gradient descent
⭐30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝⭐:
1.【Google ML】30 – 30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝
⭐【喜歡我的文章嗎? 幫忙按讚除了鼓勵外,我也會將部分所得捐出!
如果喜歡我的文章,請幫我在下方【按五下Like】 (Google, Facebook 免費註冊),會由 「LikeCoin」 贊助作者鼓勵繼續創作,扣除掉網站本身經營的成本 (可惜目前還是虧本的),我會將 【50% 收益全部捐出】 並公開發文,讀者們「只需幫忙按讚,完全不用出錢」哦!

likecoin-steps