➣ Reading Time: 21 minutes

前言

這幾天的文章會是一系列的,會需要一起看才比較能看懂整個ML模型的輪廓,
然而因為一天能寫的內容量有限,所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分,我們要先確認好自己在哪個階段,
以免吸收新內容卻不知道用在內容的什麼地方。

★ 「訓練一個ML模型」的整個過程:這裡以監督式學習(Supervised Learning)為例

階段要做的事情簡介
(訓練前)決定資料集與分析資料你想要預測的是什麼資料? 這邊需要先知道 examplelabelfeatures的概念。介紹可參考:【Day 15】,而我們這次作為範例的訓練資料集介紹在【Day 19】
(訓練前)決定問題種類依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】、與進階內容:【Day 17】
(訓練前)決定ML模型(ML models)依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】神經網路(neural network)? 簡介於:【Day 25】
(模型裡面的參數)ML模型裡面的參數(parameters)超參數(hyper-parameters) 此處可參考:【Day 18】
(訓練中) 調整模型評估當前模型好壞損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】
(訓練中) 調整模型修正模型參數梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】
(訓練中) 調整腳步調整學習腳步透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】
(訓練中) 加快訓練取樣與分堆設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】
(訓練中) 加快訓練檢查loss的頻率調整「檢查loss的頻率」,依據時間(Time-based)步驟(Step-based)。此處可參考:【Day 23】
(訓練中) 完成訓練(loop) -> 完成重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】
(訓練後)訓練結果可能問題「不適當的最小loss?」 此處可參考:【Day 28】
(訓練後)訓練結果可能問題欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】
(訓練後)評估 – 性能指標性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】、詳細介紹於:【Day 29】
(訓練後)評估 – 新資料適用性泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】
(訓練後)評估 – 模型測試使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】
(資料分堆的方式)(訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】

★ 從上面的訓練中,找到「最好的」ML模型:【Day 27】

原因:「訓練好一個模型」不等於「找到最好的模型」

階段要做的事情
(訓練模型)使用「訓練資料集(Training)」訓練模型(調整參數),也就是「上方表格」在做的內容
(結束訓練)訓練到通過「驗證資料集(Validation)」結束訓練(未達到overfitting的狀態前)
(模型再調整)超參數(hyperparameters)調整或神經網路的「layer數」或「使用的node數」(一些訓練前就會先決定的東西)
(loop)(模型再調整)後,重複上述(訓練模型)、(結束訓練),完成訓練新的模型
(找到最佳模型)從「所有訓練的模型」中,找到能使「驗證用資料集(Validation)」最小的loss,完成(找到最佳模型)
(決定是否生產)可以開始決定要不要將此ML模型投入生產。此時我們可以使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試?

★小實驗系列:

文章實驗內容
【Day 24】TensorFlow Playground 的簡介與介面介紹
【Day 24】learning rate 的改變對訓練過程的影響
【Day 25】使用神經網路(neural network)分類資料
【Day 25】觀察batch size如何影響gradient descent

Course – Launching into Machine Learning

第三章節的課程地圖:(紅字標記為本篇文章中會介紹到的章節)
* Optimization
* Introduction to Optimization
* Introduction
* Defining ML Models
* Defining ML Models
* Introducing the Natality Dataset
* Introducing Loss Functions
* Gradient Descent
* Gradient Descent
* Troubleshooting a Loss Curve
* ML Model Pitfalls
* TensorFlow Playground
* Lab: Introducing the TensorFlow Playground
* Lab: TensorFlow Playground – Advanced
* Lab: Practicing with Neural Networks
* Loss Curve Troubleshooting
* Performance Metrics
* Performance Metrics
* Confusion Matrix
* Module Quiz


0. 先整理今天重點

混淆矩陣(confusion matrix)

「模型預測」為真 (positive)「模型預測」為非 (negative)
「真實情況」為真true positive (TP)false negative (FN)
「真實情況」為非false positive (FP)true negative (TN)

簡單來說,我們「模型預測」只要是正面肯定的,就是「positive」,否定則是「negative」,
再來判定結果正不正確,只要「實際答案(label)」與「模型預測」不同就是「false」,相同就是「true」。

★ 比較三種指標「Accuracy」、「Precision」、「Recall」:

指標種類AccuracyPrecisionRecall
計算方法[(TP)+(TN)]/全部資料總數(TP)/「模型預測」為 positive 的總數(TP)/「真實資料」為 positive 的總數
公式變形(TP)/[(TP)+false positive(FP)](TP)/[(TP)+false negative(FN)]
中文解釋「預測」與「判斷」皆完全正確的 (包含「真預測為真(TP)」與「非預測為非(TN)」)「模型預測」為真(TP+FP),而「真實資料」為真的比率「真實資料」為真(TP+FN),而「模型預測」為真的比率
重視的點最經典的顯示模型的正確度我們比較重視「模型預測為真」的結果,是否能符合現實。我們比較重視「真實為真」的結果,模型能不能預測到。
影響「真實為非(FN)」的影響相對比較還好。「模型預測為非(FP)」的影響相對比較還好。
例子都是例子下雨:預測為非(預測雨天,但實際晴天),我們帶傘出門相對還好。成績預警:預測為非(預測成績不好,但實際還ok),我們告知要注意成績相對還好。
例子造成影響「真實為非(FN)」還好 = 實際晴天的影響還好。「模型預測為非(FP)」還好 = 誤發的成績預警影響還好。
對應的反例(這裡如果重視Recall:則變成「預測晴天,但實際雨天,卻沒帶傘。」)(這裡如果重視Precision:則變成「預測成績還好,但實際不ok,卻沒有通知學生注意成績。」)

1. Confusion Matrix

課程地圖
* Optimization
* Performance Metrics
* Confusion Matrix

1.1. 混淆矩陣(confusion matrix)

這是一個使用ML模型作臉部辨識的例子,
* 可以看到我們的模型不正確的將「雕像的臉」辨識為「真實人臉」,
這種情況我們稱為「false positive」。

  • 另外可以看到我們的模型錯誤的將被冬天衣服遮住的「真實人臉」辨識為「非人臉」,
    這種情況我們稱為「false negative」。

自己的註:

簡單來說,我們「模型預測」只要是正面肯定的,就是「positive」,否定則是「negative」,
再來判定結果正不正確,只要「實際答案(label)」與「模型預測」不同就是「false」,相同就是「true」。

混淆矩陣(confusion matrix)能夠使用我們量化的評估模型的性能,
我們現在有四個數字,各個象限各一個。

然而我們通常只會用一個數字告訴別人我們的模型有多好,我們應該介紹哪一個?
我們再來用下一個分類的例子來作更細的講解。

1.2. Precision

  • 如果我們知道一個停車位是可以用的,則他的 label 為「positive」,
  • 如果我們的模型也預測這個停車位可以用,則我們稱為「true positive」

  • 如果我們知道「沒有可以用的」停車位,
    但我們的模型仍然「預測有」可以停的車位,
    我們稱這種情況為「false positive」或「type I error」,
    為了比較我們模型做的「positive」預測有多好,我們稱這個指標為「precision」

如果「precision」很高,當我們說有可用的停車位,我們可以非常確定真的有車位。
「precision」如果是 1.0,表示「我們預測可用」的停車位中,這些車位實際上都真的是可用的。

但缺點是,我們可能會遺失一些「我們預測不可用」的停車位,但實際上是可用的。
這種情況我們稱為「false negatives」。

再來我們用數學方式來講「Precision」的正式定義,

  • 「Precision」 = 「true positives」/ 「所有被模型預測positive的結果」

然後我們再看回這個混淆矩陣(confusion matrix)
增加什麼因素會造成我們的精度下降呢?

答:增加「false positives」。

在停車場的例子中,模型預測「有空位的」,但實際上「並沒有空位」,
就會造成「false positives」增加,使「Precision」下降。

★ 自己的註:

「Precision」 = 「true positives」/ 「模型預測的所有positive」,
也可以說 = 「true positives」/ 「false positives + true positives」
如果看「Precision」=「true positives」/ 「false positives + true positives」
我們應該能更容易理解為何「false positives」的增加,會使「Precision」下降。

1.3. Recall

Recall 與 precision 通常有著相反的關係,代表著不同的指標。

  • 我們「預測不可用」的停車位,但實際上是「可用」的,這種情況稱為「false negatives」。

如果一個模型有很高的「Recall」,
我們會因為發現實際上很多可以停的位置感到開心。
「Recall」如果是 1.0,表示我們預測可用的車位有10個,就真的有10個。
但實際上有些可能實際上是「可用」的車位,但我們卻說是「不可用」的。

  • 「Recall」 = 「true positives」/ 「所有被真實中是positive的結果」

★ 自己的註:

「Recall」 = 「true positives」/ 「所有被真實中是positive的結果」
也可以說 = 「true positives」/ 「false negatives + true positives」
而「false negatives」指的是「真實中是,我們卻預測不是的」。
當「false negatives」的增加,會使「Recall」下降。

★ Precision 與 Recall 自己的小總結:

這其實有點像心理學,當我告訴你東西很少,但實際發現很多,你會很開心。
這就是「Recall」指標,東西可能會比實際預估的還要多。
另外「Precision」則是比較像寧願誤判也不可以有漏網之魚,
我們告訴你的東西很多,但實際有可能會比較少一點,這就是「Precision」指標。

實際運用的話,像是判斷疾病,
應該要用「Precision」指標(有疾病為positives),寧願誤判也不可以漏掉。
或者舉另外一個例子,如果用來判斷下雨的話(有下雨為positives),
寧願預測說有下雨,實際卻沒下(比起預測沒下雨,實際卻下雨了好很多。)
(不過以結果來說,當然還是預測越準越好)

適合用「Recall」指標的情況,例如以期中預警為例(成績還行為positives),
正確預測是好事,但如果錯誤預測,
寧願「成績還行」卻「告知學生要注意成績(成績不行)」,
總會比「成績不行」卻「沒告知學生注意成績(成績還行)」的好。
(一樣的以結果來說,當然還是預測越準越好)


1.4. 來看另外一個例子:比較「accuracy」、「precision」、「Recall」

這裡我們將會看到很多圖片,這些圖片裡面有些是貓,有些不是,
我們可以先自己試著判斷看看,然後我們再來看模型預測的結果。

希望你有正確判斷出含有貓圖片的圖,特別注意紅框處有一隻隱藏的貓。
而出於我們預測的目的,老虎我們在這例子並不被歸類為貓。

而我們也看我們的模型預測的結果,我們將這結果與我們的已知(label)比較,
我們來衡量一下模型判斷的結果。

整體看起來,我們的模型的準確率是3/8 = 0.375,
也就是說我們模型的「accuracy」= 0.375,
但「accuracy」指標不一定就是描述模型的最好的指標。

我們現在來看我們的這些貓與非貓的資料,我們模型的「precision」是多少?
我們的模型總共預測了五張屬於「positive」的分類,
但實際上真實是貓的只有兩張,所以「precision」= 2/5 = 0.4

「Recall」像是一個不喜歡作出「positive」決定的人,
這裡我們看到所有「代表貓」的真實例子(label)
我們拿我們模型的預測只與這些「代表貓」的結果比較。

我們得到的「Recall」為 2/4 = 0.5,
換句話說這個是從所有真實應該為貓的圖片,
看我們的模型有預測有多準確(true positives),
這個就是「Recall」指標。


1.5. 段落小整理

  • 這邊我們把最佳化這個章節的全部內容在做個小整理。

  • 首先,我們先定義ML模型為一組參數與超參數的組合,
    我們所嘗試的優化,就是指在參數空間(parameter space)中搜索最佳參數。

  • 接下來,我們介紹了損失函數(loss function)
    這也是我們在訓練階段中,評估與量化模型現在性能的方式。

我們針對損失函數(loss function)討論了兩種方法,
用於線性回歸(linear regression)的RMSE、
用於分類任務的交叉熵(cross-entropy)
透過分析梯度下降(gradient descent)
我們能夠決定前進的方向與步長,
這使我們知道如何在loss表面進行搜索,以尋找最佳參數。

  • 我們在TensorFlow playground對於不同的ML模型進行實驗,
    並觀察「線性模型」是如何在給定「非線性特徵時」學習非線性關係,
    以及神經網路(neural networks)是如何學習層次來分析特徵。
    我們也看見超參數(hyperparameters)
    例如學習速率(learning rate)batch size
    是如何影響梯度下降(gradient descent)的結果。

  • 我們最後在決定accuracy, precision, recall之間進行選擇,
    依據想解決的問題種類進行選擇,以提高模型的性能,
    正如同我們在這個單元中看到的結果一樣,
    我們所標記的訓練資料集會成為模型學習的動力。


本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 29】 Google ML – Lesson 13 – 以混淆矩陣(confusion matrix)分析ML模型好壞,可評估的三種指標Accuracy, Precision, Recall


參考資料

⭐Google Machine Learning 相關文章整理⭐:
1.訂閱課程【Google ML】1 – Google ML – 參賽原因 與 就先從認識 coursera 與訂閱課程開始第一天吧
⭐ML 基礎知識篇⭐:
1.基礎ML知識什麼是ML? 為什麼ML最近才紅起來? 可參考:【Day 3】
2.設計ML問題如何設計一個ML問題?可參考:【Day 4】
3.ML與一般算法比較比較一般算法與ML算法,看出ML的優勢。可參考:【Day 11】
⭐ML 應用策略篇⭐:
1.ML的成功策略使用ML要成功,常需要的關鍵策略。可參考:【Day 5】
2.ML各階段與比重分配企業運行ML時,在ML的各階段應該放的比重與心力。可參考:【Day 6】
3.ML失敗的常見原因大部分企業使用ML卻失敗的前十大主因。可參考:【Day 6】
4.企業如何引入MLML在企業運行的五大階段與注意事項。 可參考:【Day 7】
⭐GCP 認識篇⭐:
1.在GCP上運行ML的階段在GCP上運行ML大概有哪五大階段? 可參考:【Day 2】
2.GCP上ML的介紹GCP上ML的介紹。可參考:【Day 8】【Day 11】
3.已訓練好的ML模型已訓練好的ML模型。建議可直接使用,不需要再自己訓練。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。介紹:【Day 4】詳細整理與比較:【Day 12】lab實作:【Day 14】
⭐GCP 上的 lab 實作篇⭐:
1.Lab 事前準備Lab 0 – 在GCP上開始lab前的事前準備與注意事項。可參考:【Day 9】
2.GCP上使用 VMLab 1 – 在GCP上分析地震資料與製圖,並儲存在雲端。可參考: 【Day 10】
3.BigQuery 與 DatalabLab 2 – 使用 BigQuery 與 Datalab 視覺化分析資料。可參考:【Day 13】
4.google ML APIsLab 3 – 使用google已訓練好的ML模型進行實作。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。可參考:【Day 14】
⭐ML中的不同學習種類⭐:
1.【Day 15】 監督式學習(Supervised Learning) 與 非監督式學習(Unsupervised Learning) 的介紹和比較
⭐訓練「一個」ML模型⭐:
(這裡以 監督式學習(Supervised Learning) 為例)
1. (訓練前)決定資料集與分析資料你想要預測的是什麼資料? 這邊需要先知道 example、label、features的概念。介紹可參考:【Day 15】而我們這次作為範例的訓練資料集介紹在:【Day 19】
2. (訓練前)決定問題種類依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】與進階內容:【Day 17】
3. (訓練前)決定ML模型(ML models)依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】神經網路(neural network)? 簡介於:【Day 25】
4.(模型裡面的參數)ML模型裡面的參數(parameters)與超參數(hyper-parameters) 此處可參考:【Day 18】
5. (訓練中) 調整模型評估當前模型好壞損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】
6. (訓練中) 調整模型修正模型參數以梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】
7. (訓練中) 調整腳步調整學習腳步透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】
8. (訓練中) 加快訓練取樣與分堆設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】
9. (訓練中) 加快訓練檢查loss的頻率調整「檢查loss的頻率」,依據時間(Time-based)與步驟(Step-based)。此處可參考:【Day 23】
10. (訓練中) 完成訓練(loop) -> 完成重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】
11. (訓練後)訓練結果可能問題「不適當的最小loss?」 此處可參考:【Day 28】
12. (訓練後)訓練結果可能問題欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】
13. (訓練後)評估 – 性能指標性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】詳細介紹於:【Day 29】
14. (訓練後)評估 – 新資料適用性泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】
15. (訓練後)評估 – 模型測試使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】
16.(資料分堆的方式)(訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】
⭐從所有ML模型的訓練結果中,找到「最好的」ML模型⭐:
( 原因:「訓練好一個模型」不等於「找到最好的模型」 )
1.(訓練模型)【Day 27】 使用「訓練資料集(Training)」訓練模型(調整參數),也就是「上方表格」在做的內容
2.(結束訓練)【Day 27】 訓練到通過「驗證資料集(Validation)」結束訓練(未達到overfitting的狀態前)
3.(模型再調整)【Day 27】 超參數(hyperparameters)調整或神經網路的「layer數」或「使用的node數」(一些訓練前就會先決定的東西)
4.(loop)【Day 27】 (模型再調整)後,重複上述(訓練模型)、(結束訓練),完成訓練新的模型
5.(找到最佳模型)【Day 27】 從「所有訓練的模型」中,找到能使「驗證用資料集(Validation)」最小的loss,完成(找到最佳模型)
6.(決定是否生產)【Day 27】 可以開始決定要不要將此ML模型投入生產。此時我們可以使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試?
⭐訓練 ML 模型的小實驗⭐:
1.【Day 24】 TensorFlow Playground 的簡介與介面介紹
2.【Day 24】 learning rate 的改變對訓練過程的影響
3.【Day 25】 使用神經網路(neural network)分類資料
4.【Day 25】 觀察batch size如何影響gradient descent
⭐30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝⭐:
1.【Google ML】30 – 30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝
⭐【喜歡我的文章嗎? 歡迎幫我按讚~ 讓基金會請創作者喝一杯咖啡!
如果喜歡我的文章,請幫我在下方【按五下Like】 (Google, Facebook 免註冊),會由 「LikeCoin」 贊助作者鼓勵繼續創作,讀者們「只需幫忙按讚,完全不用出錢」哦!

likecoin-steps