➣ Reading Time: 13 minutes

前言

今天我們繼續新課程 Launching into Machine Learning 的第二章~

這幾天的文章會是一系列的,會需要一起看才比較能看懂整個ML模型的輪廓,
然而因為一天能寫的內容量有限,所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分,我們要先確認好自己在哪個階段,
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」:這裡以監督式學習(Supervised Learning)為例

階段要做的事情簡介
(訓練前)決定資料集與分析資料你想要預測的是什麼資料? 這邊需要先知道 examplelabelfeatures的概念。介紹可參考:【Day 15】,而我們這次作為範例的訓練資料集介紹在【Day 19】
(訓練前)決定問題種類依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】、與進階內容:【Day 17】
(訓練前)決定ML模型(ML models)依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】神經網路(neural network)? 簡介於:【Day 25】
(模型裡面的參數)ML模型裡面的參數(parameters)超參數(hyper-parameters) 此處可參考:【Day 18】
(訓練中) 調整模型評估當前模型好壞損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】
(訓練中) 調整模型修正模型參數梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】
(訓練中) 調整腳步調整學習腳步透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】
(訓練中) 加快訓練取樣與分堆設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】
(訓練中) 加快訓練檢查loss的頻率調整「檢查loss的頻率」,依據時間(Time-based)步驟(Step-based)。此處可參考:【Day 23】
(訓練中) 完成訓練(loop) -> 完成重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】
(訓練後)訓練結果可能問題「不適當的最小loss?」 此處可參考:【Day 28】
(訓練後)訓練結果可能問題欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】
(訓練後)評估 – 性能指標性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】、詳細介紹於:【Day 29】
(訓練後)評估 – 新資料適用性泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】
(訓練後)評估 – 模型測試使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】
(資料分堆的方式)(訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】

Course – Launching into Machine Learning

第二章節的課程地圖:(紅字標記為本篇文章中會介紹到的章節)
* Practical ML
* Introduction to Practical ML
* Introduction
* Supervised Learning
* Supervised Learning
* Regression and Classification
* ML History
* Short History of ML: Linear Regression
* Short History of ML: Perceptron
* Short History of ML: Neural Networks
* Short History of ML: Decision Trees
* Short History of ML: Kernel Methods
* Short History of ML: Random Forests
* Short History of ML: Modern Neural Networks
* 討論提示: Modern Neural Networks
* Module Quiz


Regression and Classification

課程地圖
* Practical ML
* Supervised Learning
* Regression and Classification

今天我們要來更細部的解說Regression與Classification的差別,昨天已經有先做簡單的比較了。

一樣先講結論,想看詳細說明或例子再往下拉吧~

不論是regression problem或classification problem,
皆是屬於監督式學習(Supervised Learning)的問題。

問題種類regression problem(回歸問題)classification problem(分類問題)
答案(label)特性預測的答案(label)為「連續」值預測的答案(label)為「非連續」值
利用資料的方式我們使用數學函數組合不同的features,預測出一個「連續函數」作為我們結果的label我們用features創造一個決策邊界,這個邊界幫助我們區分(分類)出結果label
訓練目標最小化「預測的結果」與「實際的結果(label)」的誤差最小化「誤分類(misclassification)」的數量,也就是「預測的分類」與「實際上的分類(label)」的誤差要為最小。
常用的計算誤差方法均方差(mean squared error)交叉熵(cross-entropy)
學習類型監督式學習(Supervised Learning)監督式學習(Supervised Learning)

一樣的我們再整理一下:

Supervised Learning(監督式學習)Unsupervised Learning(非監督式學習)
有預設可能的答案(label),用「資料」做label的預測(學習目標)無預設可能的答案(label),通常是將「資料」做分組(分群),再來依據分佈的結果說明「發現(學習目標)」。
預測問題可能的答案(predict)描述問題(資料)的分佈現象(description)

Regression problem

一樣我們先從昨天的例子來看,
我們想從其他資訊features預測tip的價格
tip是我們的預測的目標,也就是我們的label
也因為tip是連續值,所以這是個regression problem

在regression problem中,我們的目標是使用數學函數去組合不同的features
這樣我們就能預測出一個連續值作為我們結果的label

https://ithelp.ithome.com.tw/upload/images/20190916/20120424Qucv2dDi1k.png

我們先稍微把問題簡化一下,假設現在只考慮一個feature: 帳單(bill)
而這個問題的數學函數結果正是上圖中顯示的綠線,我們可以從綠線看出bill與tip的關係。
更近一步的我們就可以從bill去預測tip會有多少。

而現在這題目因為只考慮一種feature,只有二維的線性關係,線性也表示著連續的結果。
我們可以考慮更多的features,這個結果也會更多維度。

在regression problems中,我們的目標是最小化我們「預測的結果」與「實際的結果(label)」的誤差,
我們常用的計算誤差的方法叫做均方差(mean squared error)


Classification problem

一樣也是昨天的問題,另外一個我們提到的例子,
我們想從其他資訊features預測「顧客的性別」
「顧客的性別」是我們的預測的目標,也就是我們的label
也因為「顧客的性別」是不連續值,所以這是個classification problem

https://ithelp.ithome.com.tw/upload/images/20190917/20120424eO4Mk6dvo3.png

我們看與上面一樣的圖,我們想用tip和bill去試著預測顧客的性別,
但我們會發現這是個不好的idea,我們的仔細看這張圖裡面,
男女的分佈非常的不明顯,所以結果一定也不太好。

這個例子就很好說明了當我們想預測的東西「不是連續」的差別,
性別是一個不連續的資料,當作為我們的預測的目標(label)時,
這就是一個classification problem

在classification problems中,我們使用features預測的結果不會是一個連續的值。
我們用features創造一個抉擇邊界,這個邊界幫助我們區分(分類)出結果label

在這個例子中,一樣我們也會畫出一條線,而這條線的兩側會代表著兩種不同的類別(class),
例如隨便假設tip比0.18倍的bill值還大(紅線),我們就預測這位顧客可能是為男性,
(當然在這個例子中我們可以看出這樣的預測結果明顯是錯誤的,我們可以看到有很多反例)

我們知道在這個例子中抉擇邊界(紅線)應該不會是線性的(non-linear),
在這張圖中我們取黃線部分的結果會是更好的,問題是我們要怎麼要確定黃線比紅線好?

在classification problems,我們的目標是最小化「誤分類(misclassification)」的數量,
也就是我們「預測的分類」與「實際上的分類label」的誤差要為最小。
我們常用的計算誤差的方法叫做交叉熵(cross-entropy)。


另外,就算是預測tip,如果我們不用明確知道tip的值,
我們也可以用classification problem方式解,
假設我們可以將tip分成低中高三個等級:

  • 高:高於total bill的25%
  • 中:介於total bill的15%~25%之間
  • 低:低於total bill的15%

換句話說,我們把價格用區間的方式「離散化」了,
現在「tip等級分類」的問題就是一個classification problem,
一般來說,原來的連續feature都可以被「離散化」成為分類特徵(categorical feature)

當然,反過來將分類特徵(categorical feature)嵌入至連續空間(continuous space)也是做得到的,
這我們會在後面的章節討論,
但不論如何,regression與classification問題皆是「預測問題」,
對比於unsupervised problems的「描述問題」,方向是截然不同的。


本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 16】 Google ML – Lesson 2 – 監督式學習(Supervised Learning)中兩大問題 – Regression & Classification(回歸與分類)


參考資料

⭐Google Machine Learning 相關文章整理⭐:
1.訂閱課程【Google ML】1 – Google ML – 參賽原因 與 就先從認識 coursera 與訂閱課程開始第一天吧
⭐ML 基礎知識篇⭐:
1.基礎ML知識什麼是ML? 為什麼ML最近才紅起來? 可參考:【Day 3】
2.設計ML問題如何設計一個ML問題?可參考:【Day 4】
3.ML與一般算法比較比較一般算法與ML算法,看出ML的優勢。可參考:【Day 11】
⭐ML 應用策略篇⭐:
1.ML的成功策略使用ML要成功,常需要的關鍵策略。可參考:【Day 5】
2.ML各階段與比重分配企業運行ML時,在ML的各階段應該放的比重與心力。可參考:【Day 6】
3.ML失敗的常見原因大部分企業使用ML卻失敗的前十大主因。可參考:【Day 6】
4.企業如何引入MLML在企業運行的五大階段與注意事項。 可參考:【Day 7】
⭐GCP 認識篇⭐:
1.在GCP上運行ML的階段在GCP上運行ML大概有哪五大階段? 可參考:【Day 2】
2.GCP上ML的介紹GCP上ML的介紹。可參考:【Day 8】【Day 11】
3.已訓練好的ML模型已訓練好的ML模型。建議可直接使用,不需要再自己訓練。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。介紹:【Day 4】詳細整理與比較:【Day 12】lab實作:【Day 14】
⭐GCP 上的 lab 實作篇⭐:
1.Lab 事前準備Lab 0 – 在GCP上開始lab前的事前準備與注意事項。可參考:【Day 9】
2.GCP上使用 VMLab 1 – 在GCP上分析地震資料與製圖,並儲存在雲端。可參考: 【Day 10】
3.BigQuery 與 DatalabLab 2 – 使用 BigQuery 與 Datalab 視覺化分析資料。可參考:【Day 13】
4.google ML APIsLab 3 – 使用google已訓練好的ML模型進行實作。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。可參考:【Day 14】
⭐ML中的不同學習種類⭐:
1.【Day 15】 監督式學習(Supervised Learning) 與 非監督式學習(Unsupervised Learning) 的介紹和比較
⭐訓練「一個」ML模型⭐:
(這裡以 監督式學習(Supervised Learning) 為例)
1. (訓練前)決定資料集與分析資料你想要預測的是什麼資料? 這邊需要先知道 example、label、features的概念。介紹可參考:【Day 15】而我們這次作為範例的訓練資料集介紹在:【Day 19】
2. (訓練前)決定問題種類依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】與進階內容:【Day 17】
3. (訓練前)決定ML模型(ML models)依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】神經網路(neural network)? 簡介於:【Day 25】
4.(模型裡面的參數)ML模型裡面的參數(parameters)與超參數(hyper-parameters) 此處可參考:【Day 18】
5. (訓練中) 調整模型評估當前模型好壞損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】
6. (訓練中) 調整模型修正模型參數以梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】
7. (訓練中) 調整腳步調整學習腳步透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】
8. (訓練中) 加快訓練取樣與分堆設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】
9. (訓練中) 加快訓練檢查loss的頻率調整「檢查loss的頻率」,依據時間(Time-based)與步驟(Step-based)。此處可參考:【Day 23】
10. (訓練中) 完成訓練(loop) -> 完成重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】
11. (訓練後)訓練結果可能問題「不適當的最小loss?」 此處可參考:【Day 28】
12. (訓練後)訓練結果可能問題欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】
13. (訓練後)評估 – 性能指標性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】詳細介紹於:【Day 29】
14. (訓練後)評估 – 新資料適用性泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】
15. (訓練後)評估 – 模型測試使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】
16.(資料分堆的方式)(訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】
⭐從所有ML模型的訓練結果中,找到「最好的」ML模型⭐:
( 原因:「訓練好一個模型」不等於「找到最好的模型」 )
1.(訓練模型)【Day 27】 使用「訓練資料集(Training)」訓練模型(調整參數),也就是「上方表格」在做的內容
2.(結束訓練)【Day 27】 訓練到通過「驗證資料集(Validation)」結束訓練(未達到overfitting的狀態前)
3.(模型再調整)【Day 27】 超參數(hyperparameters)調整或神經網路的「layer數」或「使用的node數」(一些訓練前就會先決定的東西)
4.(loop)【Day 27】 (模型再調整)後,重複上述(訓練模型)、(結束訓練),完成訓練新的模型
5.(找到最佳模型)【Day 27】 從「所有訓練的模型」中,找到能使「驗證用資料集(Validation)」最小的loss,完成(找到最佳模型)
6.(決定是否生產)【Day 27】 可以開始決定要不要將此ML模型投入生產。此時我們可以使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試?
⭐訓練 ML 模型的小實驗⭐:
1.【Day 24】 TensorFlow Playground 的簡介與介面介紹
2.【Day 24】 learning rate 的改變對訓練過程的影響
3.【Day 25】 使用神經網路(neural network)分類資料
4.【Day 25】 觀察batch size如何影響gradient descent
⭐30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝⭐:
1.【Google ML】30 – 30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝
⭐【喜歡我的文章嗎? 幫忙按讚除了鼓勵外,我也會將部分所得捐出!
如果喜歡我的文章,請幫我在下方【按五下Like】 (Google, Facebook 免費註冊),會由 「LikeCoin」 贊助作者鼓勵繼續創作,扣除掉網站本身經營的成本 (可惜目前還是虧本的),我會將 【50% 收益全部捐出】 並公開發文,讀者們「只需幫忙按讚,完全不用出錢」哦!

likecoin-steps