前言
今天我們繼續新課程 Launching into Machine Learning 的第二章~
這幾天的文章會是一系列的，會需要一起看才比較能看懂整個ML模型的輪廓，
然而因為一天能寫的內容量有限，所以我會在前言部分稍微說明我寫到哪。
複習一下ML的整個訓練過程
因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。
★ML的整個「訓練過程」：這裡以監督式學習(Supervised Learning)為例
| 階段 | 要做的事情 | 簡介 |
|---|---|---|
(訓練前) | 決定資料集與分析資料 | 你想要預測的是什麼資料? 這邊需要先知道 example、label、features的概念。介紹可參考：【Day 15】，而我們這次作為範例的訓練資料集介紹在【Day 19】。 |
(訓練前) | 決定問題種類 | 依據資料，會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考：【Day 16】、與進階內容：【Day 17】 |
(訓練前) | 決定ML模型(ML models) | 依據問題的種類，會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考：【Day 18】，神經網路(neural network)? 簡介於：【Day 25】 |
| (模型裡面的參數) | ML模型裡面的參數(parameters)與超參數(hyper-parameters) 此處可參考：【Day 18】 | |
(訓練中) 調整模型 | 評估當前模型好壞 | 損失函數(Loss Functions)：使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考：【Day 20】 |
(訓練中) 調整模型 | 修正模型參數 | 以梯度下降法 (Gradient Descent)為例：決定模型中參數的修正「方向」與「步長(step size)」此處可參考：【Day 21】 |
(訓練中) 調整腳步 | 調整學習腳步 | 透過學習速率(learning rate)來調整ML模型訓練的步長(step size)，調整學習腳步。(此參數在訓練前設定，為hyper-parameter)。此處可參考：【Day 22】 |
(訓練中) 加快訓練 | 取樣與分堆 | 設定batch size，透過batch從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在訓練前設定，為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考：【Day 23】 |
(訓練中) 加快訓練 | 檢查loss的頻率 | 調整「檢查loss的頻率」，依據時間(Time-based)與步驟(Step-based)。此處可參考：【Day 23】 |
(訓練中) 完成訓練 | (loop) -> 完成 | 重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考：【Day 27】 |
(訓練後) | 訓練結果可能問題 | 「不適當的最小loss?」 此處可參考：【Day 28】 |
(訓練後) | 訓練結果可能問題 | 欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考：【Day 26】 |
(訓練後) | 評估 – 性能指標 | 性能指標(performance metrics)：以混淆矩陣(confusion matrix)分析，包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於：【Day 28】、詳細介紹於：【Day 29】 |
(訓練後) | 評估 – 新資料適用性 | 泛化(Generalization)：對於新資料、沒看過的資料的模型適用性。此處可參考：【Day 26】 |
(訓練後) | 評估 – 模型測試 | 使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考：【Day 27】 |
| (資料分堆的方式) | (訓練前) 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：【Day 27】 |
Course – Launching into Machine Learning
第二章節的課程地圖：(紅字標記為本篇文章中會介紹到的章節)
* Practical ML
* Introduction to Practical ML
* Introduction
* Supervised Learning
* Supervised Learning
* Regression and Classification
* ML History
* Short History of ML: Linear Regression
* Short History of ML: Perceptron
* Short History of ML: Neural Networks
* Short History of ML: Decision Trees
* Short History of ML: Kernel Methods
* Short History of ML: Random Forests
* Short History of ML: Modern Neural Networks
* 討論提示: Modern Neural Networks
* Module Quiz
Regression and Classification
課程地圖
* Practical ML
* Supervised Learning
* Regression and Classification
今天我們要來更細部的解說Regression與Classification的差別，昨天已經有先做簡單的比較了。
一樣先講結論，想看詳細說明或例子再往下拉吧~
不論是regression problem或classification problem，
皆是屬於監督式學習(Supervised Learning)的問題。
| 問題種類 | regression problem(回歸問題) | classification problem(分類問題) |
|---|---|---|
| 答案(label)特性 | 預測的答案(label)為「連續」值 | 預測的答案(label)為「非連續」值 |
| 利用資料的方式 | 我們使用數學函數組合不同的features，預測出一個「連續函數」作為我們結果的label | 我們用features創造一個決策邊界，這個邊界幫助我們區分(分類)出結果label |
| 訓練目標 | 最小化「預測的結果」與「實際的結果(label)」的誤差 | 最小化「誤分類(misclassification)」的數量，也就是「預測的分類」與「實際上的分類(label)」的誤差要為最小。 |
| 常用的計算誤差方法 | 均方差(mean squared error) | 交叉熵(cross-entropy) |
| 學習類型 | 監督式學習(Supervised Learning) | 監督式學習(Supervised Learning) |
一樣的我們再整理一下：
Supervised Learning(監督式學習) | Unsupervised Learning(非監督式學習) |
|---|---|
| 有預設可能的答案(label)，用「資料」做label的預測(學習目標) | 無預設可能的答案(label)，通常是將「資料」做分組(分群)，再來依據分佈的結果說明「發現(學習目標)」。 |
| 預測問題可能的答案(predict) | 描述問題(資料)的分佈現象(description) |
Regression problem
一樣我們先從昨天的例子來看，
我們想從其他資訊features預測tip的價格
tip是我們的預測的目標，也就是我們的label
也因為tip是連續值，所以這是個regression problem。
在regression problem中，我們的目標是使用數學函數去組合不同的
features，
這樣我們就能預測出一個連續值作為我們結果的label。
我們先稍微把問題簡化一下，假設現在只考慮一個feature: 帳單(bill)
而這個問題的數學函數結果正是上圖中顯示的綠線，我們可以從綠線看出bill與tip的關係。
更近一步的我們就可以從bill去預測tip會有多少。
而現在這題目因為只考慮一種feature，只有二維的線性關係，線性也表示著連續的結果。
我們可以考慮更多的features，這個結果也會更多維度。
在regression problems中，我們的目標是最小化我們「預測的結果」與「實際的結果(label)」的誤差，
我們常用的計算誤差的方法叫做均方差(mean squared error)
Classification problem
一樣也是昨天的問題，另外一個我們提到的例子，
我們想從其他資訊features預測「顧客的性別」
「顧客的性別」是我們的預測的目標，也就是我們的label
也因為「顧客的性別」是不連續值，所以這是個classification problem。
我們看與上面一樣的圖，我們想用tip和bill去試著預測顧客的性別，
但我們會發現這是個不好的idea，我們的仔細看這張圖裡面，
男女的分佈非常的不明顯，所以結果一定也不太好。
這個例子就很好說明了當我們想預測的東西「不是連續」的差別，
性別是一個不連續的資料，當作為我們的預測的目標(label)時，
這就是一個classification problem在classification problems中，我們使用
features預測的結果不會是一個連續的值。
我們用features創造一個抉擇邊界，這個邊界幫助我們區分(分類)出結果label
在這個例子中，一樣我們也會畫出一條線，而這條線的兩側會代表著兩種不同的類別(class)，
例如隨便假設tip比0.18倍的bill值還大(紅線)，我們就預測這位顧客可能是為男性，
(當然在這個例子中我們可以看出這樣的預測結果明顯是錯誤的，我們可以看到有很多反例)
我們知道在這個例子中抉擇邊界(紅線)應該不會是線性的(non-linear)，
在這張圖中我們取黃線部分的結果會是更好的，問題是我們要怎麼要確定黃線比紅線好?
在classification problems，我們的目標是最小化「誤分類(misclassification)」的數量，
也就是我們「預測的分類」與「實際上的分類label」的誤差要為最小。
我們常用的計算誤差的方法叫做交叉熵(cross-entropy)。
另外，就算是預測tip，如果我們不用明確知道tip的值，
我們也可以用classification problem方式解，
假設我們可以將tip分成低中高三個等級：
- 高：高於total bill的25%
- 中：介於total bill的15%~25%之間
- 低：低於total bill的15%
換句話說，我們把價格用區間的方式「離散化」了，
現在「tip等級分類」的問題就是一個classification problem，
一般來說，原來的連續feature都可以被「離散化」成為分類特徵(categorical feature)
當然，反過來將分類特徵(categorical feature)嵌入至連續空間(continuous space)也是做得到的，
這我們會在後面的章節討論，
但不論如何，regression與classification問題皆是「預測問題」，
對比於unsupervised problems的「描述問題」，方向是截然不同的。
本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 16】 Google ML – Lesson 2 – 監督式學習(Supervised Learning)中兩大問題 – Regression & Classification(回歸與分類)
參考資料
- coursera – Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉
