前言
這幾天的文章會是一系列的，會需要一起看才比較能看懂整個ML模型的輪廓，
然而因為一天能寫的內容量有限，所以我會在前言部分稍微說明我寫到哪。
複習一下ML的整個訓練過程
因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。
★ML的整個「訓練過程」：這裡以監督式學習(Supervised Learning)為例
| 階段 | 要做的事情 | 簡介 |
|---|---|---|
(訓練前) | 決定資料集與分析資料 | 你想要預測的是什麼資料? 這邊需要先知道 example、label、features的概念。介紹可參考：【Day 15】，而我們這次作為範例的訓練資料集介紹在【Day 19】。 |
(訓練前) | 決定問題種類 | 依據資料，會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考：【Day 16】、與進階內容：【Day 17】 |
(訓練前) | 決定ML模型(ML models) | 依據問題的種類，會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考：【Day 18】，神經網路(neural network)? 簡介於：【Day 25】 |
| (模型裡面的參數) | ML模型裡面的參數(parameters)與超參數(hyper-parameters) 此處可參考：【Day 18】 | |
(訓練中) 調整模型 | 評估當前模型好壞 | 損失函數(Loss Functions)：使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考：【Day 20】 |
(訓練中) 調整模型 | 修正模型參數 | 以梯度下降法 (Gradient Descent)為例：決定模型中參數的修正「方向」與「步長(step size)」此處可參考：【Day 21】 |
(訓練中) 調整腳步 | 調整學習腳步 | 透過學習速率(learning rate)來調整ML模型訓練的步長(step size)，調整學習腳步。(此參數在訓練前設定，為hyper-parameter)。此處可參考：【Day 22】 |
(訓練中) 加快訓練 | 取樣與分堆 | 設定batch size，透過batch從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在訓練前設定，為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考：【Day 23】 |
(訓練中) 加快訓練 | 檢查loss的頻率 | 調整「檢查loss的頻率」，依據時間(Time-based)與步驟(Step-based)。此處可參考：【Day 23】 |
(訓練中) 完成訓練 | (loop) -> 完成 | 重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考：【Day 27】 |
(訓練後) | 訓練結果可能問題 | 「不適當的最小loss?」 此處可參考：【Day 28】 |
(訓練後) | 訓練結果可能問題 | 欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考：【Day 26】 |
(訓練後) | 評估 – 性能指標 | 性能指標(performance metrics)：以混淆矩陣(confusion matrix)分析，包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於：【Day 28】、詳細介紹於：【Day 29】 |
(訓練後) | 評估 – 新資料適用性 | 泛化(Generalization)：對於新資料、沒看過的資料的模型適用性。此處可參考：【Day 26】 |
(訓練後) | 評估 – 模型測試 | 使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考：【Day 27】 |
| (資料分堆的方式) | (訓練前) 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：【Day 27】 |
今天我們會直接進 Launching into Machine Learning 的第三章節~
第二章節剩下的歷史部分，因為我稍微想了一下內容，真的要寫起來應該可以寫成七篇文章，
然而因為很多都是比較舊的算法，我自己因為有研究正在做，會比較想先看新的作法，
所以我先細寫新章節的內容，一樣的，有機會我會回去補完那部分XD
(一天都可以寫一整個算法了XD)
Course – Launching into Machine Learning
第三章節的課程地圖：(紅字標記為本篇文章中會介紹到的章節)
* Optimization
* Introduction to Optimization
* Introduction
* Defining ML Models
* Defining ML Models
* Introducing the Natality Dataset
* Introducing Loss Functions
* Gradient Descent
* Gradient Descent
* Troubleshooting a Loss Curve
* ML Model Pitfalls
* TensorFlow Playground
* Lab: Introducing the TensorFlow Playground
* Lab: TensorFlow Playground – Advanced
* Lab: Practicing with Neural Networks
* Loss Curve Troubleshooting
* Performance Metrics
* Performance Metrics
* Confusion Matrix
* Module Quiz
1. Introduction to Optimization
課程地圖
* Optimization
* Introduction to Optimization
* Introduction
這個章節的名稱為Optimization，也就是說我們如何在訓練過程中優化我們的結果。
對於如何優化，我們在這的學習目標是：
* 評價model的表現，利用loss functions
* 以loss functions作為基準的使用Gradient Descent演算法
* 最佳化Gradient Descent演算法，使它的效率達到最高
* 使用Performance Metrics作商業決策
(ML的整個過程，在Optimization這一章節，我們會先跑其中前半的流程。)
2. Defining ML Models
課程地圖
* Optimization
* Defining ML Models
* Defining ML Models
在介紹怎麼決定ML模型之前，我們先對整個ML的整個「訓練過程」有點概念：
註：我們在【Day 3】- 什麼是ML? 為什麼ML最近才紅起來? 有提過，整個ML過程會有兩個stage
Stage1 – training
Stage2 – inference(推理)(也有些人稱為prediction(預測))
所以這邊的「ML的整個訓練過程」，只有指Stage1的部分，
並不是訓練完整個ML的過程就結束了。
★ML的整個「訓練過程」：
* 定義 ML models -> 決定模型
* 介紹 Loss Functions -> 「訓練過程中」，我們評估「目前訓練當下」好壞的依據
* 梯度下降法 (Gradient Descent) -> 依據評估決定訓練的修正方向
* 使用 TensorFlow Playground -> 視覺化的看上述的變化過程
* 訓練結果的表現 Performance Metrics -> 「訓練結束後」，”外部”評估我們的訓練結果如何
那開始來介紹 ML模型 吧！
2.0. ML模型是什麼? 訓練目標是什麼?
ML模型簡單說就是個數學函數，我們透過「修改參數」使等式盡量成立(接近目標)，
自己的註：y=Ax+B, 我們去努力試出A, B是什麼 (「修改參數」指的就是修改A, B)
而在ML模型裡面，參數也有分成 parameters 與 hyper-parameters，
* parameters : 隨著模型訓練的過程中不斷變化的(實數)變數
* hyper-parameters : 開始訓練前就設定好的變數，之後開始訓練也不會變。
而依照歷史的變化，線性模型(linear models)是最早被使用的ML模型，
甚至到現在仍然是一種重要且被廣泛使用的模型。
我們在ML模型中所做的事情，就是不斷調整變數(parameters)，
使所有作為我們input的feature，都能透過這個模型，output吻合訓練目標label。
再來我們要講ML模型會有哪些種類，
我們前兩天的辛苦介紹 Regression and Classification 這兩種問題的定義就是為了這邊使用：
如果不清楚 Regression and Classification 問題是什麼與有什麼差別，
詳細介紹可以先參考前面兩天的文，我們這裡直接拿結論的表格，
- 【Day 16】 監督式學習(Supervised Learning)中兩大問題 – Regression & Classification(回歸與分類)
- 【Day 17】 多維度線性回歸解(N-D Regression), 交叉熵(cross-entropy)與均方差(MSE) 作為誤差函數計算所帶來的不同
| 問題種類 | regression problem(回歸問題) | classification problem(分類問題) |
|---|---|---|
| 答案(label)特性 | 預測的答案(label)為「連續」值 | 預測的答案(label)為「非連續」值 |
| 利用資料的方式 | 我們使用數學函數組合不同的features，預測出一個「連續函數」作為我們結果的label | 我們用features創造一個決策邊界，這個邊界幫助我們區分(分類)出結果label |
| 訓練目標 | 最小化「預測的結果」與「實際的結果(label)」的誤差 | 最小化「誤分類(misclassification)」的數量，也就是「預測的分類」與「實際上的分類(label)」的誤差要為最小。 |
| 常用的計算誤差方法 | 均方差(mean squared error) | 交叉熵(cross-entropy) |
| 學習類型 | 監督式學習(Supervised Learning) | 監督式學習(Supervised Learning) |
| 使用的ML模型 | Regression model(回歸模型) | Classification model(分類模型) |
我們這邊只看最後一行，回歸問題用回歸模型解，分類問題用分類模型解。(滿自然而然的吧XD)
這邊就是要來實際講我們做了什麼「數學運算」，來解決這兩類問題。
2.1. Regression model 回歸模型
我們將上述在ML模型中所做的事情數學化，可以簡單表示成 y = mx + b，
* x是input，也就是我們參考的feature
* y是output，也就是我們訓練的目標label
* 我們透過調整b(bias)、m(weight,權重)，使我們方程式能接近我們想要的結果
而這個概念示範雖然只有二維空間，但只要知道labels與features之前的關係，
我們可以將這概念任意拓展到更高的維度，
所有的inputs(features)經過我們的model，就會產生對應的outputs(labels)。
也就是說，我們可能可以建立一個模型，只要給他所有的inputs(
features)，
他就會吐出所有你想知道的outputs(labels)。
當我們增加input的維度(也就是同時輸入更多features)，
我們上述所說的斜率m，也必須因此變成n維度，我們把這個m稱作權重(weight)
視覺上的表示，在原本的一條線變成n維度的同時，
這時原本我們所說的斜率(m)也變成了超平面(ω, Omega)，如上面的右圖。
同時我們也思考一下，原本的式子 y = mx + b，由於此處變多維空間，
我們改表示成 y = Xω + b，X 因為輸入變多了，所以變成多維值
所以 ω與b 應該也要變成更高維的值，才能繼續使等式成立。
自己的註：
X 代表所有inputs(
features)
ω 為權重(weight)
y 依然是我們訓練的目標labels
b偏差值(bias)，調整用的參數我們稍微想一下，X如果變成二維向量(x1,x2)，
output也變成多維(y1,y2)，也就是同時預測多個項目，
先看b，b需要變成高維(b1,b2)才能維持計算等式，
而ω也是，至少也要變成二維矩陣才能算啊!
★ 自己的一些小結論：
線性回歸模型的例子看起來比較直觀，重點就是在解 y = Xω + b 中的 ω與b，
X(features)與 y(labels) 我們一開始都已經有了，只差解出ω與b，
而我們所說的訓練就是在調整模型裡面的所有參數。
2.2. Classification model 分類模型
分類模型相對比較沒有回歸模型那麼直覺，
回歸模型就是找出 y = Xω + b 中的 ω與b後，我們就能用X來預測y了，
但我們要怎麼樣用線性模型(linear model)做分類呢? 連續數字要怎麼做分類?
為了討論怎麼樣將我們模型output的連續數字轉換成分類，
我們需要將這些結果做encode，也就是將這些資料做成員編碼，
來看他是不是屬於這個class的成員。
最簡單的編碼方式就是二進位編碼，
自己的註：如果你有什麼特性一類、沒有那個特性一類，
(在【Day 17】 多維度線性回歸解(N-D Regression), 交叉熵(cross-entropy)與均方差(MSE) 作為誤差函數計算所帶來的不同也有用過這樣的方法。)
當然有很多數據可能會需要分類成兩個以上，這方法依然有效，只要將每個類視為獨立的類即可。
自己的註：例如 (A,非A)，(B,非B), (C,非C)，
這邊有點小細節，獨立的類不是像之前分成 (~15%, 15%~25%, 25%~)，
應該後面會介紹，沒有我再自己補XD
使用二進位編碼還有個好處，我們能更容易的管理我們的任務，
但以下的討論我們先以分兩類為主，這樣比較容易解釋。
我們要找到一種方法，「依據二進位分類規則」找到我們的目標線，
一個簡單的方法就是單純依靠輸出的結果。
以圖來看，這條線就像是將我們的圖片分成兩大塊，在線上方的與線下方的各一區，
我們就稱這條線為決策邊界(decision boundary)，區隔出這兩類。
而且，決策邊界(decision boundary)不只是描述目前的資料，
他的目標是預測我們還沒看見的資料，
而這種可以擴展預測到還沒看見的資料的特徵，我們稱之為泛化(generalization)，
泛化(generalization)的過程對ML相當重要，我們後續也會有很多的討論。
★ 自己的一些小結論：
這段我真的看超級久……，我看完Classification model一直在想說，
所以你不是沒講到怎麼找到這條分類線嗎?
後來想了大概快三小時，我才想通
- 這個階段主要只在介紹怎麼生出一條線，
就有點像我只是在「任意」決定 y=ax+b 的a,b而已，
至於怎麼「找到」(或說是「修正出」)這條線，那是後面「修正階段」的事情 原來我自己的文章版本中(現在改掉了)，我自己寫的註是
「自己的註：如果你有什麼特性就是0、沒有那個特性就是1」，
這是根據前面章節使用的方法延伸過來的，但我就是被這例子誤導，
我後來又看了無數遍影片內容才懂，原來他指的分類是，
「如果你有什麼特性一類、沒有那個特性一類」，
這個差別在哪? 也就是說當任意線被決定後(例如：y=3x+2好了)，
我們可以直接將「y > 3x+2」與「y < 3x+2」分成兩類，
而我一直在想是0、是1的問題才卡那麼久……真的是被誤導很久
不過想出來的感覺也滿爽的啦XD(希望我想的真的是對的XD)
(希望我想的真的是對的XD)本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 18】 Google ML – Lesson 4 – 什麼是ML模型?訓練的目標? 回歸模型(Regression model), 分類模型(Classification model)的運算
參考資料
- coursera – Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉
