前言會有這次作筆記的原因主要是因為 Google Developers Groups Taiwan (以下簡稱 GDG Taiwan)
有推廣他們的課程,其中像是這次的「Google 機器學習培訓計劃」也是他們舉辦的活動,
而在 GDG Taiwan 的計畫之下有舉辦一個「ML Study Jam」的讀書會,
我是透過這個讀書會知道這活動的消息的。
此外,由於今年 ML Study Jam 與 iT 邦幫忙的鐵人賽合作,
並且推出「如果同時完成了這次的學習課程且完成鐵人賽,就加碼送 TensorFlow 背包!」的活動
背包與那篇貼文長這樣:
(題外話:這貼文的照片與文字真的超陽春可愛的XD)
總之為了包包還是努力寫一下30天的文章XD,
雖然不知道拿到包包後會不會真的把這個包包背出去就是了
⭐Google Machine Learning 相關文章整理⭐: 1. 訂閱課程 【Google ML】1 – Google ML – 參賽原因 與 就先從認識 coursera 與訂閱課程開始第一天吧 ⭐ML 基礎知識篇⭐: 1. 基礎ML知識 什麼是ML? 為什麼ML最近才紅起來? 可參考:【Day 3】 2. 設計ML問題 如何設計一個ML問題?可參考:【Day 4】 3. ML與一般算法比較 比較一般算法與ML算法,看出ML的優勢。可參考:【Day 11】 ⭐ML 應用策略篇⭐: 1. ML的成功策略 使用ML要成功,常需要的關鍵策略。可參考:【Day 5】 2. ML各階段與比重分配 企業運行ML時,在ML的各階段應該放的比重與心力。可參考:【Day 6】 3. ML失敗的常見原因 大部分企業使用ML卻失敗的前十大主因。可參考:【Day 6】 4. 企業如何引入ML ML在企業運行的五大階段與注意事項。 可參考:【Day 7】 ⭐GCP 認識篇⭐: 1. 在GCP上運行ML的階段 在GCP上運行ML大概有哪五大階段? 可參考:【Day 2】 2. GCP上ML的介紹 GCP上ML的介紹。可參考:【Day 8】 、【Day 11】 3. 已訓練好的ML模型 已訓練好的ML模型。建議可直接使用,不需要再自己訓練。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。介紹:【Day 4】 ,詳細整理與比較:【Day 12】 、lab實作:【Day 14】 ⭐GCP 上的 lab 實作篇⭐: 1. Lab 事前準備 Lab 0 – 在GCP上開始lab前的事前準備與注意事項。可參考:【Day 9】 2. GCP上使用 VM Lab 1 – 在GCP上分析地震資料與製圖,並儲存在雲端。可參考: 【Day 10】 3. BigQuery 與 Datalab Lab 2 – 使用 BigQuery 與 Datalab 視覺化分析資料。可參考:【Day 13】 4. google ML APIs Lab 3 – 使用google已訓練好的ML模型進行實作。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。可參考:【Day 14】 ⭐ML中的不同學習種類⭐: 1. 【Day 15】 監督式學習(Supervised Learning) 與 非監督式學習(Unsupervised Learning) 的介紹和比較 ⭐訓練「一個」ML模型⭐:
(這裡以 監督式學習(Supervised Learning) 為例)1. (訓練前) 決定資料集與分析資料 你想要預測的是什麼資料? 這邊需要先知道 example、label、features的概念。介紹可參考:【Day 15】 ,而我們這次作為範例的訓練資料集介紹在:【Day 19】 。2. (訓練前) 決定問題種類 依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】 、與進階內容:【Day 17】 3. (訓練前) 決定ML模型(ML models) 依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】 ,神經網路(neural network)? 簡介於:【Day 25】 4. (模型裡面的參數) ML模型裡面的參數(parameters)與超參數(hyper-parameters) 此處可參考:【Day 18】 5. (訓練中) 調整模型 評估當前模型好壞 損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】 6. (訓練中) 調整模型 修正模型參數 以梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】 7. (訓練中) 調整腳步 調整學習腳步 透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】 8. (訓練中) 加快訓練 取樣與分堆 設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】 9. (訓練中) 加快訓練 檢查loss的頻率 調整「檢查loss的頻率」,依據時間(Time-based)與步驟(Step-based)。此處可參考:【Day 23】 10. (訓練中) 完成訓練 (loop) -> 完成 重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】 11. (訓練後) 訓練結果可能問題 「不適當的最小loss?」 此處可參考:【Day 28】 12. (訓練後) 訓練結果可能問題 欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】 13. (訓練後) 評估 – 性能指標 性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】 、詳細介紹於:【Day 29】 14. (訓練後) 評估 – 新資料適用性 泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】 15. (訓練後) 評估 – 模型測試 使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】 16. (資料分堆的方式) (訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】 ⭐從所有ML模型的訓練結果中,找到「最好的」ML模型⭐:
( 原因:「訓練好一個模型」不等於「找到最好的模型」 )1. (訓練模型) 【Day 27】 使用「訓練資料集(Training)」訓練模型(調整參數),也就是「上方表格」在做的內容 2. (結束訓練) 【Day 27】 訓練到通過「驗證資料集(Validation)」結束訓練(未達到overfitting的狀態前) 3. (模型再調整) 【Day 27】 超參數(hyperparameters)調整或神經網路的「layer數」或「使用的node數」(一些訓練前就會先決定的東西) 4. (loop) 【Day 27】 (模型再調整)後,重複上述(訓練模型)、(結束訓練),完成訓練新的模型 5. (找到最佳模型) 【Day 27】 從「所有訓練的模型」中,找到能使「驗證用資料集(Validation)」最小的loss,完成(找到最佳模型) 6. (決定是否生產) 【Day 27】 可以開始決定要不要將此ML模型投入生產。此時我們可以使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? ⭐訓練 ML 模型的小實驗⭐: 1. 【Day 24】 TensorFlow Playground 的簡介與介面介紹 2. 【Day 24】 learning rate 的改變對訓練過程的影響 3. 【Day 25】 使用神經網路(neural network)分類資料 4. 【Day 25】 觀察batch size如何影響gradient descent ⭐30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝⭐: 1. 【Google ML】30 – 30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝 ⭐【喜歡我的文章嗎? 歡迎幫我按讚~ 讓基金會請創作者喝一杯咖啡! 】
如果喜歡我的文章,請幫我在下方【按五下Like 】 (Google, Facebook 免註冊 ),會由 「LikeCoin 」 贊助作者鼓勵繼續創作,讀者們「只需幫忙按讚,完全不用出錢 」哦!
0. 先來說說這次的30天學習筆記預計會有的內容:由google提供的免費課程有預先指定其中兩個,
我將在會在30天中優先完成這兩門課程:
至於剩下的天數,規劃大概有兩種:
繼續完成其他非指定的課程
畢竟難得有免費又高級的課程,當然要多學一點啊!
試著用從這課程中學習到的東西試著做點小應用
只是照著教學做,感覺就沒有實作感,所以可以的話當然會希望能作些實際的應用,
不過目前要做什麼還沒決定XD (看學到什麼東西或許就會有靈感了XD)
今天是開始做 Google machine learning 學習筆記的第一天,
通常第一天就來先認識一下環境與做一些基本設定吧~
1. 開始註冊帳號有報名此活動的應該都會在自己的信件夾收到一封啟用信,
我們 需要透過信中的連結(重要) 開始我們的課程
點信中連結會看到以下畫面:
點選左下角的 Machine Learning with TensorFlow on Google Cloud Platform,並註冊課程
註冊帳號成功後會顯示訂閱美金49元的提示,
這裡我們就先按訂閱(第一個月是免費的,稍後會取消續訂)
註冊時coursera會需要你的信用卡資料
(如果學生沒有信用卡,可能就需要先跟家人借 ,
不過放心這次的學習課程不需要付費,但需要綁定卡片)
看到這樣的畫面就表示完成囉!
按開始回到課程頁面會看到以下的畫面:
2. 取消第二個月繼續訂閱(第二個月之後就要付費囉~)再來我們可以透過個人購買設定或這個網址 ,去取消續訂第二個月的課程
按下方的取消訂閱即可
看到這個畫面就表示取消續訂成功囉!
3. 開始上課最後我們回到課程頁面,或點選以下兩個課程連結,就可以開始上課囉~
由於剛剛已經註冊了第一個,這邊示範註冊第二個課程( Launching to Machine Learning )
(注意:註冊課程後會有完成課程的期限 (目前看上面寫的),
如果沒有把握在時間內完成兩門課程,建議等有空再註冊第二門課)
註冊課程成功囉!
4. 繼續完成課程完成今天的課程後,如果之後想要繼續課程,
可以回到coursera的網頁 ,或點以下連結直接看課程網頁
本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 1】 Google ML – 參賽原因 與 就先從認識 coursera 與訂閱課程開始第一天吧
參考資料⭐Google Machine Learning 相關文章整理⭐: 1. 訂閱課程 【Google ML】1 – Google ML – 參賽原因 與 就先從認識 coursera 與訂閱課程開始第一天吧 ⭐ML 基礎知識篇⭐: 1. 基礎ML知識 什麼是ML? 為什麼ML最近才紅起來? 可參考:【Day 3】 2. 設計ML問題 如何設計一個ML問題?可參考:【Day 4】 3. ML與一般算法比較 比較一般算法與ML算法,看出ML的優勢。可參考:【Day 11】 ⭐ML 應用策略篇⭐: 1. ML的成功策略 使用ML要成功,常需要的關鍵策略。可參考:【Day 5】 2. ML各階段與比重分配 企業運行ML時,在ML的各階段應該放的比重與心力。可參考:【Day 6】 3. ML失敗的常見原因 大部分企業使用ML卻失敗的前十大主因。可參考:【Day 6】 4. 企業如何引入ML ML在企業運行的五大階段與注意事項。 可參考:【Day 7】 ⭐GCP 認識篇⭐: 1. 在GCP上運行ML的階段 在GCP上運行ML大概有哪五大階段? 可參考:【Day 2】 2. GCP上ML的介紹 GCP上ML的介紹。可參考:【Day 8】 、【Day 11】 3. 已訓練好的ML模型 已訓練好的ML模型。建議可直接使用,不需要再自己訓練。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。介紹:【Day 4】 ,詳細整理與比較:【Day 12】 、lab實作:【Day 14】 ⭐GCP 上的 lab 實作篇⭐: 1. Lab 事前準備 Lab 0 – 在GCP上開始lab前的事前準備與注意事項。可參考:【Day 9】 2. GCP上使用 VM Lab 1 – 在GCP上分析地震資料與製圖,並儲存在雲端。可參考: 【Day 10】 3. BigQuery 與 Datalab Lab 2 – 使用 BigQuery 與 Datalab 視覺化分析資料。可參考:【Day 13】 4. google ML APIs Lab 3 – 使用google已訓練好的ML模型進行實作。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。可參考:【Day 14】 ⭐ML中的不同學習種類⭐: 1. 【Day 15】 監督式學習(Supervised Learning) 與 非監督式學習(Unsupervised Learning) 的介紹和比較 ⭐訓練「一個」ML模型⭐:
(這裡以 監督式學習(Supervised Learning) 為例)1. (訓練前) 決定資料集與分析資料 你想要預測的是什麼資料? 這邊需要先知道 example、label、features的概念。介紹可參考:【Day 15】 ,而我們這次作為範例的訓練資料集介紹在:【Day 19】 。2. (訓練前) 決定問題種類 依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】 、與進階內容:【Day 17】 3. (訓練前) 決定ML模型(ML models) 依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】 ,神經網路(neural network)? 簡介於:【Day 25】 4. (模型裡面的參數) ML模型裡面的參數(parameters)與超參數(hyper-parameters) 此處可參考:【Day 18】 5. (訓練中) 調整模型 評估當前模型好壞 損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】 6. (訓練中) 調整模型 修正模型參數 以梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】 7. (訓練中) 調整腳步 調整學習腳步 透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】 8. (訓練中) 加快訓練 取樣與分堆 設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】 9. (訓練中) 加快訓練 檢查loss的頻率 調整「檢查loss的頻率」,依據時間(Time-based)與步驟(Step-based)。此處可參考:【Day 23】 10. (訓練中) 完成訓練 (loop) -> 完成 重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】 11. (訓練後) 訓練結果可能問題 「不適當的最小loss?」 此處可參考:【Day 28】 12. (訓練後) 訓練結果可能問題 欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】 13. (訓練後) 評估 – 性能指標 性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】 、詳細介紹於:【Day 29】 14. (訓練後) 評估 – 新資料適用性 泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】 15. (訓練後) 評估 – 模型測試 使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】 16. (資料分堆的方式) (訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】 ⭐從所有ML模型的訓練結果中,找到「最好的」ML模型⭐:
( 原因:「訓練好一個模型」不等於「找到最好的模型」 )1. (訓練模型) 【Day 27】 使用「訓練資料集(Training)」訓練模型(調整參數),也就是「上方表格」在做的內容 2. (結束訓練) 【Day 27】 訓練到通過「驗證資料集(Validation)」結束訓練(未達到overfitting的狀態前) 3. (模型再調整) 【Day 27】 超參數(hyperparameters)調整或神經網路的「layer數」或「使用的node數」(一些訓練前就會先決定的東西) 4. (loop) 【Day 27】 (模型再調整)後,重複上述(訓練模型)、(結束訓練),完成訓練新的模型 5. (找到最佳模型) 【Day 27】 從「所有訓練的模型」中,找到能使「驗證用資料集(Validation)」最小的loss,完成(找到最佳模型) 6. (決定是否生產) 【Day 27】 可以開始決定要不要將此ML模型投入生產。此時我們可以使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? ⭐訓練 ML 模型的小實驗⭐: 1. 【Day 24】 TensorFlow Playground 的簡介與介面介紹 2. 【Day 24】 learning rate 的改變對訓練過程的影響 3. 【Day 25】 使用神經網路(neural network)分類資料 4. 【Day 25】 觀察batch size如何影響gradient descent ⭐30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝⭐: 1. 【Google ML】30 – 30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝 ⭐【喜歡我的文章嗎? 歡迎幫我按讚~ 讓基金會請創作者喝一杯咖啡! 】
如果喜歡我的文章,請幫我在下方【按五下Like 】 (Google, Facebook 免註冊 ),會由 「LikeCoin 」 贊助作者鼓勵繼續創作,讀者們「只需幫忙按讚,完全不用出錢 」哦!