➣ Reading Time: 15 minutes

前言

今天我們繼續 How Google does Machine Learning 的第五章節~

這次鐵人賽的30天中,我目前所寫文章的所有課程目錄如下:

Course – How Google does Machine Learning

第五章節的課程地圖:(紅字標記為本篇文章中會介紹到的章節)
* Python notebooks in the cloud
* Module Introduction
* Cloud Datalab
* Cloud Datalab
* Demo: Cloud Datalab
* Development process
* Demo of rehosting Cloud Datalab
* Working with managed services
* Computation and storage <– (昨天到這邊)
* Lab: Rent-a-VM
* Intro to Qwiklabs
* Intro to Renting-VM Lab
* Lab: Rent-a-VM to process earthquake data
* Lab debrief
* Cloud Shell
* Third wave of cloud
* Third Wave of Cloud: Fully-Managed Services
* Third Wave of Cloud: Serverless Data Analysis
* Third Wave of Cloud: BigQuery and Cloud Datalab
* Datalab and BigQuery
* Lab Intro: Analyzing data using Datalab and BigQuery
* Lab: Analyzing data using Datalab and BigQuery
* Lab Debrief: Analyzing Data using Datalab and BigQuery
* Machine Learning with Sara Robinson
* ML, not rules
* Pre-trained ML APIs
* Vision API in action
* Video intelligence API
* Cloud Speech API
* Translation and NL
* Lab: Machine Learning APIs
* Lab: Pretrained ML APIs Intro
* Lab: Invoking Machine Learning APIs
* Lab Solution


Lab: Intro to Qwiklabs

課程地圖
* Python notebooks in the cloud
* Lab: Rent-a-VM
* Intro to Qwiklabs
* Intro to Renting-VM Lab

這邊會進入我們第一個lab,我們可以從Coursera直接執行我們的應用,
我們可以參考下圖的使用說明:

https://ithelp.ithome.com.tw/upload/images/20190910/201204247OJYOT4OWa.png

  • Step1: 在Coursera點選一個Lab
  • Step2: 按下藍色的Open Tool(藍色按鈕),進入Qwiklabs
  • Step3: 在Qwiklabs按下START LAB(綠色按鈕),開始一個lab
  • Step4: 在開始lab的同時,會有一些credentials被同時生成(對應各個帳號)
  • Step5: 在Qwiklabs可以點選Open Google Console(黃色按鈕)
  • Step6: 他會要求你登入Google Home platform,這個帳號密碼在Step4找得到(並非個人google帳號)

再來我們來實際執行一次吧!(這裡的截圖取用影片中的範例,帳號密碼也只是影片中的範例)

part 1 : 開始執行階段

Step 1: 按下藍色的Open Tool按鈕
https://ithelp.ithome.com.tw/upload/images/20190910/20120424fjpygvxdvy.png

Step 2: 可以在右邊閱讀這個lab的詳細內容與注意事項,
按下綠色的START LAB(綠色按鈕)就會進入Qwiklabs,
這個視窗在開始Qwiklabs後可以不用關閉,繼續查詢lab的內容。
https://ithelp.ithome.com.tw/upload/images/20190910/20120424yFdHiYISm2.png

Step 3: 開始lab之後,右上角時間會開始倒數,
不過這個不用擔心,時間基本上一定夠做得完lab。
(如果真的做不完,還可以再重啟lab,使他重新倒數計時。)

我們也可以看到左側產生的各種帳號、密碼與 Project ID作為之後的步驟使用
(這裡的帳號、密碼與 Project ID都是臨時且唯一的,在lab結束後就會消失。)
下一步我們就按上方的 Open Google Console。
https://ithelp.ithome.com.tw/upload/images/20190910/20120424dT3q4NU0Ca.png

Step 4: 這裡會要求登入google,請務必輸入Step3中的「帳號密碼」,而不是自己的帳號。
並同意使用條款,手機認證不用管沒關係。
https://ithelp.ithome.com.tw/upload/images/20190910/20120424jNCw72tSS3.png

Step 5: 這邊也要同意GCP的使用條款。
https://ithelp.ithome.com.tw/upload/images/20190910/20120424sEXZsl9qCE.png

Step 6: 看到這個畫面,基本上準備程序已經完成了。
https://ithelp.ithome.com.tw/upload/images/20190910/20120424Cj2UH7UKfi.png

注意事項 1:注意上方的project名稱是否有對應Step3中的lab名稱
(不過這邊親測基本上除非名字差太多,不然基本上應該是都沒問題的。)

如果真的不同的話,按上方的project名稱,點選正確的名稱打勾即可。
https://ithelp.ithome.com.tw/upload/images/20190910/20120424rXl5q5vyDo.png


part 2 : 運行中階段

  • 左上角有Menu可以找到全部的功能
  • 右上角(紅框處)有可以開始執行 Google Cloud Shell 的功能
    (terminal for Google Cloud Platform)

https://ithelp.ithome.com.tw/upload/images/20190910/20120424OtxdXAMxhT.png


part 3 : 結束運行階段 (重要)

結束運行的階段非常重要,不可以直接關閉(可能會造成其他lab有使用上的問題)

Step 1 : 我們回到這個畫面按下紅色的END LAB按鈕,並確認關閉。
* 沒有正常關閉可能會造成下次執行同lab出問題,或是執行其他lab出問題。
* 另外一個重要的注意事項:只要關閉lab,裡面的 datasets 或 working 皆會全部清除
記得要先做好儲存的動作,不論是儲存在 GCP的帳號中(不等於lab的這個帳號) 或 自己的電腦裡皆可。

https://ithelp.ithome.com.tw/upload/images/20190910/20120424GNGO6OY2R3.png


本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 9】 Google ML – Lab 0 – Intro to Qwiklabs – 每次在google雲端上開始lab前都要的事前準備與注意事項


參考資料

⭐Google Machine Learning 相關文章整理⭐:
1.訂閱課程【Google ML】1 – Google ML – 參賽原因 與 就先從認識 coursera 與訂閱課程開始第一天吧
⭐ML 基礎知識篇⭐:
1.基礎ML知識什麼是ML? 為什麼ML最近才紅起來? 可參考:【Day 3】
2.設計ML問題如何設計一個ML問題?可參考:【Day 4】
3.ML與一般算法比較比較一般算法與ML算法,看出ML的優勢。可參考:【Day 11】
⭐ML 應用策略篇⭐:
1.ML的成功策略使用ML要成功,常需要的關鍵策略。可參考:【Day 5】
2.ML各階段與比重分配企業運行ML時,在ML的各階段應該放的比重與心力。可參考:【Day 6】
3.ML失敗的常見原因大部分企業使用ML卻失敗的前十大主因。可參考:【Day 6】
4.企業如何引入MLML在企業運行的五大階段與注意事項。 可參考:【Day 7】
⭐GCP 認識篇⭐:
1.在GCP上運行ML的階段在GCP上運行ML大概有哪五大階段? 可參考:【Day 2】
2.GCP上ML的介紹GCP上ML的介紹。可參考:【Day 8】【Day 11】
3.已訓練好的ML模型已訓練好的ML模型。建議可直接使用,不需要再自己訓練。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。介紹:【Day 4】詳細整理與比較:【Day 12】lab實作:【Day 14】
⭐GCP 上的 lab 實作篇⭐:
1.Lab 事前準備Lab 0 – 在GCP上開始lab前的事前準備與注意事項。可參考:【Day 9】
2.GCP上使用 VMLab 1 – 在GCP上分析地震資料與製圖,並儲存在雲端。可參考: 【Day 10】
3.BigQuery 與 DatalabLab 2 – 使用 BigQuery 與 Datalab 視覺化分析資料。可參考:【Day 13】
4.google ML APIsLab 3 – 使用google已訓練好的ML模型進行實作。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。可參考:【Day 14】
⭐ML中的不同學習種類⭐:
1.【Day 15】 監督式學習(Supervised Learning) 與 非監督式學習(Unsupervised Learning) 的介紹和比較
⭐訓練「一個」ML模型⭐:
(這裡以 監督式學習(Supervised Learning) 為例)
1. (訓練前)決定資料集與分析資料你想要預測的是什麼資料? 這邊需要先知道 example、label、features的概念。介紹可參考:【Day 15】而我們這次作為範例的訓練資料集介紹在:【Day 19】
2. (訓練前)決定問題種類依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】與進階內容:【Day 17】
3. (訓練前)決定ML模型(ML models)依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】神經網路(neural network)? 簡介於:【Day 25】
4.(模型裡面的參數)ML模型裡面的參數(parameters)與超參數(hyper-parameters) 此處可參考:【Day 18】
5. (訓練中) 調整模型評估當前模型好壞損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】
6. (訓練中) 調整模型修正模型參數以梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】
7. (訓練中) 調整腳步調整學習腳步透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】
8. (訓練中) 加快訓練取樣與分堆設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】
9. (訓練中) 加快訓練檢查loss的頻率調整「檢查loss的頻率」,依據時間(Time-based)與步驟(Step-based)。此處可參考:【Day 23】
10. (訓練中) 完成訓練(loop) -> 完成重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】
11. (訓練後)訓練結果可能問題「不適當的最小loss?」 此處可參考:【Day 28】
12. (訓練後)訓練結果可能問題欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】
13. (訓練後)評估 – 性能指標性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】詳細介紹於:【Day 29】
14. (訓練後)評估 – 新資料適用性泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】
15. (訓練後)評估 – 模型測試使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】
16.(資料分堆的方式)(訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】
⭐從所有ML模型的訓練結果中,找到「最好的」ML模型⭐:
( 原因:「訓練好一個模型」不等於「找到最好的模型」 )
1.(訓練模型)【Day 27】 使用「訓練資料集(Training)」訓練模型(調整參數),也就是「上方表格」在做的內容
2.(結束訓練)【Day 27】 訓練到通過「驗證資料集(Validation)」結束訓練(未達到overfitting的狀態前)
3.(模型再調整)【Day 27】 超參數(hyperparameters)調整或神經網路的「layer數」或「使用的node數」(一些訓練前就會先決定的東西)
4.(loop)【Day 27】 (模型再調整)後,重複上述(訓練模型)、(結束訓練),完成訓練新的模型
5.(找到最佳模型)【Day 27】 從「所有訓練的模型」中,找到能使「驗證用資料集(Validation)」最小的loss,完成(找到最佳模型)
6.(決定是否生產)【Day 27】 可以開始決定要不要將此ML模型投入生產。此時我們可以使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試?
⭐訓練 ML 模型的小實驗⭐:
1.【Day 24】 TensorFlow Playground 的簡介與介面介紹
2.【Day 24】 learning rate 的改變對訓練過程的影響
3.【Day 25】 使用神經網路(neural network)分類資料
4.【Day 25】 觀察batch size如何影響gradient descent
⭐30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝⭐:
1.【Google ML】30 – 30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝
⭐【喜歡我的文章嗎? 歡迎幫我按讚~ 讓基金會請創作者喝一杯咖啡!
如果喜歡我的文章,請幫我在下方【按五下Like】 (Google, Facebook 免註冊),會由 「LikeCoin」 贊助作者鼓勵繼續創作,讀者們「只需幫忙按讚,完全不用出錢」哦!

likecoin-steps