➣ Reading Time: 14 minutes

前言

今天來完成 How Google does Machine Learning 第三章節的最後部分~

這次鐵人賽的30天中,我目前所寫文章的所有課程目錄如下:

Course – How Google does Machine Learning

第三章節的課程地圖:(紅字標記為本篇文章中會介紹到的章節)
* How Google does ML
* Introduction
* ML Surprise
* The secret sauce <- (昨天到這邊)
* ML and Business Processes
* The Path to ML
* End of phases deep dive
* Module 3 Quiz


1. ML and Business Processes

課程地圖
* How Google does ML
* ML and Business Processes

(from “No ML” to “ML”)在目前的組織中加入ML的方式,我們可以先原先的業務流程來看,
我們先觀察客戶與公司之間的活動,這裡以call center作為例子:

https://ithelp.ithome.com.tw/upload/images/20190908/20120424FXdqmDHbOd.png

現在有個call center
1. call center員工接聽客戶問題,回答客戶問題
2. 詢問顧客滿意度調查
3. 依據調查結果,整理調整回答問題的方式與內容(訓練機構)
4. 將調整後的內容給員工訓練

而這樣的例子我們用一個較一般化的表示方法如下圖:

https://ithelp.ithome.com.tw/upload/images/20190908/20120424ZHVd3g2qKI.png

這樣就是一般的 General Feedback Loop,我們試著在其中加入ML,
這裡我們必須先提到有五點 Path to ML 的方法

  1. Individual contributor

    一個人負責這件事情

  2. Delegation

    開始多人負責這件事情,有組織化,或有組織平行的在運作相同任務
    (通常到這階段會開始制定一些rules)

  3. Digitalization

    開始將一些”重複性高”的動作(rules),透過電腦來自動化幫人處理
    一個容易理解的例子:ATM

  4. Big Data and Analytics

    使用大量的data去更符合使用者的需求(insights)

  5. Machine Learning

    再將前面的所有資料,去進化我們的電腦處理流程(使完全自動化處理)
    (自己的註:這邊的自動化,指的是連”符合使用者的需求“這件事也自動化了)
    例子:youtube推薦,要先讓使用者有回饋給youtube喜好,youtube才能主動推薦影片

https://ithelp.ithome.com.tw/upload/images/20190908/20120424LQphXTiAx6.png

而回到我們該如何加入進去我們的 General Feedback Loop

https://ithelp.ithome.com.tw/upload/images/20190908/20120424xjfw8qBYTb.png

  1. Individual contributor
  2. Delegation
  3. Digitalization

前三個步驟裡面可以影響到process本身,
這三個步驟主要是再處理使用者面臨到我們產品的階段。

https://ithelp.ithome.com.tw/upload/images/20190908/20120424Z2keYQQadU.png

  1. Big Data and Analytics
  2. Machine Learning

Big Data and Analytics主要影響到的是我們如何找尋使用者的insights,
簡單換句話說就是知道(或更加清楚)使用者想到的是什麼,

Machine Learning,我們原本藉由調查來知道使用者需求(上一個階段),
並依這件事情訓練員工,使顧客能享受到更好的服務,
但現在我們可以用ML處理掉這階段,使得訓練員工(員工現在已經是我們的電腦),
自動化的讓顧客能享受到更好的服務。


2. The Path to ML

課程地圖
* How Google does ML
* The Path to ML

這個章節我們要接續講上章的Path to ML,
但我們要來更詳細分析這幾個階段,
如果需要定義的話可以往上一章節看。

而在這個章節中,我們也可以拿這五個步驟來檢視一間企業目前可能碰到的問題。

Path to ML的五大步驟如下圖:

https://ithelp.ithome.com.tw/upload/images/20190908/20120424QrGFsAULds.png

Step1. Individual contributor
https://ithelp.ithome.com.tw/upload/images/20190908/20120424eqf9mw04bI.png

由個別的人去應對一件需求。

如果skip這步驟會怎麼樣?

  1. 可能很難擴展規模。
  2. 沒有一個人先嘗試過,或先提早失敗過,直接建立一個很大的團體,
    如果問題發現後,很難能夠整個組織大幅度的調整。

如果這步驟太久會怎麼樣?

  1. 一個人掌握了所有的技術,當他離開時也將所有技術帶走,
    公司直接沒有了這樣的技術,嚴重可能公司因為沒有會此技術的人而停止運作。
  2. 很難去擴大規模去應對使用者的需求。

Step2. Delegation
https://ithelp.ithome.com.tw/upload/images/20190908/20120424g1be9tIVi5.png

開始由個別的人擴展變多人去應對一件需求,能同時處理需求的量也提升。

如果skip這步驟會怎麼樣?

  1. 不知道怎麼建立process,很多rules都是再規模化的這階段被建立起來的。
    如果沒有rules,也很難在下一個步驟交由電腦自動完成。
  2. 可以再這階段累積大量不同的使用者需求,藉由不同人不同個性能得到不同的回饋經驗,
    例子:call center,每個人回覆的個性不同,也能幫助我們收集需求考慮得更全面。
    (反過來說skip就沒有)
  3. 也是藉由大量客戶的反應回饋,造成human in the loop的良性循環。
    (使客戶能反覆地提供我們改進的地方。)

如果這步驟太久會怎麼樣?

  1. 付出很高的成本在服務每一個客戶
    (試想一個人一直待在銀行,只為了等待客戶來處理事情的成本,與ATM比較)
  2. 有太多的人,就會有太多種聲音,可能導致服務標準不一致。
  3. 甚至最後可能會讓組織發展停留在這階段。

Step3. Digitalization
https://ithelp.ithome.com.tw/upload/images/20190908/20120424Z4fWcJzTOR.png

開始讓電腦來代替人力去自動化處理一些反覆的事情。

如果skip這步驟會怎麼樣?

  1. 就算是ML,也需要一些基礎的設備
  2. 沒有先做一些基本的IT project(software),
    沒辦法提早在這階段先測試一些簡單的case能否成功,
    直接跳到ML階段,導致ML失敗,整個project也失敗了。

如果這步驟太久會怎麼樣?

  1. 你的競爭者更快速的收集資料,並搶先找到新的insights,
    別人的General Feedback Loop先被良好的建立後,你可能就會被打敗。

Step4. Big Data and Analytics
https://ithelp.ithome.com.tw/upload/images/20190908/201204243KOB30bHVN.png

藉由自動化的服務,收集大量使用者的數據,並找到新的使用者需求(痛點)。

如果skip這步驟會怎麼樣?

  1. 不夠乾淨與組織化的資料,你也不知道做ML訓練的最終目的是為了什麼。
  2. 沒有大量數據的證明,很難預估自己會成功。
    ML是拿來improving成功的,也就是要先有一定的基礎才能透過ML強化,
    我們先自己反覆的做這樣的分析,再交由ML替我們分析,這樣ML訓練能順水推舟。

如果這步驟太久會怎麼樣?

  1. 基本上,在這裡待很久並不會產生太大的問題,
    google也很常在這個階段停留非常久、甚至數年。
  2. 但是透過ML能分析得更快,甚至讓結果更好,
    停留在此有可能會限制能解決問題的複雜性。

Step5. Machine Learning
https://ithelp.ithome.com.tw/upload/images/20190908/20120424PIJ1tf58SJ.png

這個步驟就是將前面的步驟(Step4. Big Data and Analytics)自動化,
透過ML能處理的訊息量遠遠超過一個人能應付的極限,
而且我們能用更快的速度處理前面所有的需求,
甚至是更細緻的細節處理,帶來整體更好的效率與體驗。


3. End of phases deep dive

課程地圖
* How Google does ML
* End of phases deep dive

這章節是Path to ML的總結論,另外我們也會在此試著用另外的角度來看這五個流程。

我們一樣先回到五個步驟,我們換個圖來表示:

https://ithelp.ithome.com.tw/upload/images/20190908/20120424E62DTsPVXV.png

觀點1:誰是執行者?

從第一列我們可以看出,> 階段從
一個人(階段1.)->
很多人(階段2.)->
電腦處理(階段3.4.5.)」

觀點2:我們怎麼選擇調整的參數? (我們從哪裡知道如何調整以符合使用者需求?)

從第二列我們可以看出,階段從
一個個的調查結果(階段1.2.3.)->
調查結果整體分析(階段4.)->
調查結果分析並找出公式(階段5.)

觀點3:誰來幫助我們進步? (我們自己如何調整以符合使用者需求?)

從第三列我們可以看出,階段從
員工手冊或有人帶領新員工學習新的應對方式(階段1.2.) ->
工程師找到規則,並對機器coding符合使用者需求(階段3.4.) ->
machine learning(階段5.)

最後的提醒:

  1. 從沒有到直接”完全的使用ML”來解決問題是很危險的(對企業來說)
    依照上面所說的Path to ML做可以減少很多不確定性,是比較安全的做法
  2. Path to ML的終極目標就是將整個General Feedback Loop的過程自動化。
  3. 使用GCP平台的協助,能使這段Path to ML過程更加順利。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 7】 Google ML – Lesson 6 – How Google does ML (下) – 讓ML在企業運行的五大階段與注意事項


參考資料

  ⭐Google Machine Learning 相關文章整理⭐:
1.訂閱課程【Google ML】1 – Google ML – 參賽原因 與 就先從認識 coursera 與訂閱課程開始第一天吧
⭐ML 基礎知識篇⭐:
1.基礎ML知識什麼是ML? 為什麼ML最近才紅起來? 可參考:【Day 3】
2.設計ML問題如何設計一個ML問題?可參考:【Day 4】
3.ML與一般算法比較比較一般算法與ML算法,看出ML的優勢。可參考:【Day 11】
⭐ML 應用策略篇⭐:
1.ML的成功策略使用ML要成功,常需要的關鍵策略。可參考:【Day 5】
2.ML各階段與比重分配企業運行ML時,在ML的各階段應該放的比重與心力。可參考:【Day 6】
3.ML失敗的常見原因大部分企業使用ML卻失敗的前十大主因。可參考:【Day 6】
4.企業如何引入MLML在企業運行的五大階段與注意事項。 可參考:【Day 7】
⭐GCP 認識篇⭐:
1.在GCP上運行ML的階段在GCP上運行ML大概有哪五大階段? 可參考:【Day 2】
2.GCP上ML的介紹GCP上ML的介紹。可參考:【Day 8】【Day 11】
3.已訓練好的ML模型已訓練好的ML模型。建議可直接使用,不需要再自己訓練。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。介紹:【Day 4】詳細整理與比較:【Day 12】lab實作:【Day 14】
⭐GCP 上的 lab 實作篇⭐:
1.Lab 事前準備Lab 0 – 在GCP上開始lab前的事前準備與注意事項。可參考:【Day 9】
2.GCP上使用 VMLab 1 – 在GCP上分析地震資料與製圖,並儲存在雲端。可參考: 【Day 10】
3.BigQuery 與 DatalabLab 2 – 使用 BigQuery 與 Datalab 視覺化分析資料。可參考:【Day 13】
4.google ML APIsLab 3 – 使用google已訓練好的ML模型進行實作。如:Vision API(圖片辨識), Video intelligence API(影片辨識), Speech API(語音辨識), Translation API(語言翻譯), Natural Language API(自然語言處理)。可參考:【Day 14】
⭐ML中的不同學習種類⭐:
1.【Day 15】 監督式學習(Supervised Learning) 與 非監督式學習(Unsupervised Learning) 的介紹和比較
⭐訓練「一個」ML模型⭐:
(這裡以 監督式學習(Supervised Learning) 為例)
1. (訓練前)決定資料集與分析資料你想要預測的是什麼資料? 這邊需要先知道 example、label、features的概念。介紹可參考:【Day 15】而我們這次作為範例的訓練資料集介紹在:【Day 19】
2. (訓練前)決定問題種類依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】與進階內容:【Day 17】
3. (訓練前)決定ML模型(ML models)依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】神經網路(neural network)? 簡介於:【Day 25】
4.(模型裡面的參數)ML模型裡面的參數(parameters)與超參數(hyper-parameters) 此處可參考:【Day 18】
5. (訓練中) 調整模型評估當前模型好壞損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】
6. (訓練中) 調整模型修正模型參數以梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】
7. (訓練中) 調整腳步調整學習腳步透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】
8. (訓練中) 加快訓練取樣與分堆設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】
9. (訓練中) 加快訓練檢查loss的頻率調整「檢查loss的頻率」,依據時間(Time-based)與步驟(Step-based)。此處可參考:【Day 23】
10. (訓練中) 完成訓練(loop) -> 完成重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】
11. (訓練後)訓練結果可能問題「不適當的最小loss?」 此處可參考:【Day 28】
12. (訓練後)訓練結果可能問題欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】
13. (訓練後)評估 – 性能指標性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】詳細介紹於:【Day 29】
14. (訓練後)評估 – 新資料適用性泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】
15. (訓練後)評估 – 模型測試使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】
16.(資料分堆的方式)(訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】
⭐從所有ML模型的訓練結果中,找到「最好的」ML模型⭐:
( 原因:「訓練好一個模型」不等於「找到最好的模型」 )
1.(訓練模型)【Day 27】 使用「訓練資料集(Training)」訓練模型(調整參數),也就是「上方表格」在做的內容
2.(結束訓練)【Day 27】 訓練到通過「驗證資料集(Validation)」結束訓練(未達到overfitting的狀態前)
3.(模型再調整)【Day 27】 超參數(hyperparameters)調整或神經網路的「layer數」或「使用的node數」(一些訓練前就會先決定的東西)
4.(loop)【Day 27】 (模型再調整)後,重複上述(訓練模型)、(結束訓練),完成訓練新的模型
5.(找到最佳模型)【Day 27】 從「所有訓練的模型」中,找到能使「驗證用資料集(Validation)」最小的loss,完成(找到最佳模型)
6.(決定是否生產)【Day 27】 可以開始決定要不要將此ML模型投入生產。此時我們可以使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試?
⭐訓練 ML 模型的小實驗⭐:
1.【Day 24】 TensorFlow Playground 的簡介與介面介紹
2.【Day 24】 learning rate 的改變對訓練過程的影響
3.【Day 25】 使用神經網路(neural network)分類資料
4.【Day 25】 觀察batch size如何影響gradient descent
⭐30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝⭐:
1.【Google ML】30 – 30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝