前言
在 python 中有 thread 與 multiprocess 兩種平行處理程式的方式，
兩者分別的特性為：
- thread: 可直接使用全域變數 (global) 交換資訊
- multiprocess: 需透過設定特定通道 (多核心執行的中央變數管理，另一篇文會提到) 才能拿到資訊
也因此會有不同的特性：
- thread: 適合小任務、資訊共用的任務 (直接拿 global 資訊來用)
- multiprocess: 適合大任務、資訊獨立的任務 (把相關資訊交由其他核心處理後，不太需要拿取新資訊)
而在時間上，python 的 thread 實作有使用 GIL (global interpreter lock) ，
這是為了保護程式取用資料衝突的機制 (一般而言，我們會自己建立 mutex 或 lock 來實現這一點)，
但也因為內建此機制的原因，實際執行上會慢於 multiprocess。
(可以有一種想法是，當 python 的 thread 實現方式是建立在大量的 context switch上)
而 multiprocess 可以幫助我們更好的運用硬體的多核心資源，
也就是將電腦的能力發揮到更極限，達到更好的效果。
(一般執行程式只需要一個核心)
但要注意：送資料到別的核心需要時間
如果是簡單不需要太多時間的任務，
使用多核心運算的方式反而會在資料搬運上浪費更多時間。
小整理
| 功能 | thread | multiprocess |
|---|---|---|
| 速度 | 快 (受限於 GIL) | 更快 |
| 電腦資源使用 | 極限 | 更極限 |
| 資訊共用容易度 | 相對容易 | 複雜 (注意：送資料到別的核心需要時間) |
| 適合任務 | 小任務、資訊共用的任務 | 大任務、資訊獨立的任務 |
thread 與 multiprocess 比較
threading 重點摘要
threading 是透過 context-switch 的方式實現
也就是說，我們是透過 CPU 的不斷切換 (context-switch)，實現平行的功能。
當大量使用 threading 執行平行的功能時，反而會因為大量的 context-switch，
「實現了程式平行的功能，但也因為大量的 context-switch ，使得程式執行速度更慢」。
multiprocessing 重點摘要
multiprocessing 在資料傳遞上，會因為需要將資料轉移至其他 CPU 上進行運算，
因此會需要考慮資料搬運的時間，
而多核心真正的實現「平行運算的功能」，當任務較為複雜時，效率一定比較好。
thread 與 multiprocess 比較圖
從下圖我們可以看到任務被完成的「概念」時間
- main 1~4, main-end
- 任務 A1, A2
- 任務 B1, B2
- 任務 C1, C2
請留意圖中粗線的部分：
* 在 multithread 中，
CPU context-switch 會額外消耗我們程式執行的時間，程式實際完成時間可能比一般的還要慢。
- 在 multiprocess 中，
我們需要將資料轉移至其他 CPU 會額外消耗我們程式執行的時間，如果任務過於簡單，效益可能不大。
雖然示意圖中明顯感覺較快，但前提是任務夠複雜
也就是說，「任務難度執行的時間 > 資料轉移至其他 CPU 的時間效益」，不然只會更慢。
Thread 基本使用，範例程式碼
import threading as td
def task(a, b):
print('Task in the thread.')
print(a, b)
if __name__=='__main__': # must put thread in the main
t1 = td.Thread(target=job,args=(1,2))
t1.start()
t1.join()
multiprocess 實現，與取得結果
以下為範例 code，我們可在 task 做自己想做的事情，
最後透過 result.get() 拿回結果。
這裡我們做一個暫停 10 秒的實驗，
如果最後程式執行結束時間超過 40秒 (4核心)，
表示這個程式並沒有多核心的執行。
sample code (範例程式碼)
import multiprocessing
import time
def task(cpu_no):
# do something
print("cpu_no: ", cpu_no)
time.sleep(10)
result = cpu_no
return result
def main():
# multiprocessing.freeze_support()
pool = multiprocessing.Pool()
cpus = multiprocessing.cpu_count()
print("cpu_count: ", cpus)
results = []
for i in range(0, cpus):
result = pool.apply_async(task, args=(i,) )
results.append(result)
pool.close()
pool.join()
for result in results:
print("result: ", result.get())
if __name__ == "__main__":
main()
結果
我們可以看到，4核心的電腦，程式執行只花10秒左右，
能證明我們的程式確實有多核心執行。
