平行(parallel)和分散式計算(distributed computing)的區別

關鍵區別——並行與分佈式計算

計算機根據人類提供的指令執行任務。並行計算和分佈式計算是兩種計算類型。本文討論了並行計算和分佈式計算的區別。並行計算被用於高性能計算，如超級計算機的開發。分佈式計算提供了數據的可伸縮性和一致性。Google和Facebook使用分佈式計算來存儲數據。並行計算與分佈式計算的關鍵區別在於並行計算是利用多個處理器同時執行多個任務，而在分佈式計算中，多臺計算機通過網絡互連，進行通信和協作，以達到共同的目標。分佈式系統中的每臺計算機都有自己的用戶，有助於共享資源。

什麼是並行計算(parallel computing)？

計算機是一種能根據人類提供的指令執行任務的機器。計算機體系結構定義瞭如何執行提供給計算機的指令。早期的計算機系統只有一個處理器。必須解決的問題被分成一系列指示。這些指令一個接一個地給處理器。在每一時刻，只執行一條指令。然後處理器，處理這些指令並給出輸出。這不是一個有效的機制。增加頻率可以提高速度，但也會提高溫度。這會導致更多的熱量散失。因此，提高處理器的速度並不容易。作為這種並行計算的結果被引入。

並行計算也稱為並行處理。它是一種可以同時進行多個計算的計算形式。並行計算使用許多處理器。要解決的問題被分為離散的部分。每一部分都被進一步分解成指令。這些指令在處理器之間分配。因此，多個處理器同時執行指令。並行計算對於執行復雜的計算非常有用，因為處理器在它們之間分配工作負載。這也節省了時間。

平行(parallel)和分佈式計算(distributed computing)的區別

圖01：並行計算

並行系統幾乎沒有缺點。一個處理器執行的指令可能需要另一個處理器執行。這會導致延遲。處理器數量的增加也很昂貴。在開發並行系統時，應該考慮到這些事實。總的來說，並行計算有助於同時運行多條指令來完成任務。

什麼是分佈式計算(distributed computing)？

在日常生活中，個人可以使用計算機來處理諸如microsoftword、microsoftpoint等應用程序。複雜的問題可能不是用一臺計算機就能解決的。因此，單個問題可以分解為多個任務並分佈到多臺計算機上。這些計算機可以通過網絡與其他計算機通信。它們的性能與單個實體相似。在多臺計算機之間劃分單個任務的過程稱為分佈式計算。分佈式系統中的每臺計算機都稱為節點。群集是一組節點。

分佈式計算在當今的許多應用中得到了廣泛的應用。比如Facebook和Google。它們由數以百萬計的用戶組成。所有的用戶都與他人交流，分享照片等。這些大量的數據是用分佈式計算存儲的。銀行的自動櫃員機、電話網絡、蜂窩網絡、分佈式數據庫也使用分佈式計算。

圖02：分佈式計算

分佈式計算提供了多種優勢。分佈式系統可以擴展到日益增長的環境中。它提供了可伸縮性，並且很容易共享資源。其缺點是可能存在網絡問題，難以開發分佈式軟件。

平行(parallel)和分佈式計算(distributed computing)的區別

並行與分佈式計算
並行計算是一種多處理器同時執行多個任務的計算類型。	分佈式計算是一種計算類型，網絡計算機通過消息傳遞來通信和協調工作，以實現共同的目標。
所需計算機數量
並行計算發生在一臺計算機上。	分佈式計算髮生在多臺計算機之間。
處理機制
在並行計算中，多個處理器執行處理。	在分佈式計算中，計算機依賴於消息傳遞。
同步
所有處理器共享一個主時鐘進行同步。	分佈式計算中沒有全局時鐘，它使用同步算法。
記憶
在並行計算中，計算機可以有共享內存或分佈式內存。	在分佈式計算中，每臺計算機都有自己的內存。
使用
用於提高科學計算和並行計算的性能。	分佈式計算用於共享資源和提高可伸縮性。

總結 - 平行(parallel) vs. 分佈式計算(distributed computing)

並行計算和分佈式計算是兩種類型的計算。本文討論了並行計算與分佈式計算的區別。並行計算與分佈式計算的區別在於並行計算是利用多個處理器同時執行多個任務，而在並行計算中，多臺計算機通過網絡互連，進行通信和協作，以達到共同的目標。並行計算主要用於提高性能。分佈式計算用於協調共享資源的使用或為用戶提供通信服務。