網路巨人是如何儲存海量資料的
我們越來越多地轉向雲端儲存，這就要求網路巨頭重新考慮用於讀取和寫入每秒都會訪問的海量資料的檔案系統。Ars Technica的一篇文章揭示了這些分散式檔案系統（DFS）是如何在Google、Yahoo、Microsoft和Amazon的資料中心使用的。它還解釋了為什麼這種新的檔案處理模式是必要的，以及系統不同於傳統桌面檔案系統的方式。為谷歌搜尋等產品提供動力的資料庫可以包含數百兆位元組（如果不是千兆位元組）大小的檔案，這些檔案需要同時被許多使用者訪問——這是其他鎖定檔案以防止損壞的檔案系統無法做到的。
每家公司為剋服這些挑戰所付出的努力都是驚人的。谷歌開發了自己的檔案系統（稱為GFS），旨在將許多低成本的伺服器和硬碟驅動器轉變為可靠的儲存系統，以儲存大量的資料。與GFS不同的是，其他解決方案的應用範圍更廣。Amazon的解決方案Dynamo最近透過Amazon Web服務向開發人員提供，雖然它與GFS有許多相似之處，但它還能夠進行基於時間的一致性檢查，這意味著只儲存最新的更改。微軟的Azure是為雲端計算而設計的，它使用了與Amazon類似的一致性檢查，不過在資料寫入的執行方式上要嚴格得多。Hadoop最初是由雅虎的工程師開發的，它可以****，並分享GFS的許多好處，不過它可以在各種平臺上工作，甚至可以透過FUSE安裝在普通PC上。
- 發表於 2021-04-21 05:16
- 閱讀 ( 34 )
- 分類：網際網路
你可能感興趣的文章
大資料(big data)和物聯網(internet of things)的區別
...的短期是物聯網。物聯網將周圍所有智慧裝置連線到網際網路。物聯網的基本組成部分如下。首先，節點或終端裝置使用感測器和執行器。感測器收集資料和執行器對感測活動的響應。比如家裡的溫度感測器，普通商店的RFID感...
火基(firebase)和資料庫(mongodb)的區別
...，所有使用者都會得到這些更新。它提供了從任何裝置（網路、移動裝置）訪問資料的靈活性。由於資料託管在雲上，因此不需要維護伺服器。 另一個優點是它也可以用於離線。當連線丟失時，資料庫使用裝置上的本地快取來...
大資料(big data)和hadoop公司(hadoop)的區別
...地廣泛收集。這種大量的資料稱為大資料或大資料，常規儲存裝置無法處理。Hadoop軟體框架是Apache軟體基金會的一個開源框架，可以用來解決這個問題。大資料與Hadoop的關鍵區別在於，大資料是大量複雜的資料，而Hadoop是一種高...
這就是為什麼你應該向谷歌屈服
谷歌為不到三分之二的美國成年人提供網際網路搜尋服務。谷歌生產路由器，安裝光纖連線，並致力於無人駕駛車輛。谷歌的安卓系統目前是86%的智慧**使用者首選的移動作業系統，在美國智慧**市場的佔有率也遠遠超過50%。 ...
確保資料安全的7種最佳線上備份服務
...的計算機和移動裝置使用。該服務還提供連續實時備份、網路驅動器備份和磁碟映像備份。 ...
減少移動資料使用和省錢的10個有用提示
...用程式，但也使用內建功能，以幫助您避免觸及移動網際網路的上限。遵循這些簡單而有效的提示將幫助您減少資料使用並降低費用。 ...
從你的電腦或網路中竊取資料的5種方法
...的資料安全問題解決了嗎？你認為沒有人能從你的電腦或網路裝置上竊取資料嗎？太好了！這一定意味著你已經解決了困擾全球企業的最嚴重的安全問題。 ...
旅遊預訂網站遭遇海量資料洩露：如何保護自己？
... 網路罪犯能用你的資訊做什麼？ ...
如何阻止windows10使用如此多的資料
...的Windows版本，但是你可以透過一些技巧來限制它在家庭網路上的全面應用。 檢查每個應用程式的資料使用情況 相關：如何在Windows10中監視網路使用情況 儘管所有Windows10都會自動更新，但您電腦上的大部分資料使用可能都來自...
uber的新工具為城市提供了一個令人難以置信的詳細交通模式檢視
...用者測量城市不同地區之間的旅行時間，跟蹤這些旅行是如何隨著時間的推移而變快或變慢的。該網站目前只對註冊使用者開放，計劃在未來幾個月對所有使用者開放。 移動是專為城市**和城市規劃者設計的，他們在...
