网络巨人是如何存储海量数据的
我们越来越多地转向云存储，这就要求网络巨头重新考虑用于读取和写入每秒都会访问的海量数据的文件系统。Ars Technica的一篇文章揭示了这些分布式文件系统（DFS）是如何在Google、Yahoo、Microsoft和Amazon的数据中心使用的。它还解释了为什么这种新的文件处理模式是必要的，以及系统不同于传统桌面文件系统的方式。为谷歌搜索等产品提供动力的数据库可以包含数百兆字节（如果不是千兆字节）大小的文件，这些文件需要同时被许多用户访问——这是其他锁定文件以防止损坏的文件系统无法做到的。
每家公司为克服这些挑战所付出的努力都是惊人的。谷歌开发了自己的文件系统（称为GFS），旨在将许多低成本的服务器和硬盘驱动器转变为可靠的存储系统，以存储大量的数据。与GFS不同的是，其他解决方案的应用范围更广。Amazon的解决方案Dynamo最近通过Amazon Web服务向开发人员提供，虽然它与GFS有许多相似之处，但它还能够进行基于时间的一致性检查，这意味着只保存最新的更改。微软的Azure是为云计算而设计的，它使用了与Amazon类似的一致性检查，不过在数据写入的执行方式上要严格得多。Hadoop最初是由雅虎的工程师开发的，它可以****，并分享GFS的许多好处，不过它可以在各种平台上工作，甚至可以通过FUSE安装在普通PC上。
- 发表于 2021-04-21 05:16
- 阅读 ( 158 )
- 分类：互联网
你可能感兴趣的文章
大数据(big data)和hadoop公司(hadoop)的区别
...地广泛收集。这种大量的数据称为大数据或大数据，常规存储设备无法处理。Hadoop软件框架是Apache软件基金会的一个开源框架，可以用来解决这个问题。大数据与Hadoop的关键区别在于，大数据是大量复杂的数据，而Hadoop是一种高...
旅游预订网站遭遇海量数据泄露：如何保护自己？
... 网络罪犯能用你的信息做什么？ ...
uber的新工具为城市提供了一个令人难以置信的详细交通模式视图
...用户测量城市不同地区之间的旅行时间，跟踪这些旅行是如何随着时间的推移而变快或变慢的。该网站目前只对注册用户开放，计划在未来几个月对所有用户开放。 移动是专为城市**和城市规划者设计的，他们在考虑...
eat by date的海量数据库告诉你食物何时真正过期
...许多食物都附带了冗长的解释和附加信息。他们会告诉你如何判断某些食物是否变质，以及当这些食物变质时会发生什么。它们还提供了各种存储技巧和其他有趣的事实。例如，下面是他们的两分钱如何判断花生酱是否变质：劣...
保护您隐私的最佳云存储服务
...序，没有同步，也没有移动应用程序。一切都发生在你的网络浏览器中（有一个Android应用程序，但Mega在他们的网站上除了“移动应用程序即将推出”之外什么也没说），所以YMMV。注册时，您选择一个密码，Mega生成用于加密和...
大数据(big data)和云计算(cloud computing)的区别
...供商以按使用付费的方式提供硬件。它们提供从虚拟专用网络到操作系统的一切。简单地说，他们为它提供原材料，用户只为他们使用的资源付费。 PaaS（平台即服务）–它是云计算中最复杂的一层，与SaaS有一些相似之处，但它...
hadoop软件(hadoop)和数据库(mongodb)的区别
...解决了基于SQL Schema的数据库的局限性。它是一个为现代网络设计的数据库。与其他NoSQL数据库一样，MongoDB不符合RDBMS的原则，没有表、行和列的概念。它将其数据存储在BSON文档中，其中所有相关数据都放在一个文档中。 什...
hadoop软件(hadoop)和sql语句(sql)的区别
...件(hadoop)？ Hadoop是一个开源的分布式处理框架，旨在满足网络公司索引和处理海量数据的需求，这得益于互联网设备的日益崛起和下一个称为社交媒体的重大发展。Google为后来被称为Hadoop的开发提供了灵感。它提供了一个允许处...
hadoop软件(hadoop)和卡桑德拉(cassandra)的区别
...社交媒体的日益使用，以非常高的速度生成的海量数据，存储和分析这些海量数据的能力已经提高。Hadoop是设计用来处理如此大量数据（通常称为大数据）的复杂工具之一。Cassandra是另一个易于部署和管理的高度可扩展数据库。...
hadoop软件(hadoop)和天睿资讯(teradata)的区别
...a。他们正在进行一个项目，创建一个名为“Nutch”的大型网络索引。他们看到了来自Google的MapReduce和GFS文件，发现它们对这个项目很有用。因此，他们最终将论文中的概念整合到项目中，最终形成了Hadoop项目的起源。道格给他的...
0 篇文章
