AWS提供了大量的工具和服务来处理大量的数据。多年来，AWS建立了许多分析服务。根据您的技术环境，您始终可以根据机器学习工作流选择一种或另一种数据处理工具。在分析工作负载方面，amazonemr和AWS Glue是大规模处理数据的两个流行选择。我们看一下这两个托管服务，并试图理解这两个服务之间的关键区别。所以，让我们开始吧。

什么是亚马逊电子病历(amazon emr)？

Amazon Elastic MapReduce（EMR）是一种基于云的托管服务，用于快速、经济地处理和分析大数据。EMR是业界领先的大数据平台，它使用Apache Spark、Apache Hadoop、Apache Hive、Apache HBase、Presto等工具简化大数据分析。它最初是一个用于apachehadoop应用程序的托管环境，但多年来，它增加了对AWS上大量其他项目的支持。EMR是专门设计的，通过提供计算马力和按需基础设施来分析如此庞大的数据量，以减轻维护负担。EMR大量使用amaz***3来存储用于处理和分析结果的数据集，并使用amazonec2跨虚拟服务器集群处理大数据。它是灵活的，可定制的，并且它可以为短实例和长实例运行。EMR是大规模数据处理的主要竞争者。

什么是aws胶水(aws glue)？

AWS Glue是一种无服务器、完全托管的提取、转换和加载（ETL）服务，由Amazon作为AWS的一部分提供，用于帮助抓取、发现和组织数据。它是一种现收现付的计算服务，为结构化和半结构化数据集提供自动模式推断。它允许您从多个源（如数据库）中提取数据和元数据，并构建一个信息目录，该目录可进一步用于将数据转换为所需的目标状态。它了解您的数据、建议转换并生成ETL脚本，除此之外，它还以完全托管的方式在pyth***hell或完全托管的无服务器Spark环境中运行它们。基于您在数据上定义的转换，Glue可以自动生成Spark脚本。不仅可以自定义它们，还可以部署自己的脚本。Glue构建在Spark之上，并与S3、RDS、Redshift和任何JDBC数据存储集成。

电子病历和胶水的区别

工具

–Amazon EMR是一种基于云的托管服务，它大量使用Amazon S3存储数据集以处理和分析结果，并使用Amazon EC2跨虚拟服务器集群处理大数据。它是一个完全托管的Hadoop环境，为AWS上的许多其他项目提供支持，例如apachespark、apachehive、apachehbase、Presto等等。另一方面，AWS Glue是一种无服务器ETL工具，它为结构化和半结构化数据集提供自动模式推断。

定价

–亚马逊EMR的定价结构简单且可预测。你是按秒收费的，这意味着你每使用一秒就要付费，最少一分钟。小时费率取决于使用的实例类型，从每小时0.011美元起，上升到每小时0.27美元。这些费用就像EC2价格加在数据处理成本上一样。AWS Glue的定价是基于dpu（数据处理单元）的，您将被第二个支付爬虫程序和ETL作业的费用。它通常每DPU每小时花费0.44美元，增量为1秒，四舍五入到最接近的秒。

灵活性和可扩展性

–Amazon EMR是一个完全托管的集群平台，它简化了Apache Hadoop和MapReduce组件集群的设置和管理。它提供了一种简单的方法，可以根据您的处理需求扩展正在运行的工作负载。它允许您根据需要调整集群的大小，此外，还可以配置一个或多个实例组进行处理。AWS-Glue也很灵活，易于扩展，因为它可以在完全管理的、无服务器的环境中工作。它为扩展Apache环境上的分布式处理编写了高度可伸缩的ETL作业。

用例

–Amazon EMR是一个完全管理的环境，提供计算能力和按需基础设施，以快速、经济高效地分析大量数据。它简化了在AWS上运行大数据框架（如apacehadoop和apachespark）以大规模处理大数据。它通常是本地Hadoop迁移的好替代品。AWS Glue是一个无服务器的ETL平台，可以帮助您抓取、发现和组织自己的数据，并为分析做好准备。它是新工作负载的理想选择。

电子病历与胶水：对比图

总结

简而言之，Amazon EMR是一个完全管理的环境，它提供了计算能力和按需基础设施，可以快速、经济高效地分析大量数据。因此，当您拥有完整的基础设施时，EMR是您的最佳选择。另一方面，当您有灵活的需求时，AWS Glue非常有用，因为它是无服务器的，您不需要配置和管理任何计算资源。Glue只是帮助你抓取、发现和组织你拥有的数据，并为分析做好准备。