数据是当今数字经济中的新货币。许多组织正在利用大数据和云技术改进传统IT基础设施，支持数据驱动的文化和决策，同时实现数据中心的现代化。然而，虚拟化和自动化只是向云环境过渡的一部分。满足不断增长的业务需求的方法必须适应企业。虽然云计算是行业的革命性变革，基于云的技术是确保复杂数据管理结构的关键，但挑战在于如何更快地处理数据—批处理或流处理。每一个都有它的优点和缺点，但都归结为您的业务用例。让我们看看这两种方法，找出它们之间的区别。

什么是批处理(batch processing)？

批处理是一种在特定时间间隔内处理一组或批中大量数据的方法。系统执行一系列程序，以一组数据文件作为输入，对数据进行处理，并产生一组数据文件作为输出。批量处理的一个很好的例子是工资单和帐单系统，它收集并保存所有相关数据，直到每个月底将帐单作为一个批处理。它是对已经在特定时间段内存储的数据块的处理。之所以叫它，是因为数据是作为一组记录分批收集并作为一个单元进行处理的。输出是另一个批处理，如果需要，可以将其重新用作输入。批处理系统的简单性和复杂性也允许并行处理，例如Hadoop。

什么是流处理(stream processing)？

流处理是一种用于查询连续数据流并在有限的时间内快速检测条件的方法。换言之，流处理是在数据产生或接收时直接对其进行处理。流处理系统通常以实时发生的动作为自己提供信息，比如社交媒体消息、网页点击、电子商务交易、传感器读数等。这些系统的处理速度应该比传入数据的速度更快。流处理的基本思想是系统应该是长期运行的，处理连续的数据流。为了从大数据中获取价值，数据一到就必须进行处理，同时还要保持数据的质量。有效的流处理可以解决各种各样的现实问题。例如，流可用于欺诈检测、决策、模式学习等。

批处理和流处理的区别

定义

–批处理是一种在特定时间范围内处理一组或一批大量数据的方法。它被称为批处理，因为数据是作为一组记录进行批量收集并作为一个单元进行处理的。输出是另一个批处理，如果需要，可以将其重新用作输入。另一方面，流处理是在产生或接收数据时直接处理数据的方法。它用于查询连续的数据流，并在有限的时间内快速检测条件。

模型

–在批处理中，系统执行一系列程序，以一组数据文件作为输入，处理数据，并生成一组数据文件作为输出。输入组件负责从多个源（通常是数据库）收集数据，处理组件负责使用这些输入执行计算。最后，输出组件生成结果并将其写回数据库。在流处理中，系统对数据的最新记录执行处理，这意味着系统向自己提供实时发生的动作。

例子

–批量处理系统的最好例子是工资单和帐单系统，其中收集并保存所有相关数据，直到每个月底将帐单作为一个批处理。许多分布式编程平台如MapReduce、Spark、GraphX和HTCondor都是批处理系统。流处理可以用作欺诈检测的在线解决方案，并用于需要从传入数据（如股市、社交媒体消息、电子商务交易、传感器读数等）连续输出的应用程序。Storm、Spark Streaming和S4等大数据编程平台是流处理系统。

批处理与流处理：比较图

总结 - 批量处理的方法(of batch processing) vs. 流处理(stream processing)

与流处理系统相比，批处理系统的复杂度和复杂度要低得多，但对于一些没有昂贵硬件的企业和组织来说，批处理系统的成本似乎不太可行。然而，流处理系统可用于需要从传入数据实时连续输出的应用程序，如社交媒体应用程序、股票市场等。流处理最适用于时间有限的业务用例，而批处理在所有相关数据都已预存时效果良好。所以，这一切都归结为您的业务用例。