流式计算与批量计算有什么区别

小编 • 2023年2月12日下午4:07 • 科技 • 阅读 2224

流式计算与批量计算的区别有：1、数据时效性不同；2、数据特征不同；3、应用场景不同；4、运行方式不同。流式计算对数据流进行处理，是实时计算，同时低延迟。批量计算统一收集数据，存储到数据库中，然后对数据进行批量处理，非实时且高延迟。

1、数据时效性不同

流式计算：对数据流进行处理，是实时计算，同时低延迟。

批量计算：统一收集数据，存储到数据库中，然后对数据进行批量处理的数据计算方式，批量计算非实时、高延迟。

与批量计算那样慢慢积累数据不同，流式计算将大量数据平摊到每个时间点上，连续地进行小批量的进行传输，数据持续流动，计算完之后就丢弃。

2、数据特征不同

流式计算的数据一般是动态的、没有边界的，而批处理的数据一般则是静态数据。

计算结果上，批量计算对全部数据进行计算后传输结果，流式计算是每次小批量计算后，结果可以立刻投递到在线系统，做到实时化展现。

3、应用场景不同

流式计算应用在实时场景，时效性要求比较高的场景，如实时推荐、业务监控、社交网站、博客、电子邮件、视频、新闻、电话记录、传输数据等。

批量计算一般说批处理，应用在实时性要求不高、离线计算的场景下，数据分析、离线报表等。

4、运行方式不同

流式计算的任务持续进行的，批量计算的任务则一次性完成。

批量计算是维护一张表，对表进行实施各种计算逻辑。流式计算相反，是必须先定义好计算逻辑，提交到流失计算系统，这个计算作业逻辑在整个运行期间是不可更改的。

延伸阅读：

什么是流式计算

在传统的数据处理流程中，总是先收集数据，然后将数据放到数据库中。当人们需要的时候通过数据库对数据做查询，得到答案或进行相关的处理。这样看起来虽然非常合理，但是结果却非常的紧凑，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决问题。这就引出了一种新的数据计算结构—流计算方式。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。

流运算在内容方面，主要面向以下几种应用：对金融与科学计算当中的数据进行更快运算和分析的需求；对存在于社交网站、博客、电子邮件、视频、新闻、电话记录、传输数据、电子感应器之中的数字格式的信息流进行快速处理并反馈的需求。