即席查询和实时计算有什么区别

区别:即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,系统能够根据用户的选择生成相应的统计报表。实时计算是常见的大数据计算场景,基于实时计算的需求,流式计算引擎应运而生。目前,应用得较多的流式计算引擎主要有Spark、Storm和Flink。

即席查询

即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的,而即席查询是由用户自定义查询条件的。

在数据仓库领域有一个概念叫Ad hoc queries,中文一般翻译为“即席查询”。即席查询是指那些用户在使用系统时,根据自己当时的需求定义的查询。

一般的数据展现工具都会提供即席查询的功能。通常的方式是,将数据仓库中的维度表和事实表映射到语义层,用户可以通过语义层选择表,建立表间的关联,最终生成SQL语句。即席查询与通常查询从SQL语句上来说,并没有本质的差别。它们之间的差别在于,通常的查询在系统设计和实施时是已知的,所以我们可以在系统实施时通过建立索引、分区等技术来优化这些查询,使这些查询的效率很高。而即席查询是用户在使用时临时生产的,系统无法预先优化这些查询,所以即席查询也是评估数据仓库的一个重要指标。即席查询的位置通常是在关系型的数据仓库中,即在EDW或者ROLAP中。多维数据库有自己的存储方式,对即席查询和通常查询没有区别。在一个数据仓库系统中,即席查询使用的越多,对数据仓库的要求就越高,对数据模型的对称性的要求也越高。对称性的数据模型对所有的查询都是相同的,这也是维度建模的一个优点。

实时计算

实时计算是常见的大数据计算场景。业务部门需要实时反馈产品的被点击、浏览、收藏、购买、评价等数据,对时延的要求一般是秒级,甚至毫秒级。而批处理计算引擎一般需要几分钟或者几小时才能返回结果,显然无法满足该场景的计算需求。基于实时计算的需求,流式计算引擎应运而生。目前,应用得较多的流式计算引擎主要有Spark、Storm和Flink。

典型的实时计算流程:首先通过Flume实时采集数据,然后通过消息队列对采集的数据进行缓存,之后应用流式计算引擎实施计算,最后将计算的结果存储在高速的查询引擎中,以便后续高效地使用这些数据支持报表开发、多维分析或者数据挖掘等。

延伸阅读:

什么是大数据?

大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

文章标题:即席查询和实时计算有什么区别,发布者:小编,转载请注明出处:https://worktile.com/kb/p/39006

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年2月21日 上午1:59
下一篇 2023年2月21日 上午2:01

相关推荐

  • 敏捷管理证书有哪些

    敏捷管理证书有以下:1、PMI-ACP;2、APMG International;3、Strategyex Certificate (Associate or Master’s) in Agile;4、International Consortium for Agile (ICAgile);5、Ag…

    2022年11月16日
    48000
  • C语言和Java的区别

    C语言和Java的区别有:1、在继承中的区别;2、在动态、静态绑定中的区别;3、在初始值的区别;4、在抽象方法或抽象类的区别;5、super关键字的区别。在继承中的区别是指C语言是多线继承,JAVA是单继承的。 1、在继承中的区别 C语言是多线继承,比如:小轿车和货车都继承了汽车类,奥迪2000是继…

    2023年1月30日
    2600
  • 为什么C没有布尔类型

    没有布尔类型的原因:在C里任何类型都可以当作bool来用,只要该值不为0就表示true,为0则表示false。在C语言标准(C89)没有定义布尔类型,所以C语言判断真假时以0为假,非0为真。为了方便,使用布尔类型可以加入头文件stdbool.h,该文件定义了bool=_Bool,true=1,fal…

    2023年2月23日
    5400
  • SEO 网站优化的步骤和技巧有哪些

    SEO 网站优化的步骤:1、网站结构优化;2、网站页面优化;3、内容质量优化;4、网站外部链接优化;5、SEO效果检测。SEO 网站优化的技巧:1、网站域名选择;2、关键词选择;3、关键词挖掘5种方法;4、多研究百度算法;5、结合自媒体平台。 一、SEO 网站优化的步骤 1、网站结构优化 2、网站页…

    2023年1月4日
    5700
  • 通用管理是什么

    通用管理是:通用管理能力(General Management Performance)的概念在全球范围内提出的时间并不长,尽管各国在通用管理能力的内涵、范围、种类与影响等一系列问题上的研究与实践各有侧重,然而对它作为各国企事业职业经理人与管理者阶层培养与构建的基石性作用却公认无疑。 一、通用管理是…

    2023年5月5日
    1400
  • hdfs的优缺点是什么

    hdfs的优点是:1、高容错性;2、适合批处理;3、适合大数据处理;4、流式数据访问;5、可构建在廉价机器上。hdfs的缺点是:1、不适合低延迟的数据访问;2、不适合存储⼤量的⼩⽂件;3、不⽀持并发写⼊以及随即修改。hdfs通过增加副本的形式,提高容错性。 hdfs的优点是: 1、高容错性 数据自动…

    2023年1月10日
    23000
  • java 根集 哪些

    jav根集有:1、局部变量集合;2、参数集合;3、类变量集合。局部变量是指,在某个语句或者代码块中声明。当该语句或代码块被调用时,每次都创建相关的局部变量。 1、局部变量集合 在某个语句或者代码块中声明。当该语句或代码块被调用时,每次都创建相关的局部变量。在一个局部变量的声明语句中可能包含有用于初始…

    2023年1月9日
    3800
  • 测试用例写在程序哪里

    测试用例应当写在特定的测试框架中,而不是直接写在程序中。它的写法是:1、使用标题;2、具体描述;3、撰写假设和前提条件;4、保持测试步骤清晰简洁;5、撰写预期结果等。使用标题是指按照与要测试的模块相同的行命名测试用例。 一、测试用例的写法 1、使用标题 一个好的测试用例始于一个强大的标题。作为最佳实…

    2023年4月6日
    3600
  • 前端网站模块有哪些

    前端网站模块有:1、Bootstrap;2、Layui;3、ElementUI;4、Mint UI;5、angular;6、React;7、vue.js。Bootstrap提供了更优雅的HTML和CSS规范,它即是由动态CSS语言Less写成。有着丰富的网格布局系统以及丰富的可重用组件。 1、Boo…

    2023年1月11日
    9000
  • 文件处理用什么软件

    文件处理软件有:一、word文档编辑;二、Office文档编辑;三、腾讯文档;四、石墨文档;五、讯飞文档。ord文档编辑这款应用比较适合目前大多数的办公用户,即使是没使用过的用户也可以通过基础入门教程来完成word编辑的学习。 一、word文档编辑 word文档编辑这款应用比较适合目前大多数的办公用…

    2023年4月24日
    2700

发表回复

登录后才能评论
联系我们
站长微信
站长微信
分享本页
返回顶部