即席查询和实时计算有什么区别

区别:即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,系统能够根据用户的选择生成相应的统计报表。实时计算是常见的大数据计算场景,基于实时计算的需求,流式计算引擎应运而生。目前,应用得较多的流式计算引擎主要有Spark、Storm和Flink。

即席查询

即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的,而即席查询是由用户自定义查询条件的。

在数据仓库领域有一个概念叫Ad hoc queries,中文一般翻译为“即席查询”。即席查询是指那些用户在使用系统时,根据自己当时的需求定义的查询。

一般的数据展现工具都会提供即席查询的功能。通常的方式是,将数据仓库中的维度表和事实表映射到语义层,用户可以通过语义层选择表,建立表间的关联,最终生成SQL语句。即席查询与通常查询从SQL语句上来说,并没有本质的差别。它们之间的差别在于,通常的查询在系统设计和实施时是已知的,所以我们可以在系统实施时通过建立索引、分区等技术来优化这些查询,使这些查询的效率很高。而即席查询是用户在使用时临时生产的,系统无法预先优化这些查询,所以即席查询也是评估数据仓库的一个重要指标。即席查询的位置通常是在关系型的数据仓库中,即在EDW或者ROLAP中。多维数据库有自己的存储方式,对即席查询和通常查询没有区别。在一个数据仓库系统中,即席查询使用的越多,对数据仓库的要求就越高,对数据模型的对称性的要求也越高。对称性的数据模型对所有的查询都是相同的,这也是维度建模的一个优点。

实时计算

实时计算是常见的大数据计算场景。业务部门需要实时反馈产品的被点击、浏览、收藏、购买、评价等数据,对时延的要求一般是秒级,甚至毫秒级。而批处理计算引擎一般需要几分钟或者几小时才能返回结果,显然无法满足该场景的计算需求。基于实时计算的需求,流式计算引擎应运而生。目前,应用得较多的流式计算引擎主要有Spark、Storm和Flink。

典型的实时计算流程:首先通过Flume实时采集数据,然后通过消息队列对采集的数据进行缓存,之后应用流式计算引擎实施计算,最后将计算的结果存储在高速的查询引擎中,以便后续高效地使用这些数据支持报表开发、多维分析或者数据挖掘等。

延伸阅读:

什么是大数据?

大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

文章标题:即席查询和实时计算有什么区别,发布者:小编,转载请注明出处:https://worktile.com/kb/p/39006

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
小编小编认证作者
上一篇 2023年2月21日 上午1:59
下一篇 2023年2月21日 上午2:01

相关推荐

  • 如何做到项目安全管理

    项目安全管理是确保项目按计划顺利进行的关键因素。有效的项目安全管理涉及风险识别、安全策略制定、安全教育和培训、事故防范、紧急响应计划、以及持续的安全监督和审查。其中,风险识别是项目安全管理的首要步骤,它要求项目管理团队识别并评估所有潜在的安全风险,以便及时采取应对措施。 一、风险识别与评估 成功的项…

    2024年4月10日
    3900
  • 施工项目经理如何管理业绩

    施工项目经理管理业绩的关键在于精确的项目规划与监控、优秀的团队协作与领导力、高效的资源分配、严格的成本控制、持续的质量保证、及时的沟通和信息管理、以及灵活的风险处理能力。特别是在精确项目规划与监控方面,项目经理需要设定明确的目标与里程碑,通过持续监控项目进度并与预设的时间表、预算和品质要求相比较,及…

    2024年4月10日
    3800
  • 类方法、实例方法、静态方法的区别是什么

    类方法、实例方法、静态方法的区别有:1、调用方式不同;2、对类变量和实例变量的访问权限不同;3、方法定义时的修饰符不同;4、使用场景不同;类方法是挂在类上的方法,由类直接调用。实例方法是需要通过类的实例进行调用。静态方法也是由类直接调用的方法。 一、调用方式不同 类方法:是挂在类上的方法,由类直接调…

    2023年7月30日
    1.3K00
  • 如何备考中级项目工程管理师

    备考中级项目工程管理师主要涉及系统地掌握专业知识、充分理解项目管理流程、熟悉考试大纲与题型、进行实战模拟练习、以及建立良好的学习态度和时间管理。核心观点包括:掌握专业知识、理解项目管理流程、熟悉考试大纲与题型、实战模拟练习、以及良好的学习态度和时间管理。在这些方面,尤其重要的是掌握专业知识。它涉及到…

    2024年4月11日
    3000
  • 你如何管理你的项目经验

    项目管理是一个复杂但至关重要的职责,涉及到多方面的技能和实践。项目成功的关键因素包括:明确并且可实现的目标、详尽的计划与调度、有效的团队合作与沟通、严格的进度控制与资源管理、持续的风险监控与应对措施、质量保证以及利益相关者的管理。 在项目管理过程中,特别强调团队合作与沟通的重要性。透明和及时的沟通有…

    2024年4月10日
    2700
  • OKR在非营利组织中的实施策略是什么

    非营利组织实施目标与关键结果(Objectives and Key Results, OKR)的策略要遵循精细化目标设定、连续的进度追踪、团队间的透明度和协作、量化的成功指标、以及适应性强的执行力五大要素。策略包括1、制定与使命和愿景相符的具体目标;2、确定可衡量的关键结果以追踪目标进展;3、建立一…

    2023年12月8日
    21800
  • 如何管理一个机电项目

    机电项目的管理是一项涉及多方面知识和技能的挑战。要成功管理一个机电项目,首先要确保项目规划的周密性、团队的高效协作、资源的合理分配、风险控制的到位,以及项目监控和闭环反馈的严格执行。特别是在资源分配方面,合理的资源分配是确保项目顺利进行的关键。这不仅包括财务资源,也涉及到人力与设备材料的配置。优秀的…

    2024年4月10日
    5100
  • okr绩效考核怎么做

    okr绩效考核步骤:1、设定公司级目标(O)和关键结果(KR);2、开展下级部门、单位OKR与公司级OKR的联结;3、跟踪OKR开展情况并适时调整;4、评估和复盘全年目标(O)完成情况。设定公司级目标(O)和关键结果(KR)是指根据情况确定O和KR。 一、okr绩效考核步骤 1、设定公司级目标(O)…

    2023年3月26日
    1.1K00
  • 有哪些类似于MSProject的网络项目管理工具

    类似 Microsoft Project 的网络项目管理软件有:1、Worktile;2、PingCode;3、Asana;4、Zoho Projects;5、Monday;6、Smartsheet;7、Teamwork等。Worktile是国内项目管理总榜以及易用性榜中排名、评分较高的一款项目管理…

    2023年2月10日
    60400
  • devops那个8字叫什么环

    敏捷开发与运维一体化8字循环通称DevOps环,核心遵循计划、代码、构建、测试、发布、部署、运营、监控八个实践步骤、实现信息技术服务持续性交付与改进。此循环反映出从思想构想到产品投入运营全周期内各阶段的有机衔接与无缝对接,有效提升了开发与运维的整合性能力。下文将对“计划”这一步骤进行详细解读。 计划…

    2024年3月26日
    6100

发表回复

登录后才能评论
注册PingCode 在线客服
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部