大数据开发和传统的J2EE web开发有啥子区别
大数据开发和传统的J2EEweb开发有以下区别:1.概念上的区别;2.架构体系的区别;3.使用技术的区别;4.开发工作量的区别。概念上的区别体现于,J2EEweb开发是开发企业级分布式应用,而大数据开发是指开发大数据平台应用和大数据系统平台。
1.概念上的区别
J2EE是Java2平台企业版,本质上是一个分布式的服务器应用程序设计环境,它的核心是一组技术规范与指南,提供基于组件的方式来设计、开发、组装和部署企业应用。
大数据开发有两种开发方向,一种是基于Hadoop和Spark开发大数据平台应用,另一种是基于大数据开源组件开发公司需求的一种完善的大数据系统平台。
2.架构体系的区别
大数据架构体系现在主要使用的是Hadoop和Spark,Hadoop的核心技术包含分布式文件处理系统HDFS、分布式数据处理模型和执行环境MapReduce;而Spark已经发展成为包含Spark SQL、Spark Streaming、GraphX、MLlib等众多子项目的集合。
J2EEweb使用多层分布式的应用模型,其架构体系包括:表现层、控制器层、业务逻辑层、数据访问对象层、领域对象层。
3.使用技术的区别
大数据开发关键技术涵盖数据存储、处理、应用等多方面的技术,根据大数据的处理过程,可将其分为大数据采集、大数据预处理、大数据存储及管理、大数据处理、大数据分析及挖掘、大数据展示等。
J2EE主要有13种核心的技术,包括Servlet、JSP、JDBC、JNDI、EJB、RMI、Java IDL/CORBA、XML、JMS、JTA、JavaMail、JTA和JTS。
4.开发工作量
大数据开发:代码量很少、偏向技术、运维任务多、sql数据分析类。
J2EEweb开发:代码量很大、偏向业务、运维少、固定搭配、习惯用法较多。
延伸阅读
大数据开发岗是做什么的
大数据开发工程师主要负责公司大数据平台的开发和维护、相关工具平台的架构设计与产品开发、网络日志大数据分析、实时计算和流式计算以及数据可视化等技术的研发和网络安全业务主题建模等工作。从事大数据开发所需的语言包括Java、Python、Scala、R等,需要熟悉Hadoop、HBbase、hive、spark、Flink、ES、Presto、Flume、Kafka生态的原理和使用方法,掌握数据开发、数据挖掘的各项流程。
目前,企业提供的大数据岗位按照工作内容要求,可以分为以下几类:初级分析类,包括业务数据分析师、商务数据分析师等;挖掘算法类,包括数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师、AI工程师、数据科学家等;开发运维类,包括大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据库管理员等;产品运营类,包括数据运营经理、数据产品经理、数据项目经理、大数据销售等。

