全国热线

400-080-3312

全国监督投诉热线:9:00-23:00

大数据和Java开发有什么区别?

现在有很多同学对大数据开发还设有Java开发不是很了解,想学习Java同时想从事大数据开发岗位,但是他又不知道大数据开发和Java开发有什么区别?现在就和南京学码思Java培训机构小编一起来看一下吧!什么是大数据开发1.大

  现在有很多同学对大数据开发还设有Java开发不是很了解,想学习Java同时想从事大数据开发岗位,但是他又不知道大数据开发和Java开发有什么区别?现在就和南京学码思Java培训机构小编一起来看一下吧!

java2.png


  什么是大数据开发


  1.大数据开发需要的技能


  到智联上搜了一下大数据开发工程师这个职位,随便点了几个职位,截图如下:


  所以说,现在互联网公司所指的大数据开发用到的工具是:hadoop,hive,hbase,spark,kafka等。


  2.大数据开发做的事情


  精简到一个词语就是:统计


  精简到两类指标就是:PV和UV


  精简到一句话就是:统计各种指标的PV和UV


  PC互联网时代,各门户网站(比如:新浪,网易,搜狐)关注的是各自网站今天被打开了几次(pv),今天有多少人(uv)访问了网站。更复杂一点的比如:


  页面上某个按钮或者某个连接有多少人点击了几次


  某个页面上的热力图(点击地方越多,图上颜色越重)


  移动互联网时代,手机应用被用户打开的次数和人数也是大家关注的重点,但是除此之外还多出了许多其他非常重要的数据,由于手机屏幕的限制,信息流成为了移动时代的主流。


  各大门户网站非常关注自己的新闻客户端中:在信息流中曝光了多少篇文章,其中有多少篇文章被用户点击了。每篇文章阅读了长时间,因为用户点击的文章越多,使用客户端的时间越长,各公司的广告收入才越高,所以各公司想方设法推荐用户喜欢的内容。


  3.如何做这些事情


  因为网站的浏览行为,手机客户端中文章的曝光或者点击这些数据非常大,基本以亿为单位起。所以传统的把统计信息放到数据库中的方式已经不能完成这项统计工作。(例如:wordpress博客中,用户每阅读一篇文章,mysql中就会更新这篇文章的阅读次数+1)

  所以大数据是通过日志来统计这些指标。


  比如:后台服务的日志(apache,tomcat,weblogic,nginx日志)


  主要难点在于:


  日志量太大(一般大点的互联网公司,一个业务线每天的日志都有几个t,再大些的每天几十t,几百t也不奇怪),需要掌握大数据相关技术例如前面提到的hadoop,hive等。


  数据的及时性,从离线计算来说,一般每天零点,前一天的日志都接收完毕,开始计算前一天的数据,几点能计算完毕?要看各个公司各自的要求。


  数据的准确性。(这是重中之重,大数据开发的工作就是统计,统计的数据如果不准....)


  如果是实时计算,需要掌握实时相关技术。例如:每5分钟网站的在线人数。


  监控监控监控:监控任务是否失败,数据是否产出,产出的数据是否异常。


  容灾容灾容灾:如果任务失败如何补救。比如实时任务,由于某种原因13:00到14:00的数据没有,如何把数据补回来。


  大数据开发和一般开发对比


  在转做大数据开发之前,一直在用Java作业务系统:例如hr系统(考勤,薪资等),收费系统。


  谈谈我个人对业务系统开发和大数据开发的理解:


  业务系统:


  一句话:对数据库的各种增删改查操作。


  重点难点在于:


  对复杂业务的理解上(比如计算工资:基本工资,五险一金,全勤奖,高温补贴,报销,奖金,加班费.....等等都需要计算)。


  线上服务的稳定,比如facebook,淘宝等网站高并发的压力下维持网站正常运行。


  大数据开发


  一句话:对字符串的各种算数。


  重难点在于:


  数据的及时性。例如实时数据中,想知道12:00~12:10这10分钟的用户数,如果这个数据在晚上20点才计算完成,那就没什么意义了。再比如,大家应该都有体验过:再手机上刷新闻的时候,你点了某一篇文章,再继续刷新闻,后面很快会出来不少和前面点击的那篇文章类似的文章,这就是根据你的点击给你及时推荐你有更大可能点的东西。


  数据的准确性。这个重要性不言而喻。计算机小白学习Java时所需要注意的事项


  数据的稳定性和容灾。


  以上就是对数据开发和Java开发区别的解答,希望可以给大家带来一定的帮助,当然如果您想对大数据开发还有Java开发有更多的了解,或者说想对Java开发有进一步的提升,都可以和南京学码思Java培训机构在线老师沟通一下。


上一篇:IT行业的未来发展怎么样?计算机小白要如何选择合适的专业?
下一篇:UI设计和平面设计的区别是什么?

相关推荐

免费试听 | 学费咨询 | 在线报名 | 申请补贴 | 软件培训 | 网站地图

2016-2020 南京学码思教育科技有限公司 .All Rights Reserved

苏ICP备16033487号 www.njxms.com.cn

全国热线

400-080-3312

全国监督服务热线:9:00-23:00