什么是大数据?可能有人会说写字楼的所有人的材料信息就是个大数据。NO!这儿的数据只能说比较大,但却不能称之为大数据。百度百科上给出了很清晰的解说“大数据(big data),指无法在必定时刻范围内用惯例软件东西进行捕捉、办理和处理的数据调集,是需求新处理形式才干具有更强的决议计划力、洞悉发现力和流程优化才能的海量、高增长率和多样化的信息财物。”
“榜首砖”从相认到相识
现在咱们“从相认到相识”,清楚的知道什么是大数据,假如区别大数据和数据大,是咱们学习大数据走的榜首步。
“第二砖”拜师学艺,融汇百家
具有了“榜首砖”后就是你行将挑选师门的时分了,敲开山门的“第二砖”则是学习大数据的根底,就如同在门派中修炼内功,有助你行走江湖,话不多说咱们来看看会涉及到哪些根底吧!
1、 javaSE,EE(SSM)
2、 MySQL(有必要需求把握的)
3、Linux
“第三砖”进阶进步,力挽狂澜
学习了大数据根底后,咱们要做到就是在实践的数据剖析上,怎么去解决问题,所以怎么剖析数据就是咱们的重点了,在数据中剖分出有利于咱们的数据则是咱们的方针,我总结了以下几种办法,供咱们参阅,但办法是死的,人是活的,怎么融会贯通就靠咱们自己不断是测验学习哦!
1、大数据离线剖析
一般处理T+1数据(T是指日、周、月、年),处理历史数据
模块1:Hadoop
包含四大块(common、yarn、MapReduce、HDFS)
首要把握环境建立、处理数据的思维
模块2:Hive
大数据数据仓库
经过写SQL对数据进行操作,类似于mysql数据库中的sql
模块3:HBase
根据HDFS的NOSQL数据库 面向列的存储
2、大数据机器学习
spark MLlib:机器学习库
pyspark编程:Python和spark的结合
引荐体系
python数据剖析
Python机器学习
想学习大数据的朋友能够私信我大数据既可获取一份大数据视频,我这儿有大数据根底到实战的视频。