大数据技术kudu
A. 大数据专业就业需求大不大
需求量是很大的。
大数据专业就业前景
大数据人才稀缺
据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。
据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。
根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。
大数据专业就业方向
大数据主要的三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。
在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。
大数据专业人才就业薪资
1、基础人才-数据分析师
北京数据分析平均工资： 10630/月，取自 15526 份样本，较 2016 年，增长 9.4%。
数据分析师岗位职责
业务类别:技术
业务方向:数据分析
工作职责:
1. 根据公司产品和业务需求，利用数据挖掘等工具对多种数据源进行诊断分析，建设征信分析模型并优化，为公司征信运营决策、产品设计等方面提供数据支持;
2. 负责项目的需求调研、数据分析、商业分析和数据挖掘模型等，通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测;
3. 参与数据挖掘模型的构建、维护、部署和评估;
4. 整理编写商业数据分析报告，及时发现和分析其中变化和问题，为业务发展提供决策支持;
5. 独立完成项目需求管理、方案设计、实施管理和项目成果质量的把控;
6. 参与编写项目相关文档。
教育背景:
学历：本科其它：
经验要求:工作经验：3-5年
任职要求:
1. 统计学、数学或计算机、数理统计或数据挖掘专业方向相关专业本科或以上学历;有扎实的数据统计和数据挖掘专业知识;
2. 熟练使用数理统计、数据分析、数据挖掘工具软件(SAS、R、Python等的一种或多种)，能熟练使用SQL读取数据;
3. 使用过 逻辑回归、神经网络、决策树、聚类 等的一种或多种建模方法;
4. 3年以上数据分析工作经验，征信从业背景人员优先;
5. 具有金融行业项目经验的相关经验者优先考虑;
6. 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。
能力素养:
良好的分析、归纳和总结能力，善于分析、解决实际问题; 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。
2、大数据开发工程师
北京大数据开发平均工资：30230/月。
大数据开发工程师/专家 岗位指责(引自 滴滴出行)：
职位描述：
1、构建分布式大数据服务平台，参与和构建公司包括海量数据存储、离线/实时计算、实时查询，大数据系统运维等系统;
2、服务各种业务需求，服务日益增长的业务和数据量;
3、深入源码内核改进优化开源项目，解决各种hadoop、spark、hbase疑难问题，参与到开源社区建设和代码贡献;
岗位要求：
1、计算机或相关专业本科以上学历(3年以上工作经验);
2、精通C++/java/Scala程序开发(至少一种)，熟悉Linux/Unix开发环境;
3、熟悉常用开源分布式系统，精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代码;
4、有大规模分布式系统开发、维护经验，有故障处理能力，源码级开发能力;
5、具有良好的沟通协作能力，具有较强的分享精神;
6、对Ku、Kylin、Impala、ElasticSearch，github等系统有深入使用和底层研究者加分;
B. 大数据学习路线有推荐吗怎么学比较容易
你好，推荐给你大数据学习的路线图，按照顺序学习就可以了。
C. 大数据的就业怎么样
1.人才缺口大
大数据专业毕业以后主要从事大数据分析工作，该岗位目前人才缺口很大，学会大数据分析就等于拿到了入职大企业和高薪资大门的钥匙。根据统计显示，仅北京地区1天需求量达到15680个。
2.各行各业需求上涨
像金融，电商，游戏，医疗，未来教育，社交等行业都需要大数据分析人员，需求量很大。
3.大城市机会多工资高
大数据专业人才的需求主要集中在一线一线城市，在大城市学到的东西更多，同样薪资水平也高，北京地区的大数据分析平均月工资就达到了20050元。
从人才缺口和需求上涨到高薪就业，都体现出了大数据专业是一个就业前景很好的专业。
大数据专业就业三大方向
大数据主要的三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。
在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。
大数据专业人才就业薪资
1基础人才：数据分析师
2大数据开发工程师
北京大数据开发平均工资：¥ 30230/月。
大数据开发工程师/专家 岗位指责（引自 滴滴出行）：
职位描述：
1、构建分布式大数据服务平台，参与和构建公司包括海量数据存储、离线/实时计算、实时查询，大数据系统运维等系统；
2、服务各种业务需求，服务日益增长的业务和数据量；
3、深入源码内核改进优化开源项目，解决各种hadoop、spark、hbase疑难问题，参与到开源社区建设和代码贡献；
岗位要求：
1、计算机或相关专业本科以上学历（3年以上工作经验）；
2、精通C++/Java/Scala程序开发(至少一种)，熟悉Linux/Unix开发环境；
3、熟悉常用开源分布式系统，精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代码；
4、有大规模分布式系统开发、维护经验，有故障处理能力，源码级开发能力；
5、具有良好的沟通协作能力，具有较强的分享精神；
6、对Ku、Kylin、Impala、ElasticSearch，github等系统有深入使用和底层研究者加分；
D. 大数据开发这么学习
大数据思维导图
可以的话点个赞哦。
E. 如何开始学习大数据
首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。
Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。
F. 大数据有什么学习路线
大数据开发工程师学习路线：
第一阶段：Java设计与编程思想
第二阶段： Web前端开发
第三阶段： JavaEE进阶
第四阶段： 大数据基础
第五阶段： HDFS分布式文件系统
第六阶段：MapRece分布式计算模型
第七阶段： Yarn分布式资源管理器
第八阶段： Zookeeper分布式协调服务
第九阶段： Hbase分布式数据库
第十阶段： Hive分布式数据仓库
第十一阶段： FlumeNG分布式数据采集系统
第十二阶段： Sqoop大数据迁移系统
第十三阶段： Scala大数据黄金语言
第十四阶段： kafka分布式总线系统
第十五阶段： SparkCore大数据计算基石
第十六阶段： SparkSQL数据挖掘利器
第十七阶段： SparkStreaming流失计算平台
第十八阶段： SparkMllib机器学习平台
第十九阶段：SparkGraphx图计算平台
第二十阶段： 大数据项目实战
G. 如何进入大数据领域，学习路线是什么
给你一个大数据学习的路线，你可以按照顺序学习
第一阶段
JavaSE基础核心
第二阶段
数据库关键技术
第三阶段
大数据基础核心
第四阶段
Spark生态体系框架&大数据高薪精选项目
第五阶段
Spark生态体系框架&企业无缝对接项目
第六阶段
Flink流式数据处理框架