大数据应用学什么

① 大数据主要学习什么呢

大数据是近五年兴起的行业，发展迅速，大数据需要学习什么?

大数据需要的语言

java、回Scala、Python和Shell

分布式计答算

分布式计算研究的是如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多服务器进行处理，最后把这些计算结果综合起来得到最终的结果。

分布式存储

是将数据分散存储在多台独立的设备上。采用的是可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

分布式调度与管理

分布式的集群管理需要有个组件去分配调度资源给各个节点，这个东西叫yarn; 需要有个组件来解决在分布式环境下"锁"的问题，这个东西叫zookeeper; 需要有个组件来记录任务的依赖关系并定时调度任务，这个东西叫azkaban。

② 大数据学习一般都学什么

您好，大数据学习一般分为6个阶段

第一阶段
JavaSE基础核心
第二阶段内
数据库关键技术容
第三阶段
大数据基础核心
第四阶段
Spark生态体系框架&大数据精选项目
第五阶段
Spark生态体系框架&企业无缝对接项目
第六阶段
Flink流式数据处理框架
大数据是最近几年新兴的专业，发展的前景是非常好的，选择大数据是没有错的！

③ 大数据都需要学什么

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

大数据

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

④ 大数据应用课程要学什么

自学最好，下面几位估计是培训机构的托，忽悠你去学呢

⑤ 大数据学习一般都学什么内容

大数据技术的学习内容有很多，包括：
基础阶段：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。
hadoop maprece hdfs yarn：hadoop：Hadoop 概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。
大数据存储阶段：hbase、hive、sqoop。
大数据架构设计阶段：Flume分布式、Zookeeper、Kafka。
大数据实时计算阶段：Mahout、Spark、storm。
大数据数据采集阶段：Python、Scala。
大数据商业实战阶段：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用。

⑥ 大数据专业主要学什么啊

大数据专业主要学的是那个c语言和那个计算机之间的软件相映的协调之类的。

⑦ 大数据主要学什么

静态网页基础（html+CSS）
主要技术包括：html常用标签、CSS常见布局、样式、定位等、静态页面的设计制作方式等。

JavaSE+JavaWeb

主要技术包括：java基础语法、java面向对象（类、对象、封装、继承、多态、抽象类、接口、常见类、内部类、常见修饰符等）、异常、集合、文件、IO、MYSQL(基本SQL语句操作、多表查询、子查询、存储过程、事务、分布式事务)、JDBC、线程、反射、Socket编程、枚举、泛型、设计模式。

前端框架
主要技术包括：Java、Jquery、注解反射一起使用，XML以及XML解析、解析dom4j、jxab、jdk8.0新特性、SVN、Maven、easyui。
企业级开发框架

主要技术包括：Hibernate、Spring、SpringMVC、log4j slf4j 整合、myBatis、struts2、Shiro、redis、流程引擎activity， 爬虫技术nutch,lucene，webService CXF、Tomcat集群和热备 、MySQL读写分离

初识大数据

主要技术包括：大数据前篇（什么是大数据，应用场景，如何学习大数据库，虚拟机概念和安装等）、Linux常见命令(文件管理、系统管理、磁盘管理)、Linux Shell编程（SHELL变量、循环控制、应用）、Hadoop入门（Hadoop组成、单机版环境、目录结构、HDFS界面、MR界面、简单的SHELL、java访问hadoop）、HDFS(简介、SHELL、IDEA开发工具使用、全分布式集群搭建)、MapRece应用(中间计算过程、Java操作MapRece、程序运行、日志监控)、Hadoop高级应用(YARN框架介绍、配置项与优化、CDH简介、环境搭建)、扩展(MAP 端优化，COMBINER 使用方法见,TOP K,SQOOP导出,其它虚拟机VM的快照,权限管理命令,AWK 与 SED命令)

大数据数据库

主要技术包括：Hive入门（Hive简介、Hive使用场景、环境搭建、架构说明、工作机制）、Hive Shell编程（建表、查询语句、分区与分桶、索引管理和视图）、Hive高级应用(DISTINCT实现、groupby、join、sql转化原理、java编程、配置和优化)、hbase入门、Hbase SHELL编程(DDL、DML、Java操作建表、查询、压缩、过滤器)、细说Hbase模块（REGION、HREGION SERVER、HMASTER、ZOOKEEPER简介、ZOOKEEPER配置、Hbase与Zookeeper集成）、HBASE高级特性(读写流程、数据模型、模式设计读写热点、优化与配置)

实时数据采集

主要技术包括：Flume日志采集，KAFKA入门（消息队列、应用场景、集群搭建）、KAFKA详解（分区、主题、接受者、发送者、与ZOOKEEPER集成、Shell开发、Shell调试）、KAFKA高级使用（java开发、主要配置、优化项目）、数据可视化（图形与图表介绍、CHARTS工具分类、柱状图与饼图、3D图与地图）、STORM入门（设计思想、应用场景、处理过程、集群安装）、STROM开发（STROM MVN开发、编写STORM本地程序）、STORM进阶（java开发、主要配置、优化项目）、KAFKA异步发送与批量发送时效，KAFKA全局消息有序，STORM多并发优化

SPARK数据分析

主要技术包括：SCALA入门(数据类型、运算符、控制语句、基础函数)、SCALA进阶(数据结构、类、对象、特质、模式匹配、正则表达式)、SCALA高级使用（高阶函数、科里函数、偏函数、尾迭代、自带高阶函数等）、SPARK入门(环境搭建、基础结构、运行模式)、Spark数据集与编程模型、SPARK SQL、SPARK 进阶（DATA FRAME、DATASET、SPARK STREAMING原理、SPARK STREAMING支持源、集成KAFKA与SOCKET、编程模型）、SPARK高级编程（Spark-GraphX、Spark-Mllib机器学习）、SPARK高级应用（系统架构、主要配置和性能优化、故障与阶段恢复）、SPARK ML KMEANS算法，SCALA 隐式转化高级特性

⑧ 大数据要学什么

大数据时代的出现，未来30年将对计划经济和市场经济进行重新定义。在大数据回时代，人类获得数据能答力远远超过大家想象，我们对世界的认识要提升到新 的高度。在国内，普通大数据开发工程师的基本岗位薪资起步即10000元/月，一般入职薪资13000元/月 左右，2年以上工作 大数据开发工程师薪资高达30000元/月以上。（*以上数据来源于网络）
第一阶段
windows server2008、计算机基础和商务办公、计算机组装与维护、思科网络技术
第二阶段
PHP基础（含网页）、PHP进阶、PHP高级应用、Python
第三阶段
网络设备、网络安全（黑客攻防技术）、Linux服务器、虚拟化技术
第四阶段
大数据、华为云计算、Vmware虚拟化、阶段融合、综合实训

⑨ 大数据主要学什么内容

大数据开发工程师是大数据领域一个比较热门的岗位，有大量的传统应用需要进行大数据改造，因此岗位有较多的人才需求。这个岗位需要掌握的知识结构包括大数据平台体系结构，比如目前常见的Hadoop、Spark平台，以及众多组件的功能和应用，另外还需要掌握至少一门编程语言，比如Java、Python、Scala等。

大数据分析师是大数据领域非常重要的岗位，大数据分析师需要掌握的知识结构包括算法设计、编程语言以及呈现工具，算法设计是大数据分析师需要掌握的重点内容，而编程语言的作用则是完成算法的实现。另外，大数据分析师还需要掌握一些常见的分析工具。

大数据运维工程师的主要工作内容是搭建大数据平台、部署大数据功能组件、配置网络环境和硬件环境、维护大数据平台，大数据运维工程师需要具备的知识结构包括计算机网络、大数据平台体系结构、编程语言（编写运维脚本）等，通常情况下，大数据运维工程师也需要对数据库有深入的了解。