大数据开发面试spark
① 学习Hadoop/Spark等大数据框架之前,单就java语言而言,需要掌握哪些知识以及掌握到什么程度
如果只是应用Hadoop/Spark进行数据分析,那么JavaSE只需要基本了解就行了,重点在于深入理解Hadoop/Spark各自的内计算模型和实现原理容,以及常见的数据分析方法和分布式算法。实际的分析工作,甚至可以不使用java,使用各自的streaming接口用任意语言编写。另外,Spark与Hadoop不同,原生语言是Scala。
如果要深入学习两个框架的实现,阅读源代码的话,那肯定就得学习Java/Scala了,建议在掌握基础之后边看代码边查相应的语言特性。
对初学者,建议还是从应用入手,在使用的过程中,自然地一步步了解实现。
② 从事大数据开发需要具备哪些技能
大数据开发一般要具备编程能力,就我从业3年多经验来看,有编程能力会获得更好的发展。
大数据开发一般有数仓开发、数据分析、数据开发三大类,每类要求的技能是不一样的。但是都有很多共通的技能。
通用的技能:除了具备基础的Sql能力以外,包括会用传统的Mysql、Oracle这种传统数据库,而且要会用Hive、Hbase这些基于分布式的数据库;当然Java编程能力是不可少的,其他方面的诸如Maprece和Spark也会就更好了。会用集群,集群除了问题有一定解决集群问题的能力。
数仓开发:要会数仓建模,维表、事实表、主题表、星型模型、雪花模型等等,要对业务非常熟悉,有全局观,才能建好数据仓库。
数据开发:数据开发有离线开发和实时开发,这种更偏向后端开发,类似java有需求就开发,加上平时对程序维护。
数据分析:这个要求sql功底强,如果能用python对数据分析那会更好了。要会用sqoop和kettle等这些常用的ETL工具,会用报表系统。
当然,如果你想学习,可以深入学习更多的东西。毕竟在平时开发的过程中,尤其是小公司分工不明确的情况下,这些技能或多或少都需要我们掌握的。就是一个人可以当几个人用,类似全栈工程师。
③ 大数据开发面试题有什么
大数据开发的面试题有spark开发,hadoop应用等内容,具体开发岗,分析工程师有不同的内容,千锋网有很多相关面试题。
④ 如何学习Spark大数据
主要学习Spark大数据概念、 基本原理、与Hadoop的区别与联系、Spark开发环境搭建、 Spark集群、 Scala开发语言、IntelliJ IDEA开发工具使用、Spark SQL数据存取、Spark Streaming流式计算、Spark MLlib机器学习、Spark Graphx图计算等内容。
⑤ 千锋大数据开发面试题大全
大数据开发从千锋网站上有
⑥ 大数据Spark是什么职位
spark大数据开发
大数据开发工程师
大数据平台开发工程师(hadoop/Spark)
spark是属于大数据开发中需要学习的技术之一。
⑦ 分析如何成为一名大数据开发工程师
1、认识大数据
大数据开发工程师,首先你得熟悉关系型数据库,比如Oracle或者MySQL,熟悉之后,有利于数据仓库的开发;再次熟悉Hadoop,这个都是现在大数据领域中用的最多的一个技术,它的HDFS可以实现分布式存储,Yarn是一个优秀的资源调度框架
2、大数据所需技能要求
必须掌握的技能:
Java高级(虚拟机、并发)、Linux 基本操作、Hadoop(HDFS+MapRece+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)