大數據開發面試spark
① 學習Hadoop/Spark等大數據框架之前,單就java語言而言,需要掌握哪些知識以及掌握到什麼程度
如果只是應用Hadoop/Spark進行數據分析,那麼JavaSE只需要基本了解就行了,重點在於深入理解Hadoop/Spark各自的內計算模型和實現原理容,以及常見的數據分析方法和分布式演算法。實際的分析工作,甚至可以不使用java,使用各自的streaming介面用任意語言編寫。另外,Spark與Hadoop不同,原生語言是Scala。
如果要深入學習兩個框架的實現,閱讀源代碼的話,那肯定就得學習Java/Scala了,建議在掌握基礎之後邊看代碼邊查相應的語言特性。
對初學者,建議還是從應用入手,在使用的過程中,自然地一步步了解實現。
② 從事大數據開發需要具備哪些技能
大數據開發一般要具備編程能力,就我從業3年多經驗來看,有編程能力會獲得更好的發展。
大數據開發一般有數倉開發、數據分析、數據開發三大類,每類要求的技能是不一樣的。但是都有很多共通的技能。
通用的技能:除了具備基礎的Sql能力以外,包括會用傳統的Mysql、Oracle這種傳統資料庫,而且要會用Hive、Hbase這些基於分布式的資料庫;當然Java編程能力是不可少的,其他方面的諸如Maprece和Spark也會就更好了。會用集群,集群除了問題有一定解決集群問題的能力。
數倉開發:要會數倉建模,維表、事實表、主題表、星型模型、雪花模型等等,要對業務非常熟悉,有全局觀,才能建好數據倉庫。
數據開發:數據開發有離線開發和實時開發,這種更偏向後端開發,類似java有需求就開發,加上平時對程序維護。
數據分析:這個要求sql功底強,如果能用python對數據分析那會更好了。要會用sqoop和kettle等這些常用的ETL工具,會用報表系統。
當然,如果你想學習,可以深入學習更多的東西。畢竟在平時開發的過程中,尤其是小公司分工不明確的情況下,這些技能或多或少都需要我們掌握的。就是一個人可以當幾個人用,類似全棧工程師。
③ 大數據開發面試題有什麼
大數據開發的面試題有spark開發,hadoop應用等內容,具體開發崗,分析工程師有不同的內容,千鋒網有很多相關面試題。
④ 如何學習Spark大數據
主要學習Spark大數據概念、 基本原理、與Hadoop的區別與聯系、Spark開發環境搭建、 Spark集群、 Scala開發語言、IntelliJ IDEA開發工具使用、Spark SQL數據存取、Spark Streaming流式計算、Spark MLlib機器學習、Spark Graphx圖計算等內容。
⑤ 千鋒大數據開發面試題大全
大數據開發從千鋒網站上有
⑥ 大數據Spark是什麼職位
spark大數據開發
大數據開發工程師
大數據平台開發工程師(hadoop/Spark)
spark是屬於大數據開發中需要學習的技術之一。
⑦ 分析如何成為一名大數據開發工程師
1、認識大數據
大數據開發工程師,首先你得熟悉關系型資料庫,比如Oracle或者MySQL,熟悉之後,有利於數據倉庫的開發;再次熟悉Hadoop,這個都是現在大數據領域中用的最多的一個技術,它的HDFS可以實現分布式存儲,Yarn是一個優秀的資源調度框架
2、大數據所需技能要求
必須掌握的技能:
Java高級(虛擬機、並發)、Linux 基本操作、Hadoop(HDFS+MapRece+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、輔助小工具(Sqoop/Flume/Oozie/Hue等)