大數據怎樣做
Ⅰ 大數據建設需要怎麼做
首先是收集需求，接著根據需要定製產品，然後再實施，大方向就是這樣
Ⅱ 身處大數據時代，我們該如何做
大數來據時代，可以知道世自界上任何一個角落上發生的事。網路方便人們獲取信息的同時，也大大增加了人們信息泄露的可能性。加米穀大數據來分享我們該如何保護自己的個人信息。
如何防範自己的個人信息泄露呢？
1、不要隨便填寫各種各樣的調查問卷。現在在街上、校園、網上都會遇到各種問卷調查，那麼此時一定要注意防範，不要輕易填寫個人信息。
2、不要貪小便宜。對於一些留下聯系方式或者注冊某個APP就能得到一些精美的小禮品的活動，千萬要注意，因為你的個人信息大部分就是這樣泄露的。
3、不要隨便扔快遞單據。快遞單那裡會寫上你的收貨地址、姓名和聯系方式，如果隨便丟棄，就相當於自己主動泄露個人信息。
4、不要隨意丟棄車票和機票。現在的飛機票和火車票都實行了實名制，上面有自己的身份證等信息，隨意丟棄會導致信息泄露。
5、及時刪除在列印店列印的資料。在列印店列印，很多人喜歡將U盤的文件拷到電腦上，列印之後又忘記刪除，特別是一些簡歷等含有個人信息的資料。
6、網路上的個人信息也需要進行保護。
Ⅲ 大數據怎麼做
如果對大數據了解不多的話建議體系化的看課程視頻跟著多易教育的老師好好學習學習。
Ⅳ 大數據如何入門
聽說你想要學大數據？你確定你搞清楚概念了嗎？我們來做個小測驗吧：
數據分析師在公司是干什麼的？
大數據和普通數據最大的區別是什麼？
你的日常工作中根本接觸不到大數據，你真正想學的是大數據嗎？
有點蒙圈了吧。魚君正是要幫你在最短的時間內理清這些概念，找准自己前進的方向。
大數據之「大」數據，大家會陌生嗎？不會。我們每天的日常生活都會接觸到數據。淘寶購物時貨比三家的價格，年終考核之後發給我們的獎金，發表在知乎上的文章的評論數量，這些都是數據。
從人們會計數開始，數據就有了，數據分析也是。那麼大數據呢？
說到大數據，你就繞不開互聯網。在互聯網出現之前，雖然政府部門和一些公共事業單位通過日積月累獲得了較大量的數據，但並沒有形成足夠的影響力。直到互聯網產品的出現，由於它收集用戶數據的便利性，通常在一天之內就能夠累計其他行業可能一年才能獲取的數據量。
數據量的升級造成演算法和硬體都必須要升級，操作起來的技術難度也就會提高很多。這個時候，就需要專業的技術和平台來完成存儲，處理和分析大數據的工作。比如說，大家都聽過的Hadoop平台，MapRece演算法。都是大數據時代的產物。
因此，我認為，大數據的核心，就在於大。
有一定規模的互聯網公司都會成立專門的大數據部門來管理自己產品所收集到的大數據。數據量越大，處理難度就越高，相應的，可能挖掘到的內涵也會更多。於是，大數據就成了一個產業，一個火熱的產業。
大數據圈子裡的人在大數據行業這個圈子裡，公司提供的職位大致分為三類：數據分析師，數據產品經理，數據工程師。他們緊密合作，共同驅動公司的數據決策文化。
那麼，著三種職位都是做什麼的？又該怎麼入行呢？
數據分析師
數據分析師，是使用大數據的人。核心是掌握各種數據分析工具和數據分析技能，目標是為公司管理層和產品團隊提供分析報告，幫助他們做決策。
實際工作中，數據會被處理成各種不同的類型提供給數據分析師使用，有比較原始的，有比較簡單好用的。因此，數據分析師需要掌握R, SQL，Excel, Python基礎編程等多種技能，以及熟練掌握常用的數據分析方法。
如果你立志於成為一個數據分析師甚至數據科學家，那麼我強烈建議你進行系統的學習。
數據產品經理
數據產品經理是設計數據產品的人。核心技能是數據需求分析和數據產品的設計，和其他的互聯網產品經理並沒有本質的不同。實際工作中，數據產品經理需要收集不同用戶的數據需求並且設計出好用的數據產品提供給大家，幫助他們「用數據做決定」。
怎麼入門呢？關於具體的進階流程，我希望你聽一下我在一塊聽聽上做的講座《4步讓你成為大數據產品經理》，會為你提供非常全面的介紹。
常見的推薦入門書籍有《人人都是產品經理》，《The DatawareHouse Toolkit》，《Lean Analytics》等等。
數據工程師
數據工程師，簡單分兩種，一類是數據挖掘工程師，另外一類是大數據平台工程師。工程師的基本技能當然是寫代碼，寫高質量的代碼。
數據挖掘工程師主要工作是開發大數據流水線以及和數據分析師一起完成數據挖掘項目，而數據平台工程師主要工作是維護大數據平台。
因此，理工科背景出身，掌握C, C#, Python等編程/腳本語言，熟悉各種基礎演算法即可以勝任。
如何用數據做決策
對於那些並不想轉行進入大數據圈子的人，我們要學的究竟是什麼？
我相信，在我們的日常工作中，特別是業績不佳，找不到突破口的時候，都曾想過能否用數據來幫助自己。因為我們都曾或多或少聽過一些牛逼的數據案例，比如紙尿布與啤酒之類。
舉一個簡單的例子，你經營的餐館現在狀況不佳。你可以自己拍腦袋想一堆的新點子來嘗試改善現狀。你也可以，收集整理數據，通過分析找出根本原因，並提出對應解決方案，從而扭轉局面。後者聽起來似乎更加靠譜一些。
那麼，你該收集什麼數據，做什麼分析，這就是你需要學習的：「如何用數據做決策」。從這個角度講，我認為：
人人都應該是數據分析師
學習系統的數據決策和數據分析思維，我們可以從這篇文章開始：從0到1搭建數據分析知識體系。我自己工作中常用的數據分析方法都被囊括在裡面，如果趨勢分析，多維分解，用戶分群，漏斗分析等等。請不要小看一篇文章，知識在精不在多。
你還可以從一本簡單好讀的《誰說菜鳥不會數據分析》開始搭建你的數據分析思維。
關於數據分析的書籍太多了，眾口難調，隨便一搜就有一大堆推薦。而其中所講的知識和理論其實都是類似的。最終要讓他們發揮作用，還是要和實踐結合起來。
因此，我認為，在自己的生意和工作中多實踐數據分析，多思考，遇到問題多在社群中提問和大家探討，是最好的學習辦法。我自己也一直是這樣踐行的。
帶著問題去學習，是最好的方式。
在這個過程中，隨著你對數據的深入了解，掌握更多的數據分析語言和工具。從Excel到SQL，甚至到R和Python。你所能使用的數據量也會越來越大。但你大可不必一開始就扎入這些工具的學習中，那樣會收效甚微。
Ⅳ 如何入門大數據
大數據
數據科學並沒有一個獨立的學科體系，統計學，機器學習，數據挖掘，資料庫，分布式計算，雲計算，信息可視化等技術或方法來對付數據。
但從狹義上來看，我認為數據科學就是解決三個問題：
1. data pre-processing;(數據預處理）
2. data interpretation；（數據解讀）
3.data modeling and analysis.（數據建模與分析）
這也就是我們做數據工作的三個大步驟：
1、原始數據要經過一連串收集、提取、清洗、整理等等的預處理過程，才能形成高質量的數據；
2、我們想看看數據「長什麼樣」，有什麼特點和規律；
3、按照自己的需要，比如要對數據貼標簽分類，或者預測，或者想要從大量復雜的數據中提取有價值的且不易發現的信息，都要對數據建模，得到output。
這三個步驟未必嚴謹，每個大步驟下面可能依問題的不同也會有不同的小步驟，但按我這幾年的經驗來看，按照這個大思路走，數據一般不會做跑偏。
這樣看來，數據科學其實就是門復合型的技術，既然是技術就從編程語言談起吧，為了簡練，只說說R和Python。但既然是薦數據科學方面的書，我這里就不提R/Python編程基礎之類的書了，直接上跟數據科學相關的。
R programming
如果只是想初步了解一下R語言已經R在數據分析方面的應用，那不妨就看看這兩本：
R in action：我的R語言大數據101。其實對於一個沒有任何編程基礎的人來說，一開始就學這本書，學習曲線可能會比較陡峭。但如果配合上一些輔助材料，如官方發布的R basics（http://cran.r-project.org/doc/contrib/usingR.pdf），stackoverflow上有tag-R的問題集（Newest 『r』 Questions），遇到復雜的問題可在上面搜索，總會找到解決方案的。這樣一來，用這本書拿來入門學習也問題不大。而且這本書作者寫得也比較輕松，緊貼實戰。
Data analysis and graphics using R：使用R語言做數據分析的入門書。這本書的特點也是緊貼實戰，沒有過多地講解統計學理論，所以喜歡通過情境應用來學習的人應該會喜歡這本入門書。而且這本書可讀性比較強，也就是說哪怕你手頭沒電腦寫不了代碼，有事沒事拿出這本書翻一翻，也能讀得進去。
但如果你先用R來從事實實在在的數據工作，那麼上面兩本恐怕不夠，還需要這些：
Modern applied statistics with S：這本書里統計學的理論就講得比較多了，好處就是你可以用一本書既復習了統計學，又學了R語言。（S/Splus和R的關系就類似於Unix和Linux，所以用S教程學習R，一點問題都沒有）
Data manipulation with R：這本書實務性很強，它教給你怎麼從不同格式的原始數據文件里讀取、清洗、轉換、整合成高質量的數據。當然和任何一本注重實戰的書一樣，本書也有豐富的真實數據或模擬數據供你練習。對於真正從事數據處理工作的人來說，這本書的內容非常重要，因為對於任何研究，一項熟練的數據預處理技能可以幫你節省大量的時間和精力。否則，你的研究總是要等待你的數據。
R Graphics Cookbook：想用R做可視化，就用這本書吧。150多個recipes，足以幫你應付絕大多數類型的數據。以我現在極業余的可視化操作水平來看，R是最容易做出最漂亮的圖表的工具了。
An introction to statistical learning with application in R：這本書算是著名的the element of statistical learning的姊妹篇，後者更注重統計（機器）學習的模型和演算法，而前者所涉及的模型和演算法原沒有後者全面或深入，但卻是用R來學習和應用機器學習的很好的入口。
A handbook of statistical analysis using R：這本書內容同樣非常扎實，很多統計學的學生就是用這本書來學慣用R來進行統計建模的。
Python
Think Python，Think Stats，Think Bayes：這是Allen B. Downey寫的著名的Think X series三大卷。其實是三本精緻的小冊子，如果想快速地掌握Python在統計方面的操作，好好閱讀這三本書，認真做習題，答案鏈接在書里有。這三本書學通了，就可以上手用Python進行基本的統計建模了。
Python For Data Analysis： 作者是pandas的主要開發者，也正是Pandas使Python能夠像R一樣擁有dataframe的功能，能夠處理結構比較復雜的數據。這本書其實analysis講得不多，說成數據處理應該更合適。掌握了這本書，處理各種糟心的數據就問題不大了。
Introction to Python for Econometrics, Statistics and Data Analysis：這本書第一章就告訴你要安裝Numpy, Scipy, Matplotlib, Pandas, IPython等等。然後接下來的十好幾章就是逐一介紹這幾個庫該怎麼用。很全面，但讀起來比較枯燥，可以用來當工具書。
Practical Data Analysis： 這本書挺奇葩，貌似很暢銷，但作者把內容安排得東一榔頭西一棒子，什麼都講一點，但一個都沒講透。這本書可以作為我們學習數據分析的一個索引，看到哪塊內容有意思，就順著它這個藤去摸更多的瓜。
Python Data Visualization Cookbook： 用Python做可視化的教材肯定不少，我看過的也就這一本，覺得還不錯。其實這類書差別都不會很大，咬住一本啃下來就是王道。
Exploratory Data Analysis 和 Data Visualization
Exploratory Data Analysis：John Tukey寫於1977年的經典老教材，是這一領域的開山之作。如今EDA已經是統計學里的重要一支，但當時還是有很多人對他的工作不屑一顧。可他愛數據，堅信數據可以以一種出人意料的方式呈現出來。正是他的努力，讓數據可視化成為一門無比迷人的技術。但這本書不推薦閱讀了，內容略過時。要想完整地了解EDA，推薦下一本：
Exploratory Data Analysis with MATLAB：這本書雖然標題帶了個MATLAB，但實際上內容幾乎沒怎麼講MATLAB，只是每講一個方法的時候就列出對應的MATALB函數。這本書的重要之處在於，這是我讀過的講EDA最系統的一本書，除了對visualization有不輸於John Tucky的講解外，對於高維的數據集，通過怎樣的方法才能讓我們從中找到潛在的pattern，這本書也做了詳盡的講解。全書所以案例都有對應的MATALB代碼，而且還提供了GUI（圖形用戶界面）。所以這本書學起來還是相當輕松愉悅的。
Visualize This：中譯本叫「鮮活的數據」，作者是個「超級數據迷」，建立了一個叫http://flowingdata.com的網頁展示他的數據可視化作品，這本書告訴你該選擇什麼樣的可視化工具，然後告訴你怎樣visualize關系型數據、時間序列、空間數據等，最後你就可以用數據講故事了。如果你只想感受一下數據可視化是個什麼，可以直接點開下面這個鏈接感受下吧！A tour through the visualization zoo（A Tour Through the Visualization Zoo）
Machine Learning & Data Mining
這一塊就不多說了，不是因為它不重要，而是因為它太太太重要。所以這一部分就推兩本書，都是」世界名著「，都比較難讀，需要一點點地啃。這兩本書拿下，基本就算是登堂入室了。其實作為機器學習的延伸和深化，概率圖模型（PGM）和深度學習（deep learning）同樣值得研究，特別是後者現在簡直火得不得了。但PGM偏難，啃K.Daphne那本大作實在太燒腦，也沒必要，而且在數據領域的應用也不算很廣。deep learning目前工業界的步子邁得比學術界的大，各個domain的應用如火如荼，但要有公認的好教材問世則還需時日，所以PGM和deep learning這兩塊就不薦書了。
The Element of Statistical Learning：要學機器學習，如果讓我只推薦一本書，我就推薦這本巨著。Hastie、Tibshirani、Friedman這三位大牛寫書寫得太用心了，大廈建得夠高夠大，結構也非常嚴謹，而且很有前瞻性，納入了很多前沿的內容，而不僅僅是一部綜述性的教材。（圖表也做得非常漂亮，應該是用R語言的ggplot2做的。）這本書注重講解模型和演算法本身，所以需要具備比較扎實的數理基礎，啃起這本書來才不會太吃力。事實上掌握模型和演算法的原理非常重要。機器學習（統計學習）的庫現在已經非常豐富，即使你沒有完全搞懂某個模型或演算法的原理和過程，只要會用那幾個庫，機器學習也能做得下去。但你會發現你把數據代進去，效果永遠都不好。但是，當你透徹地理解了模型和演算法本身，你再調用那幾個庫的時候，心情是完全不一樣的，效果也不一樣。
Data Mining: Concepts and Techniques, by Jiawei Han and Micheline Kamber 數據挖掘的教材汗牛充棟，之所以推薦這本韓家煒爺爺的，是因為雖然他這本書的出發點是應用，但原理上的內容也一點沒有落下，內容非常完整。而且緊跟時代，更新的很快，我看過的是第二版，就已經加進去了social network analysis這種當時的前沿內容。現在已經有第三版了，我還沒看過，但應該也加入了不少新內容。其實這本書並不難讀，只是篇幅較長，啃起來比較耗時。
其實這兩本書里單拎出來一塊內容可能又是幾本書的節奏，比如bayesian方法，再拿出兩三本書來講也不為過，我個人用到的比較多，而且也確實有不少好書。但並非是所有data scientist都要用到，所以這一塊就不再細說。
還有一些印象比較深刻的書：
Big Data Glossary： 主要講解大數據處理技術及工具，內容涵蓋了NoSQL，MapRece，Storage，Servers，NLP庫與工具包，機器學習工具包，數據可視化工具包，數據清洗，序列化指南等等。總之，是一本辭典式的大數據入門指導。
Mining of Massive Datasets：這本書是斯坦福大學Web Mining的講義，裡面很多內容與韓家煒的Data Mining那本書重合，但這本書里詳細地講了MapRece的設計原理，PageRank（Google創業時期的核心排序演算法，現在也在不斷優化更新）講解得也比較詳細。
Developing Analytic Talent： 作者是個從事了十幾年數據工作的geek，技術博客寫得很有個人風格，寫的內容都比較偏門，通常只有具備相關數據處理經驗的人能體會出來，絲毫不照顧初學者的感受。比如他會談到當數據流更新太快時該怎麼辦，或者MapRece在什麼時候不好用的問題，才不管你懂不懂相關基礎原理。所以這本書不太適合初學者閱讀。這本書其實是作者的博客文章的集結，用how to become a data scientist的邏輯把他近幾年的博客文章串聯了起來。
Past, Present and Future of Statistical Science：這本書是由COPSS（統計學社大大委員會，由國際各大統計學會的帶頭人組成）在50周年出版的一本紀念冊，裡面有50位統計學家每人分別貢獻出的一兩篇文章，有的回憶了自己當年如何走上統計學這條路，有的探討了一些統計學的根本問題，有的談了談自己在從事的前沿研究，有的則給年輕一代寫下了寄語。非常有愛的一本書。
其它資料
Harvard Data Science：這是H大的Data science在線課，我沒有修過，但口碑很好。這門課需要費用8千刀左右，比起華盛頓大學的4千刀的Data science在線課雖貴一倍，但比斯坦福的14千刀要便宜將近一半（而且斯坦福的更偏計算機）。如果想自學，早有好心人分享了slides: （https://drive.google.com/folderview?id=0BxYkKyLxfsNVd0xicUVDS1dIS0k&usp=sharing）和homeworks and solutions: （https://github.com/cs109/content）
PyData：PyData是來自各個domain的用Python做數據的人每年舉行一次的聚會，期間會有各路牛人舉行一些規模不大的seminar或workshop，有好心人已經把video上傳到github，有興趣的去認領吧（DataTau/datascience-anthology-pydata · GitHub）
工具
R/Python/MATLAB（必備）：如果是做數據分析和模型開發，以我的觀察來看，使用這三種工具的最多。R生來就是一個統計學家開發的軟體，所做的事也自然圍繞統計學展開。MATLAB雖然算不上是個專業的數據分析工具，但因為很多人不是專業做數據的，做數據還是為了自己的domain expertise（特別是科學計算、信號處理等），而MATLAB又是個強大無比的Domain expertise工具，所以很多人也就順帶讓MATLAB也承擔了數據處理的工作，雖然它有時候顯得效率不高。Python雖然不是做數據分析的專業軟體，但作為一個面向對象的高級動態語言，其開源的生態使Python擁有無比豐富的庫，Numpy, Scipy 實現了矩陣運算/科學計算，相當於實現了MATLAB的功能，Pandas又使Python能夠像R一樣處理dataframe，scikit-learn又實現了機器學習。
SQL（必備）：雖然現在人們都說傳統的關系型資料庫如Oracle、MySQL越來越無法適應大數據的發展，但對於很多人來說，他們每天都有處理數據的需要，但可能一輩子都沒機會接觸TB級的數據。不管怎麼說，不論是用關系型還是非關系型資料庫，SQL語言是必須要掌握的技能，用什麼資料庫視具體情況而定。
MongoDB（可選）：目前最受歡迎的非關系型資料庫NoSQL之一，不少人認為MongoDB完全可以取代mySQL。確實MongoDB方便易用，擴展性強，Web2.0時代的必需品。
Hadoop/Spark/Storm（可選）: MapRece是當前最著名也是運用最廣泛的分布式計算框架，由Google建立。Hadoop/Spark/storm都是基於MapRece的框架建立起來的分布式計算系統，要說他們之間的區別就是，Hadoop用硬碟存儲數據，Spark用內存存儲數據，Storm只接受實時數據流而不存儲數據。一言以蔽之，如果數據是離線的，如果數據比較復雜且對處理速度要求一般，就Hadoop，如果要速度，就Spark，如果數據是在線的實時的流數據，就Storm。
OpenRefine（可選）：Google開發的一個易於操作的數據清洗工具，可以實現一些基本的清洗功能。
Tableau（可選）：一個可交互的數據可視化工具，操作簡單，開箱即用。而且圖表都設計得非常漂亮。專業版1999美刀，終身使用。媒體和公關方面用得比較多。
Gephi（可選）：跟Tableau類似，都是那種可交互的可視化工具，不需要編程基礎，生成的圖表在美學和設計上也是花了心血的。更擅長復雜網路的可視化。
Ⅵ java 大數據怎麼做
Java是編程語言；
大數據是一個概念，包含的技術較多，比如Hadoop、Spark、Storm等；
學習大數據先要學習Java，Java是基礎，而大數據比較核心的兩個課程是HADOOP、SPARK。
Ⅶ 怎樣學習大數據
首先我們要了解Java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。
Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。
Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。
Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。
Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。
Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。
Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。
Ⅷ 大數據入門學習怎麼做
：一、整體了解數據分析——5小時 新人們被」大數據「、」人工智慧「、」21世紀是數據分析師的時代「等等信息吸引過來，立志成為一名數據分析師，於是問題來了，數據分析到底是干什麼的?數據分析都包含什麼內容? 市面上有很多講數據分析內容的書籍
Ⅸ 大數據如何入門
導讀：
第一章：初識Hadoop
第二章：更高效的WordCount
第三章：把別處的數據搞到Hadoop上
第四章：把Hadoop上的數據搞到別處去
第五章：快一點吧，我的SQL
第六章：一夫多妻制
第七章：越來越多的分析任務
第八章：我的數據要實時
第九章：我的數據要對外
第十章：牛逼高大上的機器學習
經常有初學者會問，自己想往大數據方向發展，該學哪些技術，學習路線是什麼樣的，覺得大數據很火，就業很好，薪資很高……首先，如果你確定了想往這個方面發展，先考慮自己的過去從業經歷、專業、興趣是什麼。計算機專業——操作系統、硬體、網路、伺服器？軟體專業——軟體開發、編程、寫代碼？還是數學、統計學專業——對數據和數字特別感興趣？
其實這就是想告訴你大數據的三個發展方向，平台搭建/優化/運維/監控、大數據開發/設計/架構、數據分析/挖掘。
先扯一下大數據的4V特徵：
數據量大，TB->PB
數據類型繁多，結構化、非結構化文本、日誌、視頻、圖片、地理位置等；
商業價值高，但是這種價值需要在海量數據之上，通過數據分析與機器學習更快速的挖掘出來；
處理時效性高，海量數據的處理需求不再局限在離線計算當中。
Hadoop 1.0、Hadoop 2.0
MapRece、HDFS
NameNode、DataNode
JobTracker、TaskTracker
Yarn、ResourceManager、NodeManager
HDFS目錄操作命令；
上傳、下載文件命令；
提交運行MapRece示常式序；
打開Hadoop WEB界面，查看Job運行狀態，查看Job運行日誌。
知道Hadoop的系統日誌在哪裡。
- SELECT word,COUNT(1) FROM wordcount GROUP BY word;
- 這時，使用Flume採集的數據，不是直接到HDFS上，而是先到Kafka，Kafka中的數據可以由多個消費者同時消費，其中一個消費者，就是將數據同步到HDFS。
- 至此，大數據平台底層架構已經成型了，其中包括了數據採集、數據存儲與計算（離線和實時）、數據同步、任務調度與監控這幾大模塊。接下來是時候考慮如何更好的對外提供數據了。
現如今，正式為了應對大數據的這幾個特點，開源的大數據框架越來越多，越來越強，先列舉一些常見的：
文件存儲：Hadoop HDFS、Tachyon、KFS
離線計算：Hadoop MapRece、Spark
流式、實時計算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL資料庫：HBase、Redis、MongoDB
資源管理：YARN、Mesos
日誌收集：Flume、Scribe、Logstash、Kibana
消息系統：Kafka、StormMQ、ZeroMQ、RabbitMQ
查詢分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式協調服務：Zookeeper
集群管理與監控：Ambari、Ganglia、Nagios、Cloudera Manager
數據挖掘、機器學習：Mahout、Spark MLLib
數據同步：Sqoop
任務調度：Oozie
······
第一章：初識Hadoop
1.1學會網路與Google
不論遇到什麼問題，先試試搜索並自己解決。
Google首選，翻不過去的，就用網路吧。
1.2參考資料首選官方文檔
特別是對於入門來說，官方文檔永遠是首選文檔。
相信搞這塊的大多是文化人，英文湊合就行，實在看不下去的，請參考第一步。
1.3先讓Hadoop跑起來
Hadoop可以算是大數據存儲和計算的開山鼻祖，現在大多開源的大數據框架都依賴Hadoop或者與它能很好的兼容。
關於Hadoop,你至少需要搞清楚以下是什麼：
自己搭建Hadoop，請使用第一步和第二步，能讓它跑起來就行。
建議先使用安裝包命令行安裝，不要使用管理工具安裝。
另外：Hadoop1.0知道它就行了，現在都用Hadoop 2.0.
1.4嘗試使用Hadoop
1.5了解它們的原理
MapRece：如何分而治之；
HDFS：數據到底在哪裡，什麼是副本；
Yarn到底是什麼，它能幹什麼；
NameNode到底在幹些什麼；
ResourceManager到底在幹些什麼；
1.6自己寫一個MapRece程序
仿照WordCount例子，自己寫一個（照抄也行）WordCount程序，
打包並提交到Hadoop運行。
不會Java的話，Shell、Python都可以，有個東西叫Hadoop Streaming。
如果能認真完成了以上幾步，恭喜你，你的一隻腳已經進來了。
第二章：更高效的WordCount
2.1學點SQL吧
如果不懂資料庫的童鞋先學習使用SQL句。
2.2 SQL版WordCount
在1.6中，你寫（或者抄）的WordCount一共有幾行代碼？
如果用SQL的話：
這便是SQL的魅力，編程需要幾十行，甚至上百行代碼，SQL一句就搞定；使用SQL處理分析Hadoop上的數據，方便、高效、易上手、更是趨勢。不論是離線計算還是實時計算，越來越多的大數據處理框架都在積極提供SQL介面。
2.3安裝配置Hive
Hive算是數據倉庫工具，安裝不難，網上有很多教程，配置完成後，可以正常進入Hive命令行。
2.4試試使用Hive
嘗試在Hive中創建wordcount表，並運行2.2中的SQL語句。在Hadoop WEB界面中找到剛才運行的SQL任務。看SQL查詢結果是否和1.4中MapRece中的結果一致。
明明寫的是SQL，為什麼Hadoop WEB界面中看到的是MapRece任務？
2.5學會Hive的基本命令
創建、刪除表；載入數據到表；下載Hive表的數據；並學習更多關於Hive的語法和命令。
以上如果按照第一章和第二章的流程認真完整的走了一遍後，應該已經具備以下技能和知識點：
0和Hadoop2.0的區別
MapRece的原理（還是那個經典的題目，一個10G大小的文件，給定1G大小的內存，如何使用Java程序統計出現次數最多的10個單詞及次數）；
HDFS讀寫數據的流程；向HDFS中PUT數據；從HDFS中下載數據；
自己會寫簡單的MapRece程序，運行出現問題，知道在哪裡查看日誌；
會寫簡單的SELECT、WHERE、GROUP BY等SQL語句；
Hive SQL轉換成MapRece的大致流程；
Hive中常見的語句：創建表、刪除表、往表中載入數據、分區、將表中數據下載到本地；
從上面的學習，你已經了解到，HDFS是Hadoop提供的分布式存儲框架，它可以用來存儲海量數據，MapRece是Hadoop提供的分布式計算框架，它可以用來統計和分析HDFS上的海量數據，而Hive則是SQL On Hadoop，Hive提供了SQL介面，開發人員只需要編寫簡單易上手的SQL語句，Hive負責把SQL翻譯成MapRece，提交運行。
此時，你的認知中「大數據平台」是這樣的：
總結：
為什麼Spark比MapRece快。
使用SparkSQL代替Hive，更快的運行SQL。
使用Kafka完成數據的一次收集，多次消費架構。
自己可以寫程序完成Kafka的生產者和消費者。
前面的學習已經掌握了大數據平台中的數據採集、數據存儲和計算、數據交換等大部分技能，而這其中的每一步，都需要一個任務（程序）來完成，各個任務之間又存在一定的依賴性，比如，必須等數據採集任務成功完成後，數據計算任務才能開始運行。如果一個任務執行失敗，需要給開發運維人員發送告警，同時需要提供完整的日誌來方便查錯。
第七章：越來越多的分析任務
不僅僅是分析任務，數據採集、數據交換同樣是一個個的任務。這些任務中，有的是定時觸發，有點則需要依賴其他任務來觸發。當平台中有幾百上千個任務需要維護和運行時候，僅僅靠crontab遠遠不夠了，這時便需要一個調度監控系統來完成這件事。調度監控系統是整個數據平台的中樞系統，類似於AppMaster，負責分配和監控任務。
7.1 Apache Oozie
1. Oozie是什麼？有哪些功能？
2. Oozie可以調度哪些類型的任務（程序）？
3. Oozie可以支持哪些任務觸發方式？
4.安裝配置Oozie。
7.2其他開源的任務調度系統
Azkaban
light-task-scheler
alibaba/zeus
……
此時：
第八章：數據要實時
在第六章介紹Kafka的時候提到了一些需要實時指標的業務場景，實時基本可以分為絕對實時和准實時，絕對實時的延遲要求一般在毫秒級，准實時的延遲要求一般在秒、分鍾級。對於需要絕對實時的業務場景，用的比較多的是Storm，對於其他准實時的業務場景，可以是Storm，也可以是Spark Streaming。當然，如果可以的話，也可以自己寫程序來做。
8.1 Storm
1. 什麼是Storm？有哪些可能的應用場景？
2. Storm由哪些核心組件構成，各自擔任什麼角色？
3. Storm的簡單安裝和部署。
4. 自己編寫Demo程序，使用Storm完成實時數據流計算。
8.2 Spark Streaming
1. 什麼是Spark Streaming，它和Spark是什麼關系？
2. Spark Streaming和Storm比較，各有什麼優缺點？
3. 使用Kafka + Spark Streaming，完成實時計算的Demo程序。
此時：
第九章：數據要對外
通常對外（業務）提供數據訪問，大體上包含以下方面：
離線：比如，每天將前一天的數據提供到指定的數據源（DB、FILE、FTP）等；
離線數據的提供可以採用Sqoop、DataX等離線數據交換工具。
實時：比如，在線網站的推薦系統，需要實時從數據平台中獲取給用戶的推薦數據，這種要求延時非常低（50毫秒以內）。
根據延時要求和實時數據的查詢需要，可能的方案有：HBase、Redis、MongoDB、ElasticSearch等。
OLAP分析：OLAP除了要求底層的數據模型比較規范，另外，對查詢的響應速度要求也越來越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的數據模型比較規模，那麼Kylin是最好的選擇。
即席查詢：即席查詢的數據比較隨意，一般很難建立通用的數據模型，因此可能的方案有：Impala、Presto、SparkSQL。
這么多比較成熟的框架和方案，需要結合自己的業務需求及數據平台技術架構，選擇合適的。原則只有一個：越簡單越穩定的，就是最好的。
如果你已經掌握了如何很好的對外（業務）提供數據，那麼你的「大數據平台」應該是這樣的：
第十章：牛逼高大上的機器學習
這里本人也沒有接觸太多，稍微講一下我們的業務場景應用，遇到的能用機器學習解決的問題大概這么三類：
分類問題：包括二分類和多分類，二分類就是解決了預測的問題，就像預測一封郵件是否垃圾郵件；多分類解決的是文本的分類；
聚類問題：從用戶搜索過的關鍵詞，對用戶進行大概的歸類。
推薦問題：根據用戶的歷史瀏覽和點擊行為進行相關推薦。
大多數行業，使用機器學習解決的，也就是這幾類問題。
入門學習線路：
數學基礎；
機器學習實戰（Machine Learning in Action），懂Python最好；
SparkMlLib提供了一些封裝好的演算法，以及特徵處理、特徵選擇的方法。
那麼把機器學習部分加進 「大數據平台」。