大數據技術演算法
A. 需要掌握哪些大數據演算法
不僅僅是選中的十大演算法，其實參加評選的18種演算法，實際上隨便拿出一種來都可以稱得上是經典演算法，它們在數據挖掘領域都產生了極為深遠的影響。
1.C4.5
C4.5演算法是機器學習演算法中的一種分類決策樹演算法,其核心演算法是ID3演算法.C4.5演算法繼承了ID3演算法的優點，並在以下幾方面對ID3演算法進行了改進：
1)用信息增益率來選擇屬性，克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足；
2)在樹構造過程中進行剪枝；
3)能夠完成對連續屬性的離散化處理；
4)能夠對不完整數據進行處理。
C4.5演算法有如下優點：產生的分類規則易於理解，准確率較高。其缺點是：在構造樹的過程中，需要對數據集進行多次的順序掃描和排序，因而導致演算法的低效。
2.Thek-meansalgorithm即K-Means演算法
k-meansalgorithm演算法是一個聚類演算法，把n的對象根據他們的屬性分為k個分割，k 3.Supportvectormachines
支持向量機，英文為SupportVectorMachine，簡稱SV機（論文中一般簡稱SVM）。它是一種監督式學習的方法，它廣泛的應用於統計分類以及回歸分析中。支持向量機將向量映射到一個更高維的空間里，在這個空間里建立有一個最大間隔超平面。在分開數據的超平面的兩邊建有兩個互相平行的超平面。分隔超平面使兩個平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類器的總誤差越小。一個極好的指南是C.J.CBurges的《模式識別支持向量機指南》。vanderWalt和Barnard將支持向量機和其他分類器進行了比較。
4.TheApriorialgorithm
Apriori演算法是一種最有影響的挖掘布爾關聯規則頻繁項集的演算法。其核心是基於兩階段頻集思想的遞推演算法。該關聯規則在分類上屬於單維、單層、布爾關聯規則。在這里，所有支持度大於最小支持度的項集稱為頻繁項集，簡稱頻集。
5.最大期望(EM)演算法
在統計計算中，最大期望（EM，Expectation–Maximization）演算法是在概率（probabilistic）模型中尋找參數最大似然估計的演算法，其中概率模型依賴於無法觀測的隱藏變數（LatentVariabl）。最大期望經常用在機器學習和計算機視覺的數據集聚（DataClustering）領域。
6.PageRank
PageRank是Google演算法的重要內容。2001年9月被授予美國專利，專利人是Google創始人之一拉里·佩奇（LarryPage）。因此，PageRank里的page不是指網頁，而是指佩奇，即這個等級方法是以佩奇來命名的。
PageRank根據網站的外部鏈接和內部鏈接的數量和質量倆衡量網站的價值。PageRank背後的概念是，每個到頁面的鏈接都是對該頁面的一次投票，被鏈接的越多，就意味著被其他網站投票越多。這個就是所謂的「鏈接流行度」——衡量多少人願意將他們的網站和你的網站掛鉤。PageRank這個概念引自學術中一篇論文的被引述的頻度——即被別人引述的次數越多，一般判斷這篇論文的權威性就越高。
7.AdaBoost
Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然後把這些弱分類器集合起來，構成一個更強的最終分類器(強分類器)。其演算法本身是通過改變數據分布來實現的，它根據每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的准確率，來確定每個樣本的權值。將修改過權值的新數據集送給下層分類器進行訓練，最後將每次訓練得到的分類器最後融合起來，作為最後的決策分類器。
8.kNN:k-nearestneighborclassification
K最近鄰(k-NearestNeighbor，KNN)分類演算法，是一個理論上比較成熟的方法，也是最簡單的機器學習演算法之一。該方法的思路是：如果一個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本中的大多數屬於某一個類別，則該樣本也屬於這個類別。
9.NaiveBayes
在眾多的分類模型中，應用最為廣泛的兩種分類模型是決策樹模型(DecisionTreeModel)和樸素貝葉斯模型（NaiveBayesianModel，NBC）。樸素貝葉斯模型發源於古典數學理論，有著堅實的數學基礎，以及穩定的分類效率。同時，NBC模型所需估計的參數很少，對缺失數據不太敏感，演算法也比較簡單。理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實際上並非總是如此，這是因為NBC模型假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，這給NBC模型的正確分類帶來了一定影響。在屬性個數比較多或者屬性之間相關性較大時，NBC模型的分類效率比不上決策樹模型。而在屬性相關性較小時，NBC模型的性能最為良好。
10.CART:分類與回歸樹
CART,。在分類樹下面有兩個關鍵的思想。第一個是關於遞歸地劃分自變數空間的想法；第二個想法是用驗證數據進行剪枝。
B. 為什麼google三大技術奠定了大數據演算法的基礎
大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）,平台有hadoop
C. 關於大數據的的相關技術
在大數據中，涉及到了很多技術，這些技術都是比較新穎的，比如說人工智慧、區塊鏈、圖靈測試等等，這些技術都是能夠幫助大數據解決很多問題。在這篇文章中我們就給大家介紹一下關於回歸分析、貪婪演算法、MapRece、數據挖掘的相關知識。
1.貪心演算法
貪心演算法是指，在對問題求解時，總是做出在當前看來是最好的選擇。也就是說，不從整體最優上加以考慮，它所做出的是在某種意義上的局部最優解。貪心演算法不是對所有問題都能得到整體最優解，關鍵是貪心策略的選擇，選擇的貪心策略必須具備無後效性，即某個狀態以前的過程不會影響以後的狀態，只與當前狀態有關。貪心演算法的基本思路是從問題的某一個初始解出發一步一步地進行，根據某個優化測度，每一步都要確保能獲得局部最優解。由此可見，貪心演算法是十分實用的。
2.數據挖掘
數據挖掘是資料庫知識發現中的一個步驟。數據挖掘一般是指從大量的數據中通過演算法搜索隱藏於其中信息的過程。數據挖掘通常與計算機科學有關，並通過統計、在線分析處理、情報檢索、機器學習、專家系統和模式識別等諸多方法來實現上述目標。數據挖掘工作是一個十分重要的內容，在大數據和數據分析中廣泛實用。
3.回歸分析
回歸分析是確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法。運用十分廣泛，回歸分析按照涉及的變數的多少，分為一元回歸和多元回歸分析；按照因變數的多少，可分為簡單回歸分析和多重回歸分析；按照自變數和因變數之間的關系類型，可分為線性回歸分析和非線性回歸分析。如果在回歸分析中，只包括一個自變數和一個因變數，且二者的關系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。
4.MapRece
MapRece是一種編程模型，用於大規模數據集的並行運算。概念"映射"和"歸約"，是它們的主要思想，都是從函數式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會分布式並行編程的情況下，將自己的程序運行在分布式系統上。 當前的軟體實現是指定一個映射函數，用來把一組鍵值對映射成一組新的鍵值對，指定並發的歸約函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。這些內容就是大數據分析工作中經常使用的演算法。
在這篇文章中我們介紹了關於回歸分析、貪婪演算法、MapRece、數據挖掘的相關知識，相信大家通過閱讀這篇文章以後對這些技術有了一定的理解。希望這篇文章能夠更好地幫助大家。
D. 談談身邊大數據、人工智慧應用的例子以及用到了哪些技術、演算法等
現在有很多的大數據人工智慧都有這樣的例子，可以出數據和演算法。
E. 大數據演算法有哪些
有很多事應該是直接進行一些用數據證明就可以進行計算，所以這個安排了部分少的。
F. 對於大數據開發，需要掌握哪些大數據演算法
不管是什麼行業的數據分析師，必須要掌握的技能是： 該行業的行業知識和經驗，不能低於行業專家的平均水平 必須具有的數學知識，例如統計分析、數理統計、模糊數學、線性代數、建模方法等等 IT技術：資料庫技術、大數據技術、離散數學演算法。
G. 統計模型和大數據模型所使用的主要演算法有什麼異同
以每24小時作為一份時間（而非自然日），根據用戶的配置有兩種工作模式：帶狀模式中，用戶僅定義開始日期時，從開始日期（含）開始，每份時間1個分片地無限增加下去；環狀模式中，用戶定義了開始日期和結束日期時，以結束日期（含）和開始日期（含）之間的時間份數作為分片總數（分片數量固定），以類似取模的方式路由到這些分片里。
1. DBLE 啟動時，讀取用戶在 rule.xml 配置的 sBeginDate 來確定起始時間
2. 讀取用戶在 rule.xml 配置的 sPartionDay 來確定每個 MySQL 分片承載多少天內的數據
3. 讀取用戶在 rule.xml 配置的 dateFormat 來確定分片索引的日期格式
4. 在 DBLE 的運行過程中，用戶訪問使用這個演算法的表時，WHERE 子句中的分片索引值（字元串），會被提取出來嘗試轉換成 java 內部的時間類型
5. 然後求分片索引值與起始時間的差，除以 MySQL 分片承載的天數，確定所屬分片
1. DBLE 啟動時，讀取用戶在 rule.xml 配置的起始時間 sBeginDate、終止時間 sEndDate 和每個 MySQL 分片承載多少天數據 sPartionDay
2. 根據用戶設置，建立起以 sBeginDate 開始，每 sPartionDay 天一個分片，直到 sEndDate 為止的一個環，把分片串聯串聯起來
3. 讀取用戶在 rule.xml 配置的 defaultNode
4. 在 DBLE 的運行過程中，用戶訪問使用這個演算法的表時，WHERE 子句中的分片索引值（字元串），會被提取出來嘗試轉換成 Java 內部的日期類型
5. 然後求分片索引值與起始日期的差：如果分片索引值不早於 sBeginDate（哪怕晚於 sEndDate），就以 MySQL 分片承載的天數為模數，對分片索引值求模得到所屬分片；如果分片索引值早於 sBeginDate，就會被放到 defaultNode 分片上
與MyCat的類似分片演算法對比
中間件
DBLE
MyCat
分片演算法種類 date 分區演算法 按日期（天）分片
兩種中間件的取模範圍分片演算法使用上無差別
開發注意點
【分片索引】1. 必須是字元串，而且 java.text.SimpleDateFormat 能基於用戶指定的 dateFormat 來轉換成 java.util.Date
【分片索引】2. 提供帶狀模式和環狀模式兩種模式
【分片索引】3. 帶狀模式以 sBeginDate（含）起，以 86400000 毫秒（24 小時整）為一份，每 sPartionDay 份為一個分片，理論上分片數量可以無限增長，但是出現 sBeginDate 之前的數據而且沒有設定 defaultNode 的話，會路由失敗（如果有 defaultNode，則路由至 defaultNode）
【分片索引】4. 環狀模式以 86400000 毫秒（24 小時整）為一份，每 sPartionDay 份為一個分片，以 sBeginDate（含）到 sEndDate（含）的時間長度除以單個分片長度得到恆定的分片數量，但是出現 sBeginDate 之前的數據而且沒有設定 defaultNode 的話，會路由失敗（如果有 defaultNode，則路由至 defaultNode）
【分片索引】5. 無論哪種模式，分片索引欄位的格式化字元串 dateFormat 由用戶指定
【分片索引】6. 無論哪種模式，劃分不是以日歷時間為准，無法對應自然月和自然年，且會受閏秒問題影響
運維注意點
【擴容】1. 帶狀模式中，隨著 sBeginDate 之後的數據出現，分片數量的增加無需再平衡
【擴容】2. 帶狀模式沒有自動增添分片的能力，需要運維手工提前增加分片；如果路由策略計算出的分片並不存在時，會導致失敗
【擴容】3. 環狀模式中，如果新舊 [sBeginDate,sEndDate] 之間有重疊，需要進行部分數據遷移；如果新舊 [sBeginDate,sEndDate] 之間沒有重疊，需要數據再平衡
配置注意點
【配置項】1. 在 rule.xml 中，可配置項為 <propertyname="sBeginDate"> 、 <propertyname="sPartionDay"> 、 <propertyname="dateFormat"> 、 <propertyname="sEndDate"> 和 <propertyname="defaultNode">
【配置項】2.在 rule.xml 中配置 <propertyname="dateFormat">，符合 java.text.SimpleDateFormat 規范的字元串，用於告知 DBLE 如何解析sBeginDate和sEndDate
【配置項】3.在 rule.xml 中配置 <propertyname="sBeginDate">，必須是符合 dateFormat 的日期字元串
【配置項】4.在 rule.xml 中配置 <propertyname="sEndDate">，必須是符合 dateFormat 的日期字元串；配置了該項使用的是環狀模式，若沒有配置該項則使用的是帶狀模式
【配置項】5.在 rule.xml 中配置 <propertyname="sPartionDay">，非負整數，該分片策略以 86400000 毫秒（24 小時整）作為一份，而 sPartionDay 告訴 DBLE 把每多少份放在同一個分片
【配置項】6.在 rule.xml 中配置 <propertyname="defaultNode"> 標簽，非必須配置項，不配置該項的話，用戶的分片索引值沒落在 mapFile 定義
H. 大數據的核心技術有哪些
大數據技術的體系龐大且復雜，基礎的技術包含數據的採集、數據預處理、分布式存儲、資料庫、數據倉庫、機器學習、並行計算、可視化等。
1、數據採集與預處理：
Flume NG實時日誌收集系統，支持在日誌系統中定製各類數據發送方，用於收集數據；
Zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務，提供數據同步服務。
2、數據存儲：
Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用於數據存儲。
HBase，是一個分布式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL資料庫。
3、數據清洗：MapRece作為Hadoop的查詢引擎，用於大規模數據集的並行計算
4、數據查詢分析：
Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張資料庫表，並提供 HQL(Hive SQL)查詢功能。
Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。
5、數據可視化：對接一些BI平台，將分析得到的數據進行可視化，用於指導決策服務。
I. 大數據挖掘需要學習哪些技術大數據的工作
首先
我由各種編程語言的背景——matlab,R,java,C/C++,python,網路編程等
我又一定的數學基礎——高數，線代，概率論，統計學等
我又一定的演算法基礎——經典演算法，神經網路，部分預測演算法，群智能演算法等
但這些目前來講都不那麼重要，但慢慢要用到
Step 1：大數據理論，方法和技術
大數據理論——啥都不說，人家問你什麼是大數據時，你能夠講到別人知道什麼是大數據
大數據方法——然後別人問你，那怎麼實現呢？嗯，繼續講：說的是方法（就好像歸並排序演算法：分，並）。到目前外行人理解無障礙
大數據技術——多嘴的人繼續問：用的技術。
這階段只是基礎，不涉及任何技術細節，慢慢看慢慢總結，積累對「大數據」這個詞的理解。
Step 2：大數據思維
Bang~這是繼Step 1量變發展而來的質變：學了那麼久「大數據」，把你扔到製造業，你怎麼辦？
我想，這就是「學泛」的作用吧，並不是學到什麼具體東西，而是學到了對待事物的思維。
----------------------------------------------------------------------
以下階段我還沒開始=_=，不好誤導大家
Step 3：大數據技術基礎
Step 4：大數據技術進階
Step 5：打實戰
Step 6：大融合