① 哪些技術屬於大數據的關鍵技術

大數據技術，就是從各種類型的數據中快速獲得有價值信息的技術。大數據領域已經版涌現出了權大量新的技術，它們成為大數據採集、存儲、處理和呈現的有力武器。
智能職涯（bigdata-job)總結了大數據處理關鍵技術一般包括：大數據採集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用（大數據檢索、大數據可視化、大數據應用、大數據安全等）。

② 大數據技術有哪些

大數據技術，就是從各種類型的數據中快速獲得有價值信息的技術。大數據領域已經涌現出了大量新的技術，它們成為大數據採集、存儲、處理和呈現的有力武器。

大數據處理關鍵技術一般包括：大數據採集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用(大數據檢索、大數據可視化、大數據應用、大數據安全等)。

六、大數據展現與應用技術

大數據技術能夠將隱藏於海量數據中的信息和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。在我國，大數據將重點應用於以下三大領域：商業智能、政府決策、公共服務。例如：商業智能技術，政府決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，警務雲應用系統(道路監控、視頻監控、網路監控、智能交通、反電信詐騙、指揮調度等公安信息系統)，大規模基因序列分析比對技術，Web信息挖掘技術，多媒體數據並行化處理技術，影視製作渲染技術，其他各種行業的雲計算和海量數據處理應用技術等。

③ 主流的大數據分析框架有哪些

1、Hadoop
Hadoop 採用 Map Rece 分布式計算框架，根據 GFS開發了 HDFS 分布式文件系統，根據 Big Table 開發了 HBase數據存儲系統。Hadoop 的開源特性使其成為分布式計算系統的事實上的國際標准。Yahoo，Facebook，Amazon 以及國內的網路，阿里巴巴等眾多互聯網公司都以 Hadoop 為基礎搭建自己的分布。

2、Spark

Spark 是在 Hadoop 的基礎上進行了一些架構上的改良。Spark 與Hadoop 最大的不同點在於，Hadoop 使用硬碟來存儲數據，而Spark 使用內存來存儲數據，因此 Spark 可以提供超過 Ha?doop 100 倍的運算速度。由於內存斷電後會丟失數據，Spark不能用於處理需要長期保存的數據。

3、 Storm

Storm 是 Twitter 主推的分布式計算系統。它在Hadoop的基礎上提供了實時運算的特性，可以實時的處理大數據流。不同於Hadoop和Spark，Storm不進行數據的收集和存儲工作，它直接通過網路實時的接受數據並且實時的處理數據，然後直接通過網路實時的傳回結果。

4、Samza

Samza 是由 Linked In 開源的一項技術，是一個分布式流處理框架，專用於實時數據的處理，非常像Twitter的流處理系統Storm。不同的是Sam?za 基於 Hadoop，而且使用了 Linked In 自家的 Kafka 分布式消息系統。

Samza 非常適用於實時流數據處理的業務，如數據跟蹤、日誌服務、實時服務等應用，它能夠幫助開發者進行高速消息處理,同時還具有良好的容錯能力。

④ 想轉行到大數據開發需要學習哪些技術

如果要學習大數據抄，不管你是零基礎，還是有一定的基礎，都是要懂至少一種計算機編程語言，因為大數據的開發離不開編程語言，不僅要懂，還要精通！但這門編程語言不一定是java。

比如說，如果你主攻Hadoop開發方向，是一定要學習java的，因為Hadoop是由java來開發的。

如果你想要主攻spark方向，是要學習Scala語言的，每個方向要求的編程語言是不同的。

如果你是想要走數據分析方向，那你就要從python編程語言下手，這個也是看自己未來的需求的。

大數據是需要一定的編程基礎的，但具體學習哪一門編程，自己可以選擇的。其實只要學會了一門編程語言，其他編程語言也是不在話下的。

⑤ 華為大數據解決方案是什麼

現在有好多公司在做大數據，不僅僅只有華為。比如北京開運聯合信息技術股份有限公司（股票代碼：13661204147）大數據解決方案是要根據您所需要的行業，來定製的。我給您介紹幾個大數據解決方案。

醫療大數據解決方案：

功能列表：

（1）醫療葯方分析與改進。通過對歷史葯方的分析與挖掘，為醫生改進醫葯配方，提高治療效果提供參考；

（2）重大疾病飲食推薦系統。對於重大疾病，一般需要調節飲食輔助治療，根據病人的疾病類型和治療階段等多種數據，為病人推薦更合適的飲食建議；

（3）葯品供求定向推送系統。葯品供應對醫院至關重要，而葯品供應商也渴望得到醫療所需葯品的數量和葯品類型，可以定向地將葯品需求預測信息推給葯品供應商，使葯品供應商有針對性地推銷自己的葯品；

（4）定向推薦護工服務。根據病人的疾病治病情況，定向為病人（或病人家屬）推送專業的護工服務，即方便了病人，也為護工們找到好的客戶提供了幫助。

汽車大數據解決方案：

功能列表：

（1）根據司機駕駛車輛習慣數據，為汽車生產企業改進汽車舒適度提供咨詢；

（2）根據車輛部件運行數據，為汽車生產企業改進汽車部件質量提供咨詢；

（3）抓取互聯網數據，分析汽車關注熱度，為汽車企業改進營銷售策略提供咨詢。

⑥ 什麼是大數據技術

網路名詞 塗子沛著的圖書
巨量資料(big data)，或稱大數據、海量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。 大數據的4V特點：Volume、Velocity、Variety、Veracity。「大數據」是由數量巨大、結構復雜、類型眾多數據構成的數據集合，是基於雲計算的數據處理與應用模式，通過數據的整合共享，交叉復用,形成的智力資源和知識服務能力。

⑦ 如何利用大數據Hadoop等技術設計12306的網站架構

1. 大數據分析大分類
Hadoop平台對業務的針對性較強，為了讓你明確它是否符合你的業務，現粗略地從幾個角度將大數據分析的業務需求分類，針對不同的具體需求，應採用不同的數據分析架構。
按照數據分析的實時性，分為實時數據分析和離線數據分析兩種。
實時數據分析一般用於金融、移動和互聯網B2C等產品，往往要求在數秒內返回上億行數據的分析，從而達到不影響用戶體驗的目的。要滿足這樣的需求，可以採用精心設計的傳統關系型資料庫組成並行處理集群，或者採用一些內存計算平台，或者採用HDD的架構，這些無疑都需要比較高的軟硬體成本。目前比較新的海量數據實時分析工具有EMC的Greenplum、SAP的HANA等。
對於大多數反饋時間要求不是那麼嚴苛的應用，比如離線統計分析、機器學習、搜索引擎的反向索引計算、推薦引擎的計算等，應採用離線分析的方式，通過數據採集工具將日誌數據導入專用的分析平台。但面對海量數據，傳統的ETL工具往往徹底失效，主要原因是數據格式轉換的開銷太大，在性能上無法滿足海量數據的採集需求。互聯網企業的海量數據採集工具，有Facebook開源的Scribe、LinkedIn開源的Kafka、淘寶開源的Timetunnel、Hadoop的Chukwa等，均可以滿足每秒數百MB的日誌數據採集和傳輸需求，並將這些數據上載到Hadoop中央系統上。
按照大數據的數據量，分為內存級別、BI級別、海量級別三種。
這里的內存級別指的是數據量不超過集群的內存最大值。不要小看今天內存的容量，Facebook緩存在內存的Memcached中的數據高達320TB，而目前的PC伺服器，內存也可以超過百GB。因此可以採用一些內存資料庫，將熱點數據常駐內存之中，從而取得非常快速的分析能力，非常適合實時分析業務。圖1是一種實際可行的MongoDB分析架構。

⑧ 如何架構大數據系統 hadoop

大數據數量龐大，格式多樣化。大量數據由家庭、製造工廠和辦公場所的各種設備、互聯網事務交易、社交網路的活動、自動化感測器、移動設備以及科研儀器等生成。它的爆炸式增長已超出了傳統IT基礎架構的處理能力，給企業和社會帶來嚴峻的數據管理問題。因此必須開發新的數據架構，圍繞「數據收集、數據管理、數據分析、知識形成、智慧行動」的全過程，開發使用這些數據，釋放出更多數據的隱藏價值。

一、大數據建設思路

1）數據的獲得

四、總結

基於分布式技術構建的大數據平台能夠有效降低數據存儲成本，提升數據分析處理效率，並具備海量數據、高並發場景的支撐能力，可大幅縮短數據查詢響應時間，滿足企業各上層應用的數據需求。

⑨ 請問大數據的關鍵技術有哪些

1.分布式存儲系統(HDFS)。2.MapRece分布式計算框架。3.YARN資源管理平台。4.Sqoop數據遷移工具。5.Mahout數據挖掘演算法庫。6.HBase分布專式屬資料庫。7.Zookeeper分布式協調服務。8.Hive基於Hadoop的數據倉庫。9.Flume日誌收集工具。

⑩ 大數據架構究竟用哪種框架更為合適

大數據數量龐大，格式多樣化。大量數據由家庭、製造工廠和辦公場所的各種設備、互聯網事務交易、社交網路的活動、自動化感測器、移動設備以及科研儀器等生成。它的爆炸式增長已超出了傳統IT基礎架構的處理能力，給企業和社會帶來嚴峻的數據管理問題。因此必須開發新的數據架構，圍繞「數據收集、數據管理、數據分析、知識形成、智慧行動」的全過程，開發使用這些數據，釋放出更多數據的隱藏價值。

一、大數據建設思路

1）數據的獲得

通過大數據的引入和部署，可以達到如下效果：

1）數據整合

·統一數據模型：承載企業數據模型，促進企業各域數據邏輯模型的統一；

·統一數據標准：統一建立標準的數據編碼目錄，實現企業數據的標准化與統一存儲；

·統一數據視圖：實現統一數據視圖，使企業在客戶、產品和資源等視角獲取到一致的信息。

2）數據質量管控

·數據質量校驗：根據規則對所存儲的數據進行一致性、完整性和准確性的校驗，保證數據的一致性、完整性和准確性；

·數據質量管控：通過建立企業數據的質量標准、數據管控的組織、數據管控的流程，對數據質量進行統一管控，以達到數據質量逐步完善。

3）數據共享

·消除網狀介面，建立大數據共享中心，為各業務系統提供共享數據，降低介面復雜度，提高系統間介面效率與質量；

·以實時或准實時的方式將整合或計算好的數據向外系統提供。

4）數據應用

·查詢應用：平台實現條件不固定、不可預見、格式靈活的按需查詢功能；

·固定報表應用：視統計維度和指標固定的分析結果的展示，可根據業務系統的需求，分析產生各種業務報表數據等；

·動態分析應用：按關心的維度和指標對數據進行主題性的分析，動態分析應用中維度和指標不固定。

四、總結

基於分布式技術構建的大數據平台能夠有效降低數據存儲成本，提升數據分析處理效率，並具備海量數據、高並發場景的支撐能力，可大幅縮短數據查詢響應時間，滿足企業各上層應用的數據需求。