① 大數據分析一般用什麼工具分析

在大數據處理分析過程中常用的六大工具：

1、

Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

2、HPCC

HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了「重大挑戰項目：高性能計算與 通信」的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。

3、Storm

Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。

4、Apache Drill

為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為「Drill」的開源項目。Apache Drill 實現了 Google's Dremel.

據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，「Drill」已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。

5、RapidMiner

RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

6、Pentaho BI

Pentaho BI 平台不同於傳統的BI 產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。

② kettle 在大數據中屬於哪個流程

kettle是一款開源的ETL工具，在BI的ETL過程中使用

③ 常用的大數據BI工具有哪些

1、億信ABI


億信ABI是億信華辰開發的一款全能型數據分析平台。支持連接多種類型的數據源，包括：關系型資料庫，分布式資料庫，文件數據源，介面數據源等;也能靈活支持跨源跨庫的數據分析。內置了數倉實施工具，通過拖拽式的流程設計，實現了數據抽取、清洗、轉換、裝載及調度。支持業務人員自助分析，拖拖拽拽就能做出數據分析。


2、Tableau


Tableau是國外比較流行的一款數據可視化工具，可視化功能很強大，對計算機的硬體要求較高，部署較復雜。支持與Matlab進行集成計算。目前在數據挖掘領域做得相對比較簡單，只是內置了預測和聚類兩個挖掘分析演算法，但支持R語言等挖掘語言集成。


3、QlikView


QlikView比較靈活，展示樣式多樣。它允許設置和調整每個對象的每個小方面，並自定義可視化和儀錶板的外觀。QlikView數據文件(QVD文件)概念的引入，一定程度上取代了ETL工具的功能，擁有可集成的ETL(提取，轉換，載入)引擎，能夠執行普通的數據清理操作，但是這可能會很昂貴。


4、Power BI


Power BI是微軟提供的一種商業分析產品，因為是微軟的產品，所以它的知名度很高。在產品的功能、易用性、美觀程度上都有很好的表現。這個產品的學習成本較低、上手快，因為桌面版不提供協作選項，因此最適合獨立用戶或在同一個辦公區工作的人使用，對於有復雜業務場景需求的客戶，包括有定製開發需求的客戶來說，存在不小的障礙。


5、Finebi


Finebi是帆軟開發的一款敏捷BI工具，帆軟早期專注於傳統報表的圖表組件功能，以價格優勢佔到了不低的市場份額，作為傳統報表起步的公司，在敏捷BI的沖擊下市場受到了沖擊並開始轉向敏捷路線。Finebi做到了將IT人員從分析環節的中心淡去，提供了從數據採集到數據加工處理、數據存儲、數據分析、數據可視化為一體的一站式商業智能解決方案。


關於常用的大數據BI工具有哪些，青藤小編就和您分享到這里了。如果你對大數據工程有濃厚的興趣，希望這篇文章能夠對你有所幫助。如果您還想了解更多數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

④ 大數據常用的開發工具有哪些

1Apache Hive
Hive是一個建立在Hadoop上的開源數據倉庫基礎設施，通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。 Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數據提供了方便。
2. Apache Spark
Apache Spark是Hadoop開源生態系統的新成員。它提供了一個比Hive更快的查詢引擎，因為它依賴於自己的數據處理框架而不是依靠Hadoop的HDFS服務。同時，它還用於事件流處理、實時查詢和機器學習等方面。
3. Jaspersoft BI 套件
Jaspersoft包是一個通過資料庫列生成報表的開源軟體。行業領導者發現Jaspersoft軟體是一流的, 許多企業已經使用它來將SQL表轉化為pdf,，這使每個人都可以在會議上對其進行審議。另外，JasperReports提供了一個連接配置單元來替代HBase。
4. Keen IO
Keen IO是個強大的移動應用分析工具。開發者只需要簡單到一行代碼， 就可以跟蹤他們想要的關於他們應用的任何信息。開發者接下來只需要做一些Dashboard或者查詢的工作就可以了。
5. Mortar Data
Mortar Data是專為開發者打造的Hadoop開發平台，它用Pig和python的組合替代了MapRece以便開發者能簡單地編寫Hadoop管道(Pipeline)。
6. Placed Analytics
利用腳本語言以及API， PlacedAnalytics能夠提供針對移動和網路應用的詳細用戶行為分析。包括， 用戶使用時間和地理位置信息。 這些可以幫助開發者的應用更好地吸引廣告商， 也可以幫助開發者對自己的應用進行改善。

⑤ 大數據分析工具推薦

簡單的可以用excel
復雜的用SAS SPSS
再復雜的用編程，Python + pandas

⑥ 大數據領域開源技術 除了Hadoop你還知道哪些

開源大數據的優勢不言而喻，但在眾多的開源工具中該如何抉擇?本文中大數據領域的十個巨頭，將有助於你更深入掌握大數據這個行業的發展形勢。
hadoop——高效、可靠、可伸縮，能夠為你的數據存儲項目提供所需的YARN、HDFS和基礎架構，並且運行主要的大數據服務和應用程序。
Spark——使用簡單、支持所有重要的大數據語言(Scala、Python、Java、R)。擁有強大的生態系統，成長迅速，對 microbatching/batching/SQL支持簡單。Spark能更好地適用於數據挖掘與機器學習等需要迭代的MapRece的演算法。
NiFi——Apache NiFi是由美國國家安全局(NSA)貢獻給Apache基金會的開源項目，其設計目標是自動化系統間的數據流。基於其工作流式的編程理念，NiFi非常易於使用、強大、可靠、高可配置。兩個最重要的特性是其強大的用戶界面和良好的數據回溯工具。堪稱大數據工具箱里的瑞士軍刀。
Apache Hive 2.1——Hive是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化載入(ETL)，這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。隨著最新版本的發布，性能和功能都得到了全面提升，Hive已成為SQL在大數據上的最佳解決方案。
Kafka——Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模網站中的所有動作流數據。它已成為大數據系統在非同步和分布式消息之間的最佳選擇。從Spark到NiFi再到第三方插件工具以至於Java到Scala，它都提供了強大的粘合作用。
Phoenix—是HBase的SQL驅動。目前大量的公司採用它，並擴大其規模。HDFS支持的NoSQL能夠很好地集成所有工具。Phoenix查詢引擎會將SQL查詢轉換為一個或多個HBase scan，並編排執行以生成標準的JDBC結果集。
Zeppelin——Zeppelin 是一個提供交互數據分析且基於Web的筆記本。方便你做出可數據驅動的、可交互且可協作的精美文檔，並且支持多種語言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。
Sparkling Water——H2O填補了Spark』s Machine Learning的缺口，它可以滿足你所有的機器學習。
Apache Beam——在Java中提供統一的數據進程管道開發，並且能夠很好地支持Spark和Flink。提供很多在線框架，開發者無需學習太多框架。

⑦ 大數據分析一般用什麼工具呢

雖然數據分析的工具千萬種，綜合起來萬變不離其宗。無非是數據獲取、數據存儲、數據管理、數據計算、數據分析、數據展示等幾個方面。而SAS、R、SPSS、python、excel是被提到頻率最高的數據分析工具。


  • Python

    • Python，是一種面向對象、解釋型計算機程序設計語言。Python語法簡潔而清晰，具有豐富和強大的類庫。它常被昵稱為膠水語言，能夠把用其他語言製作的各種模塊（尤其是C/C++）很輕松地聯結在一起。

    常見的一種應用情形是，使用Python快速生成程序的原型（有時甚至是程序的最終界面），然後對其中有特別要求的部分，用更合適的語言改寫，比如3D游戲中的圖形渲染模塊，性能要求特別高，就可以用C/C++重寫，而後封裝為Python可以調用的擴展類庫。需要注意的是在您使用擴展類庫時可能需要考慮平台問題，某些可能不提供跨平台的實現。

  • R軟體

    • R是一套完整的數據處理、計算和制圖軟體系統。它可以提供一些集成的統計工具，但更大量的是它提供各種數學計算、統計計算的函數，從而使使用者能靈活機動的進行數據分析，甚至創造出符合需要的新的統計計算方法。

  • SPSS

    • SPSS是世界上最早的統計分析軟體，具有完整的數據輸入、編輯、統計分析、報表、圖形製作等功能，能夠讀取及輸出多種格式的文件。

  • Excel

    • 可以進行各種數據的處理、統計分析和輔助決策操作，廣泛地應用於管理、統計財經、金融等眾多領域。

  • SAS軟體

    • SAS把數據存取、管理、分析和展現有機地融為一體。提供了從基本統計數的計算到各種試驗設計的方差分析，相關回歸分析以及多變數分析的多種統計分析過程，幾乎囊括了所有最新分析方法，其分析技術先進，可靠。分析方法的實現通過過程調用完成。許多過程同時提供了多種演算法和選項。

⑧ 做大數據分析一般用什麼工具呢

一、Hadoop

Hadoop是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

八、EverString

everstring主要是通過大數據的預測分析建模為企業提供業務和客戶推薦的SaaS服務，獲取和積累了兩個數據信息資源庫，一個行業外部的資源庫（公有SaaS收費形式），一個行業自己內部的資源庫（私有），然後再通過機器學習和人工智慧的方法對數據進行相應行業或是領域的建模，最後得到一個比較不錯的結果，優化於人工可以得到的結果，而且Everstring也成為了初創大數據公司裡面估值很高的公司。

⑨ 常用的大數據工具有哪些

未至科技魔方是一款大數據模型平台，是一款基於服務匯流排與分布式雲計算兩大技術架構的一款數據分析、挖掘的工具平台，其採用分布式文件系統對數據進行存儲，支持海量數據的處理。採用多種的數據採集技術，支持結構化數據及非結構化數據的採集。通過圖形化的模型搭建工具，支持流程化的模型配置。通過第三方插件技術，很容易將其他工具及服務集成到平台中去。數據分析研判平台就是海量信息的採集，數據模型的搭建，數據的挖掘、分析最後形成知識服務於實戰、服務於決策的過程，平台主要包括數據採集部分，模型配置部分，模型執行部分及成果展示部分等。

未至科技小蜜蜂網路信息雷達是一款網路信息定向採集產品，它能夠對用戶設置的網站進行數據採集和更新，實現靈活的網路數據採集目標，為互聯網數據分析提供基礎。
未至科技泵站是一款大數據平台數據抽取工具，實現db到hdfs數據導入功能，藉助Hadoop提供高效的集群分布式並行處理能力，可以採用資料庫分區、按欄位分區、分頁方式並行批處理抽取db數據到hdfs文件系統中，能有效解決大數據傳統抽取導致的作業負載過大抽取時間過長的問題，為大數據倉庫提供傳輸管道。
未至科技雲計算數據中心以先進的中文數據處理和海量數據支撐為技術基礎，並在各個環節輔以人工服務，使得數據中心能夠安全、高效運行。根據雲計算數據中心的不同環節，我們專門配備了系統管理和維護人員、數據加工和編撰人員、數據採集維護人員、平台系統管理員、機構管理員、輿情監測和分析人員等，滿足各個環節的需要。面向用戶我們提供面向政府和面向企業的解決方案。
未至科技顯微鏡是一款大數據文本挖掘工具，是指從文本數據中抽取有價值的信息和知識的計算機處理技術,
包括文本分類、文本聚類、信息抽取、實體識別、關鍵詞標引、摘要等。基於Hadoop
MapRece的文本挖掘軟體能夠實現海量文本的挖掘分析。CKM的一個重要應用領域為智能比對,
在專利新穎性評價、科技查新、文檔查重、版權保護、稿件溯源等領域都有著廣泛的應用。
未至科技數據立方是一款大數據可視化關系挖掘工具，展現方式包括關系圖、時間軸、分析圖表、列表等多種表達方式，為使用者提供全方位的信息展現方式。

⑩ 大數據ETL開發是做什麼的

也是科研人員的錐心之痛，實事求是