⑴ 「揭秘」大數據的10個神話

「揭秘」大數據的10個神話
也許對大數據更好的一個類比是它就像一匹意氣風發的冠軍賽馬: 通過適當的訓練和天賦的騎師，良種賽馬可以創造馬場記錄–但沒有訓練和騎手，這個強大的動物根本連起跑門都進不了。
為了確保你組織的大數據計劃保持正軌，你需要消除以下10種常見的誤解。
1. 大數據就是『很多數據』
大數據從其核心來講，它描述了結構化或非結構化數據如何結合社交媒體分析，物聯網的數據和其他外部來源，來講述一個」更大的故事」。該故事可能是一個組織運營的宏觀描述，或者是無法用傳統的分析方法捕獲的大局觀。從情報收集的角度來看，其所涉及的數據的大小是微不足道的。
2.大數據必須非常干凈
在商業分析的世界裡，沒有「太快」之類的東西。相反，在IT世界裡，沒有「進垃圾，出金子」這樣的東西，你的數據有多干凈?一種方法是運行你的分析應用程序，它可以識別數據集中的弱點。一旦這些弱點得到解決，再次運行分析以突出 「清理過的」 區域。
3.所有人類分析人員會被機器演算法取代
數據科學家的建議並不總是被前線的業務經理們執行。行業高管Arijit Sengupta在 TechRepublic 的一篇文章中指出，這些建議往往比科學項目更難實施。然而，過分依賴機器學習演算法也同樣具有挑戰性。Sengupta說，機器演算法告訴你該怎麼做，但它們沒有解釋你為什麼要這么做。這使得很難將數據分析與公司戰略規劃的其餘部分結合起來。
預測演算法的范圍從相對簡單的線性演算法到更復雜的基於樹的演算法，最後是極其復雜的神經網路。
4.數據湖是必須的
據豐田研究所數據科學家JimAdler說，巨量存儲庫，一些IT經理們設想用它來存儲大量結構化和非結構化數據，根本就不存在。企業機構不會不加區分地將所有數據存放到一個共享池中。Adler說，這些數據是 「精心規劃」的，存儲於獨立的部門資料庫中，鼓勵」專注的專業知識」。這是實現合規和其他治理要求所需的透明度和問責制的唯一途徑。
5.演算法是萬無一失的預言家
不久前， 谷歌流感趨勢項目 被大肆炒作，聲稱比美國疾病控制中心和其他健康信息服務機構更快、更准確地預測流感疫情的發生地。正如《紐約客》的Michele Nijhuis 在 2017年6月3日的文章 中所寫的那樣， 人們認為與流感有關詞語的搜索會准確地預測疫情即將爆發的地區。事實上，簡單地繪制本地溫度是一個更准確的預測方法。
谷歌的流感預測演算法陷入了一個常見的大數據陷阱——它產生了無意義的相關性，比如將高中籃球比賽和流感爆發聯系起來，因為兩者都發生在冬季。當數據挖掘在一組海量數據上運行時，它更可能發現具有統計意義而非實際意義的信息之間的關系。一個例子是將緬因州的離婚率與美國人均人造黃油的消費量掛鉤：盡管沒有任何現實意義，但這兩個數字之間確實存在「統計上顯著」的關系。
6.你不能在虛擬化基礎架構上運行大數據應用
大約10年前，當」大數據」首次出現在人們眼前時，它就是Apache hadoop的代名詞。就像VMware的Justin Murray在 2017年5月12日的文章 中所寫的，大數據這一術語現在包括一系列技術，從NoSQL(MongoDB，Apache Cassandra)到Apache Spark。
此前，批評者們質疑Hadoop在虛擬機上的性能，但Murray指出，Hadoop在虛擬機上的性能與物理機相當，而且它能更有效地利用集群資源。Murray還炮轟了一種誤解，即認為虛擬機的基本特性需要存儲區域網路(SAN)。實際上，供應商們經常推薦直接連接存儲，這提供了更好的性能和更低的成本。
7.機器學習是人工智慧的同義詞
一個識別大量數據中模式的演算法和一個能夠根據數據模式得出邏輯結論的方法之間的差距更像是一個鴻溝。ITProPortal 的Vineet Jain在 2017年5月26日的文章 中寫道，機器學習使用統計解釋來生成預測模型。這是演算法背後的技術，它可以根據一個人過去的購買記錄來預測他可能購買什麼，或者根據他們的聽歌歷史來預測他們喜歡的音樂。
雖然這些演算法很聰明，但它們遠遠不能達到人工智慧的目的，即復制人類的決策過程。基於統計的預測缺乏人類的推理、判斷和想像力。從這個意義上說，機器學習可能被認為是真正AI的必要先導。即使是迄今為止最復雜的AI 系統，比如 IBM沃森 ，也無法提供人類數據科學家所提供的大數據的洞察力。
8.大多數大數據項目至少實現了一半的目標
IT經理們知道沒有數據分析項目是100%成功的。當這些項目涉及大數據時，成功率就會直線下降，NewVantagePartners最近的調查結果顯示了這一點。在過去的五年中，95%的企業領導人表示，他們的公司參與了一個大數據項目，但只有48.4%的項目取得了」可衡量的結果」。
NewVantage Partners的大數據執行調查顯示， 只有不到一半的大數據項目實現了目標，而 「文化」變化是最難實現的。
事實上，根據2016年10月發布的 Gartner的研究結果 ，大數據項目很少能跨過試驗階段。Gartner的調查發現，只有15%的大數據實現被部署到生產中，與去年調查報告的14%的成功率相對持平。
9.大數據的增長將減少對數據工程師的需求
如果你公司大數據計劃的目標是盡量減少對數據科學家的需求，你可能會得到令人不快的驚喜。 2017 Robert Half 技術薪資指南 指出， 數據工程師的年薪平均躍升到13萬美元和19.6萬美元之間， 而數據科學家的薪資目前平均在11.6萬美元和16.3萬美元之間， 而商業情報分析員的薪資目前平均在11.8萬美元到13.875萬美元之間。
10.員工和一線經理將張開雙臂擁抱大數據
NewVantagePartners的調查發現，85.5%的公司都致力於創造一個「數據驅動的文化」。然而，新的數據計劃的整體成功率僅為37.1%。這些公司最常提到的三個障礙是缺乏組織一致性(42.6%)，缺乏中層管理人員的點贊和理解(41%)，以及業務阻力或缺乏理解(41%)。
未來可能屬於大數據，但獲得這一技術的好處需要大量的針對多樣人性的辛勤工作。

⑵ 常用的大數據分析軟體有哪些

國內的數據分析軟體比較多，大數據分析軟體推薦選擇Smartbi Insight（點擊連鏈接可以直接專免費下載，或者進入屬smartbi.com.cn ,在線體驗使用），定位於前端數據分析，對接各種業務資料庫，數據倉庫和大數據平台，滿足各種數據分析應用需求，如大數據分析，自助探索分析，地圖可視化，移動管理駕駛艙，指揮大屏幕，企業報表平台等。

⑶ 大數據分析一般用什麼工具呢

雖然數據分析的工具千萬種，綜合起來萬變不離其宗。無非是數據獲取、數據存儲、數據管理、數據計算、數據分析、數據展示等幾個方面。而SAS、R、SPSS、python、excel是被提到頻率最高的數據分析工具。


  • Python

    • Python，是一種面向對象、解釋型計算機程序設計語言。Python語法簡潔而清晰，具有豐富和強大的類庫。它常被昵稱為膠水語言，能夠把用其他語言製作的各種模塊（尤其是C/C++）很輕松地聯結在一起。

    常見的一種應用情形是，使用Python快速生成程序的原型（有時甚至是程序的最終界面），然後對其中有特別要求的部分，用更合適的語言改寫，比如3D游戲中的圖形渲染模塊，性能要求特別高，就可以用C/C++重寫，而後封裝為Python可以調用的擴展類庫。需要注意的是在您使用擴展類庫時可能需要考慮平台問題，某些可能不提供跨平台的實現。

  • R軟體

    • R是一套完整的數據處理、計算和制圖軟體系統。它可以提供一些集成的統計工具，但更大量的是它提供各種數學計算、統計計算的函數，從而使使用者能靈活機動的進行數據分析，甚至創造出符合需要的新的統計計算方法。

  • SPSS

    • SPSS是世界上最早的統計分析軟體，具有完整的數據輸入、編輯、統計分析、報表、圖形製作等功能，能夠讀取及輸出多種格式的文件。

  • Excel

    • 可以進行各種數據的處理、統計分析和輔助決策操作，廣泛地應用於管理、統計財經、金融等眾多領域。

  • SAS軟體

    • SAS把數據存取、管理、分析和展現有機地融為一體。提供了從基本統計數的計算到各種試驗設計的方差分析，相關回歸分析以及多變數分析的多種統計分析過程，幾乎囊括了所有最新分析方法，其分析技術先進，可靠。分析方法的實現通過過程調用完成。許多過程同時提供了多種演算法和選項。

⑷ 常見的大數據分析工具有哪些

大數據分析的前瞻性使得很多公司以及企業都開始使用大數據分析對公司的決策做出幫助，而大數據分析是去分析海量的數據，所以就不得不藉助一些工具去分析大數據，。一般來說，數據分析工作中都是有很多層次的，這些層次分別是數據存儲層、數據報表層、數據分析層、數據展現層。對於不同的層次是有不同的工具進行工作的。下面小編就對大數據分析工具給大家好好介紹一下。
首先我們從數據存儲來講數據分析的工具。我們在分析數據的時候首先需要存儲數據，數據的存儲是一個非常重要的事情，如果懂得資料庫技術，並且能夠操作好資料庫技術，這就能夠提高數據分析的效率。而數據存儲的工具主要是以下的工具。
1、MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。
2、SQL Server的最新版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了數據存儲，也包括了數據報表和數據分析了，甚至數據挖掘工具都在其中了。
3、DB2，Oracle資料庫都是大型資料庫了，主要是企業級，特別是大型企業或者對數據海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的數據整合應用平台;
接著說數據報表層。一般來說，當企業存儲了數據後，首先要解決報表的問題。解決報表的問題才能夠正確的分析好資料庫。關於數據報表所用到的數據分析工具就是以下的工具。
1、Crystal Report水晶報表，Bill報表，這都是全球最流行的報表工具，非常規范的報表設計思想，早期商業智能其實大部分人的理解就是報表系統，不藉助IT技術人員就可以獲取企業各種信息——報表。
2、Tableau軟體，這個軟體是近年來非常棒的一個軟體，當然它已經不是單純的數據報表軟體了，而是更為可視化的數據分析軟體，因為很多人經常用它來從資料庫中進行報表和可視化分析。
第三說的是數據分析層。這個層其實有很多分析工具，當然我們最常用的就是Excel，我經常用的就是統計分析和數據挖掘工具;
1、Excel軟體，首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作!但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體;
2、SPSS軟體：當前版本是18，名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體。
最後說表現層的軟體。一般來說表現層的軟體都是很實用的工具。表現層的軟體就是下面提到的內容。
1、PowerPoint軟體：大部分人都是用PPT寫報告。
2、Visio、SmartDraw軟體：這些都是非常好用的流程圖、營銷圖表、地圖等，而且從這里可以得到很多零件;
3、Swiff Chart軟體：製作圖表的軟體，生成的是Flash

⑸ 大數據包括哪些

大數據技術龐大復雜，基礎的技術包含數據的採集、數據預處理、分布式存回儲、NoSQL資料庫答、數據倉庫、機器學習、並行計算、可視化等各種技術范疇和不同的技術層面。
大數據主要技術組件：Hadoop、HBase、kafka、Hive、MongoDB、Redis、Spark 、Storm、Flink等。
大數據技術包括數據採集，數據管理，數據分析，數據可視化，數據安全等內容。數據的採集包括感測器採集，系統日誌採集以及網路爬蟲等。數據管理包括傳統的資料庫技術，nosql技術，以及對於針對大規模數據的大數據平台，例如hadoop，spark，storm等。數據分析的核心是機器學習，當然也包括深度學習和強化學習，以及自然語言處理，圖與網路分析等。

⑹ 請問針對OJ上的大數據測試，求大神給測例 測例希望全面，離奇……

可以在網上尋找標准程序(一般都會有)，如果沒有的話寫一個可以確保正確的暴力內代碼，然後寫一個隨機生成數據的程容序，用一個bat文件，不斷的造小數據讓自己的代碼和標算(暴力)跑，校對答案。(以上方法俗稱對拍)

bat 文件如下
:1
make_data
a
a_
fc a.out a_.out
if errorlevel==1 pause
goto 1
a為你的程序的名稱，a_為標算或暴力，fc如果不能使用可以去C盤里找出來，然後放到程序邊上。

由於數據是隨機生成的，所以如果代碼有明顯的漏洞，很容易就拍出來(尤其是一些細節上的問題)，當然也有代碼在隨機數據的情況下表現的非常好，但是會被構造的數據卡掉，可以嘗試構造極端的數據來進行測試。

總的來說對拍對的代碼不一定就是正確的，遇到錯誤時最好還是先再理一遍自己的思路，跟著自己的代碼走一遍，確認思路沒有錯之後再使用對拍。