大數據比喻
『壹』 大數據究竟是什麼
大數據究竟是什麼？怎樣認識並讀懂大數據(1)
大數據究竟是什麼？怎樣認識並讀懂大數據？身邊很多IT人對於這些熱門的新技術、新趨勢往往趨之若鶩卻又很難說的透徹，如果你問他大數據和你有什麼關系？估計很少能說出一二三來。究其原因，一是因為大家對新技術有著相同的原始渴求，至少知其然在聊天時不會顯得很「土鱉」；二是在工作和生活環境中真正能參與實踐大數據的案例實在太少了，所以大家沒有必要花時間去知其所以然。
如果你說大數據就是數據大，或者侃侃而談4個V，也許很有深度的談到BI或預測的價值，又或者拿Google和Amazon舉例，技術流可能會聊起Hadoop和Cloud Computing，不管對錯，只是無法勾勒對大數據的整體認識，不說是片面，但至少有些管窺蠡測、隔衣瘙癢了。……也許，「解構」是最好的方法。
怎樣結構大數據？
首先，我認為大數據就是互聯網發展到現今階段的一種表象或特徵而已，沒有必要神話它或對它保持敬畏之心，在以雲計算為代表的技術創新大幕的襯托下，這些原本很難收集和使用的數據開始容易被利用起來了，通過各行各業的不斷創新，大數據會逐步為人類創造更多的價值。
其次，想要系統的認知大數據，必須要全面而細致的分解它，我著手從三個層面來展開：
第一層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。我會從大數據的特徵定義理解行業對大數據的整體描繪和定性；從對大數據價值的探討來深入解析大數據的珍貴所在；從對大數據的現在和未來去洞悉大數據的發展趨勢；從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。
第二層面是技術，技術是大數據價值體現的手段和前進的基石。我將分別從雲計算、分布式處理技術、存儲技術和感知技術的發展來說明大數據從採集、處理、存儲到形成結果的整個過程。
第三層面是實踐，實踐是大數據的最終價值體現。我將分別從互聯網的大數據，政府的大數據，企業的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。
大數據相關的理論
最早提出大數據時代到來的是麥肯錫：「數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。」
業界（IBM 最早定義）將大數據的特徵歸納為4個「V」（量Volume，多樣Variety，價值Value，速Velocity），或者說特點有四個層面：第一，數據體量巨大。大數據的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）；第二，數據類型繁多。比如，網路日誌、視頻、圖片、地理位置信息等等。第三，價值密度低，商業價值高。第四，處理速度快。最後這一點也是和傳統的數據挖掘技術有著本質的不同。
其實這些V並不能真正說清楚大數據的所有特徵，下面這張圖對大數據的一些相關特性做出了有效的說明。
古語雲：三分技術，七分數據，得數據者得天下。先不論誰說的，但是這句話的正確性已經不用去論證了。維克托·邁爾-舍恩伯格在《大數據時代》一書中舉了百般例證，都是為了說明一個道理：在大數據時代已經到來的時候要用大數據思維去發掘大數據的潛在價值。書中，作者提及最多的是Google如何利用人們的搜索記錄挖掘數據二次利用價值，比如預測某地流感爆發的趨勢；Amazon如何利用用戶的購買和瀏覽歷史數據進行有針對性的書籍購買推薦，以此有效提升銷售量；Farecast如何利用過去十年所有的航線機票價格打折數據，來預測用戶購買機票的時機是否合適。
那麼，什麼是大數據思維？維克托·邁爾-舍恩伯格認為，1-需要全部數據樣本而不是抽樣；2-關注效率而不是精確度；3-關注相關性而不是因果關系。
阿里巴巴的王堅對於大數據也有一些獨特的見解，比如，
「今天的數據不是大，真正有意思的是數據變得在線了，這個恰恰是互聯網的特點。」
「非互聯網時期的產品，功能一定是它的價值，今天互聯網的產品，數據一定是它的價值。」
「你千萬不要想著拿數據去改進一個業務，這不是大數據。你一定是去做了一件以前做不了的事情。」
特別是最後一點，我是非常認同的，大數據的真正價值在於創造，在於填補無數個還未實現過的空白。
有人把數據比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。
價值探討
大數據是什麼？投資者眼裡是金光閃閃的兩個字：資產。比如，Facebook上市時，評估機構評定的有效資產中大部分都是其社交網站上的數據。
如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」
。
Target 超市以20多種懷孕期間孕婦可能會購買的商品為基礎，將所有用戶的購買記錄作為數據來源，通過構建模型分析購買者的行為相關性，能准確的推斷出孕婦的具體臨盆時間，這樣Target的銷售部門就可以有針對的在每個懷孕顧客的不同階段寄送相應的產品優惠卷。
Target的例子是一個很典型的案例，這樣印證了維克托·邁爾-舍恩伯格提過的一個很有指導意義的觀點：通過找出一個關聯物並監控它，就可以預測未來。Target通過監測購買者購買商品的時間和品種來准確預測顧客的孕期，這就是對數據的二次利用的典型案例。如果，我們通過採集駕駛員手機的GPS數據，就可以分析出當前哪些道路正在堵車，並可以及時發佈道路交通提醒；通過採集汽車的GPS位置數據，就可以分析城市的哪些區域停車較多，這也代表該區域有著較為活躍的人群，這些分析數據適合賣給廣告投放商。
『貳』 大數據的意義
大數據的意義價值體現在以下幾個方面：
1、對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷；
2、做小而美模式的中小微企業可以利用大數據做服務轉型；
3、面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。
不過，「大數據」在經濟發展中的巨大意義並不代表其能取代一切對於社會問題的理性思考，科學發展的邏輯不能被湮沒在海量數據中。著名經濟學家路德維希·馮·米塞斯曾提醒過：「就今日言，有很多人忙碌於資料之無益累積，以致對問題之說明與解決，喪失了其對特殊的經濟意義的了解。」這確實是需要警惕的。
(2)大數據比喻擴展閱讀：
在這個快速發展的智能硬體時代，困擾應用開發者的一個重要問題就是如何在功率、覆蓋范圍、傳輸速率和成本之間找到那個微妙的平衡點。企業組織利用相關數據和分析可以幫助它們降低成本、提高效率、開發新產品、做出更明智的業務決策等等。例如，通過結合大數據和高性能的分析，下面這些對企業有益的情況都可能會發生：
1、及時解析故障、問題和缺陷的根源，每年可能為企業節省數十億美元。
2、為成千上萬的快遞車輛規劃實時交通路線，躲避擁堵。
3、分析所有SKU，以利潤最大化為目標來定價和清理庫存。
4、根據客戶的購買習慣，為其推送他可能感興趣的優惠信息。
5、從大量客戶中快速識別出金牌客戶。
6、使用點擊流分析和數據挖掘來規避欺詐行為。
『叄』 什麼是大數據大數據有哪些特點、意義和缺陷
大數據（big data），是指在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合。
大數據的特點：
1、容量（Volume）：數據的大小決定所考慮的數據的價值的和潛在的信息；
2、種類（Variety）：數據類型的多樣性；
3、速度（Velocity）：指獲得數據的速度；
4、可變性（Variability）：妨礙了處理和有效地管理數據的過程。
5、真實性（Veracity）：數據的質量
6、復雜性（Complexity）：數據量巨大，來源多渠道
大數據的意義：
現在的社會是一個高速發展的社會，科技發達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數據就是這個高科技時代的產物。
有人把數據比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。對於很多行業而言，如何利用這些大規模數據是成為贏得競爭的關鍵。
大數據的缺陷：
不過，「大數據」在經濟發展中的巨大意義並不代表其能取代一切對於社會問題的理性思考，科學發展的邏輯不能被湮沒在海量數據中。著名經濟學家路德維希·馮·米塞斯曾提醒過：「就今日言，有很多人忙碌於資料之無益累積，以致對問題之說明與解決，喪失了其對特殊的經濟意義的了解。」 這確實是需要警惕的。
『肆』 大數據是指什麼
大數據又稱為巨量資料，指需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。「大數據」概念最早由維克托·邁爾·舍恩伯格和肯尼斯·庫克耶在編寫《大數據時代》中提出，指不用隨機分析法（抽樣調查）的捷徑，而是採用所有數據進行分析處理。大數據有4V特點，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。
對於「大數據」（Big data）研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
根據維基網路的定義，大數據是指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合。
大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。
從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘，但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。
隨著雲時代的來臨，大數據（Big data）也吸引了越來越多的關注。《著雲台》的分析師團隊認為，大數據（Big data）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術，包括大規模並行處理（MPP）資料庫、數據挖掘電網、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。
最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
它們按照進率1024（2的十次方）來計算：
1 Byte =8 bit
1 KB = 1,024 Bytes = 8192 bit
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB
1 TB = 1,024 GB = 1,048,576 MB
1 PB = 1,024 TB = 1,048,576 GB
1 EB = 1,024 PB = 1,048,576 TB
1 ZB = 1,024 EB = 1,048,576 PB
1 YB = 1,024 ZB = 1,048,576 EB
1 BB = 1,024 YB = 1,048,576 ZB
1 NB = 1,024 BB = 1,048,576 YB
1 DB = 1,024 NB = 1,048,576 BB
特徵
容量（Volume）：數據的大小決定所考慮的數據的價值的和潛在的信息；
種類（Variety）：數據類型的多樣性；
速度（Velocity）：指獲得數據的速度；
可變性（Variability）：妨礙了處理和有效地管理數據的過程。
真實性（Veracity）：數據的質量
復雜性（Complexity）：數據量巨大，來源多渠道
意義
有人把數據比喻為蘊
藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。對於很多行業而言，如何利用這些大規模數據是成為贏得競爭的關鍵。
大數據的價值體現在以下幾個方面：1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷;2) 做小而美模式的中長尾企業可以利用大數據做服務轉型;3) 面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。
『伍』 如何用形象的比喻描述大數據的技術生態
大數據（big data），是指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合。
有人把數據比喻為蘊 藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。對於很多行業而言，如何利用這些大規模數據是成為贏得競爭的關鍵。
大數據的價值體現在以下幾個方面：
1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷;
2) 做小而美模式的中長尾企業可以利用大數據做服務轉型;
3) 面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。
『陸』 工業大數據為什麼比喻為1%的威力
工業大數據具有多大價值？我們稱之為「1%的威力」。不要小瞧這1%。航空公司如果節約1%的燃料，未來15年就能創造300億美元的效益；電力行業節約1%的燃料，就會產生660億美元的收益等等。
工業大數據從哪裡來？一個產品，或是一個復雜裝備，在市場、設計、製造、使用維護、回收再利用等各個階段都會產生大數據。通過數據的反饋進行質量改進、設計優化和產品創新。所以說，產品的設計、製造、維護和再利用，已經不僅僅在一個企業，而是一個產業鏈。大家都知道雷軍和小米，小米為何能取得成功？很重要的一個方面就是客戶參與創造，他的市場和設計直接來源於客戶。
『柒』 如何用形象的比喻描述大數據的技術生態Hadoop、Hive、Spark 之間是什麼關系
大數據本身是一個非常寬泛的概念，而Hadoop生態系統(或一般的生態系統)基本上是單一規模的數據處理。你可以把它和廚房比較，所以我需要各種工具。鍋碗瓢盆，各有其用，重疊。你可以在碗里直接用湯鍋。你可以用刀或飛機去皮。每個工具都有自己的特性，雖然奇數可以工作，但不一定是最好的。大數據，首先你需要能夠保存大數據。傳統的文件系統是單一的，而不是跨不同的機器。HDFS (Hadoop分布式文件系統)本質上是為大量數據設計的，這些數據可以跨越數千台機器，但是您看到的是一個文件系統，而不是很多文件系統。
第二代的冬季和引發新特性除了內存緩存,從本質上講,是使Map / Rece模型更通用,讓Map和Rece之間的界限更模糊,數據交換更靈活和更少的磁碟讀寫,為了更好地描述復雜演算法,以獲得更高的吞吐量。由於圖形、Tez和Spark，程序員發現很難為程序編寫圖形。他們想簡化這個過程。就像你有匯編語言一樣，你幾乎可以做任何事情，但你仍然覺得它很麻煩。您需要更高層次的抽象來描述演算法和數據處理。所以會有一頭豬和一個蜂巢。豬非常接近腳本，並使用SQL來描述圖表。他們將腳本和SQL轉換成程序，把它丟給計算引擎，而你沒有一個繁瑣的程序來用更簡單、更直觀的語言編寫程序。在一個hive之後，發現了SQL contras。
『捌』 用一句話，通俗的闡述雲計算與大數據之間的關系可以比喻，通俗易懂就好。
雲計算：舉來例：愛迪生發明了電自燈以後，但是只能自己用電。為了持續供電，他製造了發電機、電線。然而這套供電系統不能進行長距離運輸，於是越來越多的個人和企業都開始獨立發電，使得小型私人電廠遍地開花，這樣一來成本也增高。於是他架設電線開了一家發電廠，也就是「中央電廠」，原先建立私人電廠的企業或個人，就可以避免采購昂貴設備的發電設備，他們只需在網上付費就能用電，而愛迪生的發電廠就可以通過牆面的插頭和電信源源不斷輸送電力。取代私人發電廠的「公共電網」，也就是電氣時代的「雲計算」。
『玖』 大數據的意義和作用
大數據（big data），IT行業術語，是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》 [1] 中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。 [2]
現在的社會是一個高速發展的社會，科技發達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數據就是這個高科技時代的產物。 [10] 阿里巴巴創辦人馬雲來台演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology數據科技，顯示大數據對於阿里巴巴集團來說舉足輕重。 [11]
有人把數據比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。對於很多行業而言，如何利用這些大規模數據是贏得競爭的關鍵。 [12]
大數據的價值體現在以下幾個方面：
（1）對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷；
（2）做小而美模式的中小微企業可以利用大數據做服務轉型；
（3）面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。
不過，「大數據」在經濟發展中的巨大意義並不代表其能取代一切對於社會問題的理性思考，科學發展的邏輯不能被湮沒在海量數據中。著名經濟學家路德維希·馮·米塞斯曾提醒過：「就今日言，有很多人忙碌於資料之無益累積，以致對問題之說明與解決，喪失了其對特殊的經濟意義的了解。」這確實是需要警惕的。
在這個快速發展的智能硬體時代，困擾應用開發者的一個重要問題就是如何在功率、覆蓋范圍、傳輸速率和成本之間找到那個微妙的平衡點。企業組織利用相關數據和分析可以幫助它們降低成本、提高效率、開發新產品、做出更明智的業務決策等等。例如，通過結合大數據和高性能的分析，下面這些對企業有益的情況都可能會發生：
（1）及時解析故障、問題和缺陷的根源，每年可能為企業節省數十億美元。
（2）為成千上萬的快遞車輛規劃實時交通路線，躲避擁堵。
（3）分析所有SKU，以利潤最大化為目標來定價和清理庫存。
（4）根據客戶的購買習慣，為其推送他可能感興趣的優惠信息。
（5）從大量客戶中快速識別出金牌客戶。
（6）使用點擊流分析和數據挖掘來規避欺詐行為。 [13]
『拾』 如何用形象的比喻描述大數據的技術生態
大數據（big data），是指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合。
有人把數據比喻為蘊 藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。對於很多行業而言，如何利用這些大規模數據是成為贏得競爭的關鍵。
大數據的價值體現在以下幾個方面：
1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷;
2) 做小而美模式的中長尾企業可以利用大數據做服務轉型;
3) 面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。
-