大數據的測試方法
美國抄NASA如何能提前預知各種天文奇觀？風力發電機和創業者開店如何選址？如何才能准確預測並對氣象災害進行預警？包括在未來的城鎮化建設過程中，如何打造智能城市？等等，這一系列問題的背後，其實都隱藏著大數據的身影——不僅彰顯著大數據的巨大價值，更直觀地體現出大數據在各個行業的廣闊應用。這些行業應用也都更直白地告訴人們，什麼是大數據……
② 怎樣提升自己的大數據測試經驗
業務篇
1.業務為核心，數據為王
· 了解整個產業鏈的結構
· 制定好業務的發展規劃
· 了解衡量的核心指標
有了數據必須和業務結合才有效果。
需要懂業務的整體概況，摸清楚所在產業鏈的整個結構，對行業的上游和下游的經營情況有大致的了解。然後根據業務當前的需要，指定發展計劃，從而歸類出需要整理的數據。最後一步詳細的列出數據核心指標（KPI），並且對幾個核心指標進行更細致的拆解，當然具體結合你的業務屬性來處理，找出那些對指標影響幅度較大的影響因子。前期資料的收集以及業務現況的全面掌握非常關鍵。
2.思考指標現狀，發現多維規律
· 熟悉產品框架，全面定義每個指標的運營現狀對
· 比同行業指標，挖掘隱藏的提升空間
· 拆解關鍵指標，合理設置運營方法來觀察效果
· 爭對核心用戶，單獨進行產品用研與需求挖掘
業務的分析大多是定性的，需要培養一種客觀的感覺意識。定性的分析則需要藉助技術、工具、機器。而感覺的培養，由於每個人的思維、感知都不同，只能把控大體的方向，很多數據元素之間的關系還是需要通過數據可視化技術來實現。
3.規律驗證，經驗總結
發現了規律之後不能立刻上線，需要在測試機上對模型進行驗證。
技能篇
1.Excel是否精鑽？
除了常用的Excel函數（sum、average、if、countifs、sumifs、offset、match、index等）之外，Excel圖表（餅圖、線圖、柱形圖、雷達圖等）和簡單分析技能也是經常用的，可以幫助你快速分析業務走勢和異常情況；另外，Excel裡面的函數結合透視表以及VBA功能是完善報表開發的利器，讓你一鍵輕松搞定報表。
2.你需要更懂資料庫
常用的資料庫如MySQL，Sql Server、Oracle、DB2、MongoDB等；除去SQL語句的熟練使用，對於資料庫的存儲讀取過程也要熟練掌握。在對於大數據量處理時，如何想辦法加快程序的運行速度、減少網路流量、提高資料庫的安全性是非常有必要的。
3.掌握數據整理、可視化和報表製作
數據整理，是將原始數據轉換成方便實用的格式，實用工具有Excel、R、Python等工具。數據可視化，是創建和研究數據的視覺表現，方便業務方快速分析數據並定位具體問題，實用工具有Tableau、FineBI、Qlikview.
如果常用excel，那需要用PPT展示，這項技能也需要琢磨透。如果用tableau、FineBI之類的工具做數據可視化，FineBI有推送查看功能，也就是在企業上下建立一套系統，通過許可權的分配讓不同的人看到許可權范圍內的報表。
4.多學幾項技能
大多數據分析師都是從計算機、數學、統計這些專業而來的，也就意味著數學知識是重要基礎。尤其是統計學，更是數據分析師的基本功，從數據採集、抽樣到具體分析時的驗證探索和預測都要用到統計學。
現在社會心理學也逐漸囊括到數據分析師的能力體系中來了，尤其是從事互聯網產品運營的同學，需要了解用戶的行為動向，分析背後的動機。把握了整體方向後，數據分析的過程也就更容易。
③ 如何構建大量的測試數據
構造海量數據來驗證系統是否能正確執行。怎樣才算正確的執行呢？定義一個清晰的、可測量的標准很重要。在進行大數據量測試之前，首先對測試需求做清晰的分析。我們一般很少從功能評價的角度進行這項測試，更多的時候是考查系統性能和效率。假設一個本科院校的學籍管理系統，主要是用來管理學生的，學生在系統中的生命周期一般是4年，根據學校現有的在校生數以及未來五年每年的招生數據，基本上可以分析出需要構造的各個學年下的學生數。這樣一來，原來在單個學期能正確執行的功能(功能、性能、效率都滿足需求，這個需求可以作為大數據量測試時的參考標准)，在處理4個學年的數據(8個學期)時，各個業務的功能、伺服器性能、業務執行效率(如查詢、統計、數據挖掘等)還能滿足需求嗎？根據業務特點，數據在系統中總是有一個相對確定的生命周期的，我們需要構造的往往是這些全生命周期的數據，注意不同的業務模塊生成的數據量是不一樣的。沒有必要去構造不符合實際情況，數量級過大的測試數據。
對測試需求做了准確清晰的分析之後，接下來對輸入的測試數據進行分析。一方面，我們要求測試數據要盡可能的與生產環境數據一致，盡可能是有意義的數據，可以通過分析使用現有系統的數據或根據業務特點構造數據。另一方面，我們要求測試數據輸入要滿足輸入限制規則，盡可能覆蓋到滿足規則的不同類型的數據。我們遇到最多的還是在資料庫中構造的測試數據，也包括磁碟文件(附件)。
最後一步就是生成測試數據了。生成測試數據的方法無外乎編寫sql腳本(存儲過程)在資料庫端直接生成、編寫程序代碼生成(實際上也是要寫sql)、使用批量數據生成工具(DataFactory、PL/SQL Developer、TOAD等都可以)、使用工具錄制業務參數化之後長時間運行來生成(如4樓的仁兄所說)。不過個人覺得使用sql來做是最靈活的，尤其是涉及到業務數據相互轉換需要充分考慮到內部處理邏輯及約束時。
補充一點，大數據量測試同時也是檢測伺服器性能的好時機(例如執行數據轉換、統計分析的業務過程)，包括磁碟的I/O性能、內存、CPU等，甚至也是對數據增長預測的一個驗證。
④ 對資料庫如SQL進行大數據量測試，要如何進行，最好提供操作步驟，謝謝
要保存數據到資料庫，VB自帶的功能是無法完成的，除非你用普通的文件保存數據。
用ADO相對簡單，對於你的問題只要一個Connection對象。用它連接資料庫，用它的Execute方法來執行更新數據的SQL語句。
如果你的輸入跟資料庫欄位直接對應，也可以使用數據綁定的辦法，用ADODC控制項獲取數據，並將文本框跟ADODC綁定。
⑤ 大數據分析的分析步驟
大數據分析的五個基本方面
1. Analytic Visualizations（可視化分析）不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求。可視化可以直觀的展示數據，讓數據自己說話，讓觀眾聽到結果。
2. Data Mining Algorithms（數據挖掘演算法）可視化是給人看的，數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的演算法讓我們深入數據內部，挖掘價值。這些演算法不僅要處理大數據的量，也要處理大數據的速度。
3. Predictive Analytic Capabilities（預測性分析能力）數據挖掘可以讓分析員更好的理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。
4. Semantic Engines（語義引擎）我們知道由於非結構化數據的多樣性帶來了數據分析的新的挑戰，我們需要一系列的工具去解析，提取，分析數據。語義引擎需要被設計成能夠從「文檔」中智能提取信息。
5. Data Quality and Master Data Management（數據質量和數據管理）
數據質量和數據管理是一些管理方面的最佳實踐。通過標准化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。
假如大數據真的是下一個重要的技術革新的話，我們最好把精力關注在大數據能給我們帶來的好處，而不僅僅是挑戰。
⑥ 軟體測試出來之後可以做大數據測試不
可以，需要你學習掌握更多的大數據技術、Hadoop、Maprece等等技術。
對於從事大數據測試的軟體測試工程師而言，與傳統的測試工作相對比，可能會面臨的以下幾個可能的挑戰：
自動化
自動化測試是從事大數據測試必備的技術，但自動化測試工具可能並不具備處理測試過程所引發的異常的能力，意味著現有工具可能並不適用，編程能力將是更好的一種技能。
虛擬化
當前業內大規模使用虛擬化技術，但虛擬機的延遲有可能造成大數據實時測試處理的異常。
對大數據而言，管理影像信息也將是一個巨大的問題：
1、海量數據集
2、需要驗證的數據量巨大，而且需要更快的處理速度
3、需要有效的自動化測試手段
4、需要盡可能的跨平台
⑦ 大數據測試需要學什麼
首先是基礎階段。這一階段包括：關系型資料庫原理、LINUX操作系統原理及應用。在掌握了這些基礎知識後，會安排這些基礎課程的進階課程，即：數據結構與演算法、MYSQL資料庫應用及開發、SHELL腳本編程。在掌握了這些內容之後，大數據基礎學習階段才算是完成了。
接下來是大數據專業學習的第二階段：大數據理論及核心技術。第二階段也被分為了基礎和進階兩部分，先理解基礎知識，再進一步對知識內容做深入的了解和實踐。基礎部分包括：布式存儲技術原理與應用、分布式計算技術、HADOOP集群搭建、運維；進階內容包括：HDFS高可靠、ZOOKEEPER、CDH、Shuffle、HADOOP源碼分析、HIVE、HBASE、Mongodb、HADOOP項目實戰。
完成了這部分內容的學習，學員們就已經掌握了大數據專業大部分的知識，並具有了一定的項目經驗。但為了學員們在大數據專業有更好的發展，所學知識能更廣泛地應用到大數據相關的各個崗位，有個更長遠的發展前景。
第三階段叫做數據分析挖掘及海量數據高級處理技術。基礎部分有：PYTHON語言、機器學習演算法、FLUME+KAFKA；進階部分有：機器學習演算法庫應用、實時分析計算框架、SPARK技術、PYTHON高級語言應用、分布式爬蟲與反爬蟲技術、實時分析項目實戰、機器學習演算法項目實戰。