Ⅰ SQL處理大數據量問題

樓上復說得對，
1，可以使用存儲制過程，需要哪部分的數據，就取哪部分的數據段；這樣就不會會出現什麼程序池響應時間超時之類的問題；
2，其實也可以利用客戶端的緩存，將經常需要用到的數據暫存在客戶端，這樣也可以減少對資料庫的數據訪問；
3，暫時由這兩種方法。。。。。。。。其他水平有限，還不知道怎麼處理...

Ⅱ 大數據應用程序最佳選擇：是SQL還是NoSQL

執行大數據[注]項目的企業面對的關鍵決策之一是使用哪個資料庫，SQL還是NoSQL?SQL有著驕人的業績，龐大的安裝基礎;而NoSQL正在獲得可觀的收益，且有很多支持者。我們來看看兩位專家對這個問題的看法。
專家
·VoltDB公司首席技術官Ryan Betts表示，SQL已經贏得了大型企業的廣泛部署，大數據是它可以支持的另一個領域。
·Couchbase公司首席執行官Bob Wiederhold表示，NoSQL是可行的選擇，並且從很多方面來看，它是大數據的最佳選擇，特別是涉及到可擴展性時。
SQL經歷時間的考驗，並仍然在蓬勃發展
VoltDB公司首席技術官Ryan Betts
結構化查詢語言(SQL)是經過時間考驗的勝利者，它已經主宰了幾十年，目前大數據公司和組織(例如谷歌、Facebook、Cloudera和Apache)正在積極投資於SQL。
在成為主導技術(例如SQL)後，有時候我們很容易忘記其優越性。SQL的獨特優勢包括：
1. SQL能夠加強與數據的交互，並允許對單個資料庫設計提出問題。這是很關鍵的特徵，因為無法交互的數據基本上是沒用的，並且，增強的交互性能夠帶來新的見解、新的問題和更有意義的未來交互。
2. SQL是標准化的，使用戶能夠跨系統運用他們的知識，並對第三方附件和工具提供支持。
3. SQL能夠擴展，並且是多功能和經過時間驗證的，這能夠解決從快寫為主導的傳輸到掃描密集型深入分析等問題。
4. SQL對數據呈現和存儲採用正交形式，一些SQL系統支持JSON和其他結構化對象格式，比NoSQL具有更好的性能和更多功能。
雖然NoSQL的出現帶來了一些影響，但SQL仍然主導著市場，並在大數據領域贏得了很多投資和廣泛部署。
NoSQL的說法很含糊，對於本次討論，我借用Rick Cattell對NoSQL的定義，即提供簡單操作(例如密鑰/數值存儲)或簡單記錄和索引，並專注於這些簡單操作的橫向可擴展性的系統。
很顯然，現在很多新的資料庫並不是都一樣，認識每種資料庫背後的原理以及潛在問題是成功的關鍵。NoSQL的主要特點使其更適合於特定的問題。例如，圖形資料庫更適合於數據通過關系組織的情況，而專門的文本搜索系統更適合於需要實時搜索的情況。
在這里，讓我們看看SQL系統的主要優勢和差異化功能：
* SQL可實現交互性。 SQL是一種聲明性查詢語言。用戶說出他們想要什麼(例如，顯示過去五年三月份期間頂級客戶的地理位置)，資料庫內部就會構件演算法並提取請求的結果。相比之下，NoSQL編程創新MapRece是一種程序性查詢技術。在用戶提出請求時，MapRece要求用戶不僅說出自己想要什麼，而且要求他們陳述如何產生答案。
這聽起來像一個無趣的技術差異，但這很關鍵，原因在於：首先，聲明性SQL查詢更容易通過圖形化工具以及點擊報告構建器來構建。這讓分析師、操作員、管理者和其他不具備軟體編程能力的員工進行資料庫查詢;其次，資料庫引擎可以利用內部信息來選擇最有效的演算法。改變資料庫的物理布局或資料庫，最佳演算法仍然能夠計算出來。而在程序性系統中，編程人員需要重新訪問和重新編程演算法，這是非常昂貴且容易出錯的過程。
市場理解這個關鍵區別。在2010年，谷歌宣布部署SQL來補充MapRece，主要受內部用戶需求所驅動。最近，Facebook發布了Presto(一種SQL部署)來查詢其PB級HDFS集群。根據Facebook表示：「隨著我們的倉庫增長到PB級，以及我們的需求變化，我們清楚地意識到，我們需要一個提供低延時查詢的互動系統。」此外，Cloudera也正在構建Impala—另一個基於HDFS的SQL部署。
* SQL是標准化的。 雖然供應商有時候會添加自己的語言到SQL界面，但SQL的核心是標准化的，還有其他規格(例如ODBC和JDBC)提供廣泛可用的穩定界面到SQL存儲。這帶來了一個管理和操作工具生態系統，可以在SQL系統之上設計、監控、檢查、探索和構建應用程序。
SQL用戶和程序員可用跨多個後端系統重復使用其API和UI知識，減少了應用程序的開發時間。標准化還允許聲明性第三方提取、轉換、載入(ETL)工具，使企業可以在資料庫之間以及跨系統傳輸數據。
* SQL可擴展。 認為SQL必須犧牲以獲得可擴展性的看法，完全是錯誤的。如前所述，Facebook創建了一個SQL界面來查詢PB級數據。SQL能夠非常有效地運行極快的ACID傳輸。SQL對數據存儲和索引提供的抽象[注]化允許跨各種問題和數據集大小的一致使用，讓SQL可以跨集群復制數據存儲有效地運行。使用SQL作為界面獨立於構建雲、規模或HA系統，SQL中並沒有什麼在阻止和限制容錯、高可用性和復制。事實上，所有現代SQL系統支持雲友好型橫向可擴展性、復制和容錯性。
* SQL支持JSON。 幾年前，很多SQL系統增加了XML文檔支持。現在，隨著JSON成為一種流行的數據交換格式，SQL供應商也紛紛加入了JSON型的支持。基於現在靈活的編程過程和web基礎設施的正常運行時間要求，我們很需要結構化數據類型的支持。Oracle 12c、PostgreSQL 9.2、VoltDB和其他支持JSON的資料庫，通常具有優於「原生」JSON的性能。
SQL將繼續贏得市場份額，並會繼續看到新的投資和部署。NoSQL資料庫提供專有查詢語言或簡單的鍵值語義，而沒有更深層次的技術差異化。現代SQL系統提供可擴展性的同時，還支持更豐富的查詢語義，並有龐大的用戶安裝基礎，廣泛的生態系統整合和深度企業部署。
NoSQL更適合大數據應用程序
Couchbase公司首席執行官Bob Wiederhold
NoSQL越來越多地被認為是關系型資料庫的可行替代品，特別是對於大數據應用程序。此外，無模式數據模型通常更適合於現在捕捉和處理的數據種類和類型。
當我們談論NoSQL領域的大數據時，我們指的是從操作資料庫讀取和寫入。不要將操作資料庫與分析資料庫混淆，這通常會查看大量數據，並從這些數據獲取可視性。
雖然操作資料庫的大數據看起來不具有可分析性，但操作資料庫通常會存儲超大量用戶的大型數據集，這些用戶經常需要訪問數據來實時執行交易。這種資料庫的操作規模也解釋了NoSQL的關鍵特性，也就是為什麼NoSQL是大數據應用程序的關鍵的原因。
NoSQL是可擴展性的關鍵
每次技術行業經歷硬體發展的根本性轉變時，都會出現一個拐點。在資料庫領域，從縱向擴展到橫向擴展的轉變推動了NoSQL的發展。關系型資料庫(包括來自甲骨文和IBM的資料庫)是縱向擴展。也就是說，它們是集中式、共享一切的技術，只能通過增加更多昂貴的硬體來擴展。
而NoSQL資料庫是分布式橫向擴展技術。它們使用了分布式節點集(稱為集群)來提供高度彈性擴展功能，讓用戶可以添加節點來動態處理負載。
分布式橫向擴展的做法通常要比縱向做法更加便宜。商業關系型資料庫的授權費用也讓人望而卻步，因為他們的價格是按每台伺服器來計算。另一方面，NoSQL資料庫通常是開源技術，按照運行的伺服器集群收費，而且價格相對便宜。
NoSQL是靈活性的關鍵
關系型資料庫和NoSQL數據模型有很大的不同。關系型模式獲取數據，並將數據分配到很多相互關聯的表中，這些表通過外鍵相互應用。
當用戶需要對數據集運行查詢時，所需信息需要從多個表中收集(通常涉及數百個企業應用程序)，並結合這些信息，再提供給應用程序。同樣地，當寫入數據時，需要在多個表協調和執行寫入。當數據相對較少，並且，數據以較慢速度流入資料庫時，關系型資料庫通常能夠捕捉和存儲信息。然而，現在的應用程序通常需要快速寫入(和讀取)海量數據。
NoSQL資料庫採用非常不同的模式。在其核心，NoSQL資料庫其實是「NoREL」，或者說非關系型，這意味著它們沒有依賴於表以及表之間的聯系，以存儲和組織信息。例如，以文檔為導向的NoSQL資料庫獲取你想要存儲的數據，並採用JSON格式整合到文檔中。每個JSON文檔可以被你的應用程序視為一個對象。JSON文檔可能會提取跨越25個表的數據，將數據集成到一個文檔中。
聚合這些信息可能會導致信息重復，但由於存儲已不再是一個成本問題，數據模型靈活性、發布所產生文檔的簡便性以及讀取和寫入性能提高，讓這成為不錯的選擇。
NoSQL是大數據應用程序的關鍵
通過第三方(包括社交媒體網站)，數據正變得越來越容易捕捉和訪問。這些數據包括：個人用戶信息、地理位置數據、用戶生產的內容、機器記錄數據和感測器產生的數據。企業還可以依賴於大數據來推動其關鍵任務型應用程序。同時，企業正在轉向到NoSQL資料庫，因為這種資料庫非常適合現在新型的數據類型。
開發人員想要一個靈活的資料庫，可以很容易適應新的數據類型，並且，不會受第三方數據供應商的內容結構變化的影響。大多數新數據是非結構化和半結構化，因此，開發人員也需要能夠有效存儲這些數據的資料庫。然而，關系型資料庫採用的嚴格定義的基於模式的做法讓其不可能快速整合新數據類型，並且很不適合於非結構化和半結構化數據。
總體來說，隨著web和移動應用程序的增加、新的趨勢、網上消費者行為的轉變以及新的數據類型的出現，行業需要能夠提供可擴展的靈活的資料庫技術來管理和訪問數據。NoSQL技術是有效滿足這些需求的唯一可行解決方案。

Ⅲ 如何進行大數據分析及處理

探碼科技大數據分析及處理過程


聚雲化雨的處理方式

  • 聚雲：探碼科技全面覆蓋各類數據的處理應用。以數據為原料，通過網路數據採集、生產設備數據採集的方式將各種原始數據凝結成雲，為客戶打造強大的數據存儲庫；

  • 化雨：利用模型演算法和人工智慧等技術對存儲的數據進行計算整合讓數據與演算法產生質變反應化雲為雨，讓真正有價值的數據流動起來；

  • 開渠引流，潤物無聲：將落下「雨水」匯合成數據湖泊，對數據進行標注與處理根據行業需求開渠引流，將一條一條的數據支流匯合集成數據應用中，為行業用戶帶來價值，做到春風化雨，潤物無聲。

Ⅳ 大數據開發中執行sql處理大量數據前怎麼測試sql寫的對不對

要保存數據到資料庫，VB自帶的功能是無法完成的，除非你用普通的文件保內存數據。
用ADO相對容簡單，對於你的問題只要一個Connection對象。用它連接資料庫，用它的Execute方法來執行更新數據的SQL語句。
如果你的輸入跟資料庫欄位直接對應，也可以使用數據綁定的辦法，用ADODC控制項獲取數據，並將文本框跟ADODC綁定。

Ⅳ 大數據開發和數據分析有什麼區別

1、技術區別

大數據開發類的崗位對於code能力、工程能力有一定要求，這意味著需要有一定的編程能力，有一定的語言能力，然後就是解決問題的能力。

因為大數據開發會涉及到大量的開源的東西，而開源的東西坑比較多，所以需要能夠快速的定位問題解決問題，如果是零基礎，適合有一定的開發基礎，然後對於新東西能夠快速掌握。

如果是大數據分析類的職位，在業務上，需要你對業務能夠快速的了解、理解、掌握，通過數據感知業務的變化，通過對數據的分析來做業務的決策。

在技術上需要有一定的數據處理能力，比如一些腳本的使用、sql資料庫的查詢，execl、sas、r等工具的使用等等。在工具層面上，變動的范圍比較少，主要還是業務的理解能力。

2、薪資區別

作為IT類職業中的「大熊貓」，大數據工程師的收入待遇可以說達到了同類的頂級。國內IT、通訊、行業招聘中，有10%都是和大數據相關的，且比例還在上升。

在美國，大數據工程師平均每年薪酬高達17.5萬美元。大數據開發工程師在一線城市和大數據發展城市的薪資是比較高的。

大數據分析：大數據分析同樣作為高收入技術崗位，薪資也不遑多讓，並且，我們可以看到，擁有3-5年技術經驗的人才薪資可達到30K以上。

3、數據存儲不同

傳統的數據分析數據量較小，相對更加容易處理。不需要過多考慮數據的存儲問題。而大數據所涉及到的數據具有海量、多樣性、高速性以及易變性等特點。因此需要專門的存儲工具。

4、數據挖掘的方式不同

傳統的數據分析數據一般採用人工挖掘或者收集。而面對大數據人工已經無法實現最終的目標，因此需要跟多的大數據技術實現最終的數據挖掘，例如爬蟲。

Ⅵ 其他編程模型，sql在大數據領域有哪些好處

大數據可應用於各行各業，將人們收集到的龐大數據進行分析整理，內實現資訊的有效利用。舉容個本專業的例子，比如在奶牛基因層面尋找與產奶量相關的主效基因，我們可以首先對奶牛全基因組進行掃描，盡管我們獲得了所有表型信息和基因信息，但是由於數據量龐大，這就需要採用大數據技術，進行分析比對，挖掘主效基因。例子還有很多。

Ⅶ Oracle大數據處理 Sql如何寫

修改之前要先備份，這一步比較花時間。
一般採用這種方法。
update TableTest set testf='2' where testf='3';
commit;
如果，批量修改的數據比較復雜，那麼，可以寫過程實現。

Ⅷ 請教MS Sql Server 2008 大數據處理方案(10億以上)

如果你每次查找的數據都是在一個固定的范圍，那麼就可以按照這個條件來做表分區。
如果作為條件的欄位的記錄重復率不高，那麼創建索引肯定可以提高查詢速度。
另外不知道你每次查詢需要返回的數據量是多少？

Ⅸ 如何解決執行sql存儲過程(大數據量復雜的sql計算操作)時，不影響用戶使用

對實時性不是非常必須的功能，不要放在主業務集中操作的同時操作。這個需要引導客戶。
系統的開銷就在那裡擺著，沒有別的辦法，一運行資源就佔了，CPU 資源，資料庫資源，內存資源。
兩個辦法：一個是做一個資料庫復制，可以半天復制一次，也可以一天復制一次（閑時復制），根據用戶對數據的敏感度決定，存儲過程運行不限時間，運行時訪問復制資料庫，不影響主資料庫。需要額外資源：資料庫伺服器，資料庫復制時間和網路資源開銷；
第二個是定製成任務，閑時執行結果放到指定表中，或者直接以文件形式導出在伺服器指定位置。用的人直接讀記錄或者讀文件就OK 了。
請參考。

Ⅹ 如何使用大數據 SQL 語句

大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者回對於大數答據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。
2. 數據挖掘演算法