ajax提交大數據
『壹』 ajax除了能不刷頁面提交數據,還能幹啥呀
ajax兩個主要作用:
1.通過無刷新頁面與伺服器交互數據來提高客戶端體驗;
2.通過其非同步調用機制增加web程序性能,降低伺服器壓力;
這是我的理解,希望對你有所幫助.
=====================
補充:
因為Ajax可以局部更新啊,不需要每次都把整個form提交上去.不像一般的form提交全部數據都要一下子都處理好.
另外比如一個統計頁面,用ajax可以一行行的從伺服器讀出數據顯示到頁面,而不是一下子load所有數據.在大數據量情況下區別很大的,用戶體驗也好很多.
================================
再補充:
ajax核心確實很簡單,但是真要做到項目里,也沒那麼容易用好的.
最常見的就是瀏覽器支持問題,不光是ActiveX還是XMLRequest之類的問題,對Dom的支持等,都是問題,所以用一個成熟的框架可以簡化很多工作,也增加項目健壯性.
然後現在還有一些伺服器端ajax框架,可以在伺服器端生成js代碼,客戶端直接調用,比如dwr等.但是我覺得一般項目很少會這么用的.
還有一些框架是為你提供了一些成型的東西,比如aotocomplete功能等,為了簡化開發的.
我最常用的就僅僅是一個prototype.js, 嚴格的說這不是一個框架只是一個js庫,但是真的很好很強大,其他很多花里胡哨的js庫都基於這個的!
=========
ps.你一個問題,我補充了兩遍了,嚴格的說是回答了3個問題了,給分啊,木哈哈~
『貳』 ajax 頁面假死,由於後台計算比較麻煩,時間比較長,返回值時由於時間太長,半分鍾左右,頁面無反應,謝謝
大數據量查詢為何要用AJAX?請問後台算的數據有多大,AJAX只適用於少數據量查詢。
『叄』 關於AJAX的表格,XML數據,大數據量補充到表格
使用extjs 相關參數可以網路
『肆』 javascript jstree 非同步載入 大數據 json格式數據 動態載入
動態載入 那 就是 通過ajax 發出請求 接受 JSON格式的字元串 再轉化成 javascript 識別的JSON 對象
也就是 「${themeList}」 就可以了
前台通過URL 到 服務端 請求數據 服務端(返回的必須是JSON格式的) 返回數據 前台處理就行了
『伍』 jsp採用ajax載入大量數據後,反應遲鈍
這個抄問題和是不是ajax載入的無關,純html畫出來的表格行多了也會卡。大數據量一般採用分頁處理。在數據行不超過2w行的情況下如果不想分頁建議採用分table的方式,每個table載入10-20行。另外這個也和你電腦配置關系比較大,我說的2w行是在4G內存的情況下測試的
『陸』 ajax 不能傳輸圖片數據嗎
可以上傳,但是必須轉換一下,用二進制是不行的。
可以使用 Base64 編碼的方式
『柒』 JSON適合大數據傳輸嗎
用json結構清晰二容易轉象調用谷歌json格式處自查詢更加清晰深刻
ajax般用xml字元串json三種式
參考w3c
『捌』 無力了,求教一個AJAX讀取顯示大數據量的問題
用json格式返回數據,在後台把大批量的數據放到一個數組中json_encode(數組)返回。前台接受的是一個數組,直接分配數組中的數據就行
『玖』 AJAX申請一個.ASPX 頁面的話,.ASPX後台如何處理並且響應
就跟直接返回一樣,主要看你要為他提供什麼數據了。
如果請求端需要的是 JSON 類型的數據的話,需要你自己組合 JSON 類型數據返回,然後頁面上要刪除所有 HTML 代碼,只保留第一行的 <%@ ×××× %> 這行。
不過這么做有點蠢,如果你需要返回 JSON 或者 SOAP 類型數據可以直接創建 WebService 頁面,他支持直接將模型轉換為 JSON 或 SOAP 數據返回。
『拾』 大數據如何入門
導讀:
第一章:初識Hadoop
第二章:更高效的WordCount
第三章:把別處的數據搞到Hadoop上
第四章:把Hadoop上的數據搞到別處去
第五章:快一點吧,我的SQL
第六章:一夫多妻制
第七章:越來越多的分析任務
第八章:我的數據要實時
第九章:我的數據要對外
第十章:牛逼高大上的機器學習
經常有初學者會問,自己想往大數據方向發展,該學哪些技術,學習路線是什麼樣的,覺得大數據很火,就業很好,薪資很高……首先,如果你確定了想往這個方面發展,先考慮自己的過去從業經歷、專業、興趣是什麼。計算機專業——操作系統、硬體、網路、伺服器?軟體專業——軟體開發、編程、寫代碼?還是數學、統計學專業——對數據和數字特別感興趣?
其實這就是想告訴你大數據的三個發展方向,平台搭建/優化/運維/監控、大數據開發/設計/架構、數據分析/挖掘。
先扯一下大數據的4V特徵:
數據量大,TB->PB
數據類型繁多,結構化、非結構化文本、日誌、視頻、圖片、地理位置等;
商業價值高,但是這種價值需要在海量數據之上,通過數據分析與機器學習更快速的挖掘出來;
處理時效性高,海量數據的處理需求不再局限在離線計算當中。
Hadoop 1.0、Hadoop 2.0
MapRece、HDFS
NameNode、DataNode
JobTracker、TaskTracker
Yarn、ResourceManager、NodeManager
HDFS目錄操作命令;
上傳、下載文件命令;
提交運行MapRece示常式序;
打開Hadoop WEB界面,查看Job運行狀態,查看Job運行日誌。
知道Hadoop的系統日誌在哪裡。
- SELECT word,COUNT(1) FROM wordcount GROUP BY word;
- 這時,使用Flume採集的數據,不是直接到HDFS上,而是先到Kafka,Kafka中的數據可以由多個消費者同時消費,其中一個消費者,就是將數據同步到HDFS。
- 至此,大數據平台底層架構已經成型了,其中包括了數據採集、數據存儲與計算(離線和實時)、數據同步、任務調度與監控這幾大模塊。接下來是時候考慮如何更好的對外提供數據了。
現如今,正式為了應對大數據的這幾個特點,開源的大數據框架越來越多,越來越強,先列舉一些常見的:
文件存儲:Hadoop HDFS、Tachyon、KFS
離線計算:Hadoop MapRece、Spark
流式、實時計算:Storm、Spark Streaming、S4、Heron
K-V、NOSQL資料庫:HBase、Redis、MongoDB
資源管理:YARN、Mesos
日誌收集:Flume、Scribe、Logstash、Kibana
消息系統:Kafka、StormMQ、ZeroMQ、RabbitMQ
查詢分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式協調服務:Zookeeper
集群管理與監控:Ambari、Ganglia、Nagios、Cloudera Manager
數據挖掘、機器學習:Mahout、Spark MLLib
數據同步:Sqoop
任務調度:Oozie
······
第一章:初識Hadoop
1.1學會網路與Google
不論遇到什麼問題,先試試搜索並自己解決。
Google首選,翻不過去的,就用網路吧。
1.2參考資料首選官方文檔
特別是對於入門來說,官方文檔永遠是首選文檔。
相信搞這塊的大多是文化人,英文湊合就行,實在看不下去的,請參考第一步。
1.3先讓Hadoop跑起來
Hadoop可以算是大數據存儲和計算的開山鼻祖,現在大多開源的大數據框架都依賴Hadoop或者與它能很好的兼容。
關於Hadoop,你至少需要搞清楚以下是什麼:
自己搭建Hadoop,請使用第一步和第二步,能讓它跑起來就行。
建議先使用安裝包命令行安裝,不要使用管理工具安裝。
另外:Hadoop1.0知道它就行了,現在都用Hadoop 2.0.
1.4嘗試使用Hadoop
1.5了解它們的原理
MapRece:如何分而治之;
HDFS:數據到底在哪裡,什麼是副本;
Yarn到底是什麼,它能幹什麼;
NameNode到底在幹些什麼;
ResourceManager到底在幹些什麼;
1.6自己寫一個MapRece程序
仿照WordCount例子,自己寫一個(照抄也行)WordCount程序,
打包並提交到Hadoop運行。
不會Java的話,Shell、Python都可以,有個東西叫Hadoop Streaming。
如果能認真完成了以上幾步,恭喜你,你的一隻腳已經進來了。
第二章:更高效的WordCount
2.1學點SQL吧
如果不懂資料庫的童鞋先學習使用SQL句。
2.2 SQL版WordCount
在1.6中,你寫(或者抄)的WordCount一共有幾行代碼?
如果用SQL的話:
這便是SQL的魅力,編程需要幾十行,甚至上百行代碼,SQL一句就搞定;使用SQL處理分析Hadoop上的數據,方便、高效、易上手、更是趨勢。不論是離線計算還是實時計算,越來越多的大數據處理框架都在積極提供SQL介面。
2.3安裝配置Hive
Hive算是數據倉庫工具,安裝不難,網上有很多教程,配置完成後,可以正常進入Hive命令行。
2.4試試使用Hive
嘗試在Hive中創建wordcount表,並運行2.2中的SQL語句。在Hadoop WEB界面中找到剛才運行的SQL任務。看SQL查詢結果是否和1.4中MapRece中的結果一致。
明明寫的是SQL,為什麼Hadoop WEB界面中看到的是MapRece任務?
2.5學會Hive的基本命令
創建、刪除表;載入數據到表;下載Hive表的數據;並學習更多關於Hive的語法和命令。
以上如果按照第一章和第二章的流程認真完整的走了一遍後,應該已經具備以下技能和知識點:
0和Hadoop2.0的區別
MapRece的原理(還是那個經典的題目,一個10G大小的文件,給定1G大小的內存,如何使用Java程序統計出現次數最多的10個單詞及次數);
HDFS讀寫數據的流程;向HDFS中PUT數據;從HDFS中下載數據;
自己會寫簡單的MapRece程序,運行出現問題,知道在哪裡查看日誌;
會寫簡單的SELECT、WHERE、GROUP BY等SQL語句;
Hive SQL轉換成MapRece的大致流程;
Hive中常見的語句:創建表、刪除表、往表中載入數據、分區、將表中數據下載到本地;
從上面的學習,你已經了解到,HDFS是Hadoop提供的分布式存儲框架,它可以用來存儲海量數據,MapRece是Hadoop提供的分布式計算框架,它可以用來統計和分析HDFS上的海量數據,而Hive則是SQL On Hadoop,Hive提供了SQL介面,開發人員只需要編寫簡單易上手的SQL語句,Hive負責把SQL翻譯成MapRece,提交運行。
此時,你的認知中「大數據平台」是這樣的:
總結:
為什麼Spark比MapRece快。
使用SparkSQL代替Hive,更快的運行SQL。
使用Kafka完成數據的一次收集,多次消費架構。
自己可以寫程序完成Kafka的生產者和消費者。
前面的學習已經掌握了大數據平台中的數據採集、數據存儲和計算、數據交換等大部分技能,而這其中的每一步,都需要一個任務(程序)來完成,各個任務之間又存在一定的依賴性,比如,必須等數據採集任務成功完成後,數據計算任務才能開始運行。如果一個任務執行失敗,需要給開發運維人員發送告警,同時需要提供完整的日誌來方便查錯。
第七章:越來越多的分析任務
不僅僅是分析任務,數據採集、數據交換同樣是一個個的任務。這些任務中,有的是定時觸發,有點則需要依賴其他任務來觸發。當平台中有幾百上千個任務需要維護和運行時候,僅僅靠crontab遠遠不夠了,這時便需要一個調度監控系統來完成這件事。調度監控系統是整個數據平台的中樞系統,類似於AppMaster,負責分配和監控任務。
7.1 Apache Oozie
1. Oozie是什麼?有哪些功能?
2. Oozie可以調度哪些類型的任務(程序)?
3. Oozie可以支持哪些任務觸發方式?
4.安裝配置Oozie。
7.2其他開源的任務調度系統
Azkaban
light-task-scheler
alibaba/zeus
……
此時:
第八章:數據要實時
在第六章介紹Kafka的時候提到了一些需要實時指標的業務場景,實時基本可以分為絕對實時和准實時,絕對實時的延遲要求一般在毫秒級,准實時的延遲要求一般在秒、分鍾級。對於需要絕對實時的業務場景,用的比較多的是Storm,對於其他准實時的業務場景,可以是Storm,也可以是Spark Streaming。當然,如果可以的話,也可以自己寫程序來做。
8.1 Storm
1. 什麼是Storm?有哪些可能的應用場景?
2. Storm由哪些核心組件構成,各自擔任什麼角色?
3. Storm的簡單安裝和部署。
4. 自己編寫Demo程序,使用Storm完成實時數據流計算。
8.2 Spark Streaming
1. 什麼是Spark Streaming,它和Spark是什麼關系?
2. Spark Streaming和Storm比較,各有什麼優缺點?
3. 使用Kafka + Spark Streaming,完成實時計算的Demo程序。
此時:
第九章:數據要對外
通常對外(業務)提供數據訪問,大體上包含以下方面:
離線:比如,每天將前一天的數據提供到指定的數據源(DB、FILE、FTP)等;
離線數據的提供可以採用Sqoop、DataX等離線數據交換工具。
實時:比如,在線網站的推薦系統,需要實時從數據平台中獲取給用戶的推薦數據,這種要求延時非常低(50毫秒以內)。
根據延時要求和實時數據的查詢需要,可能的方案有:HBase、Redis、MongoDB、ElasticSearch等。
OLAP分析:OLAP除了要求底層的數據模型比較規范,另外,對查詢的響應速度要求也越來越高,可能的方案有:Impala、Presto、SparkSQL、Kylin。如果你的數據模型比較規模,那麼Kylin是最好的選擇。
即席查詢:即席查詢的數據比較隨意,一般很難建立通用的數據模型,因此可能的方案有:Impala、Presto、SparkSQL。
這么多比較成熟的框架和方案,需要結合自己的業務需求及數據平台技術架構,選擇合適的。原則只有一個:越簡單越穩定的,就是最好的。
如果你已經掌握了如何很好的對外(業務)提供數據,那麼你的「大數據平台」應該是這樣的:
第十章:牛逼高大上的機器學習
這里本人也沒有接觸太多,稍微講一下我們的業務場景應用,遇到的能用機器學習解決的問題大概這么三類:
分類問題:包括二分類和多分類,二分類就是解決了預測的問題,就像預測一封郵件是否垃圾郵件;多分類解決的是文本的分類;
聚類問題:從用戶搜索過的關鍵詞,對用戶進行大概的歸類。
推薦問題:根據用戶的歷史瀏覽和點擊行為進行相關推薦。
大多數行業,使用機器學習解決的,也就是這幾類問題。
入門學習線路:
數學基礎;
機器學習實戰(Machine Learning in Action),懂Python最好;
SparkMlLib提供了一些封裝好的演算法,以及特徵處理、特徵選擇的方法。
那麼把機器學習部分加進 「大數據平台」。