『壹』 java遍歷大數據量比較一個內容，怎樣寫效率會快點

我覺得比較靠譜的就是先對大數據量的數據進行索引，縮小比較的范圍，比如原來可能是:
1,2,3,4,5,6,7,8,9,10...
這是原始數據，那麼我們可以做索引（當然不同的數據索引方式要重新設計合理的索引方案）
比如
1-5: [1,2,3,4,5]
6-10: [6,7,8,9,10]
.....
此時需要比較2， 直接定位到了 1-5的索引，那麼我們的比較次數就變少了，大概就是這個思想，縮小比較范圍

『貳』 大數據量 用rownum 分頁查詢 order by 會導致執行很慢， 怎麼辦

請查考這兩篇文章

《幾種分頁演算法》
http://blog.csdn.net/jww2002/articles/558151.aspx
《海量資料庫的查詢優化及分頁演算法方案》
http://blog.csdn.net/chenjinjie/archive/2007/05/28/1628355.aspx

『叄』 關於Java的分頁演算法，急！

使用分頁類，直接調用就可以，代碼如下：

package com.godwin.news.util;

import java.io.UnsupportedEncodingException;
import java.net.URLDecoder;
import java.util.ArrayList;

/**
* 分頁類,用於封閉分頁顯示信息
*
* @author javabs
*
*/
public class Pager {

// 當前頁
private int currentPage;
// 總頁數
private int totalPage;
// 總記錄數
private int totalRecord;
// 每頁條數
private int pageSize;
// 是否有下一頁
private int hasNext;
private ArrayList keys;
private ArrayList values;
// 查詢串
private String queryString;
// 首頁
private String firstLink;
// 上一頁
private String previousLink;
// 下一頁
private String nextLink;
// 尾頁
private String lastLink;
// 鏈接
private String forScriptLink;

public Pager(int pageSize, String queryString) {
keys = new ArrayList();
values = new ArrayList();
setQueryString(queryString);
setPageSize(pageSize);
}

public String getForScriptLink() {
if (keys.contains("toPage"))
removeKey("toPage");
String tmp = getQueryString();
if (tmp.length() == 0)
return "?";
else
return "?" + tmp + "&";
}

public int getCurrentPage() {
return currentPage;
}

public void setCurrentPage(String toPage) {
int tmpage = 1;
try {
tmpage = Integer.parseInt(toPage);
} catch (NumberFormatException e) {
tmpage = 1;
}
if (tmpage < 1)
tmpage = 1;
else if (tmpage > getTotalPage())
tmpage = getTotalPage();
currentPage = tmpage;
}

public String getFirstLink() {
return getQueryStr(1);
}

public int getHasNext() {
int i = 1;
if (getCurrentPage() >= getTotalPage())
i = 0;
return i;
}

public String getLastLink() {
return getQueryStr(getTotalPage());
}

public String getNextLink() {
return getQueryStr(currentPage == totalPage ? currentPage : (currentPage + 1));
}

public int getPageSize() {
return pageSize;
}

public void setPageSize(int pageSize) {
this.pageSize = pageSize;
}

public String getPreviousLink() {
return getQueryStr(currentPage == 1 ? currentPage : currentPage - 1);
}

public void setPreviousLink(String previousLink) {
this.previousLink = previousLink;
}

public String getQueryString() {
StringBuffer sb = new StringBuffer();
for (int i = 0; i < keys.size(); i++) {
String key = (String) keys.get(i);
String value = (String) values.get(i);
sb.append("&");
sb.append(key);
sb.append("=");
sb.append(value);
}

return sb.delete(0, 1).toString();
}

public void setQueryString(String queryString) {
if (queryString != null) {
String s[] = queryString.split("&");
for (int i = 0; i < s.length; i++) {
String s1[] = s[i].split("=");
if (s1.length == 2) {
keys.add(s1[0]);
values.add(s1[1]);
} else {
keys.add(s1[0]);
values.add("");
}
}

}
}

public int getTotalPage() {
return totalPage;
}

public void setTotalPage() {
if (totalRecord % pageSize == 0) {
totalPage = totalRecord / pageSize;
totalPage = totalPage == 0 ? 1 : totalPage;
}
else
totalPage = totalRecord / pageSize + 1;
}

public int getTotalRecord() {
return totalRecord;
}

public void setTotalRecord(int totalRecord) {
this.totalRecord = totalRecord;
setTotalPage();
}

public String[] getQueryParameterValues(String key) {
return getQueryParameterValues(key, "UTF-8");
}

public String[] getQueryParameterValues(String key, String decode) {
ArrayList ret = new ArrayList();
for (int i = 0; i < keys.size(); i++)
if (((String) keys.get(i)).equals(key))
try {
ret.add(URLDecoder.decode((String) values.get(i), decode));
} catch (UnsupportedEncodingException e) {
ret.add((String) values.get(i));
}

if (ret.size() == 0)
return null;
String strArr[] = new String[ret.size()];
for (int i = 0; i < ret.size(); i++)
strArr[i] = (String) ret.get(i);

return strArr;
}

public String getQueryParameter(String key) {
return getQueryParameter(key, "UTF-8");
}

public String getQueryParameter(String key, String decode) {
String value = "";
if (key != "toPage") {
try {
value = URLDecoder.decode(getValue(key), decode);
} catch (UnsupportedEncodingException e) {
value = getValue(key);
}
} else {
int tmpage = 1;
try {
value = getValue(key);
tmpage = Integer.parseInt(value);
} catch (NumberFormatException e) {
tmpage = 1;
} catch (NullPointerException e1) {
tmpage = 1;
}
if (tmpage < 1)
tmpage = 1;
else if (tmpage > getTotalPage())
tmpage = getTotalPage();
value = (new StringBuffer(String.valueOf(tmpage))).toString();
}
return value;
}

public void setQueryParameter(String key, String value) {
if (key.equals("toPage"))
removeKey(key);
keys.add(key);
values.add(value);
}

public String getQueryStr(int toPage) {
setQueryParameter("toPage", (new StringBuffer(String.valueOf(toPage))).toString());
return "?" + getQueryString();
}

private String getValue(String key) {
String ret = "";
for (int i = 0; i < keys.size(); i++) {
if (!((String) keys.get(i)).equals(key))
continue;
ret = (String) values.get(i);
break;
}

return ret;
}

private void removeKey(String key) {
for (int i = 0; i < keys.size(); i++) {
if (!((String) keys.get(i)).equals(key))
continue;
keys.remove(i);
values.remove(i);
break;
}

}

public static void main(String args[]) {
String str = "a=中文aa&b=2&c=3&c=4&c=5";
Pager page = new Pager(2, str);
page.setTotalRecord(10);
page.setCurrentPage("1");
System.out.println(page.getFirstLink());
System.out.println(page.getPreviousLink());
System.out.println(page.getNextLink());
System.out.println(page.getLastLink());
String s = page.getQueryParameter("a");
System.out.println("s: " + s);
}
}

『肆』 java 大數據怎麼做

Java是編程語言；
大數據是一個概念，包含的技術較多，比如Hadoop、Spark、Storm等；
學習大數據先要學習Java，Java是基礎，而大數據比較核心的兩個課程是HADOOP、SPARK。

『伍』 java大數據量分批處理怎麼實現

讀取數據估計是沒辦法了，重點可以放在寫入的操作上，粗略的認為，你使用框內架進行資料庫寫容入操作還不如用使用java原生的jdbc進行操作然後使用jdbc 的原生的批處理，我覺得肯定比框架快。我記得我當時插入10w條數據，只用了3秒，不過用的是oracle資料庫。進行邊讀取邊插入，這樣佔用的內存也相對小一些

『陸』 求個java分頁最優演算法，不用代碼，給我個思路就行，不要那種百度一搜就出來的那個

分頁不是你這樣整的,這樣分頁的意義就不存在了.
只所以分頁不僅僅是因為在一個頁面顯示那麼多內容不太好,更因為對於資料庫大數據量的查詢.所以沒有什麼儲存查詢所有記錄的totalV.
根據當前頁數和每頁的記錄數去確定下一頁或上一頁的記錄從m到n.Mysql資料庫查詢用limit(m,n),Oracle的話用子查詢.
而開發中一般都是寫個分頁組件的,將所有的一切封裝到一個標簽中,對外只提供請求的幾個參數.

『柒』 java怎麼在數據超過百萬後分頁導出

用過POI的人都知道，在POI以前的版本中並不支持大數據量的處理，如果數據量過多還會常報OOM錯誤，
這時候調整JVM的配置參數
也不是一個好對策（註：
jdk在32位系統中支持的內存不能超過2個G，而在64位中沒有限制，但是在64位的系統中，性能並不是太好
）,好在POI3.8版本新出來了一個SXSSFWorkbook對象，它就是用來解決大數據量以及超大數據量的導入導出操作的，但是SXSSFWorkbook只支持.xlsx格式，不支持.xls格式的Excel文件。
這里普及一下，在POI中使用HSSF對象時，excel 2003最多隻允許存6553數據，一般用來處理較少的數據量，這時對於百萬級別數據，Excel肯定
容納不了，而且在計算機性能稍低的機器上測試，就很容易導致堆溢出。當我升級到XSSF對象時，它可以直接支持excel2007以上版本，因為它採用
ooxml格式。這時excel可以支持1048576條數據，單個sheet表就支持近104
萬條數據了,雖然這時導出100萬數據能滿足要求，但使用XSSF測試後發現偶爾還是會發生堆溢出，所以也不適合百萬數據的導出。現在我們知道excel2007及以上版本可以輕松實現存儲百萬級別的數據，但是系統中的大量數據是如何能夠快速准確的導入到excel中這好像是個難題，對於一般的web系統，我們為了解決成本，基本都是使用的入門級web伺服器tomcat，既然我們不推薦調整JVM的大小，那我們就要針對我們的代碼來解決我們要解決的問題。在POI3.8之後新增加了一個類，
SXSSFWorkbook
，採用當數據加工時不是類似前面版本的對象，它可以控制excel數據佔用的內存，他通過控制在內存中的行數來實現資源管理，即當創建對象超過了設定的行數，它會自動刷新內存，將數據寫入文件，
這樣導致列印時，佔用的CPU，和內存很少。但有人會說了，我用過這個類啊，他好像並不能完全解決，當數據量超過一定量後還是會內存溢出的，而且時間還很長。對你只是用了這個類，但是你並沒有針對你的需求進行相應的設計，僅僅是用了，所以接下來我要說的問題就是，如何通過SXSSFWorkbook以及相應的寫入設計來實現百萬級別的數據快速寫入。
我先舉個例子，以前我們[資料庫
中存在大量的數據，我們要查詢，怎麼辦？我們在沒有經過設計的時候是這樣來處理的，先寫一個集合，然後執行jdbc，將返回的結果賦值給list，然後再返回到頁面上，但是當數據量大的時候，就會出現數據無法返回，內存溢出的情況，於是我們在有限的時間和空間下，通過分頁將數據一頁一頁的顯示出來，這樣可以避免了[大數據
量數據對內存的佔用，也提高了用戶的體驗，在我們要導出的百萬數據也是一個道理，內存突發性佔用，我們可以限制導出數據所佔用的內存，
這里我先建立一個list容器，list中開辟10000行的存儲空間，每次存儲10000行，用完了將內容清空，然後重復利用
，這樣就可以有效控制內存，所以我們的設計思路就基本形成了，所以分頁數據導出共有以下3個步驟：
1、求資料庫中待導出數據的行數
2、根據行數求數據提取次數
3、按次數將數據寫入文件

『捌』 java 大數據 指多少條數據

我想你問的是在資料庫中的表要有多少條才能算大數據。其實您清楚，如果表中的數據超過千萬以上，再好索引也會導致查詢變慢。現在的海量數據一般都是PT級的，數據存放也不僅限於傳統的關系型資料庫。

『玖』 請教大數據量查詢怎麼分頁查詢

有些綁定控制項自帶分頁功能的。如果沒有就只能手寫分頁功能了。

『拾』 Java如何處理大數據的

文件讀取：首先是一個文件上傳，數據入庫，10-200萬條不等，這里主要考慮到一次性讀取，JVM分配出來的棧內存不一定會夠（個人對內存這一塊還是處於一知半解的狀態，所以比較謹慎，若諸位大神有好的認知，希望評論留下地址分享一下），是依行讀取數據，設定一個批量值，當讀取的數據達到一定量之後，執行批量入庫操作，清空集合，再接著讀取。
//讀取文件內容
while((s = br.readLine())!=null){
//判斷是否達到單次處理量
if(num%leadingNum==0&&num!=0){
int a = stencDao.insertBatch(listBean);
if(a!=leadingNum){
flag = false;
}
//清空集合
listBean.clear();
}
String value = s.trim();
//將讀取到的內容放入集合中
if(!value.equals("")){
StencilCustomer bean = new StencilCustomer();
bean.setCustomerPhone(value);
bean.setLinkStencilId(id);
listBean.add(bean);
num ++;
}
}
數據處理：這里的思路也是將數據小化然後處理，這里使用了多線程，設定單個線程處理量，然後開啟多個線程處理，這里需要考慮你的伺服器的承載能力，如果線程開得太多了，處理不過來，會出現蹦死的情況。例如200萬數據，我開了20個線程，單個線程處理600條。
//建立一個線程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(
minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS,
new ArrayBlockingQueue<Runnable>(minTaskNumber),
new ThreadPoolExecutor.DiscardOldestPolicy());
//當正在執行的線程數達到最大執行線程數的時候等待
boolean flag = true;
while(flag){
Thread.sleep(1000);//休眠2ms查詢一次
int c = threadPool.getActiveCount();//線程池中活動中的線程數量
if(c<maxTaskNumber){
flag = false;
}
}
上面的代碼是我對線程池的一個控制，控制伺服器一直最大線程執行，Thread.sleep(1000);用while的時候，這個休眠最好不要去掉，去掉之後很影響執行效率