javawebservice大数据
① 大数据提供用户交互方式有哪些
一、 ftp服务器共享方式。即建立一个ftp服务器，为不同的系统分配账号、密码、目录的操作权限等，要交换数据的两个系统要约定好数据格式（比如：xml文件，excel文件，csv文件等）、文件命名方式、存放路径等规则等。交互时，一个系统按约定的时间将数据写入ftp目录中，另一个系统定期取走并进行相应的业务操作。这种方式在电信、移动中项目用得比较多，特别是sp。
二、socket通讯服务器方式。要传送数据的双方建立socket连接后再传送数据，数据格式自行约定，并对传输的数据进行加密，这种方式在银行系统中用得比较多（c、c++写的核心）。
三、 webservice方式。这种方式不再做过多描述，具体请参阅我的《webservice之cxf实现》《webservice架构设计》博文。这种方式在互联网上用得多一些。
四、 远程rmi（如OMG CORBA）方式。以前我在delphi中实现过（怀念李维的时代，呵呵），j2se中也有相应的支持，这种方式相对来说比较复杂。如果同为java系统可用jndi方式，ejb也是一种方式。
五、远程url地址方式。这种方式在互联网上用得很多，比如：facebook，豆瓣的api，支付宝在线支持数据交互等等，早期DWR的web远程调用本质上也属于这种。当然，webservice说到底也是这种方式，只不过数据的xml打包和解包过程由程序按照规范自动完成。交互示意图
这种暴露url地址方式的数据传输格式可以是xml、json或自定义text格式，也可以在请求参数中直接协带一个一个需要的数据。要注意的是，如果在客户浏览器中解析第三方服务器的json数据会有跨域安全访问问题（无论js还是fash、flex都一样），还好，jQuery中有相应的函数封装。
总之，无论采用哪种方式，你在为实际项目做架构原型的时候，下面几个因素都要考虑周全。
一、简单。交互的设计要简单，这对调用双方都有好处。
二、 安全性。如何保证数据在交互过程中的安全性是一个点。
三、 性能。在选择的时候，要考虑数据量的大小，以决定一种合适的方式（比如：一次调用请求的数据量，请求调用的频率）。
四、最后，要考虑重复数据的处理，特别是在其它系统将数据推入的情况，对于推入的数据，要做好处理日志，以备后查。大数据更多交互方式，参考：http://ke.qq.com/course/109084#term_id=100116274
② 怎样提高WebService的性能
性能： 1、 启用FastInfoset(快速信息集) webservice的性能实在是不敢恭维。曾经因为webservice吞吐量上不去，对webservice进行了一些性能方面的优化，采用了FastInfoset，效果很明显，极端条件下的大数据量传输，性能提高60%，他可以减少传输成...
③ 怎样提高WebService性能大数据量网络传输处理
1. 直接返回DataSet对象
特点：通常组件化的处理机制，不加任何修饰及
处理；
优点：代码精减、易于处理，小数据量处理较快；
缺点：大数据量的传递处理慢，消耗网络资源；
建议：当应用系统在内网、专网（局域网）的应用
时，或外网（广域网）且数据量在KB级时的
应用时，采用此种模式。
2.返回DataSet对象用Binary序列化后的字节数组
特点：字节数组流的处理模式；
优点：易于处理，可以中文内容起到加密作用；
缺点：大数据量的传递处理慢，较消耗网络资源；
建议：当系统需要进行较大数据交换时采用。
3.返回DataSetSurrogate对象用Binary序列化后的字节数组
特点：微软提供的开源组件；
下载地址 http://support.microsoft.com/kb/829740/zh-cn
优点：易于处理，可以中文内容起到加密作用；
缺点：大数据量的传递处理慢，较消耗网络资源；
建议：当系统需要传输中文数据或需要加密时采用此种方式
4.返回DataSetSurrogate对象用Binary序列化并Zip压缩后的字节数组
特点：对字节流数组进行压缩后传递；
优点：当数据量大时，性能提高效果明显，
压缩比例大；
缺点：相比第三方组件，压缩比例还有待提高；
建议：当系统需要进行大数据量网络数据传递时，
建议采用此种可靠、高效、免费的方法。
测试用例：SqlServer2000数据库，数据量大小40000行，
字段数10个，结果如下：
使用方法
用时(秒）
数据量(Byte)
大小
百分比(%)
直接返回DataSet
12.625
19629414
100%
返回二进制序列化后DataSet
9.712
12049645
61.38%
返回转化DataSetSurrogate的DataSet 并且二进制序列化后
7.943
5138990
26.18%
返回转化DataSetSurrogate的DataSet 并且二进制序列化后使用zip压缩
7.619
978033
4.98%
源码:
using System;
using System.Data;
using System.Web;
using System.Collections;
using System.Web.Services;
using System.Web.Services.Protocols;
using System.ComponentModel;
using System.IO;
using System.IO.Compression;
using System.Data.SqlClient;
using System.Runtime.Serialization.Formatters.Binary;
namespace DataSetWebService
{
/// <summary>
/// Service1 的摘要说明
/// </summary>
[WebService(Namespace = "http://tempuri.org/")]
[WebServiceBinding(ConformsTo = WsiProfiles.BasicProfile1_1)]
[ToolboxItem(false)]
public class DataSetService : System.Web.Services.WebService
{
[WebMethod(Description="直接返回DataSet对象")]
public DataSet GetDataSet()
{
//http://www.dzbsoft.com XT_TEXT
string sql = "select * from XT_TEXT";
SqlConnection conn = new SqlConnection("Server=60.28.25.58;DataBase=s168593;user id=s168593;password=h0y+FeC*;");
conn.Open();
SqlDataAdapter dataAd = new SqlDataAdapter(sql, conn);
DataSet DS = new DataSet("XT_TEXT");
dataAd.Fill(DS);
conn.Close();
return DS;
}
[WebMethod(Description = "返回DataSet对象用Binary序列化后的字节数组")]
public byte[] GetDataSetBytes()
{
DataSet DS = GetDataSet();
BinaryFormatter ser = new BinaryFormatter();
MemoryStream ms = new MemoryStream();
ser.Serialize(ms, DS);
byte[] buffer = ms.ToArray();
return buffer;
}
[WebMethod(Description = "返回DataSetSurrogate对象用Binary序列化后的字节数组")]
public byte[] GetDataSetSurrogateBytes()
{
DataSet DS = GetDataSet();
DataSetSurrogate dss = new DataSetSurrogate(DS);
BinaryFormatter ser = new BinaryFormatter();
MemoryStream ms = new MemoryStream();
ser.Serialize(ms, dss);
byte[] buffer = ms.ToArray();
return buffer;
}
[WebMethod(Description = "返回DataSetSurrogate对象用Binary序列化并ZIP压缩后的字节数组")]
public byte[] GetDataSetSurrogateZipBytes()
{
DataSet DS = GetDataSet();
DataSetSurrogate dss = new DataSetSurrogate(DS);
BinaryFormatter ser = new BinaryFormatter();
MemoryStream ms = new MemoryStream();
ser.Serialize(ms, dss);
byte[] buffer = ms.ToArray();
byte[] Zipbuffer = Compress(buffer);
return Zipbuffer;
}
public byte[] Compress(byte[] data)
{
MemoryStream ms = new MemoryStream();
Stream zipStream = null;
zipStream = new GZipStream(ms, CompressionMode.Compress, true);
zipStream.Write(data, 0, data.Length);
zipStream.Close();
ms.Position = 0;
byte[] compressed_data = new byte[ms.Length];
ms.Read(compressed_data, 0, int.Parse(ms.Length.ToString()));
return compressed_data;
}
}
}
客户端调用:C/S
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;
using System.IO;
using System.IO.Compression;
using System.Data.SqlClient;
using System.Runtime.Serialization.Formatters.Binary;
namespace Test
{
public partial class Form1 : Form
{
public Form1()
{
InitializeComponent();
}
private void BindDataSet(DataSet DS)
{
this.dataGridView1.DataSource = DS.Tables[0];
}
private void button1_Click(object sender, EventArgs e)
{
com.dzbsoft.www.DataSetService ds = new Test.com.dzbsoft.www.DataSetService();
DateTime dtBegin = DateTime.Now;
DataSet DS = ds.GetDataSet();
this.label1.Text = string.Format("耗时：{0}", DateTime.Now - dtBegin);
BindDataSet(DS);
}
private void button2_Click(object sender, EventArgs e)
{
com.dzbsoft.www.DataSetService ds = new Test.com.dzbsoft.www.DataSetService();
DateTime dtBegin = DateTime.Now;
byte[] buffer = ds.GetDataSetBytes();
DataSet DS = ds.GetDataSet();
BinaryFormatter ser = new BinaryFormatter();
DataSet dataset = ser.Deserialize(new MemoryStream(buffer)) as DataSet;
this.label2.Text = string.Format("耗时：{0}", DateTime.Now - dtBegin + " " + buffer.Length.ToString());
BindDataSet(DS);
}
private void button3_Click(object sender, EventArgs e)
{
com.dzbsoft.www.DataSetService ds = new Test.com.dzbsoft.www.DataSetService();
DateTime dtBegin = DateTime.Now;
byte[] buffer = ds.GetDataSetSurrogateBytes();
BinaryFormatter ser = new BinaryFormatter();
DataSet DS = ds.GetDataSet();
DataSetSurrogate dss = ser.Deserialize(new MemoryStream(buffer)) as DataSetSurrogate;
DataSet dataset = dss.ConvertToDataSet();
this.label3.Text = string.Format("耗时：{0}", DateTime.Now - dtBegin + " " + buffer.Length.ToString());
BindDataSet(DS);
}
private void button4_Click(object sender, EventArgs e)
{
com.dzbsoft.www.DataSetService ds = new Test.com.dzbsoft.www.DataSetService();
DateTime dtBegin = DateTime.Now;
byte[] zipBuffer = ds.GetDataSetSurrogateZipBytes();
byte[] buffer = UnZipClass.Decompress(zipBuffer);
BinaryFormatter ser = new BinaryFormatter();
DataSet DS = ds.GetDataSet();
DataSetSurrogate dss = ser.Deserialize(new MemoryStream(buffer)) as DataSetSurrogate;
DataSet dataset = dss.ConvertToDataSet();
this.label4.Text = string.Format("耗时：{0}", DateTime.Now - dtBegin + " " + zipBuffer.Length.ToString());
BindDataSet(DS);
}
}
}
UnZipClass.cs
using System;
using System.Collections.Generic;
using System.Text;
using System.IO;
using System.IO.Compression;
namespace Test
{
public static class UnZipClass
{
/// <summary>
/// Decompresses the specified data.
/// </summary>
/// <param name="data">The data.</param>
/// <returns></returns>
public static byte[] Decompress(byte[] data)
{
try
{
MemoryStream ms = new MemoryStream(data);
Stream zipStream = null;
zipStream = new GZipStream(ms, CompressionMode.Decompress);
byte[] dc_data = null;
dc_data = EtractBytesFormStream(zipStream, data.Length);
return dc_data;
}
catch
{
return null;
}
}
public static byte[] EtractBytesFormStream(Stream zipStream, int dataBlock)
{
try
{
byte[] data = null;
int totalBytesRead = 0;
while (true)
{
Array.Resize(ref data, totalBytesRead + dataBlock + 1);
int bytesRead = zipStream.Read(data, totalBytesRead, dataBlock);
if (bytesRead == 0)
{
break;
}
totalBytesRead += bytesRead;
}
Array.Resize(ref data, totalBytesRead);
return data;
}
catch
{
return null;
}
}
}
}
④ java编程,为什么soa都要和webservice联系上呢
用一句话来概括基本的观点就是“SOA不是Web Service，Web Service是目前最适合实现SOA的技术”。 之所以SOA和Web Service被混为一谈，最可能的原因了也就在于此吧。
Web Service是就现在而言最适合实现SOA的一些技术的集合，事实上最近SOA的火爆在很大程度上归功于Web Service标准的成熟和应用的普及为广泛的实现SOA架构提供了基础。下面让我们看看Web Service中的各种协议是如何互相工作来满足SOA所需的特点的：
独立的功能实体：通过UDDI的目录查找，我们可以动态改变一个服务的提供方而无需影响客户端的应用程序配置。所有的访问都通过SOAP访问进行，只要WSDL接口封装良好，外界客户端是根本没有办法直接访问服务器端的数据的。
大数据量低频率访问：通过使用WSDL和基于文本(Literal)的SOAP请求，我们可以实现能一次性接收大量数据的接口。这里需要着重指出的是SOAP请求分文本方式和远程调用(RPC)两种方式，正如上文已经提到的，采用远程调用方式的SOAP请求并不符合这点要求。但是令人遗憾的是现有的大多数SOAP请求采用的仍然是远程调用(RPC)方式，在某些平台上，例如IBM WebSphere的早期版本，甚至没有提供文本方式的SOAP支持。
基于文本的消息传递：Web Service所有的通讯是通过SOAP进行的，而SOAP是基于XML的，不同版本之间可以使用不同的DTD或者XML Schema加以辨别和区分。因此只需要我们为不同的版本提供不同的处理就可以轻松实现版本控制的目标。
⑤ cxf怎样提高webservice性能，及访问速度调优
1、 启用FastInfoset(快速信息集)
webservice的性能实在是不敢恭维。曾经因为吞吐量上不
去，对webservice进行了一些性能方面的优化，采用了FastInfoset，效果很明显，极端条件下的大数据量传输，性能提高60%，他可以减
少传输成本，序列化成本和xml解析成本。
Cxf提供了FastInfoset协商机制，实现类见org.apache.cxf.feature.FastInfosetFeature，在bus中启用如下配置：
<cxf:features><cxf:fastinfoset force="false"/></cxf:features>
Force=false表示服务端和客户端第一次通信时会协商(通过检查标准的HTTP头的Accept字段，值为MIME类型的application/fastinfoset)是否启用FastInfoset支持，如果客户端不支持，则不启用快速信息集。
需要在pom中添加依赖：
<dependency>
<groupId>com.sun.xml.fastinfoset</groupId>
<artifactId>FastInfoset</artifactId>
<version>1.2.9</version>
<type>jar</type>
<scope>compile</scope>
</dependency>
FastInfoset参考：http://java.sun.com/developer/technicalArticles/xml/fastinfoset/
client和service端都要配置
2、 启用gzip压缩支持
客户端和服务器端是否使用Gzip压缩，也是基于http协议协商的(检查请求
header 中是否有Accept-encoding:gzip)。但是这里需要仔细权衡下。对于小数据量，启用gzip压缩支持是吃力不讨好的行为，
数据量很小的时候，gzip压缩结果不明显，还浪费cpu。我们需要权衡数据大小，按照经验设置threshold为10*1024byte。
在bus中启用如下配置：
<bean class="org.apache.cxf.transport.common.gzip.GZIPFeature ">
<property name="threshold"><value>10240</value></property>
</bean>
官方文档指定是是配置org.apache.cxf.transport.http.gzip.GZIPFeature，但是这个类会找不到，可能是官方文档年久失修，造成一些混乱。官方文档中也没提示指定threshold，请参考GZIPFeature源代码。
参考http://cxf.apache.org/docs/featureslist.html
3、 使用slf4j代替cxf默认日志组件
CXF 默认使用java.util.logging作为日志打印组件，其性能我就不过多评价，也不太便于我们做统一日志管理。目前系统使用的slf4j作为日志打印组件，替换如下：
在classpath中加入META-INF/cxf/org.apache.cxf.Logger文件，文件内容为
org.apache.cxf.common.logging.Slf4jLogger
4、 测试中启用日志
bus中加入<cxf:logging/>，请在测试环境中启用有助于debug
补充：
1、如何自定义返回码：
请求在service中处理遇到异
常后，会调用请求链中所有拦截器的handleFault方法，参考PhaseInterceptorChain#unwind，然后判断请求是否单向请
求，如果不是，则构建异常请求链，并构建异常message对象，调用异常请求链中的handleMessage 方法(参
考：)
JAXWSMethodInvoker
转发soap请求到指定对象的方法，如果在请求处理失败，调用updateHeader方法，把请求时的soap
header放入返回header中。但是不同通过继承JAXWSMethodInvoker来实现清除异常时soap
header也返回给客户端的问题，因为JAXWSMethodInvoker没有采用注入的机制
(JaxWsServerFactoryBean#createInvoker)也没有chain.异常时，会由这些拦截器处理返回请求：
setup []
prepare-send [MessageSenderInterceptor, Soap11FaultOutInterceptor]
pre-stream [LoggingOutInterceptor, StaxOutInterceptor]
pre-protocol [WebFaultOutInterceptor]
write [SoapOutInterceptor]
拦截器初始化类
我们可以在异常链中加入清理soap header的拦截器，清理掉在系统异常时soapheader中有信息的问题。
返回错误状态码，在执行Soap11FaultOutInterceptor拦截器中被写死。
message.put(org.apache.cxf.message.Message.RESPONSE_CODE, new Integer(500));
为了使返回数据中有错误码，需要在Soap11FaultOutInterceptor后面加入拦截器
2、在项目测试时遇到一个报错
invalid LOC header (bad
signature)，这个问题是因为jar包损坏照成的，虽然构建路径中有这个jar，但是还是会出现loadClass失败，清理maven 本地仓
库目录的jar，修改pom(比如加上一空行)让m2e重新加载。
3、Cxf中有一个很不错的特性，支持javascript访问soap
webservice，客户端访问http://localhost:8080/cxf/HelloWorld?js类似的请求，会生成
javascript 客户端，js编程时就可以使用此客户端提供的对象，启用此功能需要在引入
<import resource="classpath:META-INF/cxf/cxf-extension-javascript-client.xml" />并且在依赖中加入：
<dependency>
<groupId>org.apache.cxf</groupId>
<artifactId>cxf-rt-javascript</artifactId>
<version>2.4.1</version>
<type>jar</type>
<scope>compile</scope>
</dependency>
⑥ JAVA WebService 允许最大数据多少
这个不带了解！也不知道你是调用还是怎么了的！ 但是传进去的都不会遗留到WebService 必要的数据会存入库中！还有具体的xml文件！不知道你说的啥玩意
⑦ 初学Web Service笔记之怎样提高WebService性能大数据量网络传输处理
private void button4_Click(object sender, EventArgs e)
{
//实例化webservice对象
com.dzbsoft.www.DataSetService ds = new Test.com.dzbsoft.www.DataSetService();
DateTime dtBegin = DateTime.Now;
// 获取webservice返回的序列化并压缩后的字节里数组
byte[] zipBuffer = ds.GetDataSetSurrogateZipBytes();
//将字节流数组解压缩
byte[] buffer = UnZipClass.Decompress(zipBuffer);
//实例化一个序列化对象
BinaryFormatter ser = new BinaryFormatter();
// 获取dataset
DataSet DS = ds.GetDataSet();
// 将字节流转化为内存流，然后进行反序列化，最后强制转化为DataSetSurrogate类型
DataSetSurrogate dss = ser.Deserialize(new MemoryStream(buffer)) as DataSetSurrogate;
//DataSetSurrogate转化为Dataset对象
DataSet dataset = dss.ConvertToDataSet();
this.label4.Text = string.Format("耗时：{0}", DateTime.Now - dtBegin + " " + zipBuffer.Length.ToString());
//绑定数据控件
BindDataSet(DS);
}