大数据存储市场规模
1. 大数据行业发展现状与未来前景分析
近年来，全球正大步迈向大数据新时代，数据的高效存储、处理和分析等需求也越来越旺盛。在此背景下，行业大数据得以高速发展，应用于各个领域，根据IDC发布的有关数据预测，2025年市场规模将达到19508亿元的高点。
全球大数据储量呈爆发式增长
随着信息通信技术的发展，各行各业信息系统采集、处理和积累的数据量越来越多，全球大数据储量呈爆炸式增长。根据国际数据公司(IDC)的监测数据显示，2013年全球大数据储量为4.3ZB(相当于47.24亿个1TB容量的移动硬盘)，2014年和2015年全球大数据储量分别为6.6ZB和8.6ZB。近几年全球大数据储量的增速每年都保持在40%，2016年甚至达到了87.21%的增长率。2016年和2017年全球大数据储量分别为16.1ZB和21.6ZB，2018年全球大数据储量达到33.0ZB，2019年全球大数据储量达到41ZB。
—— 以上数据及分析均来自于前瞻产业研究院《中国行业大数据市场发展前景预测与投资战略规划分析报告》。
2. 大数据发展现状怎样
大数据范畴已有很多成功的大数据使用，但就其效果和深度而言，当时大数据使用尚处于专初级阶段，属依据大数据剖析猜测未来、指导实践的深层次使用将成为发展要点。当时，在大数据使用的实践中，描述性、猜测性剖析使用多，决议计划指导性等更深层次剖析使用偏少。
大数据管理系统远未形成，特别是隐私维护、数据安全与数据同享使用功率之间尚存在明显矛盾，成为限制大数据发展的重要短板，各界已经意识到构建大数据管理系统的重要意义。其间，隐私、安全与同享使用之间的矛盾问题尤为凸显。一方面，数据同享敞开的需求非常火急;另一方面，数据的无序流通与同享，又或许导致隐私维护和数据安全方面的严重风险，必须对其加以标准和限制。
数据规模高速增加，现有技能系统难以满意大数据使用的需求，大数据理论与技能远未成熟，未来信息技能系统将需求颠覆式创新和变革。近年来，大数据获取、存储、管理、处理、剖析等相关的技能已有显著发展，可是大数据技能系统尚不完善，大数据基础理论的研究仍处于萌芽期。
3. 详解大数据存储：哪些问题最容易出现
数据是重要的生产要素
信息时代，数据俨然已成为一种重要的生产要素，如同资本、劳动力和原材料等其他要素一样，而且作为一种普遍需求，它也不再局限于某些特殊行业的应用。各行各业的公司都在收集并利用大量的数据分析结果，尽可能的降低成本，提高产品质量、提高生产效率以及创造新的产品。例如，通过分析直接从产品测试现场收集的数据，能够帮助企业改进设计。此外，一家公司还可以通过深入分析客户行为，对比大量的市场数据，从而超越他的竞争对手。
存储技术必须跟上
随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的，就这个例子来说，我们很明显的看到大数据分析应用需求正在影响着数据存储基础设施的发展。
从另一方面看，这一变化对存储厂商和其他IT基础设施厂商未尝不是一个机会。随着结构化数据和非结构化数据量的持续增长，以及分析数据来源的多样化，此前存储系统的设计已经无法满足大数据应用的需要。存储厂商已经意识到这一点，他们开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。在这里，我们会讨论哪些与大数据存储基础设施相关的属性，看看它们如何迎接大数据的挑战。
容量问题
这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。基于这样的需求，客户现在越来越青睐Scale-out架构的存储。Scale-out集群结构的特点是每个节点除了具有一定的存储容量之外，内部还具备数据处理能力以及互联设备，与传统存储系统的烟囱式架构完全不同，Scale-out架构可以实现无缝平滑的扩展，避免存储孤岛。
“大数据”应用除了数据规模巨大之外，还意味着拥有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题，处理不当的话会影响到系统的扩展能力和性能，而传统的NAS系统就存在这一瓶颈。所幸的是，基于对象的存储架构就不存在这个问题，它可以在一个系统中管理十亿级别的文件数量，而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力，可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。
延迟问题
“大数据”应用还存在实时性的问题。特别是涉及到与网上交易或者金融类相关的应用。举个例子来说，网络成衣销售行业的在线广告推广服务需要实时的对客户的浏览记录进行分析，并准确的进行广告投放。这就要求存储系统在必须能够支持上述特性同时保持较高的响应速度，因为响应延迟的结果是系统会推送“过期”的广告内容给客户。这种场景下，Scale-out架构的存储系统就可以发挥出优势，因为它的每一个节点都具有处理和互联组件，在增加容量的同时处理能力也可以同步增长。而基于对象的存储系统则能够支持并发的数据流，从而进一步提高数据吞吐量。
有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质的可扩展存储系统等等都在蓬勃发展。
并发访问 一旦企业认识到大数据分析应用的潜在价值，他们就会将更多的数据集纳入系统进行比较，同时让更多的人分享并使用这些数据。为了创造更多的商业价值，企业往往会综合分析那些来自不同平台下的多种数据对象。包括全局文件系统在内的存储基础设施就能够帮助用户解决数据访问的问题，全局文件系统允许多个主机上的多个用户并发访问文件数据，而这些数据则可能存储在多个地点的多种不同类型的存储设备上。
4. 大数据量数据存储问题
大数据（big
data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）
5. “大数据” 到底有多大
截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、专EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。属
国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为
1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是
200PB，全人类历史上说过的所有话的数据量大约是5EB。
IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44
倍。每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。然而，即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在
内的各种通信，以及上传的全部图片、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。这样的趋势会持续下去。
6. 工业大数据市场现状及前景调研
我国工业大数据处于起步阶段
工业大数据是指在工业领域信息化应用中所产生的数据，是工业互联网的核心，是工业智能化发展的关键。工业大数据是基于网络互联和大数据技术，贯穿于工业的设计、工艺、生产、管理、服务等各个环节，使工业系统具备描述、诊断、预测、决策、控制等智能化功能的模式和结果。
工业大数据从类型上主要分为现场设备数据、生产管理数据和外部数据。
更多数据来来源及分析请参考于前瞻产业研究院《中国工业大数据产业发展前景与投资战略规划分析报告》。
7. 大数据打开存储市场新空间
大数据打开存储市场新空间
以大数据在全球的发展状态来看，可谓是风声水起，中国大数据发展的步伐也越来越快。虽然目前中国大数据市场还处在初级阶段，但发展迅猛，应用极其广泛，不管是云计算、物联网、智慧城市还是移动互联都要与大数据携手并进。
都说未来是数据为王的时代，大数据应用将会越来越广泛的落地在各个领域，大数据绝对是企业未来实现业务突破的重点。那么，到底大数据和存储有什么样的关系呢？
三大点囊括大数据需求
大数据就是大量的数据，人们用它来描述和定义信息爆炸时代产生的海量数大数据时代来临。那么，大数据到底有多大？有资料显示，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多；发出的社区帖子达200万个；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万而到了2020年，全世界所产生的数据规模将达到今天的44倍……
事实上，大数据不仅是大，它的复杂性对于各行各业的企业而言都是一个头疼的问题。因为客户无法在一定时间内使用传统数据库软件工具对大数据内容进行抓取、管理和处理的数据集。几乎所有的企业都会关注在处理有意义的大数据之上。谈到这一点就一定要结合中国的大数据特点来看，正是因为这些特点促成了今天中国的行业客户面对大数据应用时的需求在一定程度上存在的共性。简而言之可以归结为以下三点：
首先，数据体量大，这些大型的数据集有可能会达到PB规模。 说到这个数据量级，人们首先会联想到学数字图书馆，高校数字图书馆或是国家数字图书馆可以说是开启了大数据时代PB级数据管理的一个典型案例。这要求信息基础架构平台能够动态地支持多重数据，满足人们对数字的不同性能要求、不同的容量要求，并且随时能够改变；需要有效地管理共享资源，存储资源按需分配，同时通过配额管理功能，以提高利用率。
其次，数据类别繁琐，囊括了半结构化和非结构化数据，从而促使客户需要借助智能工具，实现对所有类型数据的索引、搜索和发掘。最后，所有的这些大数据应用的需求，都能够为企业带来价值。虽然很多企业都拥有可用的、高质量的海量数据，但如何保护这些海量、非结构化的用户数据，并时时进行信息挖掘，给未来教育带来更大的可能，则对行业技术研究者的想象力提出了挑战。另一方面，数据是各个行业经营、管理和决策的重要基础，数据综合利用是近年来也是各行各业信息化建设的核心。使企业持续发展的数据业务建设提速，给各行业运营中心对数据进行集中处理提出了更高的要求，这也成为行业客户发展规划中的重要内容。
最后，安全性，自2005年，美国银行加密的磁带丢失，造成了大量客户资料泄露，从此以后，数据存储的安全性就一直受到人们的关注。随着云计算和大数据技术落地，大数据信息存储的安全性又一次被重视，各行各业客户同样面临着数据时代的挑战。
存储应对大数据多样需求
综上所述，各行各业对于大数据应用的需求、性能的关注、可靠性的要求，同时也是企业需要满足自身对于业务系统的需求，而基于存储对大数据的可管理性、高性能、容灾保护、资源整合和总体成本等方面的性能，几乎囊括了满足大数据多样需求的可能。
今天，随着“互联网+”时代的进程加速，信息化建设突飞猛进，数据信息量的快速增长的大数据时代，处理大数据的真谛就是利用存储在海量数据中淘金的过程。
那么，存储是如何应对数据需求增长的呢？
存储适用于各行的数据灵活方案
结合整个行业来看，存储能够帮助客户应对在医疗、生命科学、能源研究、社会基础设施等各领域的诸多挑战和需求。
首先，针对大数据的容量需求，利用针对结构化数据的虚拟存储平台是大数据处理的一个很好方案。可实现将其全部虚拟化，并将同一类型的硬盘（如SSD、SAS、SATA）重新“捆绑”在一起。针对结构化数据的存取动态分层技术。一定要“快”。可以根据数据被调用的频率，自动将常用的数据搬到最高层，提高效率。
其次，针对大数据最于难应对的非结构化数据，数据存储介质，大致经历几个阶段：较早以前是用光盘刻录数据，这种方式费时费力。[大数据魔方]后来，改用磁带库，成本低，存取也很快。如果磁带在磁带库中，每分钟可调取几百 M 数据，如果不在磁带库中，就要先找到磁带。但是今天，这些方案都不能满足客户业务的即时性和连续性需求。
最后，所有的大数据方案都是为了给客户带来大价值。虽然拥有庞大的数据，但是躺在那里睡觉的数据是没有任何价值的，只有盘活这些数据，才能体现出数据资产的价值。只有可利用的解决方案，才能充分发掘数据资产的价值。
目前，虽然中国大数据市场还处在初级阶段，但增速非常迅猛，应用也极其广泛，不管是云计算、物联网、智慧城市还是移动互联都要与大数据扯上关系。未来是数据为王的时代，大数据应用将会越来越广泛的落地在各个领域，而存储绝对是企业未来应用大数据实现业务突破的重要媒介。
8. 大数据时代，我国数据量究竟有多大
从2013年初开始，对于大数据爆发的焦虑感，紧迫感，不由自主地被卷入的甚至无力的感觉，驱动众多行业、企业和团体去关注和开始接触和了解大 数据，自觉或不自觉的，主动或不得已地去融入这波洪流。但是，真的说到大数据，我们中国到底有多少数据量，它们都分布在哪些行业，哪些数据是目 前可用的，哪些行业已经在使用数据，进入产业互联网和数据引导的变革了？
可能看到的版图依旧模糊。因此，我们怀抱很好的希望，以第一个吃螃蟹并期待来自行业的矫正和拍砖的态度，首先尝试对于国内各个领域，行业以 及机构的数据拥有情况，使用情况以及未来路径做一个粗犷地调研、梳理和判断，对大数据时代我国各个领域数据资产的拥有和使用情况，也就是我们数 据资产的家底做个盘点，也对各个行业、系统进军大数据，以及拥抱产业互联网的进度和未来做个简单判断。事实上，大数据之题无疑繁若星辰，然而只 有在相对完整的视图下，繁星若尘，我们才可得以一窥天机。
从我们手头掌握的数据来看，2013年度，中国存储市场出货容量超过1个EB（1EB=多少），存储总量而IDC曾经发布的预测表明在未来的3-4年，中国存储总 容量可能达到18个EB。从数据存储市场的需求来看，互联网、医疗健康、通信、公共安全以及军工等行业的需求是主要的，且上升态势明显。
鉴于存储和服务器的紧密相关，我们从已经获得的资料可以知道，目前全球运行的服务器总量超过5000万台，美国国内运行的服务器总体容量接近 1000万台。从各种市场公开数据来看，2013年中国内地服务器销售总数接近为100万台。大体估算，截止到2013年底，中国内地整体在运行的服务器总数 量在300万台以上。
从现有存储容量看，中国目前可存储数据容量大约在8EB-10EB左右，现有的可以保存下来的数据容量大约在5EB左右，且每两年左右会翻上一倍。这些 被存储数据的大体分布为：媒体/互联网占据现有容量的1/3，政府部门/电信企业占据1/3，其他的金融、教育、制造、服务业各部分占据剩余1/3数据量 。
公开数据显示，互联网搜索巨头网络2013年拥有数据量接近EB级别、阿里、腾讯声明自己存储的数据总量都达到了百PB以上。此外，电信、医疗、金 融、公共安全、交通、气象等各个方面保存的数据量也都达到数十或者上百PB级别。
在目前被广泛引用的IDC和EMC联合发布的“2020年的数字宇宙”报告 预测到2020年，全球数字宇宙将会膨胀到40ZB，均摊每个人身上是5200GB以上，这个量将会如何被有效存储和应用，我们眼下还很难想象。然而我们 看到该报告指出，从现在起到2020年，全球数字宇宙的膨胀率大约为每两年翻一番。事实上，根据上述调查结论和服务器容量调查，我们也能做出个相对 合理的推断：目前，全球产生的数据量中仅有1%左右的数据能够被保存下来，也就是说今天全球能够被保存下来的数据也就是在50EB左右，而其中被标记 并用于分析的数据更是不到10%。
作为全球人口和计算设备保有量的大国，我国每年所能产生的数据量也极为庞大，有数据说2014年甚至可能达到ZB级别，但是真正被有效存储下来的 数据仅仅是其中极微少部分，中国保存下来数据占全球数据的比例大约在10%左右，也就是上面说的5EB。这些数据中，目前已被标记并用于分析的数据仅 达到500PB左右，也是接近10%的一个比例。
伴随着云计算迅速普及和各行业，各企业和部门对于数据资产保存和利用意识的增强，以及通过互联网、大数据对产业进行变革的意愿，未来2-3年一 定会有越来越多的行业、大企业步入到PB、百PB、甚至EB级别数据俱乐部，未来3-3年中国的数据总量也将呈翻倍上升态势，我们预测2015年中国就可能 突破10EB数据保有量，被标签和分析利用数据量也将上升到EB级别，这些数据增长中互联网、政务、医疗、教育、安全等行业和领域所做贡献最大，而相 对传统的物流、生产制造、甚至农业等领域数据拥有量的增长将更加明显。