4大数据库
『壹』 常用数据库有哪些
1、MS SQL数据库
MS指的是微软Microsoft,SQL是结构化查询语言.结合起来就是说:MS SQL是指微软的SQL Server数据库服务器,它是一个数据库平台,提供数据库的从服务器到终端的完整的解决方案,其中数据库服务器部分,是一个数据库管理系统,用于建立、使用和维护数据库。
2、ACCESS数据库
美国Microsoft公司于1994年推出的微机数据库管理系统。它具有界面友好、易学易用、开发简单、接口灵活等特点,是典型的新一代桌面数据库管理系统。其主要特点如下:
(1)完善地管理各种数据库对象,具有强大的数据组织、用户管理、安全检查等功能。
(2)强大的数据处理功能,在一个工作组级别的网络环境中,使用Access开发的多用户数据库管理系统具有传统的XBASE(DBASE、FoxBASE的统称)数据库系统所无法实现的客户服务器(Cient/Server)结构和相应的数据库安全机制,Access具备了许多先进的大型数据库管理系统所具备的特征,如事务处理/出错回滚能力等。
(3)可以方便地生成各种数据对象,利用存储的数据建立窗体和报表,可视性好。
(4)作为Office套件的一部分,可以与Office集成,实现无缝连接。
(5)能够利用Web检索和发布数据,实现与Internet的连接。 Access主要适用于中小型应用系统,或作为客户机/服务器系统中的客户端数据库。
提示:只有你的空间支持ASP,一般都支持ACCESS,ACCESS数据库一般免费,适合中小型网站。
3、My SQL数据库
My SQL是一个多用户、多线程的SQL数据库,是一个客户机/服务器结构的应用,它由一个服务器守护程序mysqld和很多不同的客户程序和库组成。
4、Oracle数据库
Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。到目前仍在数据库市场上占有主要份额。劳伦斯·埃里森和他的朋友,之前的同事Bob Miner和Ed Oates在1977年建立了软件开发实验室咨询公司(SDL,Software Development Laboratories)
5、DB2
IBM公司研制的一种关系型数据库系统。DB2主要应用于大型应用系统,具有较好的可伸缩性,可支持从大型机到单用户环境,应用于OS/2、Windows等平台下。 DB2提供了高层次的数据利用性、完整性、安全性、可恢复性,以及小规模到大规模应用程序的执行能力,具有与平台无关的基本功能和SQL命令。
DB2采用了数据分级技术,能够使大型机数据很方便地下载到LAN数据库服务器,使得客户机/服务器用户和基于LAN的应用程序可以访问大型机数据,并使数据库本地化及远程连接透明化。它以拥有一个非常完备的查询优化器而著称,其外部连接改善了查询性能,并支持多任务并行查询。 DB2具有很好的网络支持能力,每个子系统可以连接十几万个分布式用户,可同时激活上千个活动线程,对大型分布式应用系统尤为适用。
『贰』 什么是大数据它有哪四个基本特征
简言之,大数据源是指大数据集,这些数据集经过计算分析可以用于揭示某个方面相关的模式和趋势。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。
大数据的特点:数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。
大数据的5V特性:
『叁』 大数据和数据库的区别
大数据和以前的数据相比,有4个特点(4V):Volume(大量)、内Velocity(高速)、Variety(多样)、value(价值容)。volume指量,数据量大,这是大数据的基础;Velocity是指处理的速度;Variety指数据的维度;value指大数据能展现的价值,这是大数据的目的。
『肆』 大数据常用哪些数据库
通常数据库分为关系型数据库和非关系型数据库,关系型数据库的优势到现在也是无可替代的,比如MySQL、SQL Server、Oracle、DB2、SyBase、Informix、PostgreSQL以及比较小型的Access等等数据库,这些数据库支持复杂的SQL操作和事务机制,适合小量数据读写场景;但是到了大数据时代,人们更多的数据和物联网加入的数据已经超出了关系数据库的承载范围。
大数据时代初期,随着数据请求并发量大不断增大,一般都是采用的集群同步数据的方式处理,就是将数据库分成了很多的小库,每个数据库的数据内容是不变的,都是保存了源数据库的数据副本,通过同步或者异步方式保证数据的一致性,每个库设定特定的读写方式,比如主数据库负责写操作,从数据库是负责读操作,等等根据业务复杂程度以此类推,将业务在物理层面上进行了分离,但是这种方式依旧存在一定的负载压力的问题,企业数据在不断的扩增中,后面就采用分库分表的方式解决,对读写负载进行分离,但是这种实现依旧存在不足,且需要不断进行数据库服务器扩容。
NoSQL数据库大致分为5种类型
1、列族数据库:BigTable、HBase、Cassandra、Amazon SimpleDB、HadoopDB等,下面简单介绍几个
(1)Cassandra:Cassandra是一个列存储数据库,支持跨数据中心的数据复制。它的数据模型提供列索引,log-structured修改,支持反规范化,实体化视图和嵌入超高速缓存。
(2)HBase:Apache Hbase源于Google的Bigtable,是一个开源、分布式、面向列存储的模型。在Hadoop和HDFS之上提供了像Bigtable一样的功能。
(3)Amazon SimpleDB:Amazon SimpleDB是一个非关系型数据存储,它卸下数据库管理的工作。开发者使用Web服务请求存储和查询数据项
(4)Apache Accumulo:Apache Accumulo的有序的、分布式键值数据存储,基于Google的BigTable设计,建立在Apache Hadoop、Zookeeper和Thrift技术之上。
(5)Hypertable:Hypertable是一个开源、可扩展的数据库,模仿Bigtable,支持分片。
(6)Azure Tables:Windows Azure Table Storage Service为要求大量非结构化数据存储的应用提供NoSQL性能。表能够自动扩展到TB级别,能通过REST和Managed API访问。
2、键值数据库:Redis、SimpleDB、Scalaris、Memcached等,下面简单介绍几个
(1)Riak:Riak是一个开源,分布式键值数据库,支持数据复制和容错。(2)Redis:Redis是一个开源的键值存储。支持主从式复制、事务,Pub/Sub、Lua脚本,还支持给Key添加时限。
(3)Dynamo:Dynamo是一个键值分布式数据存储。它直接由亚马逊Dynamo数据库实现;在亚马逊S3产品中使用。
(4)Oracle NoSQL Database:来自Oracle的键值NoSQL数据库。它支持事务ACID(原子性、一致性、持久性和独立性)和JSON。
(5)Oracle NoSQL Database:具备数据备份和分布式键值存储系统。
(6)Voldemort:具备数据备份和分布式键值存储系统。
(7)Aerospike:Aerospike数据库是一个键值存储,支持混合内存架构,通过强一致性和可调一致性保证数据的完整性。
3、文档数据库:MongoDB、CouchDB、Perservere、Terrastore、RavenDB等,下面简单介绍几个
(1)MongoDB:开源、面向文档,也是当下最人气的NoSQL数据库。
(2)CounchDB:Apache CounchDB是一个使用JSON的文档数据库,使用Javascript做MapRece查询,以及一个使用HTTP的API。
(3)Couchbase:NoSQL文档数据库基于JSON模型。
(4)RavenDB:RavenDB是一个基于.NET语言的面向文档数据库。
(5)MarkLogic:MarkLogic NoSQL数据库用来存储基于XML和以文档为中心的信息,支持灵活的模式。
4、图数据库:Neo4J、InfoGrid、OrientDB、GraphDB,下面简单介绍几个
(1)Neo4j:Neo4j是一个图数据库;支持ACID事务(原子性、独立性、持久性和一致性)。
(2)InfiniteGraph:一个图数据库用来维持和遍历对象间的关系,支持分布式数据存储。
(3)AllegroGraph:AllegroGraph是结合使用了内存和磁盘,提供了高可扩展性,支持SPARQ、RDFS++和Prolog推理。
5、内存数据网格:Hazelcast、Oracle Coherence、Terracotta BigMemorry、GemFire、Infinispan、GridGain、GigaSpaces,下面简单介绍几个
(1)Hazelcast:Hazelcast CE是一个开源数据分布平台,它允许开发者在数据库集群之上共享和分割数据。
(2)Oracle Coherence:Oracle的内存数据网格解决方案提供了常用数据的快速访问能力,一致性支持事务处理能力和数据的动态划分。
(3)Terracotta BigMemory:来自Terracotta的分布式内存管理解决方案。这项产品包括一个Ehcache界面、Terracotta管理控制台和BigMemory-Hadoop连接器。
(4)GemFire:Vmware vFabric GemFire是一个分布式数据管理平台,也是一个分布式的数据网格平台,支持内存数据管理、复制、划分、数据识别路由和连续查询。
(5)Infinispan:Infinispan是一个基于Java的开源键值NoSQL数据存储,和分布式数据节点平台,支持事务,peer-to-peer 及client/server 架构。
(6)GridGain:分布式、面向对象、基于内存、SQL+NoSQL键值数据库。支持ACID事务。
(7)GigaSpaces:GigaSpaces内存数据网格能够充当应用的记录系统,并支持各种各样的高速缓存场景。
『伍』 什么是四大国家基础数据库
“四大基础数据库”在国家电子政务建设中具有重要的地位和作用,是国家信息化和电子政务建设的一项重要基础设施。无论在政务领域,还在企业领域,“四大基础数据库”有着广泛的应用场景和共享需求,四大基础数据库的建设不仅能实现数据的共享,同时在建设的过程本身也推进着各业务流程的整合及优化。
四大基础库分别是:人口基础数据库、法人数据库、宏观经济数据库,自然资源与空间地理数据库,也有的专家称“四大基础数据库”是国家层面四大主数据库。
1、人口信息数据库
人口信息库的主体包括公民身份号码、姓名、性别、民族、出生地等基本信息,还包括各部门业务系统在利用人口基本信息过程中产生的、其他部门存在共享需求的人口信息。
人口信息数据库主要来自公安局、人社局、民政局、卫生局、教育局等,另外我市在综治办、市民卡中心、便民服务中心也有部分数据。
2、法人单位信息数据库
法人单位信息数据库的数据主要来源于市场监督局的企业注册登记库和组织机构代码库,编办的事业单位注册登记、民政局的社会团体登记库、国税地税的税务数据库,以及统计局的基本单位普查库等。
3、自然资源和空间地理信息数据库
自然资源和空间地理信息数据库是以电子地图为基础,整合道路、行政区划、建筑、植被、地下管线等基础数据,以及土地利用、规划用地、园林绿化、生态环境、自然资源等专题数据。
4、宏观经济基础信息数据库
宏观经济基础信息数据包括全市主要经济指标、地方财政收入、税收完成情况、金融机构信贷情况、各镇(区)主要经济指标等信息,以统计经济信息为基础。
(5)4大数据库扩展阅读
近年来,全国各地都已开始积极建设“四大基础数据库”,并在“四大基础数据库”基础上建设“数字城市”,有些发达地区的地方政府已开始从“数字城市”向“智慧城市”转型升级,进入“大数据”时代。
习近平总书记指出“没有信息安全,就没有国家安全,没有信息化就没有现代化”,李克强总理也提出了“互联网+”概念,这充分说明了信息化的重要性。
“四大基础数据库”正是政府信息化建设的基础,对电子政务具有非常重要意义,既能加强政务资源的整合、共享与交换,打破信息孤岛,避免重复建设,又能推进政府职能部门业务协同,强化服务意识,通过数据加工和挖掘还能为政府决策提供知识依据和大数据的支持。
『陆』 大数据和传统数据库的区别是什么
现在的大数据分析,跟传统意义的分析有一个本质区别,就是传统的分析是基于结构化、关系性的数据。
而且往往是取一个很小的数据集,来对整个数据进行预测和判断。但现在是大数据时代,理念已经完全改变了,现在的大数据分析,是对整个数据全集直接进行存储和管理分析
『柒』 数据库有几大厂商
一、开放性
1. SQL Server
只能在windows上运行,没有丝毫的开放性,操作系统的系统的稳定对数据库是十分重要的。Windows9X系列产品是偏重于桌面应用,NT server只适合中小型企业。而且windows平台的可靠性,安全性和伸缩性是非常有限的。它不象unix那样久经考验,尤其是在处理大数据库。
2. Oracle
能在所有主流平台上运行(包括 windows)。完全支持所有的工业标准。采用完全开放策略。可以使客户选择最适合的解决方案。对开发商全力支持。
3. Sybase ASE
能在所有主流平台上运行(包括 windows)。 但由于早期Sybase与OS集成度不高,因此VERSION11.9.2以下版本需要较多OS和DB级补丁。在多平台的混合环境中,会有一定问题。
4. DB2
能在所有主流平台上运行(包括windows)。最适于海量数据。DB2在企业级的应用最为广泛,在全球的500家最大的企业中,几乎85%以上用DB2数据库服务器,而国内到97年约占5%。
二、可伸缩性,并行性
1. SQL server
并行实施和共存模型并不成熟,很难处理日益增多的用户数和数据卷,伸缩性有限。
2. Oracle
并行服务器通过使一组结点共享同一簇中的工作来扩展windownt的能力,提供高可用性和高伸缩性的簇的解决方案。如果windowsNT不能满足需要,用户可以把数据库移到UNIX中。Oracle的并行服务器对各种UNIX平台的集群机制都有着相当高的集成度。
3. Sybase ASE
虽然有DB SWITCH来支持其并行服务器,但DB SWITCH在技术层面还未成熟,且只支持版本12.5以上的ASE SERVER。DB SWITCH技术需要一台服务器充当SWITCH,从而在硬件上带来一些麻烦。
4. DB2
具有很好的并行性。DB2把数据库管理扩充到了并行的、多节点的环境。数据库分区是数据库的一部分,包含自己的数据、索引、配置文件、和事务日志。数据库分区有时被称为节点安全性。
三、安全认证
1. SQL server
没有获得任何安全证书。
2. Oracle Server
获得最高认证级别的ISO标准认证。
3. Sybase ASE
获得最高认证级别的ISO标准认证。
4. DB2
获得最高认证级别的ISO标准认证。
四、性能
1. SQL Server
多用户时性能不佳
2. Oracle
性能最高, 保持开放平台下的TPC-D和TPC-C的世界记录。
3. Sybase ASE
性能接近于SQL Server,但在UNIX平台下的并发性要优与 SQL Server。
4. DB2
性能较高适用于数据仓库和在线事物处理。
五、客户端支持及应用模式
1. SQL Server
C/S结构,只支持windows客户,可以用ADO、DAO、OLEDB、ODBC连接。
2. Oracle
多层次网络计算,支持多种工业标准,可以用ODBC、JDBC、OCI等网络客户连接。
3. Sybase ASE
C/S结构,可以用ODBC、Jconnect、Ct-library等网络客户连接。
4. DB2
跨平台,多层结构,支持ODBC、JDBC等客户。
六、操作简便
1. SQL Server
操作简单,但只有图形界面。
2. Oracle
较复杂,同时提供GUI和命令行,在windowsNT和unix下操作相同。
3. Sybase ASE
较复杂,同时提供GUI和命令行。但GUI较差,常常无法及时状态,建议使用命令行。
4. DB2
操作简单,同时提供GUI和命令行,在windowsNT和unix下操作相同。
七、使用风险
1. SQL server
完全重写的代码,经历了长期的测试,不断延迟,许多功能需要时间来证明。并不十分兼容。
2. Oracle
长时间的开发经验,完全向下兼容。得到广泛的应用。完全没有风险。
3. Sybase ASE
向下兼容, 但是ct-library 程序不益移植。
4. DB2
在巨型企业得到广泛的应用,向下兼容性好。风险小。
『捌』 数据库大数据
传统数据库处理大数据很困难吧,不建议使用传统数据库来处理大数据。
建议研究下,Hadoop,Hive等,可处理大数据。
如果有预算,可以使用一些商业大数据产品,国内的譬如永洪科技的大数据BI产品,不仅能高性能处理大数据,还可做数据分析。
当然如果是简单的查询,传统数据库如果做好索引,可能可以提高性能。
『玖』 比较常见的数据库系统都有哪些请至少列举4个以上。
Mysql, Oracle, SQL Server, Access, DB2
一、开放性
1. SQL Server
只能在windows上运行,没有丝毫的开放性,操作系统的系统的稳定对数据库是十分重要的。Windows9X系列产品是偏重于桌面应用,NT server只适合中小型企业。而且windows平台的可靠性,安全性和伸缩性是非常有限的。它不象unix那样久经考验,尤其是在处理大数据库。
2. Oracle
能在所有主流平台上运行(包括 windows)。完全支持所有的工业标准。采用完全开放策略。可以使客户选择最适合的解决方案。对开发商全力支持。
3. Sybase ASE
能在所有主流平台上运行(包括 windows)。 但由于早期Sybase与OS集成度不高,因此VERSION11.9.2以下版本需要较多OS和DB级补丁。在多平台的混合环境中,会有一定问题。
4. DB2
能在所有主流平台上运行(包括windows)。最适于海量数据。DB2在企业级的应用最为广泛,在全球的500家最大的企业中,几乎85%以上用DB2数据库服务器,而国内到97年约占5%。
二、可伸缩性,并行性
1. SQL server
并行实施和共存模型并不成熟,很难处理日益增多的用户数和数据卷,伸缩性有限。
2. Oracle
并行服务器通过使一组结点共享同一簇中的工作来扩展windownt的能力,提供高可用性和高伸缩性的簇的解决方案。如果windowsNT不能满足需要,用户可以把数据库移到UNIX中。Oracle的并行服务器对各种UNIX平台的集群机制都有着相当高的集成度。
3. Sybase ASE
虽然有DB SWITCH来支持其并行服务器,但DB SWITCH在技术层面还未成熟,且只支持版本12.5以上的ASE SERVER。DB SWITCH技术需要一台服务器充当SWITCH,从而在硬件上带来一些麻烦。
4. DB2
具有很好的并行性。DB2把数据库管理扩充到了并行的、多节点的环境。数据库分区是数据库的一部分,包含自己的数据、索引、配置文件、和事务日志。数据库分区有时被称为节点安全性。
三、安全认证
1. SQL server
没有获得任何安全证书。
2. Oracle Server
获得最高认证级别的ISO标准认证。
3. Sybase ASE
获得最高认证级别的ISO标准认证。
4. DB2
获得最高认证级别的ISO标准认证。
四、性能
1. SQL Server
多用户时性能不佳
2. Oracle
性能最高, 保持开放平台下的TPC-D和TPC-C的世界记录。
3. Sybase ASE
性能接近于SQL Server,但在UNIX平台下的并发性要优与 SQL Server。
4. DB2
性能较高适用于数据仓库和在线事物处理。
五、客户端支持及应用模式
1. SQL Server
C/S结构,只支持windows客户,可以用ADO、DAO、OLEDB、ODBC连接。
2. Oracle
多层次网络计算,支持多种工业标准,可以用ODBC、JDBC、OCI等网络客户连接。
3. Sybase ASE
C/S结构,可以用ODBC、Jconnect、Ct-library等网络客户连接。
4. DB2
跨平台,多层结构,支持ODBC、JDBC等客户。
六、操作简便
1. SQL Server
操作简单,但只有图形界面。
2. Oracle
较复杂,同时提供GUI和命令行,在windowsNT和unix下操作相同。
3. Sybase ASE
较复杂,同时提供GUI和命令行。但GUI较差,常常无法及时状态,建议使用命令行。
4. DB2
操作简单,同时提供GUI和命令行,在windowsNT和unix下操作相同。
七、使用风险
1. SQL server
完全重写的代码,经历了长期的测试,不断延迟,许多功能需要时间来证明。并不十分兼容。
2. Oracle
长时间的开发经验,完全向下兼容。得到广泛的应用。完全没有风险。
3. Sybase ASE
向下兼容, 但是ct-library 程序不益移植。
4. DB2
在巨型企业得到广泛的应用,向下兼容性好。风险小。
『拾』 大数据包括哪些
大数据技术庞大复杂,基础的技术包含数据的采集、数据预处理、分布式存回储、NoSQL数据库答、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。
大数据主要技术组件:Hadoop、HBase、kafka、Hive、MongoDB、Redis、Spark 、Storm、Flink等。
大数据技术包括数据采集,数据管理,数据分析,数据可视化,数据安全等内容。数据的采集包括传感器采集,系统日志采集以及网络爬虫等。数据管理包括传统的数据库技术,nosql技术,以及对于针对大规模数据的大数据平台,例如hadoop,spark,storm等。数据分析的核心是机器学习,当然也包括深度学习和强化学习,以及自然语言处理,图与网络分析等。