国土资源大数据挖掘
Ⅰ 大数据挖掘主要涉及哪些技术
1、数据科学与大数据技术
本科专业，简称数据科学或大数据。
2、大数据技术与应用
高职院校专业。
相关专业名称：大数据管理与应用、大数据采集与应用等。
大数据专业强调交叉学科特点，以大数据分析为核心，以统计学、计算机科学和数学为三大基础支撑性学科，培养面向多层次应用需求的复合型人才。
Ⅱ 大数据挖掘比较专业的公司都有哪些
之前有了解到一个数据挖掘工具TempoAI，体验很好，内置的算法很全面，是一个低调的工具，是美林数据的产品。
Ⅲ 什么是大数据分析与挖掘
大数据也不仅仅是一个新名词，而是一场无法避开的风暴。举个例子吧，在美国沃尔玛超市，尿布与啤酒这两个风马牛不相及产品通常摆在一起出售，而且销售量还相当不错。原来啊，是沃尔玛利用庞大的数据系统，对其顾客的购物行为进行购物篮分析时发现，一些年轻的父亲下班后经常到超市买婴儿尿布，他们中40%的人同时也为自己买一些啤酒。因此，超市将两者摆在一起出售后，取得了销量倍增的效果。
Ⅳ 大数据挖掘需要学习哪些技术大数据的工作
首先
我由各种编程语言的背景——matlab,R,java,C/C++,python,网络编程等
我又一定的数学基础——高数，线代，概率论，统计学等
我又一定的算法基础——经典算法，神经网络，部分预测算法，群智能算法等
但这些目前来讲都不那么重要，但慢慢要用到
Step 1：大数据理论，方法和技术
大数据理论——啥都不说，人家问你什么是大数据时，你能够讲到别人知道什么是大数据
大数据方法——然后别人问你，那怎么实现呢？嗯，继续讲：说的是方法（就好像归并排序算法：分，并）。到目前外行人理解无障碍
大数据技术——多嘴的人继续问：用的技术。
这阶段只是基础，不涉及任何技术细节，慢慢看慢慢总结，积累对“大数据”这个词的理解。
Step 2：大数据思维
Bang~这是继Step 1量变发展而来的质变：学了那么久“大数据”，把你扔到制造业，你怎么办？
我想，这就是“学泛”的作用吧，并不是学到什么具体东西，而是学到了对待事物的思维。
----------------------------------------------------------------------
以下阶段我还没开始=_=，不好误导大家
Step 3：大数据技术基础
Step 4：大数据技术进阶
Step 5：打实战
Step 6：大融合
Ⅳ 大数据挖掘通常用哪些软件
1.RapidMiner
只要是从事开源数据挖掘相关的业内人士都知道，RapidMiner在数据挖掘工具榜上虎踞榜首，叫好叫座。是什么让RapidMiner得到如此厚誉呢?首先，RapidMiner功能强大，它除了提供优秀的数据挖掘功能，还提供如数据预处理和可视化、预测分析和统计建模、评估和部署等功能。更厉害的是，它还提供来自WEKA(一种智能分析环境)和R脚本的学习方案、模型和算法，让它成为业界的一棵常春藤。
用Java语言编写的RapidMiner，是通过基于模板的框架为用户提供先进的分析技术的。它最大的好处就是，作为一个服务提供给用户，而不是一款本地软件，用户无需编写任何代码，为用户尤其是精于数据分析但不太懂编程的用户带来了极大的方便。
2.R-Programming
R语言被广泛应用于数据挖掘、开发统计软件以及数据分析中。你以为大名鼎鼎的R只有数据相关功能吗?其实，它还提供统计和制图技术，包括线性和非线性建模，经典的统计测试，时间序列分析、分类、收集等等。
R，R-programming的简称，统称R。作为一款针对编程语言和软件环境进行统计计算和制图的免费软件，它主要是由C语言和FORTRAN语言编写的，并且很多模块都是由R编写的，这是R一个很大的特性。而且，由于出色的易用性和可扩展性，也让R的知名度在近年来大大提高了，它也逐渐成为数据人常用的工具之一。
3.WEKA
WEKA支持多种标准数据挖掘任务，包括数据预处理、收集、分类、回归分析、可视化和特征选取，由于功能多样，让它能够被广泛使用于很多不同的应用——包括数据分析以及预测建模的可视化和算法当中。它在GNU通用公共许可证下是免费的，这也是它与RapidMiner相比的优势所在，因此，用户可以按照自己的喜好选择自定义，让工具更为个性化，更贴合用户的使用习惯与独特需求。
很多人都不知道，WEKA诞生于农业领域数据分析，它的原生的非Java版本也因此被开发了出来。现在的WEKA是基于Java版本的，比较复杂。令人欣喜的是，当它日后添加了序列建模之后，将会变得更加强大，虽然目前并不包括在内。但相信随着时间的推移，WEKA一定会交出一张很好看的成绩单。
4.Orange
对很多数据人来说，Orange并不是一个陌生的名字，它不仅有机器学习的组件，还附加有生物信息和文本挖掘，可以说是充满了数据分析的各种功能。而且，Orange的可视化编程和Python脚本如行云流水，定能让你拥有畅快的使用感。
Orange是一个基于Python语言的功能强大的开源工具，如果你碰巧是一个Python开发者，当需要找一个开源数据挖掘工具时，Orange必定是你的首选，当之无愧。无论是对于初学者还是专家级大神来说，这款与Python一样简单易学又功能强大的工具，都十分容易上手。
5.NLTK
著名的开源数据挖掘工具——NLTK，提供了一个语言处理工具，包括数据挖掘、机器学习、数据抓取、情感分析等各种语言处理任务，因此，在语言处理任务领域中，它一直处于不败之地。
想要感受这款深受数据人喜爱的工具的用户，只需要安装NLTK，然后将一个包拖拽到最喜爱的任务中，就可以继续葛优瘫N日游了，高智能性也是这款工具受人喜爱的最大原因之一。另外，它是用Python语言编写的，用户可以直接在上面建立应用，还可以自定义小任务，十分便捷。
6.KNIME
KNIME是一个开源的数据分析、报告和综合平台，同时还通过其模块化数据的流水型概念，集成了各种机器学习的组件和数据挖掘。我们都知道，提取、转换和加载是数据处理最主要的三个部分，而这三个部分，KNIME均能出色地完成。同时，KNIME还为用户提供了一个图形化的界面，以便用户对数据节点进行进一步的处理，十分贴心。
基于Eclipse，用Java编写的KNIME拥有易于扩展和补充插件特性，还有可随时添加的附加功能。值得一提的是，它的大量的数据集成模块已包含在核心版本中。良好的性能，更让KNIME引起了商业智能和财务数据分析的注意。
Ⅵ 大数据挖掘方法有哪些
谢邀。
大数据挖掘的方法：
神经网络方法
神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。
遗传算法
遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。
决策树方法
决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大规模的数据处理。
粗集方法
粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点：不需要给出额外信息;简化输入信息的表达空间;算法简单，易于操作。粗集处理的对象是类似二维关系表的信息表。
覆盖正例排斥反例方法
它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子，到反例集合中逐个比较。与字段取值构成的选择子相容则舍去，相反则保留。按此思想循环所有正例种子，将得到正例的规则(选择子的合取式)。
统计分析方法
在数据库字段项之间存在两种关系：函数关系和相关关系，对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析。可进行常用统计、回归分析、相关分析、差异分析等。
模糊集方法
即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高，模糊性越强，一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。
Ⅶ 大数据挖掘的算法有哪些
数据挖掘本质还是机器学习算法
具体可以参见《数据挖掘十大常见算法》
常用的就是：SVM，决策树，朴素贝叶斯，逻辑斯蒂回归等
主要解决分类和回归问题
Ⅷ 大数据挖掘常用的方法有哪些
1. Analytic Visualizations（可视化分析）
不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。
2. Data Mining Algorithms（数据挖掘算法）
可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。
3. Predictive Analytic Capabilities（预测性分析能力）
数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
4. Semantic Engines（语义引擎）
由于非结构化数据的多样性带来了数据分析的新的挑战，需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。
5. Data Quality and Master Data Management（数据质量和数据管理）
数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。
Ⅸ 关于国土资源数据整合问题的思考
王万群
（河南省国土资源厅信息中心）
摘要：通过对国土资源数据现状的分析，结合当前正在开展的“金土工程”项目，提出了国土资源数据整合和数据库建设的建议。
关键词：数据整合；国土资源；数据库
1 问题的提出
在国土资源信息化建设过程中，由于现有的国土资源数据标准不一、格式多样、分散管理，因此形成“数据孤岛”，如异构数据库、数据结构差异和数据含义不同等。数据整合就是通过数据转译和通讯，解决异构数据库的共享、使数据结构和数据含义统一，消除数据孤岛，实现数据的全方位共享。因此，整合现有各部门的国土资源数据，消除管理中存在的“信息孤岛”，建立数据共享平台，从而更好更有效地实现各级国土资源数据的信息共享、集中使用和有效规划，是国土资源管理部门迫切需要解决的问题，因此开展国土资源数据库整合，并规范其技术要求将具有深远的现实意义：
（1）通过开展国土资源数据库整合，可以减少数据的不一致和延迟，实现数据的规范化，建立国土资源信息多数据源唯一标识，进行数据合并与格式转换、数据清理、数据更新、数据录入并集中存储，为管理阶层提供即时的信息。
（2）通过开展国土资源数据库整合，可以形成覆盖全面、结构与标准统一、内容完整的基础数据库群，达到国土业务系统运行的要求。
（3）通过开展国土资源数据库整合可以避免重复建设；将保证信息化基础设施建设的优质高效、信息网络的无缝连接、信息的安全与可靠，为有效地开发和利用信息资源，实现国土资源信息的共享服务。
2 数据整合的原则
现行的国土资源数据库按照所使用的数据库管理系统和建设标准的不同可以分为同构同标准数据库、同构不同标准数据库、异构同标准数据库、异构不同标准数据库，针对不同类型采用不同的整合方法，但必须坚持不打破地方数据管理和存储体系，不改变各地基于数据库的应用架构为原则，国土资源数据应对用户提供集成的、统一的、安全的、快捷的信息查询、数据挖掘和决策支持服务。为了满足这个需求条件，整合后的国土资源数据必须保证一定的集成性、完整性、一致性和访问安全性。在这方面，许多领域都提出了整合与集成的原则，如集成性原则、完整性原则、一致性原则、访问安全性原则等。
（1）集成性
数据经过整合、集成后，应该达到查询一个综合信息不必再到各个业务系统进行分别查询和人工处理，只要在整合、集成后的数据信息仓库中就可以直接访问到，即整合、集成后的综合信息仓库的数据是各数据的有机集成和关联存储（整合、发掘出各业务数据间的关联关系），而不是简单、孤立的堆放在一个数据库系统里。
（2）完整性
包括数据完整性和约束完整性两方面。数据完整性是指完整提取数据本身，约束完整性是指数据与数据之间的关联关系，是唯一表征数据间逻辑的特征。保证约束的完整性是良好的数据发布和交换的前提，可以方便数据处理过程，提高效率。
（3）一致性
不同信息资源之间存在着语义上的区别。这些语义上的不同会引起各种不完整甚至错误信息的产生，从简单的名字语义冲突（不同的名字代表相同的概念），到复杂的结构语义冲突（不同的模型表达同样的信息）。语义冲突会带来数据集成结果的冗余，干扰数据处理、发布和交换。整合、集成后的数据应该根据一定的数据转换模式和规则进行统一数据结构和字段语义编码转换。
（4）访问安全性
由于数据库资源可能归属不同的单位，各业务数据系统有着各自的用户权限管理模式，访问和安全管理很不方便，不能集中、统一管理，所以保证在访问异构数据源数据基础上保障原有数据库的权限不被侵犯，实现对原有数据源访问权限的隔离和控制，就需要设计基于整合、集成后的综合信息仓库的统一的用户安全管理模式来解决此问题。
3 国土资源数据整合的思考与建议
3.1 国土资源数据的特点
国土资源数据（信息）是全面和准确掌握资源状况，以及实施国土资源规划、管理、保护和合理利用的基础和依据，每一项国土资源管理业务的开展都需要基础数据的支持。而信息的完整性、准确性、现势性和获取的效率直接影响着各级、各项国土资源管理工作的合理性、科学性和有效性。综合国土资源数据的存在形式，有如下特点。
（1）数据类型复杂多样
国土资源数据类型十分复杂，其内容涉及到土地资源、矿产资源、地质环境资源、海洋资源等各个业务领域。按照数据特征国土基础数据又分为空间数据和非空间数据。空间数据主要以基础和专题地图的形式存在，包括图形和属性数据。非空间数据主要是以各种文档、报表和多媒体等形式存在，包括结构化数据和非结构化数据。
（2）数据平台不一致，共享困难
国土资源部门在开发信息系统时通常根据本部门的特定情况采用不同的数据建模方法，选用不同厂商的GIS软件，如江苏省各市县国土资源部门所选用的GIS和数据库平台就有六七种，见表1。这些不同GIS软件采用不同的空间数据格式，对地理数据的组织也存在很大的差异。由于这种情况的存在，使得在不同GIS软件上开发的系统之间进行数据交换变得非常困难，采用数据转换标准也只能解决部分问题。另外，在国土资源部门与测绘部门之间，对地理现象有着不同的理解，对地理信息有着不同的数据定义，这也使得领域间在共同协作中进行信息共享和交流存在一定的障碍。
表1 GIS 和数据库平台
（3）数据获取手段多样
国土资源管理业务数据的获取手段包括从外业方面包括测绘、调查、遥感，内业方面包括数字化、录入等等。这些特点要求能在数据的各项获取渠道中能兼顾数据建库的要求，形成良性的数据更新维护机制。
（4）数据多尺度、数据量大
由于国土资源管理中空间数据涉及到各种比例尺，在地市级的国土资源管理数据中，既有1∶10000的详查数据，又有1∶2000 的村庄地籍数据，也有1∶1000 和1∶500 城镇地籍。并且其覆盖空间范围大，数据信息量非常大。这要求信息系统必须具备多尺度接合以及海量数据管理的能力。
（5）时态特性
土地对象实体具有时间特性，会随时间推移发生一定的变化。国土资源信息系统中必须能描述某一时刻的土地利用状况；能分析某一地物或某一区域的动态变化情况；能分析将来的发展趋势以便在决策时借鉴过去的信息。
基于上述对国土资源数据特点分析，可以得出：国土资源信息系统建设要涉及国土资源管理多种类型的数据，数据库整合任务非常重。目前已数字化的各种调查数据和各种已办理的成果数据如果不能充分应用，必然造成巨大的浪费。因此，国土资源数据库整合主要是针对基础数据库从多源、多时态、多尺度等方面进行数据整合。对现有国土资源空间与非空间数据进行分析，对不同数据库平台、不同GIS平台上的空间与非空间数据进行数据集成和整合。将多源、多尺度、多类型的国土基础数据（空间/非空间）有效地组织起来，形成逻辑上分层分块、物理上无缝、空间索引快捷、对象实体意义明确的集成化数据库，以满足国土资源数据共享、交换、发布以及构建诸如城乡一体化地籍管理信息系统、土地利用规划管理信息系统、决策支持系统等各类应用系统的需要，保证今后数据更新的及时到位，形成国土资源数据更新维护的良性循环机制。
3.2 国土资源数据的整合的现状
目前，国土资源系统正在实施“数字国土”、土地资源调查与监测、全国资源与环境遥感监测等相关的国土资源信息化工程，而“金土工程”则确立了国土资源信息化在国家信息化总体框架中的地位和作用，为国土资源管理工作和现代信息技术找到了最佳结合点，为全面提升国土资源信息化水平提供了契机。“金土工程”的四大建设主体之一就是建立基础性、战略性国土资源数据库，同时，金土工程的一项重要的内容就是整合已有的数据资源，建设和完善国土资源部、31个省（区、市）数据中心建设和完善包含各种土地、矿产信息的14类基础数据库，完成32个示范城市数据中心建设和完善包含各种土地信息的10类基础数据库，而如何充分有效的利用国土资源数据库，提高管理效率，使国土资源在国家经济社会发展中发挥的最大效益，就必须进行国土资源数据库的整合，“十一五”期间的“五四三二一”工程中的两项基础建设：一是加快国土资源信息化标准的制定、推广和应用，加强国土资源信息化政策研究；二是加快基础数据库建设，加强数据整合与集成也体现了这一思想。
国土资源数据的整合、集成和统一建库是一项涉及面广、任务量巨大的工作。国家相关部门应做好协调工作，尽快研究制定出适合我国情况又能较好的与国际接轨的相应的技术标准和规范。
3.3 国土资源数据整合的建议
结合我国国土资源数据的实际情况以及目前开发的部分国土资源数据库建库工作，提出如下建议：
（1）由国家有关部门牵头，开展对各行业现有国土资源数据情况的调查。制定相关的政策，调动各行业参加国土资源数据库建设的热情。
（2）国土资源数据库可分为基础数据库、业务数据库和成果数据库三大类，分别完成不同的数据存储和管理。数据库作为国土资源信息系统的核心，已经是各国国土资源信息系统工程界的共识。在国土资源信息化建设过程中，国土资源数据库的合理开发与应用仍存在不同问题，应该加强对建设成果与实际应用的相互衔接与协调。
（3）由于种种历史的、技术的和体制的因素，国土资源数据不完整，质量不高和整合共享程度低是我国土信息化向更高层次发展最重要的限制因素，需要通过对国土资源数据的整合、核实、充实进一步提高和完善。国土资源数据的整合和共享程度低，难以为大范围、高层次应用提供支持，则需要从标准体系建设、制度完善和体制改革方面加强领导和指导，规范数据整合程序与质量方面改进和提高。
（4）国土资源数据整合要求必须研究现有的各类国土资源基础数据库的结构和内容，提出数据转换与存储、交换与共享的规范标准和实施方案；在此基础上把已有的数据充分开发利用，按统一的标准将其“整合”有统一的数据库平台、GIS平台、融空间与非空间数据于一体的国土资源数据库。
总之，通过国土资源数据整合的问题的研究，形成一定的技术要求规范，对国土资源数据进行提取、转换、加载，整合成一个有机的整体，将保证国土资源信息系统间的互联互通和互操作，为最大限度地实现各业务系统互联互通和建立顺畅的信息渠道提供技术依据和指导。
参考文献
阎国年.地理信息系统集成原理与方法.北京：科学出版社，2003.8
龚建雅.当代GIS的若干理论与技术.武汉：武汉测绘科技大学出版社，1999.3