國土資源大數據挖掘
Ⅰ 大數據挖掘主要涉及哪些技術
1、數據科學與大數據技術
本科專業，簡稱數據科學或大數據。
2、大數據技術與應用
高職院校專業。
相關專業名稱：大數據管理與應用、大數據採集與應用等。
大數據專業強調交叉學科特點，以大數據分析為核心，以統計學、計算機科學和數學為三大基礎支撐性學科，培養面向多層次應用需求的復合型人才。
Ⅱ 大數據挖掘比較專業的公司都有哪些
之前有了解到一個數據挖掘工具TempoAI，體驗很好，內置的演算法很全面，是一個低調的工具，是美林數據的產品。
Ⅲ 什麼是大數據分析與挖掘
大數據也不僅僅是一個新名詞，而是一場無法避開的風暴。舉個例子吧，在美國沃爾瑪超市，尿布與啤酒這兩個風馬牛不相及產品通常擺在一起出售，而且銷售量還相當不錯。原來啊，是沃爾瑪利用龐大的數據系統，對其顧客的購物行為進行購物籃分析時發現，一些年輕的父親下班後經常到超市買嬰兒尿布，他們中40%的人同時也為自己買一些啤酒。因此，超市將兩者擺在一起出售後，取得了銷量倍增的效果。
Ⅳ 大數據挖掘需要學習哪些技術大數據的工作
首先
我由各種編程語言的背景——matlab,R,java,C/C++,python,網路編程等
我又一定的數學基礎——高數，線代，概率論，統計學等
我又一定的演算法基礎——經典演算法，神經網路，部分預測演算法，群智能演算法等
但這些目前來講都不那麼重要，但慢慢要用到
Step 1：大數據理論，方法和技術
大數據理論——啥都不說，人家問你什麼是大數據時，你能夠講到別人知道什麼是大數據
大數據方法——然後別人問你，那怎麼實現呢？嗯，繼續講：說的是方法（就好像歸並排序演算法：分，並）。到目前外行人理解無障礙
大數據技術——多嘴的人繼續問：用的技術。
這階段只是基礎，不涉及任何技術細節，慢慢看慢慢總結，積累對「大數據」這個詞的理解。
Step 2：大數據思維
Bang~這是繼Step 1量變發展而來的質變：學了那麼久「大數據」，把你扔到製造業，你怎麼辦？
我想，這就是「學泛」的作用吧，並不是學到什麼具體東西，而是學到了對待事物的思維。
----------------------------------------------------------------------
以下階段我還沒開始=_=，不好誤導大家
Step 3：大數據技術基礎
Step 4：大數據技術進階
Step 5：打實戰
Step 6：大融合
Ⅳ 大數據挖掘通常用哪些軟體
1.RapidMiner
只要是從事開源數據挖掘相關的業內人士都知道，RapidMiner在數據挖掘工具榜上虎踞榜首，叫好叫座。是什麼讓RapidMiner得到如此厚譽呢?首先，RapidMiner功能強大，它除了提供優秀的數據挖掘功能，還提供如數據預處理和可視化、預測分析和統計建模、評估和部署等功能。更厲害的是，它還提供來自WEKA(一種智能分析環境)和R腳本的學習方案、模型和演算法，讓它成為業界的一棵常春藤。
用Java語言編寫的RapidMiner，是通過基於模板的框架為用戶提供先進的分析技術的。它最大的好處就是，作為一個服務提供給用戶，而不是一款本地軟體，用戶無需編寫任何代碼，為用戶尤其是精於數據分析但不太懂編程的用戶帶來了極大的方便。
2.R-Programming
R語言被廣泛應用於數據挖掘、開發統計軟體以及數據分析中。你以為大名鼎鼎的R只有數據相關功能嗎?其實，它還提供統計和制圖技術，包括線性和非線性建模，經典的統計測試，時間序列分析、分類、收集等等。
R，R-programming的簡稱，統稱R。作為一款針對編程語言和軟體環境進行統計計算和制圖的免費軟體，它主要是由C語言和FORTRAN語言編寫的，並且很多模塊都是由R編寫的，這是R一個很大的特性。而且，由於出色的易用性和可擴展性，也讓R的知名度在近年來大大提高了，它也逐漸成為數據人常用的工具之一。
3.WEKA
WEKA支持多種標准數據挖掘任務，包括數據預處理、收集、分類、回歸分析、可視化和特徵選取，由於功能多樣，讓它能夠被廣泛使用於很多不同的應用——包括數據分析以及預測建模的可視化和演算法當中。它在GNU通用公共許可證下是免費的，這也是它與RapidMiner相比的優勢所在，因此，用戶可以按照自己的喜好選擇自定義，讓工具更為個性化，更貼合用戶的使用習慣與獨特需求。
很多人都不知道，WEKA誕生於農業領域數據分析，它的原生的非Java版本也因此被開發了出來。現在的WEKA是基於Java版本的，比較復雜。令人欣喜的是，當它日後添加了序列建模之後，將會變得更加強大，雖然目前並不包括在內。但相信隨著時間的推移，WEKA一定會交出一張很好看的成績單。
4.Orange
對很多數據人來說，Orange並不是一個陌生的名字，它不僅有機器學習的組件，還附加有生物信息和文本挖掘，可以說是充滿了數據分析的各種功能。而且，Orange的可視化編程和Python腳本如行雲流水，定能讓你擁有暢快的使用感。
Orange是一個基於Python語言的功能強大的開源工具，如果你碰巧是一個Python開發者，當需要找一個開源數據挖掘工具時，Orange必定是你的首選，當之無愧。無論是對於初學者還是專家級大神來說，這款與Python一樣簡單易學又功能強大的工具，都十分容易上手。
5.NLTK
著名的開源數據挖掘工具——NLTK，提供了一個語言處理工具，包括數據挖掘、機器學習、數據抓取、情感分析等各種語言處理任務，因此，在語言處理任務領域中，它一直處於不敗之地。
想要感受這款深受數據人喜愛的工具的用戶，只需要安裝NLTK，然後將一個包拖拽到最喜愛的任務中，就可以繼續葛優癱N日遊了，高智能性也是這款工具受人喜愛的最大原因之一。另外，它是用Python語言編寫的，用戶可以直接在上面建立應用，還可以自定義小任務，十分便捷。
6.KNIME
KNIME是一個開源的數據分析、報告和綜合平台，同時還通過其模塊化數據的流水型概念，集成了各種機器學習的組件和數據挖掘。我們都知道，提取、轉換和載入是數據處理最主要的三個部分，而這三個部分，KNIME均能出色地完成。同時，KNIME還為用戶提供了一個圖形化的界面，以便用戶對數據節點進行進一步的處理，十分貼心。
基於Eclipse，用Java編寫的KNIME擁有易於擴展和補充插件特性，還有可隨時添加的附加功能。值得一提的是，它的大量的數據集成模塊已包含在核心版本中。良好的性能，更讓KNIME引起了商業智能和財務數據分析的注意。
Ⅵ 大數據挖掘方法有哪些
謝邀。
大數據挖掘的方法：
神經網路方法
神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題，因此近年來越來越受到人們的關注。
遺傳演算法
遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法，是一種仿生全局優化方法。遺傳演算法具有的隱含並行性、易於和其它模型結合等性質使得它在數據挖掘中被加以應用。
決策樹方法
決策樹是一種常用於預測模型的演算法，它通過將大量數據有目的分類，從中找到一些有價值的，潛在的信息。它的主要優點是描述簡單，分類速度快，特別適合大規模的數據處理。
粗集方法
粗集理論是一種研究不精確、不確定知識的數學工具。粗集方法有幾個優點：不需要給出額外信息;簡化輸入信息的表達空間;演算法簡單，易於操作。粗集處理的對象是類似二維關系表的信息表。
覆蓋正例排斥反例方法
它是利用覆蓋所有正例、排斥所有反例的思想來尋找規則。首先在正例集合中任選一個種子，到反例集合中逐個比較。與欄位取值構成的選擇子相容則捨去，相反則保留。按此思想循環所有正例種子，將得到正例的規則(選擇子的合取式)。
統計分析方法
在資料庫欄位項之間存在兩種關系：函數關系和相關關系，對它們的分析可採用統計學方法，即利用統計學原理對資料庫中的信息進行分析。可進行常用統計、回歸分析、相關分析、差異分析等。
模糊集方法
即利用模糊集合理論對實際問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。系統的復雜性越高，模糊性越強，一般模糊集合理論是用隸屬度來刻畫模糊事物的亦此亦彼性的。
Ⅶ 大數據挖掘的演算法有哪些
數據挖掘本質還是機器學習演算法
具體可以參見《數據挖掘十大常見演算法》
常用的就是：SVM，決策樹，樸素貝葉斯，邏輯斯蒂回歸等
主要解決分類和回歸問題
Ⅷ 大數據挖掘常用的方法有哪些
1. Analytic Visualizations（可視化分析）
不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求。可視化可以直觀的展示數據，讓數據自己說話，讓觀眾聽到結果。
2. Data Mining Algorithms（數據挖掘演算法）
可視化是給人看的，數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的演算法讓我們深入數據內部，挖掘價值。這些演算法不僅要處理大數據的量，也要處理大數據的速度。
3. Predictive Analytic Capabilities（預測性分析能力）
數據挖掘可以讓分析員更好的理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。
4. Semantic Engines（語義引擎）
由於非結構化數據的多樣性帶來了數據分析的新的挑戰，需要一系列的工具去解析，提取，分析數據。語義引擎需要被設計成能夠從「文檔」中智能提取信息。
5. Data Quality and Master Data Management（數據質量和數據管理）
數據質量和數據管理是一些管理方面的最佳實踐。通過標准化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。
Ⅸ 關於國土資源數據整合問題的思考
王萬群
（河南省國土資源廳信息中心）
摘要：通過對國土資源數據現狀的分析，結合當前正在開展的「金土工程」項目，提出了國土資源數據整合和資料庫建設的建議。
關鍵詞：數據整合；國土資源；資料庫
1 問題的提出
在國土資源信息化建設過程中，由於現有的國土資源數據標准不一、格式多樣、分散管理，因此形成「數據孤島」，如異構資料庫、數據結構差異和數據含義不同等。數據整合就是通過數據轉譯和通訊，解決異構資料庫的共享、使數據結構和數據含義統一，消除數據孤島，實現數據的全方位共享。因此，整合現有各部門的國土資源數據，消除管理中存在的「信息孤島」，建立數據共享平台，從而更好更有效地實現各級國土資源數據的信息共享、集中使用和有效規劃，是國土資源管理部門迫切需要解決的問題，因此開展國土資源資料庫整合，並規范其技術要求將具有深遠的現實意義：
（1）通過開展國土資源資料庫整合，可以減少數據的不一致和延遲，實現數據的規范化，建立國土資源信息多數據源唯一標識，進行數據合並與格式轉換、數據清理、數據更新、數據錄入並集中存儲，為管理階層提供即時的信息。
（2）通過開展國土資源資料庫整合，可以形成覆蓋全面、結構與標准統一、內容完整的基礎資料庫群，達到國土業務系統運行的要求。
（3）通過開展國土資源資料庫整合可以避免重復建設；將保證信息化基礎設施建設的優質高效、信息網路的無縫連接、信息的安全與可靠，為有效地開發和利用信息資源，實現國土資源信息的共享服務。
2 數據整合的原則
現行的國土資源資料庫按照所使用的資料庫管理系統和建設標準的不同可以分為同構同標准資料庫、同構不同標准資料庫、異構同標准資料庫、異構不同標准資料庫，針對不同類型採用不同的整合方法，但必須堅持不打破地方數據管理和存儲體系，不改變各地基於資料庫的應用架構為原則，國土資源數據應對用戶提供集成的、統一的、安全的、快捷的信息查詢、數據挖掘和決策支持服務。為了滿足這個需求條件，整合後的國土資源數據必須保證一定的集成性、完整性、一致性和訪問安全性。在這方面，許多領域都提出了整合與集成的原則，如集成性原則、完整性原則、一致性原則、訪問安全性原則等。
（1）集成性
數據經過整合、集成後，應該達到查詢一個綜合信息不必再到各個業務系統進行分別查詢和人工處理，只要在整合、集成後的數據信息倉庫中就可以直接訪問到，即整合、集成後的綜合信息倉庫的數據是各數據的有機集成和關聯存儲（整合、發掘出各業務數據間的關聯關系），而不是簡單、孤立的堆放在一個資料庫系統里。
（2）完整性
包括數據完整性和約束完整性兩方面。數據完整性是指完整提取數據本身，約束完整性是指數據與數據之間的關聯關系，是唯一表徵數據間邏輯的特徵。保證約束的完整性是良好的數據發布和交換的前提，可以方便數據處理過程，提高效率。
（3）一致性
不同信息資源之間存在著語義上的區別。這些語義上的不同會引起各種不完整甚至錯誤信息的產生，從簡單的名字語義沖突（不同的名字代表相同的概念），到復雜的結構語義沖突（不同的模型表達同樣的信息）。語義沖突會帶來數據集成結果的冗餘，干擾數據處理、發布和交換。整合、集成後的數據應該根據一定的數據轉換模式和規則進行統一數據結構和欄位語義編碼轉換。
（4）訪問安全性
由於資料庫資源可能歸屬不同的單位，各業務數據系統有著各自的用戶許可權管理模式，訪問和安全管理很不方便，不能集中、統一管理，所以保證在訪問異構數據源數據基礎上保障原有資料庫的許可權不被侵犯，實現對原有數據源訪問許可權的隔離和控制，就需要設計基於整合、集成後的綜合信息倉庫的統一的用戶安全管理模式來解決此問題。
3 國土資源數據整合的思考與建議
3.1 國土資源數據的特點
國土資源數據（信息）是全面和准確掌握資源狀況，以及實施國土資源規劃、管理、保護和合理利用的基礎和依據，每一項國土資源管理業務的開展都需要基礎數據的支持。而信息的完整性、准確性、現勢性和獲取的效率直接影響著各級、各項國土資源管理工作的合理性、科學性和有效性。綜合國土資源數據的存在形式，有如下特點。
（1）數據類型復雜多樣
國土資源數據類型十分復雜，其內容涉及到土地資源、礦產資源、地質環境資源、海洋資源等各個業務領域。按照數據特徵國土基礎數據又分為空間數據和非空間數據。空間數據主要以基礎和專題地圖的形式存在，包括圖形和屬性數據。非空間數據主要是以各種文檔、報表和多媒體等形式存在，包括結構化數據和非結構化數據。
（2）數據平台不一致，共享困難
國土資源部門在開發信息系統時通常根據本部門的特定情況採用不同的數據建模方法，選用不同廠商的GIS軟體，如江蘇省各市縣國土資源部門所選用的GIS和資料庫平台就有六七種，見表1。這些不同GIS軟體採用不同的空間數據格式，對地理數據的組織也存在很大的差異。由於這種情況的存在，使得在不同GIS軟體上開發的系統之間進行數據交換變得非常困難，採用數據轉換標准也只能解決部分問題。另外，在國土資源部門與測繪部門之間，對地理現象有著不同的理解，對地理信息有著不同的數據定義，這也使得領域間在共同協作中進行信息共享和交流存在一定的障礙。
表1 GIS 和資料庫平台
（3）數據獲取手段多樣
國土資源管理業務數據的獲取手段包括從外業方麵包括測繪、調查、遙感，內業方麵包括數字化、錄入等等。這些特點要求能在數據的各項獲取渠道中能兼顧數據建庫的要求，形成良性的數據更新維護機制。
（4）數據多尺度、數據量大
由於國土資源管理中空間數據涉及到各種比例尺，在地市級的國土資源管理數據中，既有1∶10000的詳查數據，又有1∶2000 的村莊地籍數據，也有1∶1000 和1∶500 城鎮地籍。並且其覆蓋空間范圍大，數據信息量非常大。這要求信息系統必須具備多尺度接合以及海量數據管理的能力。
（5）時態特性
土地對象實體具有時間特性，會隨時間推移發生一定的變化。國土資源信息系統中必須能描述某一時刻的土地利用狀況；能分析某一地物或某一區域的動態變化情況；能分析將來的發展趨勢以便在決策時借鑒過去的信息。
基於上述對國土資源數據特點分析，可以得出：國土資源信息系統建設要涉及國土資源管理多種類型的數據，資料庫整合任務非常重。目前已數字化的各種調查數據和各種已辦理的成果數據如果不能充分應用，必然造成巨大的浪費。因此，國土資源資料庫整合主要是針對基礎資料庫從多源、多時態、多尺度等方面進行數據整合。對現有國土資源空間與非空間數據進行分析，對不同資料庫平台、不同GIS平台上的空間與非空間數據進行數據集成和整合。將多源、多尺度、多類型的國土基礎數據（空間/非空間）有效地組織起來，形成邏輯上分層分塊、物理上無縫、空間索引快捷、對象實體意義明確的集成化資料庫，以滿足國土資源數據共享、交換、發布以及構建諸如城鄉一體化地籍管理信息系統、土地利用規劃管理信息系統、決策支持系統等各類應用系統的需要，保證今後數據更新的及時到位，形成國土資源數據更新維護的良性循環機制。
3.2 國土資源數據的整合的現狀
目前，國土資源系統正在實施「數字國土」、土地資源調查與監測、全國資源與環境遙感監測等相關的國土資源信息化工程，而「金土工程」則確立了國土資源信息化在國家信息化總體框架中的地位和作用，為國土資源管理工作和現代信息技術找到了最佳結合點，為全面提升國土資源信息化水平提供了契機。「金土工程」的四大建設主體之一就是建立基礎性、戰略性國土資源資料庫，同時，金土工程的一項重要的內容就是整合已有的數據資源，建設和完善國土資源部、31個省（區、市）數據中心建設和完善包含各種土地、礦產信息的14類基礎資料庫，完成32個示範城市數據中心建設和完善包含各種土地信息的10類基礎資料庫，而如何充分有效的利用國土資源資料庫，提高管理效率，使國土資源在國家經濟社會發展中發揮的最大效益，就必須進行國土資源資料庫的整合，「十一五」期間的「五四三二一」工程中的兩項基礎建設：一是加快國土資源信息化標準的制定、推廣和應用，加強國土資源信息化政策研究；二是加快基礎資料庫建設，加強數據整合與集成也體現了這一思想。
國土資源數據的整合、集成和統一建庫是一項涉及面廣、任務量巨大的工作。國家相關部門應做好協調工作，盡快研究制定出適合我國情況又能較好的與國際接軌的相應的技術標准和規范。
3.3 國土資源數據整合的建議
結合我國國土資源數據的實際情況以及目前開發的部分國土資源資料庫建庫工作，提出如下建議：
（1）由國家有關部門牽頭，開展對各行業現有國土資源數據情況的調查。制定相關的政策，調動各行業參加國土資源資料庫建設的熱情。
（2）國土資源資料庫可分為基礎資料庫、業務資料庫和成果資料庫三大類，分別完成不同的數據存儲和管理。資料庫作為國土資源信息系統的核心，已經是各國國土資源信息系統工程界的共識。在國土資源信息化建設過程中，國土資源資料庫的合理開發與應用仍存在不同問題，應該加強對建設成果與實際應用的相互銜接與協調。
（3）由於種種歷史的、技術的和體制的因素，國土資源數據不完整，質量不高和整合共享程度低是我國土信息化向更高層次發展最重要的限制因素，需要通過對國土資源數據的整合、核實、充實進一步提高和完善。國土資源數據的整合和共享程度低，難以為大范圍、高層次應用提供支持，則需要從標准體系建設、制度完善和體制改革方面加強領導和指導，規范數據整合程序與質量方面改進和提高。
（4）國土資源數據整合要求必須研究現有的各類國土資源基礎資料庫的結構和內容，提出數據轉換與存儲、交換與共享的規范標准和實施方案；在此基礎上把已有的數據充分開發利用，按統一的標准將其「整合」有統一的資料庫平台、GIS平台、融空間與非空間數據於一體的國土資源資料庫。
總之，通過國土資源數據整合的問題的研究，形成一定的技術要求規范，對國土資源數據進行提取、轉換、載入，整合成一個有機的整體，將保證國土資源信息系統間的互聯互通和互操作，為最大限度地實現各業務系統互聯互通和建立順暢的信息渠道提供技術依據和指導。
參考文獻
閻國年.地理信息系統集成原理與方法.北京：科學出版社，2003.8
龔建雅.當代GIS的若干理論與技術.武漢：武漢測繪科技大學出版社，1999.3