⑴ 大數據,政府統計的機遇與挑戰

大數據,政府統計的機遇與挑戰
對於政府統計機構來說，沒有什麼比數據更重要的了。我們研究統計分類標准、統計調查方法、統計數據採集方式、統計數據加工處理方法、統計數據評估技術，都是為了獲取真實准確、完整及時、代表性強、分類科學、經濟適用的統計數據。
大數據時代的到來，既給政府統計帶來重大發展機遇，也帶來嚴峻挑戰。
一、大數據在政府統計中的應用
國家統計局高度重視大數據在政府統計中的應用。到目前為止，已經與17家大數據企業簽訂了戰略合作協議。當然，目前大數據在中國政府統計中的應用仍處於起步階段，主要表現在兩個方面：一是大數據成為政府統計數據的部分資料來源;二是大數據成為政府統計數據質量的部分評估依據。
(一)大數據成為政府統計數據的部分資料來源
目前，大數據已經成為中國政府統計數據的部分資料來源，以下是幾個有代表性的方面：
1.利用重點網上零售交易平台數據測算網上零售額
為了掌握網上零售交易平台的交易規模和結構，綜合測算網上零售數據，從今年1月份開始，國家統計局實施了月度網上零售交易平台調查，調查范圍為42家重點網上零售交易平台，包括京東商城、亞馬遜、當當網、淘寶網、天貓商城、酒仙網、美團網、中糧我買網、國美在線、大眾點評網等。據對上述42家重點網上零售交易平台數據測算，今年1~8月份，全國網上零售額22400.9億元，同比增長36.5%。其中，實物商品網上零售額18653.4億元，增長35.6%，佔全部網上零售額的83.3%;非實物商品網上零售額3747.5億元，增長41.1%，佔全部網上零售額的16.7%。這對於宏觀管理部門和社會公眾了解網上零售情況具有重要的參考作用。
2.利用房屋交易網簽數據計算全國70個大中城市的新建住宅價格指數
房屋交易網簽數據是指買賣雙方簽訂購房合同後，房地產開發企業在房管部門進行備案，並在房產信息網上公布的相關信息，包含地址、樓層、價格、面積和金額等詳細信息，基本涵蓋了當月新建住宅的全部交易情況。從2011年1月份開始，國家統計局開始採用房屋交易網簽數據計算全國70個大中城市的新建住宅價格指數。這對於提高70個大中城市新建住宅價格指數的數據質量起到了重要作用。
3.利用卓創資訊公司提供的價格信息，開展流通領域重要生產資料市場價格監測
國家統計局與卓創資訊公司開展合作，利用該企業提供的價格信息，開展流通領域重要生產資料市場價格監測。從2014年1月開始，按旬共同向社會發布流通領域9大類50種重要生產資料市場價格的檢測結果。行業涵蓋黑色金屬、有色金屬、化工產品、煤炭、石油天然氣、非金屬建材、農產品、農業生產資料、林產品等領域。地區監測范圍覆蓋北京、天津、河北、山西、內蒙古、遼寧、吉林、上海等24個省區市。這對於宏觀管理部門和社會公眾了解流通領域重要生產資料市場價格信息起到了重要作用。
(二)大數據成為政府統計數據質量的部分評估依據
國家統計局除了把大數據作為政府統計數據的部分資料來源外，也高度重視利用大數據評估政府統計數據質量。以下是目前比較有代表性的兩個方面：一是利用中國銀聯跨行銀行卡消費數據評估社會消費品零售總額數據質量;二是利用大型機械裝備企業物聯網數據評估固定資產投資數據質量。
二、大數據給政府統計帶來的機遇與挑戰
對於政府統計來說，大數據既帶來了重大發展機遇，也帶來嚴峻挑戰。
(一)大數據給政府統計帶來重大發展機遇
首先，大數據將不斷提高政府統計服務宏觀管理和社會公眾的能力。隨著大數據的不斷發展和完善，隨著政府統計機構開發應用大數據能力的不斷提升，政府統計產品的種類將會不斷豐富，政府統計數據的質量和時效性將會不斷提升，從而政府統計服務宏觀管理和社會公眾的能力會不斷提高。
其次，大數據將會推動政府統計發生革命性的變化。隨著大數據的發展和完善，隨著政府統計機構開發應用大數據技術的逐步成熟，政府統計將會發生革命性變化。一是現有的以周期性普查為基礎，以抽樣調查為主體，綜合運用全面調查、重點調查等方法，並充分利用行政記錄等資料的統計調查方法體系可能會發生重大變化。長期以來，抽樣調查方法，即在總體中抽選樣本、利用樣本推算總體的方法;普查和全面調查方法，即對總體中所有單位逐一進行調查的方法，在我國政府統計中發揮了重要作用。今後，在較長的時期內這些方法仍然會被政府統計所廣泛採用。但在大數據不斷發展和完善的情況下，某些領域、某些方面的大數據可能會取代抽樣調查、普查和全面調查方法，成為獲取統計數據的重要方法，而且這種獲取統計數據的方法將會變得越來越重要。二是政府統計中的數據採集方式可能會發生重大變化。長期以來，政府統計機構主要以企業填報、住戶記賬、調查員入戶等方式採集原始數據。在大數據不斷發展和完善的情況下，一部分原始數據將通過挖掘大數據的方式獲取，而且這種新的數據採集方式將會變得越來越重要。三是政府統計的數據處理模式可能會發生重大變化。在大數據不斷發展和完善的情況下，現行的對普查和全面調查數據進行直接審核、匯總、加工處理和對抽樣調查數據進行推算放大的數據處理模式可能會發生重大變化。
(二)大數據給政府統計帶來嚴峻挑戰
首先，大數據對政府統計能力帶來挑戰。從大數據本身的產生到發展完善，從政府統計對大數據的初步運用到成熟運用，需要一個較長的時期。在這個過程中，一方面，政府統計中傳統的統計調查方法、數據採集方式和數據處理模式將繼續運行，否則滿足不了宏觀管理和社會公眾的需求。另一方面，政府統計系統必須投入大量的人力和物力對大數據進行挖掘、加工處理和運用，否則也適應不了大數據時代宏觀管理和社會公眾的需求。這種雙軌運行的模式，對政府統計能力將是一個巨大的挑戰。
其次，大數據對傳統政府統計理念帶來挑戰。傳統的政府統計有一個約定俗成的理念：抽樣調查方法可降低調查成本，提高效率和數據質量。因為抽樣調查只對總體中部分抽中的樣本進行調查，並非對總體中的每一個單位都進行調查，所以調查單位明顯減少，可降低成本，節約時間，提高效率。同時，由於調查單位較少，政府統計機構有能力對基層統計調查人員進行較為扎實的培訓和指導，有精力對統計調查數據進行較為嚴格的檢查和審核，從而能夠提高統計調查數據質量。隨著大數據不斷發展完善，政府統計機構將會越來越多地通過大數據企業間接地獲取統計數據，不需要對總體中的具體單位進行直接調查，不需要調查員，從而也不需要對調查員進行培訓，抽樣調查所具有的調查成本低、能夠提高統計調查數據質量的優點就不復存在了。

⑵ 大數據時代中數據分析者所面臨的挑戰是什麼以及對應的解決方案

傳統的數據分析工具已經不適用，需要學習新的數據分析技術
建議學習Python，SQL這些都是大數據分析必備的

⑶ 大數據面臨的機遇與挑戰

這個毫無疑問的，隨著新的發現大數據肯定就是會被大量的運用

⑷ 如何認識大數據背景下，統計學面臨的挑戰與機遇

1.大數據對統計學帶來的挑戰
傳統的統計學一般還停留在用抽樣技術在總體中抽取樣本收集數據，然後建立模型對數據進行統計分析。但是在數據如此之多的今天傳統的統計學在完成這方面時面臨巨大的挑戰。統計學要想推陳出新，必須要自己作出改革。
2.大數據為統計學帶來的機遇
統計學從古至今一直以來就是一門研究數據的學科，統計學和大數據內在具有聯系性，大數據讓統計學登上了學科霸主的地位，很多教學單位現在都注重統計學人才的培養。統計學能夠讓人們更好的把握對數據的分析和應用。總結了以下幾點大數據時代為統計學帶來的發展機遇。
（1）大數據為統計學提供了新的研究方向，對大數據進行分析，為統計學提供了新的實用價值，因為不僅電商，傳統商家還有政府都需要對龐雜的數據進行分析，找出其中包含的關於經濟發展趨勢的宏觀信息，微觀信息，還有公眾的喜好和需求等等，為了獲取這些信息，更加嚴密和系統的科學方法會被引入統計學研究中。
（2）統計學能夠充分利用計算機技術的發展，統計理論方法需要在學科交叉中獲得新的生命力，統計學應該從數據發展的現在趨勢中尋找統計發展的靈感。考慮到現在的信息技術、雲計算、互聯網的發展，並且以政府統計作為現代化統計的基礎，從傳統的統計學向現代統計學發展。
（3）對統計人才的培養提出了新的要求，現在需要的不僅僅是對統計學理論知識有清晰認識的統計學人才，而是高層次的數據分析師，要有數學知識、統計建模知識、計算機技能、編程技能、大數據挖掘、還要有管理技能等的復合型人才。

（4）可以進一步深化統計理論模型，現在進行統計分析不像以往，統計指標的獲得要經過復雜的演算過程。現在一般都是依靠大型軟體程序，但是這些大型的軟
件程序的編制卻需要特定的統計模型來完成的，如果想要在大數據時代獲得發展的優先權，就要研發出相應的數理統計的模型。

⑸ 大數據時代的發展所面臨的挑戰有哪些

挑戰一：業務部門沒有清晰的大數據需求。

挑戰二：企業內部數據孤島嚴重。

挑戰三：數據可用性低，數據質量差。

挑戰四：數據相關管理技術和架構。

挑戰五：數據安全。

⑹ 如何看待大數據時代下我國面臨的機遇和挑戰

大數據時代，我國可以根據自己的大數據，來完成數據的可視化分析，讓資源合理分配和使用，挑戰就是也將面臨著資源的國際化標准，國外企業也會對此分析，加劇我們的競爭。