A. 哪些企业需要大数据分析

大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优专化能力的海属量、高增长率和多样化的信息资产。 大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity（真实性）。
数据蕴藏着各种信息，企业可以通过大量的数据信息总结出很多有用信息，从而依据这些结论来制定相关的决策去帮助企业的运作。因此，各行各业都需要大数据分析，而且大数据分析现在的发展趋势良好。
目前来说，应用大数据分析较多的企业为大型零售商，比如各大型连锁超市；各类银行；各类软件公司比如甲骨文，IBM，微软和SAP等

B. 大数据，离化工有多远

前瞻产业研究院《2016-2021年中国化工市场行业市场前瞻与投资战略规划分析报告》显示，近年来，我国的石油化工企业安全生产隐患排查工作主要靠人力，通过人的专业知识去发现生产中存在的安全隐患，这种方式极易受到主观因素影响，且很难界定安全与危险状态，可靠性差;由于缺少有效的分析工具和对事故规律的认识，导致我国对于安全生产主要采取“事后管理”的方式，在事故发生后才分析事故原因、追究事故责任、制定防治措施，这种方式存在很大局限性，不能达到从源头上防治事故的目的。若控制事故，减少损失，必须对大量人的因素、工作的因素、不合规行为等进行控制。而控制这些需要将安全生产中的有价值的信息进行深度挖掘，寻找出内在规律。
大数据在一个行业上收集、应用其实更能促进优化生产，但是很多数据涉及到企业的生产经营机密，很多企业不愿意公开或者交流，特别是安全事故的数据更不愿意提供。兖矿鲁南化工有限公司气化分厂厂长李波向记者坦言，现在很多厂家保密、竞争意识强、太保守，只在各自公司做文章，永远也不会大众化的普及。全国化工硝酸硝酸盐工作委员会主任委员锡秀屏向记者表示，建立行业性的大数据不好操作。
也有业内人士透露，参数、视频、图片这些数据收集、整理分析也是一个很漫长的过程，做这项工作很繁琐，企业积极性不高。更有企业负责人认为，大数据应用于生产经营，只不过是企业自动化、信息化的一个提升，这好比装修房子，装修到什么程度为好，究竟产生什么量化的效果，很难判断。因此，不少化工企业认为，大数据离社会很近，离我们行业很远。
调研中，如何开发数据、激活数据，让沉睡的数据创造价值，这是石油化工企业应用大数据的挑战。但是，李波坚信，以后各厂家必然会回归到应用大数据上来，大数据以后在化工装置上的应用也会普及的。

C. 如何进行大数据分析及处理

探码科技大数据分析及处理过程


聚云化雨的处理方式

  • 聚云：探码科技全面覆盖各类数据的处理应用。以数据为原料，通过网络数据采集、生产设备数据采集的方式将各种原始数据凝结成云，为客户打造强大的数据存储库；

  • 化雨：利用模型算法和人工智能等技术对存储的数据进行计算整合让数据与算法产生质变反应化云为雨，让真正有价值的数据流动起来；

  • 开渠引流，润物无声：将落下“雨水”汇合成数据湖泊，对数据进行标注与处理根据行业需求开渠引流，将一条一条的数据支流汇合集成数据应用中，为行业用户带来价值，做到春风化雨，润物无声。

D. 大数据分析领域有哪些分析模型

数据角度的模型一般指的是统计或数据挖掘、机器学习、人工智能等类型的模型，是纯粹从科学角度出发定义的。
1. 降维
在面对海量数据或大数据进行数据挖掘时，通常会面临“维度灾难”，原因是数据集的维度可以不断增加直至无穷多，但计算机的处理能力和速度却是有限的；另外，数据集的大量维度之间可能存在共线性的关系，这会直接导致学习模型的健壮性不够，甚至很多时候算法结果会失效。因此，我们需要降低维度数量并降低维度间共线性影响。
数据降维也被成为数据归约或数据约减，其目的是减少参与数据计算和建模维度的数量。数据降维的思路有两类：一类是基于特征选择的降维，一类是是基于维度转换的降维。
2. 回归
回归是研究自变量x对因变量y影响的一种数据分析方法。最简单的回归模型是一元线性回归（只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示），可以表示为Y=β0+β1x+ε，其中Y为因变量，x为自变量，β1为影响系数，β0为截距，ε为随机误差。
回归分析按照自变量的个数分为一元回归模型和多元回归模型；按照影响是否线性分为线性回归和非线性回归。
3. 聚类
聚类是数据挖掘和计算中的基本任务，聚类是将大量数据集中具有“相似”特征的数据点划分为统一类别，并最终生成多个类的方法。聚类分析的基本思想是“物以类聚、人以群分”，因此大量的数据集中必然存在相似的数据点，基于这个假设就可以将数据区分出来，并发现每个数据集（分类）的特征。
4. 分类
分类算法通过对已知类别训练集的计算和分析，从中发现类别规则，以此预测新数据的类别的一类算法。分类算法是解决分类问题的方法，是数据挖掘、机器学习和模式识别中一个重要的研究领域。
5. 关联
关联规则学习通过寻找最能够解释数据变量之间关系的规则，来找出大量多元数据集中有用的关联规则，它是从大量数据中发现多种数据之间关系的一种方法，另外，它还可以基于时间序列对多种数据间的关系进行挖掘。关联分析的典型案例是“啤酒和尿布”的捆绑销售，即买了尿布的用户还会一起买啤酒。
6. 时间序列
时间序列是用来研究数据随时间变化趋势而变化的一类算法，它是一种常用的回归预测方法。它的原理是事物的连续性，所谓连续性是指客观事物的发展具有合乎规律的连续性，事物发展是按照它本身固有的规律进行的。在一定条件下，只要规律赖以发生作用的条件不产生质的变化，则事物的基本发展趋势在未来就还会延续下去。
7. 异常检测
大多数数据挖掘或数据工作中，异常值都会在数据的预处理过程中被认为是“噪音”而剔除，以避免其对总体数据评估和分析挖掘的影响。但某些情况下，如果数据工作的目标就是围绕异常值，那么这些异常值会成为数据工作的焦点。
数据集中的异常数据通常被成为异常点、离群点或孤立点等，典型特征是这些数据的特征或规则与大多数数据不一致，呈现出“异常”的特点，而检测这些数据的方法被称为异常检测。
8. 协同过滤
协同过滤（Collaborative Filtering，CF)）是利用集体智慧的一个典型方法，常被用于分辨特定对象（通常是人）可能感兴趣的项目（项目可能是商品、资讯、书籍、音乐、帖子等），这些感兴趣的内容来源于其他类似人群的兴趣和爱好，然后被作为推荐内容推荐给特定对象。
9. 主题模型
主题模型（Topic Model），是提炼出文字中隐含主题的一种建模方法。在统计学中，主题就是词汇表或特定词语的词语概率分布模型。所谓主题，是文字（文章、话语、句子）所表达的中心思想或核心概念。
10. 路径、漏斗、归因模型
路径分析、漏斗分析、归因分析和热力图分析原本是网站数据分析的常用分析方法，但随着认知计算、机器学习、深度学习等方法的应用，原本很难衡量的线下用户行为正在被识别、分析、关联、打通，使得这些方法也可以应用到线下客户行为和转化分析。

E. 大数据分析 离化工行业有多远

化工设备来如DCS,MES中储存有大量的数据源，这些数据只有不到1%会被公司技术人员拿来做一些简单的分析对比，数据中有很大的价值没有被挖掘，是一件很遗憾的事情。主要原因是企业内部没有专业的大数据分析人员，又担心数据给到外面的专业团队会导致公司机密泄露，这种担心可以理解但是不被认可。随着这几年的发展，工业4.0成为现阶段工业发展的代名词，有一些企业也逐渐在尝试进行找专业团队进行大数据的挖掘，通过数据采集--数据分析--建立数学模型--运用模型解决问题--知识积累--预警问题的发生 的过程，在产品良率，故障预警方面有了很大的提高，实现节能，降耗，提质，增效。

F. 煤化工行业大数据能做什么

能知道煤化工做不长了

G. 国内真正的大数据分析产品有哪些

国内的大数据公司还是做前端可视化展现的偏多，BAT算是真正做了大数据的，行业有硬性需求，别的行业跟不上也没办法，需求决定市场。
说说更通用的数据分析吧。
大数据分析也属于数据分析的一块，在实际应用中可以把数据分析工具分成两个维度：
第一维度：数据存储层——数据报表层——数据分析层——数据展现层
第二维度：用户级——部门级——企业级——BI级

1、数据存储层
数据存储设计到数据库的概念和数据库语言，这方面不一定要深钻研，但至少要理解数据的存储方式，数据的基本结构和数据类型。SQL查询语言必不可少，精通最好。可从常用的selece查询，update修改，delete删除，insert插入的基本结构和读取入手。

Access2003、Access07等，这是最基本的个人数据库，经常用于个人或部分基本的数据存储；MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。

SQL Server2005或更高版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。

DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台。

BI级别，实际上这个不是数据库，而是建立在前面数据库基础上的，企业级应用的数据仓库。Data Warehouse，建立在DW机上的数据存储基本上都是商业智能平台，整合了各种数据分析，报表、分析和展现！BI级别的数据仓库结合BI产品也是近几年的大趋势。

2、报表层
企业存储了数据需要读取，需要展现，报表工具是最普遍应用的工具，尤其是在国内。传统报表解决的是展现问题，目前国内的帆软报表FineReport已经算在业内做到顶尖，是带着数据分析思想的报表，因其优异的接口开放功能、填报、表单功能，能够做到打通数据的进出，涵盖了早期商业智能的功能。

Tableau、FineBI之类，可分在报表层也可分为数据展现层。FineBI和Tableau同属于近年来非常棒的软件，可作为可视化数据分析软件，我常用FineBI从数据库中取数进行报表和可视化分析。相对而言，可视化Tableau更优，但FineBI又有另一种身份——商业智能，所以在大数据处理方面的能力更胜一筹。

3、数据分析层
这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具；
Excel软件，首先版本越高越好用这是肯定的；当然对excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作！但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件；
SPSS软件：当前版本是18，名字也改成了PASW Statistics；我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件；
SAS软件：SAS相对SPSS其实功能更强大，SAS是平台化的，EM挖掘模块平台整合，相对来讲，SAS比较难学些，但如果掌握了SAS会更有价值，比如离散选择模型，抽样问题，正交实验设计等还是SAS比较好用，另外，SAS的学习材料比较多，也公开，会有收获的！
JMP分析：SAS的一个分析分支
XLstat：Excel的插件，可以完成大部分SPSS统计分析功能

4、表现层
表现层也叫数据可视化，以上每种工具都几乎提供了一点展现功能。FineBI和Tableau的可视化功能上文有提过。其实，近年来Excel的可视化越来越棒，配上一些插件，使用感更佳。
PPT：办公常用，用来写数据分析报告；
Xmind&网络脑图：梳理流程，帮助思考分析，展现数据分析的层次；
Xcelsius软件：Dashboard制作和数据可视化报表工具，可以直接读取数据库，在Excel里建模，互联网展现，最大特色还是可以在PPT中实现动态报表

H. 化学专业的转行做大数据能行嘛

没有大数据这个专业，却能出现大数据的专家。所以只要用心学、用心做化学专业没什么不可以。

I. 什么是真正的工业领域大数据分析

数据分析思维和业务的理解，是分析师赖以生存的技能。很多时候，工具是锦上添花的作用。掌握Excel+SQL/hive，了解描述统计学，知道常见的可视化表达，足够完成大部分任务。机器学习这类能力，对此类数据分析师不是必须的，Python也一样，只是加分项。毕竟为什么下跌，你无法用数据挖掘解答。

J. 大数据离化工还有多远

大数据在一个行业上收集、应用其实更能促进优化生产，但是很多数据涉及到企业的生产经营机密，很多企业不愿意公开或者交流，特别是安全事故的数据更不愿意提供。兖矿鲁南化工有限公司气化分厂厂长李波向记者坦言，现在很多厂家保密、竞争意识强、太保守，只在各自公司做文章，永远也不会大众化的普及。全国化工硝酸硝酸盐工作委员会主任委员锡秀屏向记者表示，建立行业性的大数据不好操作。
也有业内人士透露，参数、视频、图片这些数据收集、整理分析也是一个很漫长的过程，做这项工作很繁琐，企业积极性不高。更有企业负责人认为，大数据应用于生产经营，只不过是企业自动化、信息化的一个提升，这好比装修房子，装修到什么程度为好，究竟产生什么量化的效果，很难判断。因此，不少化工企业认为，大数据离社会很近，离我们行业很远。
调研中，如何开发数据、激活数据，让沉睡的数据创造价值，这是石油化工企业应用大数据的挑战。但是，李波坚信，以后各厂家必然会回归到应用大数据上来，大数据以后在化工装置上的应用也会普及的。