⑴ “揭秘”大数据的10个神话

“揭秘”大数据的10个神话
也许对大数据更好的一个类比是它就像一匹意气风发的冠军赛马: 通过适当的训练和天赋的骑师，良种赛马可以创造马场记录–但没有训练和骑手，这个强大的动物根本连起跑门都进不了。
为了确保你组织的大数据计划保持正轨，你需要消除以下10种常见的误解。
1. 大数据就是‘很多数据’
大数据从其核心来讲，它描述了结构化或非结构化数据如何结合社交媒体分析，物联网的数据和其他外部来源，来讲述一个”更大的故事”。该故事可能是一个组织运营的宏观描述，或者是无法用传统的分析方法捕获的大局观。从情报收集的角度来看，其所涉及的数据的大小是微不足道的。
2.大数据必须非常干净
在商业分析的世界里，没有“太快”之类的东西。相反，在IT世界里，没有“进垃圾，出金子”这样的东西，你的数据有多干净?一种方法是运行你的分析应用程序，它可以识别数据集中的弱点。一旦这些弱点得到解决，再次运行分析以突出 “清理过的” 区域。
3.所有人类分析人员会被机器算法取代
数据科学家的建议并不总是被前线的业务经理们执行。行业高管Arijit Sengupta在 TechRepublic 的一篇文章中指出，这些建议往往比科学项目更难实施。然而，过分依赖机器学习算法也同样具有挑战性。Sengupta说，机器算法告诉你该怎么做，但它们没有解释你为什么要这么做。这使得很难将数据分析与公司战略规划的其余部分结合起来。
预测算法的范围从相对简单的线性算法到更复杂的基于树的算法，最后是极其复杂的神经网络。
4.数据湖是必须的
据丰田研究所数据科学家JimAdler说，巨量存储库，一些IT经理们设想用它来存储大量结构化和非结构化数据，根本就不存在。企业机构不会不加区分地将所有数据存放到一个共享池中。Adler说，这些数据是 “精心规划”的，存储于独立的部门数据库中，鼓励”专注的专业知识”。这是实现合规和其他治理要求所需的透明度和问责制的唯一途径。
5.算法是万无一失的预言家
不久前， 谷歌流感趋势项目 被大肆炒作，声称比美国疾病控制中心和其他健康信息服务机构更快、更准确地预测流感疫情的发生地。正如《纽约客》的Michele Nijhuis 在 2017年6月3日的文章 中所写的那样， 人们认为与流感有关词语的搜索会准确地预测疫情即将爆发的地区。事实上，简单地绘制本地温度是一个更准确的预测方法。
谷歌的流感预测算法陷入了一个常见的大数据陷阱——它产生了无意义的相关性，比如将高中篮球比赛和流感爆发联系起来，因为两者都发生在冬季。当数据挖掘在一组海量数据上运行时，它更可能发现具有统计意义而非实际意义的信息之间的关系。一个例子是将缅因州的离婚率与美国人均人造黄油的消费量挂钩：尽管没有任何现实意义，但这两个数字之间确实存在“统计上显著”的关系。
6.你不能在虚拟化基础架构上运行大数据应用
大约10年前，当”大数据”首次出现在人们眼前时，它就是Apache hadoop的代名词。就像VMware的Justin Murray在 2017年5月12日的文章 中所写的，大数据这一术语现在包括一系列技术，从NoSQL(MongoDB，Apache Cassandra)到Apache Spark。
此前，批评者们质疑Hadoop在虚拟机上的性能，但Murray指出，Hadoop在虚拟机上的性能与物理机相当，而且它能更有效地利用集群资源。Murray还炮轰了一种误解，即认为虚拟机的基本特性需要存储区域网络(SAN)。实际上，供应商们经常推荐直接连接存储，这提供了更好的性能和更低的成本。
7.机器学习是人工智能的同义词
一个识别大量数据中模式的算法和一个能够根据数据模式得出逻辑结论的方法之间的差距更像是一个鸿沟。ITProPortal 的Vineet Jain在 2017年5月26日的文章 中写道，机器学习使用统计解释来生成预测模型。这是算法背后的技术，它可以根据一个人过去的购买记录来预测他可能购买什么，或者根据他们的听歌历史来预测他们喜欢的音乐。
虽然这些算法很聪明，但它们远远不能达到人工智能的目的，即复制人类的决策过程。基于统计的预测缺乏人类的推理、判断和想象力。从这个意义上说，机器学习可能被认为是真正AI的必要先导。即使是迄今为止最复杂的AI 系统，比如 IBM沃森 ，也无法提供人类数据科学家所提供的大数据的洞察力。
8.大多数大数据项目至少实现了一半的目标
IT经理们知道没有数据分析项目是100%成功的。当这些项目涉及大数据时，成功率就会直线下降，NewVantagePartners最近的调查结果显示了这一点。在过去的五年中，95%的企业领导人表示，他们的公司参与了一个大数据项目，但只有48.4%的项目取得了”可衡量的结果”。
NewVantage Partners的大数据执行调查显示， 只有不到一半的大数据项目实现了目标，而 “文化”变化是最难实现的。
事实上，根据2016年10月发布的 Gartner的研究结果 ，大数据项目很少能跨过试验阶段。Gartner的调查发现，只有15%的大数据实现被部署到生产中，与去年调查报告的14%的成功率相对持平。
9.大数据的增长将减少对数据工程师的需求
如果你公司大数据计划的目标是尽量减少对数据科学家的需求，你可能会得到令人不快的惊喜。 2017 Robert Half 技术薪资指南 指出， 数据工程师的年薪平均跃升到13万美元和19.6万美元之间， 而数据科学家的薪资目前平均在11.6万美元和16.3万美元之间， 而商业情报分析员的薪资目前平均在11.8万美元到13.875万美元之间。
10.员工和一线经理将张开双臂拥抱大数据
NewVantagePartners的调查发现，85.5%的公司都致力于创造一个“数据驱动的文化”。然而，新的数据计划的整体成功率仅为37.1%。这些公司最常提到的三个障碍是缺乏组织一致性(42.6%)，缺乏中层管理人员的点赞和理解(41%)，以及业务阻力或缺乏理解(41%)。
未来可能属于大数据，但获得这一技术的好处需要大量的针对多样人性的辛勤工作。

⑵ 常用的大数据分析软件有哪些

国内的数据分析软件比较多，大数据分析软件推荐选择Smartbi Insight（点击连链接可以直接专免费下载，或者进入属smartbi.com.cn ,在线体验使用），定位于前端数据分析，对接各种业务数据库，数据仓库和大数据平台，满足各种数据分析应用需求，如大数据分析，自助探索分析，地图可视化，移动管理驾驶舱，指挥大屏幕，企业报表平台等。

⑶ 大数据分析一般用什么工具呢

虽然数据分析的工具千万种，综合起来万变不离其宗。无非是数据获取、数据存储、数据管理、数据计算、数据分析、数据展示等几个方面。而SAS、R、SPSS、python、excel是被提到频率最高的数据分析工具。


  • Python

    • Python，是一种面向对象、解释型计算机程序设计语言。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。

    常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。

  • R软件

    • R是一套完整的数据处理、计算和制图软件系统。它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动的进行数据分析，甚至创造出符合需要的新的统计计算方法。

  • SPSS

    • SPSS是世界上最早的统计分析软件，具有完整的数据输入、编辑、统计分析、报表、图形制作等功能，能够读取及输出多种格式的文件。

  • Excel

    • 可以进行各种数据的处理、统计分析和辅助决策操作，广泛地应用于管理、统计财经、金融等众多领域。

  • SAS软件

    • SAS把数据存取、管理、分析和展现有机地融为一体。提供了从基本统计数的计算到各种试验设计的方差分析，相关回归分析以及多变数分析的多种统计分析过程，几乎囊括了所有最新分析方法，其分析技术先进，可靠。分析方法的实现通过过程调用完成。许多过程同时提供了多种算法和选项。

⑷ 常见的大数据分析工具有哪些

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。
首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。
2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。
3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;
接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。
2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。
第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;
1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。
最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件：大部分人都是用PPT写报告。
2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;
3、Swiff Chart软件：制作图表的软件，生成的是Flash

⑸ 大数据包括哪些

大数据技术庞大复杂，基础的技术包含数据的采集、数据预处理、分布式存回储、NoSQL数据库答、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。
大数据主要技术组件：Hadoop、HBase、kafka、Hive、MongoDB、Redis、Spark 、Storm、Flink等。
大数据技术包括数据采集，数据管理，数据分析，数据可视化，数据安全等内容。数据的采集包括传感器采集，系统日志采集以及网络爬虫等。数据管理包括传统的数据库技术，nosql技术，以及对于针对大规模数据的大数据平台，例如hadoop，spark，storm等。数据分析的核心是机器学习，当然也包括深度学习和强化学习，以及自然语言处理，图与网络分析等。

⑹ 请问针对OJ上的大数据测试，求大神给测例 测例希望全面，离奇……

可以在网上寻找标准程序(一般都会有)，如果没有的话写一个可以确保正确的暴力内代码，然后写一个随机生成数据的程容序，用一个bat文件，不断的造小数据让自己的代码和标算(暴力)跑，校对答案。(以上方法俗称对拍)

bat 文件如下
:1
make_data
a
a_
fc a.out a_.out
if errorlevel==1 pause
goto 1
a为你的程序的名称，a_为标算或暴力，fc如果不能使用可以去C盘里找出来，然后放到程序边上。

由于数据是随机生成的，所以如果代码有明显的漏洞，很容易就拍出来(尤其是一些细节上的问题)，当然也有代码在随机数据的情况下表现的非常好，但是会被构造的数据卡掉，可以尝试构造极端的数据来进行测试。

总的来说对拍对的代码不一定就是正确的，遇到错误时最好还是先再理一遍自己的思路，跟着自己的代码走一遍，确认思路没有错之后再使用对拍。