⑴ 若要玩转大数据，在什么应用场景使用Hadoop，PostgreSQL

但是由于“大数据”和“Hadoop”这两个热门词，即使很多人实际上不需要Hadoop，他们也愿意穿上“紧身衣”。
一、如果我的数据量是几百兆，Excel可能没法加载它
对于Excel软件来说的“很大的数据”并非大数据，其实还有其它极好的工具可以使用——我喜欢的Pandas。Pandas构建于Numpy库 之上，可以以矢量格式的方式有效地把数百兆的数据载入到内存中。在我购买已3年的笔记本上，它可以用Numpy在一眨眼的功夫把1亿的浮点数乘在一起。 Matlab和R也是极好的工具。
对于几百兆的数据量，典型的做法是写一个简单的Python脚本按行读取文件行，并处理它，向另一个文件写入。
二、如果我的数据是10GB呢
我买了个新笔记本，它有16GB的内存和256GB的SSD。如果你要载入一个10GB的CSV文件到Pandas，它占用的内存实际上是很小的 ——其结果是以数字类型的字符串保存的，如“17284832583”作为4字节货8字节的整数，或存储“284572452.2435723”字符串作 为8字节的双精度浮点数。
最坏的情况是你或许不能把所有的数据都同时载入到内存中。
三、如果我的数据是100GB、500GB或1TB呢
买个2TB或4TB的硬盘，在桌面PC或服务器上安装一个Postgre来解决它。
四、Hadoop远远比不上SQL或Python脚本
在计算的表达方面，Hadoop弱于SQL，也弱于Python脚本。
SQL是一个很直接的查询语言，适合做业务分析，SQL的查询相当简单，而且还非常快——如果你的数据库使用了正确的索引，二级查询或多级查询另当别论。
Hadoop没有索引的概念，Hadoop只有全表扫描，Hadoop有高度泄露抽象——我花了很多时间来处理Java的内存错误、文件碎片以及集群竞争，这些时间远大于我花在数据分析上的时间。
如果你的数据并不是像SQL表那样的结构化数据（比如纯文本、JSON对象、二进制对象），通常是直接写一个小的Python脚本来按行处理你的数据。把数据存储于文件，处理每一个文件，等等。如果换成是Hadoop就很麻烦。
相比于SQL或Python脚本，Hadoop要慢的多。正确的使用索引后，SQL查询总是非快——PostgreSQL简单的查找索引，检索确 切的键值。而Hadoop是全表扫描的，它会把整个表进行重新排序。通过把数据表分片到多台计算机上后，重排序是很快的。另一方面，处理二进制对 象，Hadoop需要重复往返于命名节点，目的是查找和处理数据。这适合用Python脚本来实现。
五、我的数据超过了5TB
你应该考虑使用Hadoop，而无需做过多的选择。
使用Hadoop唯一的好处是可伸缩性非常好。如果你有一个包含了数TB数据的表，Hadoop有一个适合全表扫描的选项。如果你没有这样大数据量的表，那么你应该像躲避瘟疫那样避免使用Hadoop。这样使用传统的方法来解决问题会更轻松。
六、Hadoop是一个极好的工具
我并不讨厌Hadoop，当我用其它工具不能很好处理数据时我会选择Hadoop。另外，我推荐使用Scalding，不要使用Hive或Pig。Scalding支持使用Scala语言来编写Hadoop任务链，隐藏了其下的MapRece。

⑵ 大数据解决方案都有哪些

在信息时代的我们，总会听到一些新鲜词，比如大数据，物联网，人工智能等等。而现在，物联网、大数据、人工智能已经走进了我们的生活，对于很多人看到的大数据的前景从而走进了这一行业，对于大数据的分析和解决是很多人不太了解的，那么大数据的解决方案都有哪些呢？一般来说，大数据的解决方案就有Apache Drill、Pentaho BI、Hadoop、RapidMiner、Storm、HPCC等等。下面就给大家逐个讲解一下这些解决方案的情况。

第一要说的就是Apache Drill。这个方案的产生就是为了帮助企业用户寻找更有效、加快Hadoop数据查询的方法。这个项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

第二要说的就是Pentaho BI。Pentaho BI 平台和传统的BI 产品不同，它是一个以数据流程为中心的，面向解决方案的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，这样一来就方便了商务智能应用的开发。Pentaho BI的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项复杂的、完整的商务智能解决方案。

然后要说的就是Hadoop。Hadoop 是一个能够对海量数据进行分布式处理的软件框架。不过Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。另外，Hadoop 依赖于社区服务器，所以Hadoop的成本比较低，任何人都可以使用。

接着要说的是RapidMiner。RapidMiner是世界领先的数据挖掘解决方案，有着先进的技术。RapidMiner数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

Storm。Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、Admaster等等。

最后要说的就是HPCC。什么是HPPC呢？HPCC是High Performance Computing and Communications(高性能计算与通信)的缩写。HPCC主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。

通过上述的内容，想必大家已经知道了大数据的解决方案了吧，目前世界范围内拥有的大数据解决方案种类较多，只有开发并使用好最先进的，最完备的大数据解决方案，一个公司，甚至一个国家才能走在世界前列。

⑶ 大数据 解决方案能解决什么问题

资源浪费抄，其实大数据这个概念就是资源整合，把数据集中。我给你举几个例子吧
在零售业大数据的就是把全国的零售店的销量、销售时间之类和卖的好的商品的数据找出来，然后通过查看所有商品的数据，选择最优的捆绑销售的方式或者促销方式。
在政府行业应用就是智慧城市，拿智慧城市的智慧交通举例，1路公交车你等了30分钟才来，来的时候车上已经满员了，可能要等几辆车你才可以上去，如果通过大数据，进行分析挖掘这个数据，当天就可以紧急把多发几辆车。缓解了压力。智慧医疗，原先在一家医院看完病医生不是都让人保留病史和诊断报告吗？好下回再去医院的时候方便。但是如果应用大数据，你觉得这家医院看的不好，再去第二家的时候，不需要带病史和诊断报告，因为医生可以调出你在上家医院的诊断报告和病史。
而且大数据节省了IT业的人力成本，数据都集中在某个机房中了，不需要每地都存有一个机房。

⑷ 一个典型的大数据解决方案,包含哪些组件

首先，一抄个典型的大数据解决方案，也就是大数据系统平台的构建，涉及到多个层次，数据采集和传输、数据存储、数据计算、资源管理、任务调度等，每个流程阶段当中，都有多个组件可选择，关键是要能够满足实际的需求。
简单举例说明一下典型的一些组件：
文件存储：Hadoop HDFS
离线计算：Hadoop MapRece、Spark
流式、实时计算：Storm、Spark Streaming
K-V、NOSQL数据库：HBase、Redis、MongoDB
资源管理：YARN、Mesos
日志收集：Flume、Scribe、Logstash、Kibana
消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析：Hive、Impala、Presto、Phoenix、SparkSQL、Flink、Kylin、Druid
分布式协调服务：Zookeeper
集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习：Mahout、Spark MLLib
数据同步：Sqoop
任务调度：Oozie

⑸ 列举三种大数据的解决方案

通常，Kafka和Spark Streaming基础结构具有以下优点。该 Spark框架的高效率和低延迟确保了良好的实时专性和Spark Streaming操作的性能。而属且，与Storm相比， Spark Streaming具有Spark提供的高级API和灵活性框架,它有助于以简单的方式编写更复杂的算法。基础设施的高度一致性使得车队的主管可以轻松完成查询实时数据，它还确保了流处理和批处理的平衡处理。

作者：二兵_d97a
链接：https://www.jianshu.com/p/9a4f3cf27735
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。