大数据分析架构书籍
A. 有关大数据云计算的书籍有哪些
你好,关于大数来据书籍有以下基本自了参考看:
1.大数据预测
2.大数据时代
3.大数据分析:决胜互联网金融时代
4.为数据而生:大数据创新实践
5.爆发:大数据时代预见未来的新思维
这些书都是不错的,将来大数据非常的重要。
B. 主流的大数据分析框架有哪些
1、Hadoop
Hadoop 采用 Map Rece 分布式计算框架,根据 GFS开发了 HDFS 分布式文件系统,根据 Big Table 开发了 HBase数据存储系统。Hadoop 的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo,Facebook,Amazon 以及国内的网络,阿里巴巴等众多互联网公司都以 Hadoop 为基础搭建自己的分布。
2、Spark
Spark 是在 Hadoop 的基础上进行了一些架构上的改良。Spark 与Hadoop 最大的不同点在于,Hadoop 使用硬盘来存储数据,而Spark 使用内存来存储数据,因此 Spark 可以提供超过 Ha?doop 100 倍的运算速度。由于内存断电后会丢失数据,Spark不能用于处理需要长期保存的数据。
3、 Storm
Storm 是 Twitter 主推的分布式计算系统。它在Hadoop的基础上提供了实时运算的特性,可以实时的处理大数据流。不同于Hadoop和Spark,Storm不进行数据的收集和存储工作,它直接通过网络实时的接受数据并且实时的处理数据,然后直接通过网络实时的传回结果。
4、Samza
Samza 是由 Linked In 开源的一项技术,是一个分布式流处理框架,专用于实时数据的处理,非常像Twitter的流处理系统Storm。不同的是Sam?za 基于 Hadoop,而且使用了 Linked In 自家的 Kafka 分布式消息系统。
Samza 非常适用于实时流数据处理的业务,如数据跟踪、日志服务、实时服务等应用,它能够帮助开发者进行高速消息处理,同时还具有良好的容错能力。
C. 推荐一本关于大数据,数据分析类似的书籍
1、《Hadoop权威指南》
现在3.1版本刚刚发布,但官方并不推荐在生产环境使用。作为hadoop的入门书籍,从2.x版本开始也不失为良策。
本书从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。刚刚更新的版本中,相比之前的版本增加了介绍YARN , Parquet , Flume, Crunch , Spark的章节,非常适合于Hadoop 初学者。
2、《Learning Spark》
《Spark 快速大数据分析》是一本为Spark 初学者准备的书,它没有过多深入实现细节,而是更多关注上层用户的具体用法。不过,本书绝不仅仅限于Spark 的用法,它对Spark 的核心概念和基本原理也有较为全面的介绍,让读者能够知其然且知其所以然。
3、《Spark机器学习:核心技术与实践》
以实践方式助你掌握Spark机器学习技术。本书采用理论与大量实例相结合的方式帮助开发人员掌握使用Spark进行分析和实现机器学习算法。通过这些示例和Spark在各种企业级系统中的应用,帮助读者解锁Spark机器学习算法的复杂性,通过数据分析产生有价值的数据洞察力。
D. 想从零开始自学大数据,请问有哪些书籍推荐
在人人高呼的大数据时代,你是想继续做一个月薪6K+的码农,还是想要翻身学习成为炙手可热名企疯抢的大数据工程师呢?
随着互联网技术的发展,大数据行业前景非常被看好,有很多朋友对大数据行业心向往之,却苦于不知道该如何下手,或者说学习大数据不知道应该看些什么书。作为一个零基础大数据入门学习者该看哪些书?今天就给大家分享几本那些不容错过的大数据书籍。
1、《数据挖掘》
这是一本关于数据挖掘领域的综合概述,本书前版曾被KDnuggets的读者评选为最受欢迎的数据挖掘专著,是一本可读性极佳的教材。它从数据库角度全面系统地介绍数据挖掘的概念、方法和技术以及技术研究进展,并重点关注近年来该领域重要和最新的课题——数据仓库和数据立方体技术,流数据挖掘,社会化网络挖掘,空间、多媒体和其他复杂数据挖掘。
2、《Big Data》
这是一本在大数据的背景下,描述关于数据建模,数据层,数据处理需求分析以及数据架构和存储实现问题的书。这本书提供了令人耳目一新的全面解决方案。但不可忽略的是,它也引入了大多数开发者并不熟悉的、困扰传统架构的复杂性问题。本书将教你充分利用集群硬件优势的Lambda架构,以及专门用来捕获和分析网络规模数据的新工具,来创建这些系统。
3、《Mining of Massive Datasets》
这是一本书是关于数据挖掘的。但是本书主要关注极大规模数据的挖掘,也就是说这些数据大到无法在内存中存放。由于重点强调数据的规模,所以本书的例子大都来自Web本身或者Web上导出的数据。另外,本书从算法的角度来看待数据挖掘,即数据挖掘是将算法应用于数据,而不是使用数据来“训练”某种类型的机器学习引擎。
E. 大数据相关的书籍有哪些,麻烦推荐一下
初级阶段:《大数据时代》
读完这本书,要求你形成大数据回的概念,对大数据有个全面的答认识和了解。
中级阶段:《失控》
用统计的方法,而不是因果的方法,预测未来,用统计的方法来对某些东西进行预测.
高级阶段:《复杂性》
指明了一个无穷叠代,即 “关系的关系的……关系”,而智能将在这里涌现,解决复杂性问题预测的关键很可能就在这里,这句话打开了一个非常广阔的前景,将象宇宙一样没有穷尽。
高级阶段(2):《量子物理史话》
停止争论吧,上帝真的掷骰子!随机性是世界的基石,当电子出现在这里时,它是一个随机的过程,并不需要有谁给它加上难以忍受的条条框框。……而统计规律则把微观上的无法无天抹平成为宏观上的井井有条。——摘自《量子物理史话》
F. 大家推荐一本写得好的关于大数据的书
两本:
《大数据:正在到来的数据革命》 涂子沛
《大数据时代:生活、工作与思维的大变内革》 维克托•迈尔容-舍恩伯格 (Viktor Mayer-Schönberger) (作者), 肯尼思•库克耶 (Kenneth Cukier) (作者), 盛杨燕 (译者), 周涛 (译者)
嫌少再加两本:
《删除:大数据取舍之道》 维克托•迈尔-舍恩伯格 (Viktor Mayer-Schönberger) (作者), 袁杰 (译者)
《爆发:大数据时代预见未来的新思维》 艾伯特•拉斯洛•巴拉巴西(Albert László Barabási) (作者), 马慧 (译者)
G. 成为大数据处理架构师需要学什么
一、大数据通用处理平台
Spark
Flink
Hadoop
二、分布式存储:HDFS
三、资源调度
Yarn
Mesos
四、数据分析/数据仓库专(SQL类)
Pig
Hive
kylin
Spark SQL,
Spark DataFrame
Impala
Phoenix
ELK
五、属流式计算
Storm/JStorm
Spark Streaming
Flink
H. 有什么比较好的大数据入门的书推荐
1. 《大数据分析:点“数”成金》
你现在正坐在一座金矿上,这些金子或被埋于备份,或正藏在你眼前的数据集里,他们是提升公司效益、拓展新的商业关系、制定更直观决策的秘诀所在,足以使你的企业更上一层楼。你将明白如何利用、分析和驾驭数据来获得丰厚回报。作者Frank Ohlhorst厚积数十年的技术经验写了此书。该书介绍了如何将大数据应用于各行各业,你将了解到如何对数据进行挖掘,怎样从数据中揭示趋势并转化为竞争策略及提取价值的方法。这些更有意思也是更有效的方法能够提升企业的智能化水平,将有助于企业解决实际问题,提升利润空间,提高生产率并发现更多的商业机会。
2.《大数据时代》
《大数据时代》是国外大数据系统研究的先河之作,本书作者维克托被誉为”大数据商业应用第一人”,拥有再哈佛大学、牛津大学和新加坡国立大学等多个互联网研究重镇任教经历,早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。该书主要讲了大数据时代的变革、商业变革和管理变革。《大数据时代》认为大数据的核心就是预测。大数据为人类的生活创造了前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉,而更多的改变正蓄势待发。
3.《云端时代杀手级应用:大数据分析》
《云端时代杀手级应用:大数据分析》分析了什么是大数据、大数据大商机、技术与前瞻三个部分。第一个部分介绍大数据分析的概念,以及企业、政府部门可应用的范畴。什么是大数据分析?与个人与企业有什么关系?将对全球产业造成什么样的冲击?第二部分完整介绍了大数据在各产业的应用实况,为企业及政府部门提供应用的方向。提供了全球各地的实际应用案例,涵盖了零售、金融、政府部门、能源、制造、娱乐等各个行业,充分展示了大数据分析产生的效益。第三部分则简单介绍了大数据分析所需要的技术及未来的发展趋势,为读者提供了应用与研究的方向。
4.《大数据》
本书通过讲述美国半个多世纪信息开放、技术创新的历史,以别开生面的经典案例奥巴马建设”前所未有的开放政府“的雄心、公开财务透明的曲折。《数据质量法》背后隐情,全国医改法案的波澜、统一身份证的百年纠结以及云计算、Facebook和推特等社交媒体等等,为您一一讲解数据创新给社会带来的种种变革和挑战。
5.《大数据互联网大规模数据挖掘与分布式处理》。
该书主要讲的是海量数集数据挖掘常用的算法。书中分析了海量数据集数据挖掘常用的算法,介绍了目前WEB端应用的许多重要话题等。
I. 大数据入门书籍有哪些
1:<大数据时代>
这是学习大数据必读的一本书,也是最系统的关于大数据概念的一本书,由维克托·迈尔-舍恩伯格和肯尼斯·库克耶编写,主要介绍了大数据理念和生活工作及思维变革的关系。
它被包括宽带资本董事长田朔宁、知名IT评论人谢文等专业读者鉴定为“大数据领域最好的著作没有之一,一本顶一万本”。有这么好吗?看完自己评价吧。这本书对这个大规模产生、分享和应用数据的新的大时代进行了阐述和厘清,作者围绕“要全体不要抽样、要效率不要绝对精确、要相关不要因果”三大理念,通过数十个商业和学术案例,剖析了万事万物数据化和数据复用挖掘的巨大价值。
2:<爆发>
由巴拉巴西编写,主要讲了在一个历史故事的连续讲述中,了解大数据的概念实质。从大数据的历史开始,能更深入的了解大数据的发展历程。
巴拉巴西整本书讲述的大数据根本目的,是预测。他甚至有零有整地判断,人类行为93%是可以预测的。打个比方,千百年前人类无法如今天般准确预测天气,以致某些大致预测的行为都被认为是“通神”,其实核心在于对天气数据的海量占有和分析能力。但假如全人类的所有基础及行为数据全部被占有全部能分析呢?比如通过智能终端LBS功能采集全部运动轨迹、通过金融系统采集所有支付记录、通过SNS采集所有社会关系和通过邮件、文档、社会视频监控和自我视频监测采集所有言行记录,24小时,每分每秒,一生,全地球70亿人,那会如何?
3:<大数据>
由徐子沛编写,看美国政府在大数据开放上的进程与反复,算是个案。如果能够基本了解这三本的观点,出门有底气,见人腰杆直,不再被忽悠。
全书讲述的,是大数据在美国政府管理中的应用,以及美国政府运行方式大数据变革的历史与斗争,其实也是故事性的。从奥巴马上台就颁布《信息公开法案》,到设立第一个美国政府首席信息官开始,讲述美国政府与民间在社会数据公开的斗争史,以及美国社会管理向大数据思维转变的过程。首先,这算是一个最详实的案例;其次,这代表的不是某种管理方式变革,深处是对民主运行机制的变革与进步。说好了,这本书用心良苦,远远超越科普技术领域;说坏了,其心可诛。有一段,民间斗争,逼迫奥巴马公布所有每日白宫全部日程,包括接见了谁、谈话的全部内容,这不就是个人大数据全公开在公众人物上的应用吗?这可比现在所谓官员公开财产的要求高了几十倍——这要求政府全部行为、全部数据、全部公开,全体公众随时可查——技术和成本上其实
J. 大神,关于大数据处理方面的书籍有推荐吗
《大数据来处理之道》作者:何金自池
分析比较了当下流行的大数据处理技术的优劣及适用场景,包括Hadoop、Spark、Storm、Dremel、Drill等,详细分析了各种技术的应用场景和优缺点;同时阐述了大数据下的日志分析系统,重点讲解了ELK日志处理方案;最后分析了大数据处理技术的发展趋势,重点从各种技术的起源、设计思想、架构等方面阐述大数据处理之道。