A. 大数据需要学编程吗

很多人了解到大数据发展的前景和空间很好,适合发展自己的职业生涯,导致很多零基础的想要加入大数据的学习中
首先,0基础入门大数据,先从一门编程语言入手。我建议,如果你想往大数据开发方向走,学习java,想学数据分析或者数据挖掘,那就选python
为什么一开始的入门要学习编程呢?
这就跟问学习为什么要学会拿画笔、学习音乐为什么要练发声一样,因为它是基础啊!
学习大数据,不能只看数据,不能只设计算法,关键是要通过编程把算法来实现,看算法是否对数据有一定的效果。如果不学一门语言,你就不能和计算机对话,就没有办法让计算机来处理数据,也就不能证明你的想法和算法的有效性和准确性。
既然编程是基础,重要性就不用我在多说了吧,一定要学好哦。
0基础学习大数据需要Java基础
Java:开发需求最多的编程语言之一,可以从事网站开发、桌面程序设计、游戏开发、安卓后台开发、全栈开发等。它可以说是大数据最基础的编程语言,一是大数据的本质是海量数据的计算,查询与存储,后台开发很容易接触到大数据量存取的应用场景;二是Java天然的优势,大数据的组件很多是用Java开发的。
零基础小白想学习大数据,需要从Java基础开始学起,可以把Java语言作为第一个入门语言。一般来说,学会JavaSE就可以了,但能掌握JavaEE的话会更好。
JavaSE:变量、循环、if等等;面向对象;I/O输入和输出(HDFS会用到);反射、泛型,MR查询;JDBC:操作关系型数据库(RDBMS)(HIVE会用到)。
大数据需要学习Linux系统管理、Shell编程设计、Maven
Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Shell是一个用C语言编写的程序,它是用户使用Linux的桥梁;Shell既是一种命令语言,又是一种程序设计语言。Shell是一个命令解释器,解释执行用户所输入的命令和程序。Maven是一个项目管理工具,可以通过一小段描述信息来管理项目的构建,报告和文档的项目管理。
大数据技术往往运行在Linux环境下,大数据的分布式集群(Hadoop,Spark)都是搭建在多台Linux系统上,对集群的执行命令都是在Linux终端窗口输入......想从事大数据相关工作,需要掌握Linux系统操作方法和相关命令。

B. 大数据学习编程么

需要学习编程的,不然有些工作是没办法完成的,达内这些大型培训公司就有相关的课程体系的

C. 大数据怎么学,是不是还要学习编程

一般学大数据就是面授,线上学大数据效果并不理想,选择大数据培训机构的时候一定要好好的了解机构的口碑、师资、就业、课程、费用等等方面的情况,多对比几家机构,如果条件允许就去实地考察一下,希望你能找到好的大数据培训机构。

D. 大数据也是学编程的么

1、大数据分很多种,如果是数据分析,主要是算法和数学,大数据处理,主要就是开发程序了。

E. 大数据是指什么,电脑编程从何学起

大数据就是个统计分析,收集海量数据,从中找出需要的规律。

F. 大数据主要学习什么编程语言

python,目前最为主流的大数据编程语言,目前是在大数据和人工智能方面的No.1
但其实每一种语言都能做大数据,只是方便不方便的问题。

G. 大数据是不是比其他编程学科厉害点

大数据和其他的编程学科其实都是一样的,都是编程的。就是大数据要学习的编程语言和编程的框架有点多,有朋友在黑马学的大数据,好像讲语言就讲好几种如java,scala,python之类的。

H. 大神,大数据需要会编程吗都要有什基础啊。

需要,有java、数据库、逻辑思维要好可以,大数据是眼下非常时髦的热词,版同时也催生出了一些与权大数据处理相关的职业,通过对数据的挖掘分析来影响企业的决策。随着大数据在国内的发展,大数据相关人才却出现了供不应求的状况,大数据分析师更是被媒体称为“未来具发展潜力的职业之”。远标教育

I. 大数据时代对编程有什么影响

世界上有一个著名的编程语言排行榜,即TIOBE以反映编程语言的热门程度。年3月的排行中,Java、Python、R语言和Scala分别占据了第一、第五、第十三和第三十的位置。上图中反映出近十五年来,Java在绝大多数时间中都占据了排行榜的首位,足见其本身的流行度。
1.Java
正如前面所提到的,Java是目前编写大数据的重要语言,我们用的Hadoop、Spark和Storm都是用Java语言编写而成的,可见Java语言在大数据方面的重要作用。
Java最初由Sun公司的詹姆斯·高斯林开发出来,高斯林长期供职于Sun公司,但Sun公司在2009年被甲骨文收购,高斯林一直对甲骨文公司抱有不满,并于2010年离开甲骨文加入谷歌,他在离开甲骨文时说:“我所说的都关乎细节与诚实,但吐露真相只会带来更多的坏处”,“在Sun与甲骨文的并购会议上,到处是有关Sun和谷歌专利的争吵。甲骨文律师的眼睛闪闪发光。”关于Java的故事虽然铺满了传奇,比如那些不可思议的成功、失之交臂的良机、纠缠不清的官司,但Java本身却成功地应用在网络计算、移动等各个领域。历史上从未有像Java这样可以如此广泛地被应用的语言和平台。
Java语言如此成功与Java的特点是密切相关的,在Java之前最流行的编程语言是C语言,但C语言的指针处理对普通程序员而言简直是梦魇,经常会带来内层泄露问题。因此,高斯林发明Java的一个重要原因便是为了解决C语言的泄露问题和C++兼容C语法而造成的一些历史遗留问题。Java提出了引用类型,取消了C语言中特殊的指针语法,并通过垃圾自动回收的机制,自动回收不再使用的对象内存。程序员只需创建对象,无需关心如何回收对象,这便使得程序员的犯错率大大降低,开发效率也大大提升。同时,Java还提出了中间语言和虚拟机的概念,Java程序会先编译成叫字节码的中间语言,再由运行在各操作系统上的Java虚拟机软件(JVM),在运行时解释和执行。这样做的好处是实现了当年Java的口号:一次编写、到处运行,使得企业可以自由选择操作系统和服务器设备,保护了企业的投资。
我们直觉上认为,Java编写的代码需要编译为字节码,再由虚拟机来解释执行,运行速度应该慢于直接编译为机器码的语言,如C语言。但人们对Java虚拟机做了大量的优化,使得普通程序员编写的Java程序远快于普通程序员编写的C语言程序,不同水平的Java程序员也能较好的进行团队协作,开发大型项目,变相降低了企业的人力成本。
Java具有跨平台特性和开放特性,编写效率相对较高,它属于强类型的静态语言,其本身结构非常方便大型项目的组织管理和模块划分。因此,毕业于美国斯坦福大学的Hadoop之父DougCutting在编写Hadoop时选择了Java语言,这并非偶然。
Java语言的特点人们比较认可的是:简单性、面向对象、分布式、健壮性、多线程、安全性、可移植性、动态性等特点,当然,其中的简单、多线程是相对于当时的C语言、C++而言的。总之,Java构成了当前企业大数据计算的基石。
2.Python
1989年的圣诞节期间,在荷兰的阿姆斯特丹,年轻的Guidovan Rossum为了打发圣诞节的无聊,决定开发一个新的脚本解释程序,由于他非常喜欢英国六人喜剧团体Monty Python,因此以Python作为脚本名称。
Python由ABC语言继承而来,非常适合非程序员来学习使用,普通人员在学习Python时入门非常容易,刚刚提到Java是一门简单的语言,Python则是“更加简单”的语言。我们在开始学习Java时,需要配置环境变量、安装基础开发环境、编译运行等,这些基础工作使得很多人抓狂,甚至成功将很多人吓跑了。Python要简单得多,下载安装之后,在命令行直接输入Python,便可打开一个解释器,每执行一行代码能立即看到输出结果。因此,初学者非常乐意将Python当作一个强大的科学计算器来使用,体验Python的强大功能。
Python遵循了优雅、明确、简单的设计原则,一件事情会有很多种方法,其中会有相对较好的一种。Python开发者的哲学是用一种方法,最好只用一种方法做一件事情,如果有多种选择,Python开发者会拒绝花哨的语法,而是选择明确的、没有歧义的语法。
Python强制使用空格作为逻辑代码块的隶属关系控制,强制程序员养成良好的编程习惯。Python的解释器中会输出Python推荐的编写风格和准则,例如优美胜于丑陋,明了胜于晦涩。在Python显示器中输入importthis,便可看到这一系列准则的英文。
经过二十多年的发展,Python已变得非常流行。从早期的各类系统管理任务和web编程,到后来的科学计算和数据分析,Python的应用都比较多。Python的简洁、易读和可扩展性使得用Python做科学计算的研究机构日益增多,如卡内基梅隆大学的编程基础、MIT的计算机科学基编程导论都采用了Python来教授这些课程。此外,众多开源的科学计算软件包也都提供了Python调用接口,如著名的图形库(OpenCV)、三维可视化库(VTK),在科学计算和数据分析方面也形成了较为统一的经典扩展库,如用于快速数组处理的NumPy、数值运算专用的SciPy、图形绘制的MatplotLib、金融处理方面的Pandas。同时,还有大量的经典图书采用了Python语言来讲解数据挖掘方面的相关理论,如集体智慧编程、社交媒体的数据挖掘与分析等等。
因此,Python的特点可以总结为简单、优雅、易于扩展、有丰富的科学计算和数据分析扩展库,非常适合数据科学家来学习使用。
3.R语言
R语言本质上是一款集统计分析和可视化于一体的免费的可跨平台运行的统计软件。由新西兰奥克兰大学的Robert Gentleman和RossIhaka二人在九十年代初期共同发明,当时两个人教授一门初等的统计课程,为方便授课开发了这一语言,由于两个人的名字均以R开头,因此被称为R语言。
R语言可以看作是大名鼎鼎的贝尔实验室所开发的S语言的一种实现。1975年,贝尔实验室的统计研究部使用了一套文档齐全的扩充库来做统计研究,我们称其为SCS。但SCS在做统计分析时需要大量的编程,有人认为这样太麻烦,于是贝尔实验室又开发了一套完整的高级语言系统,即S语言,用于交互。1993年,S语言的许可证被MathSoft公司买断了,引起了人们的担忧,而开源的R语言引起了人们的关注。1997年,R语言正式成为GNU项目,大量的优秀统计学家加入了R语言的开发行列。到今天,这一场开源和商业、开放和封闭之争已尘埃落定,R语言已成为当今最为流行的统计分析工具之一。
和Python类似,R语言的使用也很简单,直接打开R的交互环境,输入demo,便可以看到其中的一些例子。因此,初学者可以很快地获得直观的感受,增加学习的乐趣,对学习统计知识非常有帮助。
从R语言的发展历史来看,主要是为统计学家解决数据分析问题而开发的。R的特点是尤其擅长于数据的统计分析。R语言算法几乎覆盖了整个统计领域的前沿算法,重复性的工作借助R语言强大的分析能力和排版能力,利用Sweave能得到很好的解决。R本身属于统计编程类语言,受到其算法架构的通用性和速度、性能等方面的影响,最开始的设计完全是基于单线程和内存计算完成。因此,在处理大规模数据时显得力不从心,好在R有一些优秀的扩展,能在一定程度上解决这些问题。如SparkR、RHadoop等等。
4.Scala语言
我们知道,伟大的Java促进了今日信息技术的辉煌,Java支撑了大量的企业级关键应用,如web站点、手机应用等等。但人们一直期待Java的重大改进和更新换代,使其吸收其他语言的长处,进一步提升生产效率。而Scala不仅在“更好的Java”方面做得非常成功,而且在并发编程、大数据处理、科学计算方面都取得了不错的效果。
Scala由瑞士的联邦理工学院Martin Odersky在2003年开始设计,在此之前,他已经因对Java的优化而闻名于世,Scala是其又一成名之作。正如其名,Scala本身是一门可扩展的语言,其中有静态运行、面向对象编程、函数式编程、类型推导、高阶函数等众多特性。Scala语言非常经典,相同的功能用Scala实现,代码量能达到Java的百分之二十左右。Scala不仅可以做到更好的Java,而且在数据统计分析方面,原先Python和R语言独具的一些统计分析模块,已经有越来越多的Scala实现,例如Breeze、Spark data frame、Zeppelin。我们知道以前的数据分析书籍大多由Python语言写成,现在也有许多用Scala进行数据分析和机器学习的书籍,如Scala Data Analysis Cookbook、Scala for Machine Learning。
Scala可以无缝衔接原有的Java库,充分地利用现有的Java资源,在大数据并行分析处理方面更是独具优势。因此,很多大数据平台都选择Scala作为首要的实现语言和API接口语言。
个人认为,Scala最主要的特点是非常灵活,以至于初学者的学习曲线比较陡峭,但Scala很好地将Java的面向对象编程方法与Haskell函数式编程思想揉在一起,其中体现的现代化编程思想值得程序设计人员深入的学习和体会。
这四种编程语言各有各的优点,但有人的地方便有争论,这里的争论焦点主要集中于R和Python间的选择问题。其实,通过这两种语言的官网介绍,便可以看出他们的定位并不完全一致,Python是一种通用的编程语言,除数据分析外在很多领域都有广泛的应用,R的定位是“用于统计计算的免费软件环境”。
三、初学者如何选择大数据编程语言
工欲善其事必先利其器,对于奋战在大数据处理和分析前沿的人员而言,手中应有一把使用自如的快刀,当面对上述四种各有特色的编程语言应如何选择?
在Quora上,有人提到,对于数据工程推荐使用Java和Scala,对于数据科学推荐使用Python和R语言,个人觉得很有道理。如果你是一个统计学家,并没有太多的计算机科学背景,R应该是一个很不错的选择;如果接受过较为系统的程序设计训练,又想从事数据分析方面的工作,Python应该是不错的选择;如果我们要做大数据产品、大数据具体项目,或者想深入了解现在大数据框架底层的运行机制,那学习Java是必不可少的基本要求;对于Scala语言,如果你是一个熟练的Java工程师,厌倦了Java的冗余繁琐,向往美好的函数式编程、向往Python的简洁优雅、向往R语言的强大统计功能,可以选择Scala。Scala还有一个额外的好处,用Scala写的程序代码初级程序员很难看懂,也不敢随意修改,便不用担心在团队协作时精心编写的代码被一些初级程序员改错。
当然,个人认为,编程语言并没有高低贵贱和优劣之分,各有各的优点,如果你有兴趣和能力,不妨将各种语言都实践一遍,尤其是侧重于大数据工程的技术人员,在学好一门重量级的语言,如Java语言,与此同时,掌握一门Python或R语言对于开拓自己的视野、学习数据分析的理论、阅读相关的书籍都是大有裨益的。

J. 大数据专业学什么编程

大数据需要的语言

Java

java可以说是大数据最基础的编程语言,据我这些年的经验,我接触的很大一部分的大数据开发都是从Jave Web开发转岗过来的(当然也不是绝对我甚至见过产品转岗大数据开发的,逆了个天)。

  • 一是因为大数据的本质无非就是海量数据的计算,查询与存储,后台开发很容易接触到大数据量存取的应用场景

  • 二就是java语言本事了,天然的优势,因为大数据的组件很多都是用java开发的像HDFS,Yarn,Hbase,MR,Zookeeper等等,想要深入学习,填上生产环境中踩到的各种坑,必须得先学会java然后去啃源码。

  • 说到啃源码顺便说一句,开始的时候肯定是会很难,需要对组件本身和开发语言都有比较深入的理解,熟能生巧慢慢来,等你过了这个阶段,习惯了看源码解决问题的时候你会发现源码真香。

    Scala

    scala和java很相似都是在jvm运行的语言,在开发过程中是可以无缝互相调用的。Scala在大数据领域的影响力大部分都是来自社区中的明星Spark和kafka,这两个东西大家应该都知道(后面我会有文章多维度介绍它们),它们的强势发展直接带动了Scala在这个领域的流行。

    Python和Shell

    shell应该不用过多的介绍非常的常用,属于程序猿必备的通用技能。python更多的是用在数据挖掘领域以及写一些复杂的且shell难以实现的日常脚本。