大数据学习入门都需要学什么?求大神解答一下

如题所述

大数据学习入门都需要学习和具备的基础知识:

    数学知识:数学知识是数据分析师的基础知识。

    ①对于初级数据分析师,了解一些描述统计相关的基础内容,有一定的公式计算能力即可,了解常用统计模型算法则是加分。

    ②对于高级数据分析师,统计模型相关知识是必备能力,线性代数(主要是矩阵计算相关知识)最好也有一定的了解。

    ③而对于数据挖掘工程师,除了统计学以外,各类算法也需要熟练使用,对数学的要求是最高的。

    分析工具

    ①对于初级数据分析师,玩转Excel是必须的,数据透视表和公式使用必须熟练,VBA是加分。另外,还要学会一个统计分析工具,SPSS作为入门是比较好的。

    ②对于高级数据分析师,使用分析工具是核心能力,VBA基本必备,SPSS/SAS/R至少要熟练使用其中之一,其他分析工具(如Matlab)视情况而定。

    ③对于数据挖掘工程师……嗯,会用用Excel就行了,主要工作要靠写代码来解决呢。

    编程语言

    ①对于初级数据分析师,会写SQL查询,有需要的话写写Hadoop和Hive查询,基本就OK了。

    ②对于高级数据分析师,除了SQL以外,学习Python是很有必要的,用来获取和处理数据都是事半功倍。当然其他编程语言也是可以的。

    ③对于数据挖掘工程师,Hadoop得熟悉,Python/Java/C++至少得熟悉一门,Shell得会用……总之编程语言绝对是数据挖掘工程师的最核心能力了。

    业务理解

    业务理解说是数据分析师所有工作的基础也不为过,数据的获取方案、指标的选取、乃至最终结论的洞察,都依赖于数据分析师对业务本身的理解。

    ①对于初级数据分析师,主要工作是提取数据和做一些简单图表,以及少量的洞察结论,拥有对业务的基本了解就可以。

    ②对于高级数据分析师,需要对业务有较为深入的了解,能够基于数据,提炼出有效观点,对实际业务能有所帮助。

    ③对于数据挖掘工程师,对业务有基本了解就可以,重点还是需要放在发挥自己的技术能力上。

    逻辑思维

    ①对于初级数据分析师,逻辑思维主要体现在数据分析过程中每一步都有目的性,知道自己需要用什么样的手段,达到什么样的目标。

    ②对于高级数据分析师,逻辑思维主要体现在搭建完整有效的分析框架,了解分析对象之间的关联关系,清楚每一个指标变化的前因后果,会给业务带来的影响。

    ③对于数据挖掘工程师,逻辑思维除了体现在和业务相关的分析工作上,还包括算法逻辑,程序逻辑等,所以对逻辑思维的要求也是最高的。

    数据可视化

    数据可视化说起来很高大上,其实包括的范围很广,做个PPT里边放上数据图表也可以算是数据可视化,所以我认为这是一项普遍需要的能力。

    ①对于初级数据分析师,能用Excel和PPT做出基本的图表和报告,能清楚的展示数据,就达到目标了。

    ②对于高级数据分析师,需要探寻更好的数据可视化方法,使用更有效的数据可视化工具,根据实际需求做出或简单或复杂,但适合受众观看的数据可视化内容。

    ③对于数据挖掘工程师,了解一些数据可视化工具是有必要的,也要根据需求做一些复杂的可视化图表,但通常不需要考虑太多美化的问题。

    协调沟通

    ①对于初级数据分析师,了解业务、寻找数据、讲解报告,都需要和不同部门的人打交道,因此沟通能力很重要。

    ②对于高级数据分析师,需要开始独立带项目,或者和产品做一些合作,因此除了沟通能力以外,还需要一些项目协调能力。

    ③对于数据挖掘工程师,和人沟通技术方面内容偏多,业务方面相对少一些,对沟通协调的要求也相对低一些。

    快速学习

    无论做数据分析的哪个方向,初级还是高级,都需要有快速学习的能力,学业务逻辑、学行业知识、学技术工具、学分析框架……数据分析领域中有学不完的内容,需要大家有一颗时刻不忘学习的心。

温馨提示:答案为网友推荐,仅供参考
第1个回答  2017-12-13

简要说一下大数据入门的基础知识:

技能一:理解数据库。

进入了这个领域,你会发现几乎一切都是用数据库来存储数据,如MySQL,PostgreSQL,CouchDB,MongoDB,Cassandra等。理解数据库并且能熟练使用它,将是一个基础能力。

技能二:掌握数据整理、可视化和报表制作。

数据整理,是将原始数据转换成方便实用的格式,实用工具有DataWrangler和R。数据可视化,是创建和研究数据的视觉表现,实用工具有ggvis,D3,vega。数据报表是将数据分析和结果制作成报告。也是数据分析师的一个后续工作。这项技能是做数据分析师的主要技能。可以借助新型软件帮助自己迅速学会分析。如大数据魔镜可视化分析软件(“魔镜”)既可以满足企业需求,也可以适应个人需要,是进行数据分析的一个新型而精准的产品。

技能三:懂设计

说到能制作报表成果,就不得不说说图表的设计。在运用图表表达数据分析师的观点时,懂不懂设计直接影响到图形的选择、版式的设计、颜色的搭配等,只有掌握设计原则才能让结果一目了然。否则图表杂乱无章,数据分析内容不能良好地呈现出来,分析结果就不能有效地传达。

技能四:几项专业技能

统计学技能——统计学是数据分析的基础,掌握统计学的基本知识是数据分析师的基本功。从数据采集、抽样到具体分析时的验证探索和预测都要用到统计学。

社会学技能——从社会化角度看,人有社会性,收群体心理的影响。数据分析师没有社会学基本技能,很难对市场现象做出合理解释。

另外,最好还能懂得财务管理知识和心理学概况。这些都将会使你做数据分析的过程更容易。

技能五:提升个人能力。

有了产品可以将数据展示出来,还需要具备基本的分析师能力。首先,要了解模型背后的逻辑,不能单纯地在模型中看,而要放到整个项目的上下文中去看。要理解数据的信息,形成一个整体系统,这样才能够做好细节。另外,与数据打交道,细心和耐心也是必不可少的。

技能六:随时贴近数据文化

拥有了数据分析的基本能力,还怕不够专业?不如让自己的生活中充满数据分析的气氛吧!试着多去数据分析的论坛看看,多浏览大数据知识的网站,让自己无时无刻不在进步,还怕不能学会数据分析吗?

作者:周芩
来源:知乎
著作权归作者所有。

本回答被提问者采纳
第2个回答  2019-09-12

大数据需要学习:

语言Java、Scala等

分布式计算Spark,MapReduce等

分布式存储Hbase,MongoDB等

分布式调度与管理Yarn、Zookeeper等

1、Linux基础

在大数据领域,使用最多的操作系统就是Linux系列,并且几乎都是分布式集群。学习Linux操作系统、Linux常用命令、Linux常用软件安装、Linux网络、防火墙、Shell编程等

2、Java基础

Java语言基础、HTML、CSS、JavaWeb和数据库等

3、Hadoop

分布式系统概述、hadoop生态圈及各组成部分

4、Scala+Spark

需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识。

5、storm

类似Hadoop集群。用来计算数据。

相似回答