99问答网
所有问题
当前搜索:
hadoop spark hive
Hadoop
,
Hive
,
Spark
之间是什么关系
答:
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构。Hadoop也是apache开源大数据的一个生态圈总称,里面包含跟大数据开源框架的一些软件,包含hdfs,
hive
,zookeeper,hbase等等;Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
Hive
是基于Hadoop...
Hadoop
,
Hive
,
Spark
之间是什么关系
答:
用
hadoop
->
hive
->
spark
->报表工具(brio)的架构打通数据通路之后,做数据分析会变得非常简单(just like 图形化开发-拖拉拽)。在构建spark离线数据分析平台之前,先简单说明传统的离线数据分析平台。传统离线数据分析工作,一般把数据结构化存储在RDBMS,可通过SQL代码、报表工具、挖掘工具快速对数据进行...
常见的大数据开发工具有哪些?
答:
Hive
是一个建立在
Hadoop
上的开源数据仓库基础设施,经过Hive能够很简略的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive供给了一种简略的类似SQL的查询言语—HiveQL,这为了解SQL言语的用户查询数据供给了便利。3. Apache
Spark
Apache Spark是Hadoop开源生态体系的...
如何用形象的比喻描述大数据的技术生态?
Hadoop
、
Hive
、
Spark
之间是什么...
答:
回答:大数据本身是一个非常宽泛的概念,而
Hadoop
生态系统(或一般的生态系统)基本上是单一规模的数据处理。你可以把它和厨房比较,所以我需要各种工具。锅碗瓢盆,各有其用,重叠。你可以在碗里直接用汤锅。你可以用刀或飞机去皮。每个工具都有自己的特性,虽然奇数可以工作,但不一定是最好的。大数据,首先你...
大数据学什么框架?什么是生态圈?
答:
大数据平台中的主流框架主要有以下三种:(一)
Hadoop
生态圈 HDFS:分布式文件系统,解决大数据的存储 Yarn(MapReduce):分布式计算框架,解决大数据的计算
Hive
:Hadoop中的数据分析引擎,支持SQL HBase:基于HDFS的NoSQL数据库 ZooKeeper:分布式协调服务,可以用于实现HA(高可用架构)其他 (二)
Spark
生态圈 Spark...
“大数据架构”用哪种框架更为合适?
答:
hadoop
+
spark
+
hive
是一个很不错的选择.hadoop的HDFS毋庸置疑是分布式文件系统的解决方案,解决存储问题;hadoop mapreduce、hive、spark application、sparkSQL解决的是离线计算和即席查询的问题;spark streaming解决的是实时计算问题;另外,还需要HBase或者Redis等NOSQL技术来解决实时查询的问题。除了这些,...
大数据核心技术有哪些
答:
3、数据清洗:MapReduce作为
Hadoop
的查询引擎,用于大规模数据集的并行计算。4、数据查询分析:
Hive
的核心工作就是把SQL语句翻译成MR程序,可以将结构化的数据映射为一张数据库表,并提供HQL(HiveSQL)查询功能。
Spark
启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。5、数据...
hadoop
和
spark
的区别
答:
平台不同
spark
和
hadoop
区别是,spark是一个运算平台,而hadoop是一个复合平台(包含运算引擎,还包含分布式文件存储系统,还包含分布式运算的资源调度系统),所以,spark跟hadoop来比较的话,主要是比运算这一块大数据技术发展到目前这个阶段,hadoop主要是它的运算部分日渐式微,而spark目前如日中天,相关技术...
大数据查询分析技术有哪些?
答:
Hive
适合于长时间的批处理查询分析,而Impala适合于实时交互式SQL查询,Impala给数据人员提供了快速实验,验证想法的大数据分析工具,可以先使用Hive进行数据转换处理,之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。
Spark
拥有
Hadoop
MapReduce所具有的特点,它将Job中间输出结果保存在内存中,从而...
大数据平台的软件有哪些?
答:
一、大数据处理 这个是所谓大数据项目中最先想到的模块。主要有
spark
,
hadoop
,es,kafka,hbase,
hive
等。当然像是flume,sqoop也都很常用。这些软件主要是为了解决海量数据处理的问题。软件很多,我只列几个经典的,具体可以自行百度。二、机器学习相关 大部分大数据项目都和机器学习相关。因此会考虑到机器...
1
2
3
4
5
6
7
8
9
10
下一页
尾页
其他人还搜
hadoop hbase hive hdfs区别
hadoop与kafka
大数据spark hive
hive kafka
spark和hadoop结合
hive分析数据可视化
spark可视化项目
hadoop数据库还是hive数据库
用hadoop分析教育化系统