99问答网
所有问题
当前搜索:
spark和hive的区别
Hadoop,
Hive
,
Spark
之间是什么关系
答:
Hive
是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
Spark
是一种与 Hadoop...
大数据运算的三种引擎是什么?有什么
区别
?
答:
1)Hive,披着SQL外衣的Map-Reduce。
Hive是为方便用户使用Map-Reduce而在外面封装了一层SQL,由于Hive采用了SQL,它的问题域比Map-Reduce更窄
,因为很多问题,SQL表达不出来,比如一些数据挖掘算法,推荐算法、图像识别算法等,这些仍只能通过编写Map-Reduce完成。2) Impala:Google Dremel的开源实现(Apache ...
spark
SQL
和hive
到底什么关系
答:
Hive是一种基于HDFS的数据仓库
,并且提供了基于SQL模型的,针对存储了大数据的数据仓库,进行分布式交互查询的查询引擎。SparkSQL并不能完全替代Hive,它替代的是Hive的查询引擎,SparkSQL由于其底层基于Spark自身的基于内存的特点,因此速度是Hive查询引擎的数倍以上,Spark本身是不提供存储的,所以不可能替代Hi...
Spark
SQL
和Hive
在做cast boolean存在的不同
答:
Spark
SQL 1.6.0 总结:在
Hive
中, boolean类型的隐式转化,Hive中非boolean非null转化默认为True,而在SparkSQL中,则根据传入的不同数据类型判断值后返回结果.Hive Converts the results of the expression expr to . For example,cast(‘1’ as BIGINT) will convert the string ‘1’ to its inte...
spark与hive
查询得出的数据不同
答:
1、
由于精度不一样导致的 2
、更多的时候确实是由于元数据混乱导致的 (就是说hive中能读到这个字段的值,但是
在spark中却无法读取到该字段的值
。很多时候可能还是由于大小写的混乱所导致的)同一条sql,
hive能生成表,而spark却生成的一张空表
,或者数据缺少,存在null值,与hive结果不一致 设置 spark....
大数据处理软件用什么比较好
答:
Apache
Spark
是Hadoop开源生态系统的新成员。它提供了一个比
Hive
更快的查询引擎,因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时,它还用于事件流处理、实时查询和机器学习等方面。5、 Jaspersoft BI 套件 Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领导者发现Jaspersoft软件...
Hadoop,
Hive
,
Spark
之间是什么关系
答:
用hadoop ->
hive
->
spark
->报表工具(brio)的架构打通数据通路之后,做数据分析会变得非常简单(just like 图形化开发-拖拉拽)。在构建spark离线数据分析平台之前,先简单说明传统的离线数据分析平台。传统离线数据分析工作,一般把数据结构化存储在RDBMS,可通过SQL代码、报表工具、挖掘工具快速对数据进行...
spark
SQL
和hive
到底什么关系
答:
第一,
Spark
SQL在Hive兼容层面仅依赖HQL parser、Hive Metastore
和Hive
SerDe。也就是说,从HQL被解析成抽象语法树(AST)起,就全部由Spark SQL接管了。执行计划生成和优化都由Catalyst负责。借助Scala的模式匹配等函数式语言特性,利用Catalyst开发执行计划优化策略比Hive要简洁得多。去年Spark summit上...
spark on hive
和hive
on
spark的区别
答:
spark
on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd.(1)就是通过sparksql,加载
hive的
配置文件,获取到hive的元数据信息 (2)spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 (3)接下来就可以通过spark sql来操作hive表中的数据 hive on...
...比喻描述大数据的技术生态?Hadoop、
Hive
、
Spark
之间是什么关系...
答:
回答:大数据本身是一个非常宽泛的概念,而Hadoop生态系统(或一般的生态系统)基本上是单一规模的数据处理。你可以把它和厨房比较,所以我需要各种工具。锅碗瓢盆,各有其用,重叠。你可以在碗里直接用汤锅。你可以用刀或飞机去皮。每个工具都有自己的特性,虽然奇数可以工作,但不一定是最好的。大数据,首先你...
1
2
3
4
5
6
7
8
9
10
涓嬩竴椤
灏鹃〉
其他人还搜
hive和spark是一样的东西吗
spark比hive快在哪
Hive和spark和flink的区别
hivesql和sparksql的区别
spark用什么数据库
hivesql和sparksql差异整理
数据仓库用hive还是hbase
sparkrdd的四种创建方式
SparkSQL和hive优缺点