99问答网
所有问题
当前搜索:
Spark与Hadoop是一回事吗
学习
Spark
一定要先学
Hadoop吗
?
答:
只是用了
Spark的
包和库而已。但需要选择一个语言,Spark用Scala或者java python等,我是现学的Scala,只不过用的时候没管那么多语法糖和简洁什么,怎么方便怎么来,不影响程序逻辑就行。
Hadoop
可以看看了解了解,Hadoop MapReduce能做的Spark基本都能做,但Spark很吃内存,经常OOM。
spark与hadoop
相比,存在哪些缺陷
答:
稳定性方面,由于代码质量问题,
Spark
长时间运行会经常出错,在架构方面,由于大量数据被缓存在RAM中,Java回收垃圾缓慢的情况严重,导致Spark性能不稳定,在复杂场景中SQL的性能甚至不如现有的Map/Reduce。不能处理大数据,单独机器处理数据过大,或者由于数据出现问题导致中间结果超过RAM的大小时,常常出现RAM...
hadoop
,storm
和spark的
区别,比较
答:
Spark
工作于现有的数据全集(如
Hadoop
数据)已经被导入Spark集群,Spark基于in-memory管理可以进行快讯扫描,并最小化迭代算法的全局I/O操作。 不过Spark流模块(Streaming Module)倒是和Storm相类似(都是流计算引擎),尽管并非完全
一样
。 Spark流模块先汇聚批量数据然后进行数据块分发(视作不可变数据进行处理),而Storm是只要...
spark与hadoop
相比,存在哪些缺陷
答:
稳定性方面,由于代码质量问题,
Spark
长时间运行会经常出错,在架构方面,由于大量数据被缓存在RAM中,Java回收垃圾缓慢的情况严重,导致Spark性能不稳定,在复杂场景中SQL的性能甚至不如现有的Map/Reduce。不能处理大数据,单独机器处理数据过大,或者由于数据出现问题导致中间结果超过RAM的大小时,常常出现RAM...
spark
平台
与hadoop
比较哪个前景更好
答:
目前看来,在各个场合下
spark
都优于
hadoop
(Map/Reduce)。但
Hadoop
与MR是的初衷是为了使用廉价的、异构的机器来做分布式存储与计算,但spark对硬件的要求稍高,对内存/CPU是有较高要求的。如果不考虑成本因素,spark应该是未来的首选,当然也不排除2~3年后,在hadoop生态圈又有新贵出来替换spark。
使用
spark
必须安装
hadoop吗
答:
Spark
基于mapreduce算法实现的分布式计算,拥有
Hadoop
MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。优势应该在于分布式架构比较相似能快速上手吧 ...
hadoop
,
spark
在虚拟机集群里跑还有性能上的优势吗
答:
无论对于新手还是老手来说,干这行非常痛苦的一点是各种框架的配置和部署,大量重复工作,又不怎么需要动脑子。所以你当然希望有一种方式,直接把你已经配置好的环境保存下来,作为一个镜像,然后当集群要扩展了,比如又增加了一个物理设备,你希望在上面虚拟化成三台虚拟机,两台运行
spark
,一台运行...
spark是
什么意思
答:
分布式计算和任务调度机制使得Spark能够充分利用集群资源,实现大规模数据的并发处理。此外,Spark还提供了诸如Spark SQL、Spark Streaming和MLlib等高级工具包,这些工具简化了数据查询、实时流处理和机器学习任务的实现过程。更为重要的是,
Spark与Hadoop
、Hive、HBase等大数据生态系统紧密集成,形成了一套全面...
什么是
Spark
答:
1.
Spark是一
种强大的通用计算框架,专为快速处理大规模数据而设计。2. 与传统的
Hadoop
相比,Spark在内存中执行任务,显著提高了处理速度。3. Spark支持多种数据源,包括CSV、JSON、HDFS和SQL等,并提供了高级工具和算法,如Spark SQL、Spark Streaming
和Spark
GraphX。4. 该框架支持多种编程语言,如...
mapreduce,
spark和
yarn的区别是什么?
答:
Spark
Spark是
UC Berkeley AMP lab所开源的类
Hadoop
MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map ...
棣栭〉
<涓婁竴椤
5
6
7
8
10
11
12
9
13
14
涓嬩竴椤
灏鹃〉
其他人还搜