感觉两个都是在hadoop上的数据操作,本质上有区别吗?
1个回答
spark sql也不一定是基于hadoop之上的,只是现在常用的场景是在hdfs之上使用spark。
Spark是在内存中计算,hive sql是提交后进行MapReduce在磁盘中计算。所以Spark会更快。
SofaSofa数据科学社区DS面试题库 DS面经感觉两个都是在hadoop上的数据操作,本质上有区别吗?
spark sql也不一定是基于hadoop之上的,只是现在常用的场景是在hdfs之上使用spark。
Spark是在内存中计算,hive sql是提交后进行MapReduce在磁盘中计算。所以Spark会更快。
SofaSofa数据科学社区DS面试题库 DS面经