智玩网 智能科技

spark处理大数据有什么优势

数据_spark

1)Spark具有hadoopMapReduce所有的优点,MapReduce每次计算的中间结果都会存储到HDFS的磁盘上,而Spark的中间结果可以保存在内存,在内存中进行数据处理。

2)Spark使用最先进的DAG调度程序,查询优化程序和物理执行引擎,实现批量和流式数据的高性能。

3. 容错性高

4. 兼容性强

版权说明:文章均为账号作者发布,不代表本网站观点与立场,如有侵权请联系我们删除