pyspark里unpersist()什么作用?

  统计/机器学习 Python    浏览次数:9952        分享
1

pyspark里unpersist()什么作用?

 

thatdeep   2018-05-21 22:56



   1个回答 
8

unpersist()是释放(缓存)的意思。所以对应着的是df.cache()。

有时候为了处理的速度,我们将某个dataframe放入缓存

df.cache()

使用完这个数据,我们需要把这个dataframe从缓存中释放出来。释放的命令就是

df.unpersist()


SofaSofa数据科学社区DS面试题库 DS面经

kidd23   2018-05-28 07:33

好的谢谢! - thatdeep   2018-06-09 05:20


  相关讨论

怎么将两个pyspark dataframe以串联的形式合并?

如何对pyspark dataframe删除一列

返回pyspark dataframe的行数?

怎么在pyspark里把dataframe写入csv文件?

怎么对pyspark.sql.dataframe按照某一列降序排列?

pyspark里如何进行SELECT DISTINCT操作?

pyspark dataframe的collect()方法是什么意思?

如何获取pyspark DataFrame的行数和列数?

怎么对pyspark dataframe更改列名

得到一个pyspark.sql.dataframe中所有列的名称

  随便看看

python(matplotlib)中如何把折线图和柱状图画在一起?

keras里sparse_categorical_crossentropy和categorical_crossentropy什么不同?

在jupyter后台进程没有shutdown的notebook一直会占用内存吗?

两个凸函数相加,还是凸函数吗?

yolo v4和yolo v3的主要区别是什么?