pyspark dataframe的collect()方法是什么意思？

  统计/机器学习 Python    浏览次数：11167        分享
二维码
手机扫描二维码
  机器学习面试也能刷题？
0

pyspark dataframe的collect()方法是什么意思？有什么用？

 

thatdeep   2018-10-28 03:03


   2个回答 
3

spark_df.collect()相当于spark_df.show(全部行)

就是一次性把这个dataframe里的所有行显示出来

SofaSofa数据科学社区DS面试题库 DS面经

曾经是科比   2018-10-28 12:13

2

https://stackoverflow.com/questions/44174747/spark-dataframe-collect-vs-select


SofaSofa数据科学社区DS面试题库 DS面经

dizhouw2   2018-10-28 03:52



  相关讨论

怎么对pyspark dataframe更改列名

pyspark里如何进行SELECT DISTINCT操作？

怎么对pyspark.sql.dataframe按照某一列降序排列？

返回pyspark dataframe的行数？

pyspark里unpersist()什么作用？

怎么在pyspark里把dataframe写入csv文件？

pyspark中怎么对dataframe里的行按照列去重？

怎么将两个pyspark dataframe以串联的形式合并？

如何获取pyspark DataFrame的行数和列数？

如何对pyspark dataframe删除一列

  随便看看

logloss的取值范围是多少？一般好的分类器能达到多少？

怎么对pandas dataframe的列求众数

两个凸函数相加，还是凸函数吗？

plt.scatter plot怎么让不同的类别有不同的颜色

hyperparameter与parameter的区别？