怎么在pyspark里把dataframe写入csv文件？

  统计/机器学习 Python    浏览次数：9475        分享
二维码
手机扫描二维码
  面试中常见简答题？
0

怎么在pyspark里把dataframe写入csv文件？

 

cannon   2019-05-23 22:15


   2个回答 
4


df.write.csv('mycsv.csv')
SofaSofa数据科学社区DS面试题库 DS面经

abuu   2019-05-25 14:58

2

楼上这样写会把文件写到hdfs上，如果数据量小的话，可以考虑df.toPandas().to_csv('mycsv.csv'）直接拿到本地，数据大的话就算了。

SofaSofa数据科学社区DS面试题库 DS面经

wwb_306   2020-06-09 17:10



  相关讨论

pyspark dataframe的collect()方法是什么意思？

如何获取pyspark DataFrame的行数和列数？

pyspark里如何进行SELECT DISTINCT操作？

返回pyspark dataframe的行数？

怎么对pyspark dataframe更改列名

得到一个pyspark.sql.dataframe中所有列的名称

怎么将两个pyspark dataframe以串联的形式合并？

pyspark中怎么对dataframe里的行按照列去重？

怎么对pyspark.sql.dataframe按照某一列降序排列？

pyspark里unpersist()什么作用？

  随便看看

Random Forest可以用来做聚类？

柯西分布没有数学期望

kNN算法有哪些缺点？

如何调节seaborn里字体大小？

为什么机器学习中的优化问题很少用到牛顿法？