如何获取pyspark DataFrame的行数和列数?

  统计/机器学习 Python    浏览次数:16982        分享
0

在pandas里可以直接用df.shape(),但是pyspark的dataframe不支持shape。有没有类似的代码能够返回pyspark dataframe的行数和列数的?

 

xdd93   2019-07-11 14:27



   1个回答 
4


print((df.count(), len(df.columns)))
SofaSofa数据科学社区DS面试题库 DS面经

michaelyiyu   2019-07-13 01:15



  相关讨论

怎么对pyspark.sql.dataframe按照某一列降序排列?

pyspark中怎么对dataframe里的行按照列去重?

pyspark里unpersist()什么作用?

怎么在pyspark里把dataframe写入csv文件?

返回pyspark dataframe的行数?

pyspark dataframe的collect()方法是什么意思?

怎么将两个pyspark dataframe以串联的形式合并?

怎么对pyspark dataframe更改列名

pyspark里如何进行SELECT DISTINCT操作?

如何对pyspark dataframe删除一列

  随便看看

随机森林(random forest)和支持向量机(SVM)各有什么优劣

神经网络中的dense和sparse是什么意思?

keras里sparse_categorical_crossentropy和categorical_crossentropy什么不同?

把tf.Tensor转换为numpy array

请问在sklearn怎么在已有的模型的基础上训练新的数据?