怎么对pyspark dataframe里的空缺值填值?
pandas dataframe里有df=df.fillna(0),pyspark dataframe有没有类似的方法来填充NA或者missing?
1个回答
pyspark也有fillna,用法和pandas类似。对三列填充0,如下
df = df.fillna(0.0, subset=['col1', 'col2', 'col3'])
也可以dict的方法让fillna对不同的列填充不同的值,如下
df = df.fillna({'col1': 1.0, 'col2': 2.0, 'col3': 3.0})
SofaSofa数据科学社区DS面试题库 DS面经
谢谢!
-
fkj
2019-02-23 09:16