pyspark里怎么把一列日期转成是全年的第几周?

  统计/机器学习 数据预处理 Python mysql    浏览次数:3516        分享
0

比如有一列日期,是yyyy-mm-dd格式的字符,我想把它转成第几星期,比如2020-01-13就是第3周。

想要的效果是:

2020-01-13 ===== 3

2020-01-15 ===== 3

2020-01-29 ===== 5

2020-02-07 ===== 6


 

ysz_2020   2020-03-20 09:01



   2个回答 
3

pyspark的函数里有date_format,可以让日期变为week of year

from pyspark.sql import functions as F

把日期dt这列变成第几周的代码是

F.date_format(F.col('dt'), 'w')

然后得到的数就是表示是该年度中的第几周

SofaSofa数据科学社区DS面试题库 DS面经

baozi   2020-03-29 20:20

0


df2 = pd.DataFrame({'date':['2020-01-21 10:20:23', '2020-01-22 11:20:23', '2020-02-21 10:50:33']})
df2['date3']=pd.to_datetime(df2.date).dt.weekofyear

SofaSofa数据科学社区DS面试题库 DS面经

constant007   2020-03-28 18:14

你这个是pandas,题目里应该问的是pyspark - baozi   2020-03-29 20:17


  相关讨论

pyspark返回每个分组某个值最大的行

spark sql里怎么用case when?

spark里怎么refresh表?

怎么对pyspark dataframe里的空缺值填值?

pyspark里如何进行SELECT DISTINCT操作?

怎么在pyspark里把dataframe写入csv文件?

得到一个pyspark.sql.dataframe中所有列的名称

pyspark里unpersist()什么作用?

如何获取pyspark DataFrame的行数和列数?

如何对pyspark dataframe删除一列

  随便看看

怎么理解图像识别里的dice系数?

怎么添加pandas的dataframe到已有的csv文件,并且不覆盖原内容

如果数据不是正态分布,能用3sigma原则剔除异常值吗?

神经网络中的dense和sparse是什么意思?

机器学习基础