spark里怎么refresh表?

  统计/机器学习 Python mysql    浏览次数:7494        分享
1

跑一个程序spark提示报错(具体描述见下),大概的意思就是说要refresh table,请问应该怎么refresh呢?


The underlying files may have been updated. 
You can explicitly invalidate the cache in Spark by running 'REFRESH TABLE tableName' command in SQL or by recreating the Dataset/DataFrame involved.

谢谢

 

chang   2019-12-15 17:00



   3个回答 
6


spark.catalog.refreshTable("my_table")


SofaSofa数据科学社区DS面试题库 DS面经

Nagozi   2019-12-19 14:34

4


sql_context.sql("REFRESH TABLE table_name")


SofaSofa数据科学社区DS面试题库 DS面经

wwb_306   2020-04-17 10:02

3


import org.apache.spark.sql.hive.HiveContext
hiveContext.refreshTable("tableName")


SofaSofa数据科学社区DS面试题库 DS面经

風霖   2019-12-16 11:23



  相关讨论

spark sql里怎么用case when?

pyspark返回每个分组某个值最大的行

pyspark里怎么把一列日期转成是全年的第几周?

pyspark里unpersist()什么作用?

pyspark里如何进行SELECT DISTINCT操作?

返回pyspark dataframe的行数?

如何对pyspark dataframe删除一列

如何获取pyspark DataFrame的行数和列数?

pyspark中怎么对dataframe里的行按照列去重?

怎么在pyspark里把dataframe写入csv文件?

  随便看看

numpy array里怎么用fillna填充nan的值?

怎么把pandas dataframe中的一列转成一个list?

怎么利用permutation importance来解释xgboost模型的特征?

sklearn r2_score返回负数

怎么提取pandas dataframe中某一列每个字符串的前n个字符?