一个post网页爬取问题(爬取城市数据)

  统计/机器学习 数据预处理 开放问题    浏览次数:1441        分享
0

网址是https://data.cnki.net/ValueSearch/Index?ky=%E4%BA%91%E6%B5%AE

想爬取各个城市的数据进行分析,但是提交post表单,也添加了headers,发送请求返回的status_code却是500,可能是学艺不精,请大佬们帮忙看看。

 

Ccky   2020-12-02 16:28



   1个回答 
0

这个可能是你的ip问题,我用的教育网ip是可以返回200的。

建议登录知网,然后使用cookie进行爬取。

SofaSofa数据科学社区DS面试题库 DS面经

eleve11   2020-12-08 18:05



  相关讨论

%%timeit结果解释

训练集中重复的样本需要被删除吗?

为什么说非平衡(倾斜)的数据不好?

拟合数据的Z-score规范化怎么进行操作?

机器学习+计算机网络

数据泄漏(data leakage)是什么意思?

机器学习提到的MVP是什么意思?

机器学习中的维度灾难怎么防止和克服?

数据产品具体指的是什么?

z-score标准化不适用于处理什么样的数据?

  随便看看

机器学习算法的鲁棒性是什么意思?

概率论中的鞅是什么?

用户人群分层分析的RFM模型是什么?

什么是SMOTE sampling方法?

为什么矩阵的二范数和向量的二范数的定义不同?