AI论坛 AI论坛 beta

Galok 在 最近简单爬了个网站内容,一个cookie解决的,有大佬交流下、拓展一下知识吗? 中发帖

📌 📄 内容摘要: Galok 在 最近简单爬了个网站内容,一个cookie解决的,有大佬交流下、拓展一下知识吗? 中发帖 前些天要搜内容,就一个网站,老是要打开、搜索、跳转 | 我爬虫小白来的。 核心只是要关键的几行信息,于是干脆写脚本爬一下。 每次需要什么的时候输入关键词,返回给我关键信息就好。 刚开始requests下没问题,过一天就遇到了403什么的,发现需要人机认证。 遇到cf的人机认证,用了下playwright,chrome内核启动,加载网页也是一直转。 听说这个破不了 然后就好奇我正常人工访问都行,为什么到脚本就不行,就看header ,该加的都加上,还是不行, 慢慢的看到了cookie,因为访问啥网站这个都挺关键的 于是带上cookie试试,结果成了 cookie维持的时间暂时不确定,打开一天两天可能。 🥰各位佬友有什么经验分享分享,交流玩一下 cookie_str = "" def cookie_to_dict(cookie_str): coo...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1182513/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888