火车头***集动态加载Ajax数据(无分页瀑布流网站) - *
- 发表时间:2026-01-12 08:45:02
- 来源:
阿里云优惠券 先领券再下单
为了先填充好数据在上线,在本地搭建了一个网站,并用火车头***集数据填充到里面。
开始很上手,因为找的网站的分类中是有分页的。很快捷的找到页面标识。
但是问题来了,如今很多网站都是***用的Ajax加载数据,根本没有分页的URL。比如:CSDN,IT168等等,都是***用下拉到一定程度,自动加载数据出来。
在没有页码的情况下,直接***集当前首页的20-30篇文章,后面的都无法***集到。
经过在网上查找教程,总算有了方法,但是相对直接加入页码***集,多了一个步骤。
应该如何做?
1. 获取目标站API地址
在目标页面按F12或Ctrl+Shift+C打开审查元素,然后点Network选项卡,通过下滑的操作实时监控Network中出现的链接。
然后点击这个链接,查看规律后将他复制下来。
2.利用火车头***集这个API中的文章链接
这里做一个***设,实际填写的是上面的API地址。
***集内容规则的设置
从上图可以指导链接地址在:linkurl:"" 里,然后进入第二部***集内容
这里选择循环匹配,不然只会***集到一个链接。
数据处理一下编码和斜杠(因为***集的url有很多 \ 的转义,直接将这个剔除)
测试一下页面就可以获取到文章的URL链接。
获取到文章的链接后,如何***集它们?
当***集到这些文章的URL后,我们先要在 第三步:发布内容设置 ,将连接保存在桌面处理。
我将他保存在Excel文件(主要是我导出的TXT不完整),然后在Excel中处理好在复制到TXT中。
这个时候我们就要***集这些文字的链接了。
新建一个***集任务,然后将保存的TXT导入,然后依次进行***集,后面的工序就不说了,和分页***集的步骤是一样的。
本文由2号站长网 五车二原创,原文地址:***s://***.zz2zz***/19852.html 转载请注明出处。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
- 2025-06-25 21:25:11Web后端开发,用Python还是Go呢?
- 2025-06-25 21:35:11孩子一感冒就咳嗽,有没有好的方法可以减少咳嗽?
- 2025-06-25 22:15:13明明无线鼠标有那么多优点,为什么还有那么多人买有线鼠标?
- 2025-06-25 22:00:12长期使用的大佬来说说,MacOS 真的比 Windows 稳定吗?
- 2025-06-25 22:30:12go的channel在实际项目中会怎么使用?
- 2025-06-25 22:35:12能分享一下你写过的rust项目吗?
- 2025-06-25 22:50:13为何说香港《稳定币条例》将改写未来世界比特币等数字货币市场格局,港币和人民币的国际化会受益于此么?
- 2025-06-25 22:40:12为什么电路要设计得这么复杂?
- 2025-06-25 22:15:13吸血鬼吸到血栓时是什么口感?会像嚼珍珠奶茶里的珍珠一样吗?
- 2025-06-25 21:25:11华为 HDC 发布 HarmonyOS 6 开发者 beta 版对应用开发者和鸿蒙生态有哪些影响?
-
宁波东方理工大学学费每人每学年 9.6 万,为什么会这么贵?
一般来说民办高校的学费要比公办高校高不少,一年9.6万贵吗? -
如何评价高圆圆的身材算是美女类型的吗?
不是,朋友们,光收藏不点赞会ed啊!!!! 行了我知道你们想 -
你们在编程时遇到过什么离谱的bug吗?
下班去接老公,在地库等了十多分钟不见他下来,上楼去找,看见他 -
学编程要不要买电脑?
学编程其实不需要电脑。 最近不是有部电视剧,里面高智商女主

