第一文档网 > 所有分类 > 下载此文档
最新更新热点专题网站地图搜索文档

用Python写一个小小的爬虫程序

2022-07-11 22:10:13   第一文档网     [ 字体：小 中 大 ] [ 阅读： ] [ 文档下载 ]
说明：文章内容仅供预览，部分内容可能不全。下载后的文档，内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的，是否完整无缺。下载word有问题请添加QQ：admin处理，感谢您的支持与谅解。点击这里给我发消息

【#第一文档网# 导语】以下是®第一文档网的小编为您整理的《用Python写一个小小的爬虫程序》，欢迎阅读！
爬虫,小小,程序,Python,一个



用Python写一个小小的爬虫程序

Python有一个urllib的库，可以很方便的从给定的url抓取网页，以下这段程序实现了抓取一个url并存到指定文件的功能：



爬虫工作的基本原 理就是，给定一个初始的url，下载这个url的网页，然后找出网页上所有满足下载要求的链接，然后把这些链接对应的url下载下来，然后再找下载下来的 这些网页的url，我们可以用广度优先搜索实现这个算法，不过，首先得有一个函数找出网页上所有的满足要求的url，下面这个例子用正则表达式找出 url.








最后就是广度优先搜索了，这个实现起来也很简单：



作者用上面的算法，感觉速度还行，1小时可以抓10000多网页，可以满足小型系统的要求。




本文来源：https://www.dywdw.cn/22cb0662783e0912a2162aed.html

相关推荐
推荐阅读
最新更新文章
热门阅读文章
网友正在阅读