用C#实现网络爬虫的方法.doc

下载文档 降价啦

6
0
约6.94千字
约 7页
2020-06-07 发布于四川
举报
版权申诉
保障服务

用C#实现网络爬虫的方法.doc

1、本文档共7页，其中可免费阅读3页，需付费180金币后方可阅读剩余内容。
2、本文档内容版权归属内容提供方，所产生的收益全部归内容提供方所有。如果您对本文有版权争议，可选择认领，认领后既往收益都归您。
3、本文档由用户上传，本站不保证质量和数量令人满意，可能有诸多瑕疵，付费之前，请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形，可联系本站下载客服投诉处理。
4、文档侵权举报电话：400-050-0827(电话支持时间：9:00-18:30)。

| | | | 网络爬虫在信息检索与处理中有很大的作用，是收集网络信息的重要工具。接下来就介绍一下爬虫的简单实现。爬虫的工作流程如下爬虫自指定的URL地址开始下载网络资源，直到该地址和所有子地址的指定资源都下载完毕为止。?下面开始逐步分析爬虫的实现。1. 待下载集合与已下载集合为了保存需要下载的URL，同时防止重复下载，我们需要分别用了两个集合来存放将要下载的URL和已经下载的URL。因为在保存URL的同时需要保存与URL相关的一些其他信息，如深度，所以这里我采用了Dictionary来存放这些URL。具体类型是Dictionar