爬虫爬虫又称为网页蜘蛛，是一种程序或脚本。但重点在于：它能够按照一定的规则，自动获取网页信息。爬虫的通用框架如下：1.挑选需要爬取的URL；2.将这些URL放入队列；3.下载并存储网页，并进行...