爬虫
爬虫又称为网页蜘蛛,是一种程序或脚本。但重点在于:它能够按照一定的规则,自动获取网页信息。
爬虫的通用框架如下:
1.挑选需要爬取的URL;
2.将这些URL放入队列;
3.下载并存储网页,并进行数据清洗。
首先我们需要使用第三方库Beautiful Soup和Requests来编写一个简单的爬虫,从豆瓣电影Top100页面获取信息。
import requests
from bs4 import BeautifulSoup
def get_douban_top100():
url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}
response = requests.get(url, headers=headers)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
movies = soup.find_all('div', class_='item')
for movie in movies:
title = movie.find('span', class_='title').get_text()
ranking = movie.find('em').get_text()
rating = movie.find('span', class_='rating_num').get_text()
theme = movie.find('span', class_='inq').get_text()
print(f'{ranking}. {title} - 评分: {rating} - 主题:{theme}')
else:
print('Failed to retrieve the page.')
if __name__ == '__main__':
get_douban_top100()
这段代码发送一个HTTP请求获取豆瓣电影Top250的页面,然后使用Beautiful Soup解析HTML内容提取电影信息,包括电影名称、排名、评分和电影主题。请注意,这只是一个简单的例子,实际的爬虫可能需要处理更多的异常情况和反爬虫策略,以确保爬取的可靠性和合法性。
1. 肖申克的救赎 - 评分: 9.7 - 主题:希望让人自由。
2. 霸王别姬 - 评分: 9.6 - 主题:风华绝代。
3. 阿甘正传 - 评分: 9.5 - 主题:一部美国近现代史。
4. 泰坦尼克号 - 评分: 9.5 - 主题:失去的才是永恒的。
5. 这个杀手不太冷 - 评分: 9.4 - 主题:怪蜀黍和小萝莉不得不说的故事。
6. 千与千寻 - 评分: 9.4 - 主题:最好的宫崎骏,最好的久石让。
7. 美丽人生 - 评分: 9.5 - 主题:最美的谎言。
8. 星际穿越 - 评分: 9.4 - 主题:爱是一种力量,让我们超越时空感知它的存在。
9. 盗梦空间 - 评分: 9.4 - 主题:诺兰给了我们一场无法盗取的梦。
10. 辛德勒的名单 - 评分: 9.5 - 主题:拯救一个人,就是拯救整个世界。
11. 楚门的世界 - 评分: 9.4 - 主题:如果再也不能见到你,祝你早安,午安,晚安。
12. 忠犬八公的故事 - 评分: 9.4 - 主题:永远都不能忘记你所爱的人。
13. 海上钢琴师 - 评分: 9.3 - 主题:每个人都要走一条自己坚定了的路,就算是粉身碎骨。
14. 三傻大闹宝莱坞 - 评分: 9.2 - 主题:英俊版憨豆,高情商版谢耳朵。
15. 放牛班的春天 - 评分: 9.3 - 主题:天籁一般的童声,是最接近上帝的存在。
16. 机器人总动员 - 评分: 9.3 - 主题:小瓦力,大人生。
17. 疯狂动物城 - 评分: 9.2 - 主题:迪士尼给我们营造的乌托邦就是这样,永远善良勇敢,永远出乎意料。
18. 无间道 - 评分: 9.3 - 主题:香港电影史上永不过时的杰作。
19. 控方证人 - 评分: 9.6 - 主题:比利·怀德满分作品。
20. 大话西游之大圣娶亲 - 评分: 9.2 - 主题:一生所爱。
21. 熔炉 - 评分: 9.4 - 主题:我们一路奋战不是为了改变世界,而是为了不让世界改变我们。
22. 教父 - 评分: 9.3 - 主题:千万不要记恨你的对手,这样会让你失去理智。
23. 触不可及 - 评分: 9.3 - 主题:满满温情的高雅喜剧。
24. 当幸福来敲门 - 评分: 9.2 - 主题:平民励志片。
25. 末代皇帝 - 评分: 9.3 - 主题:“不要跟我比惨,我比你更惨”再适合这部电影不过了。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
暂无评论内容