Python语言技术文档

微信小程序技术文档

php语言技术文档

jsp语言技术文档

asp语言技术文档

C#/.NET语言技术文档

html5/css技术文档

javascript

点击排行

您现在的位置:首页 > 技术文档 > Python网络爬虫

python使用自定义user-agent抓取网页的方法

来源:中文源码网    浏览:198 次    日期:2024-04-29 11:20:12
【下载文档:  python使用自定义user-agent抓取网页的方法.txt 】


python使用自定义user-agent抓取网页的方法
本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下:
下面python代码通过urllib2抓取指定的url的内容,并且使用自定义的user-agent,可防止网站屏蔽采集器
import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
希望本文所述对大家的Python程序设计有所帮助。

相关内容