python 爬虫时，urllib2.HTTPError:HTTP Error 502：Bad Gateway是什么原因？怎么解决？

Question

url = "http://www.qiushibaike.com/imgrank"#糗百
page = urllib2.urlopen(url)

html = page.read()

Answer 1

可能是那个网站阻止了这类的访问，只要在请求中加上伪装成浏览器的header就可以了，比如：

headers = {  
    'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'  
}  
req = urllib2.Request(  
    url = "http://www.qiushibaike.com/imgrank"
,
    headers = headers
)
myResponse  = urllib2.urlopen(req)

追问

谢谢，请问如果我要伪装成别的浏览器该怎么改呢？或者说headers里的内容能不能给我解释一下呢？

Answer 2

请求头改为https就行