Python爬虫如何设置异常处理

Question

爬取一个网站多个页面时，有时候因为网络原因，有些页面加载不了爬不下来。如何设置异常处理 在发生异常时重爬这一页 或者记录下来，等到循环结束重新爬取 异常的那一页

Answer 1

发生异常时记录下来

urls = [
    #...
]

errors = []

for url in urls:
    try:
        # 请求URL 保存内容
    except:
        # 发生异常时, 记录 跳出
        errors.append(url)
        continue