pyspider 会自动去重，抓过的连接不会重新抓取

pyspider 会自动去重，抓取的连接不会再抓取

可采取以下措施重新抓取：

class Handler(BaseHandler):   crawl_config = {     'itag': 'v223'   }

详见http://docs.pyspider.org/en/latest/apis/self.crawl/#itag

原文链接：https://blog.csdn.net/piyongduo3393/article/details/84403769