pyspider 这是一个强大的原因python实现的爬虫系统。

• 纯python的
• 强大的webui，支持脚本编辑、任务监控、项目管理和结果检查
• 后台数据支持，MySQL，MongoDB,Reids,SQLite,Elasticsearch,PostgreSQL和SQLAlchemy
• 支持新闻队列，RabbitMQ，Beanstalk，Redis以及Kombu
• 支持任务优先、定期、失败重试等调度方案
• 分布式架构，抓取js页面
• 支持Python2和3

pip install pyspider

如果使用ubuntu,请先运行sudo apt update 再运行sudo apt upgrade 更新

apt-get install python python-dev python-distribute python-pip \ libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml \ libssl-dev zlib1g-dev 

删除wsgidav