Crawlab – 基于Celery的分布式爬虫管理平台

Crawlab介绍

Crawlab是一款基于Celery的爬虫分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架

Crawlab - 基于Celery的分布式爬虫管理平台

Crawlab的架构跟Celery非常相似,但是加入了包括前端、爬虫、Flower在内的额外模块,以支持爬虫管理的功能。

Crawlab - 基于Celery的分布式爬虫管理平台

Crawlab安装

更改配置文件config.py,配置API和数据库连接。

https://github.com/tikazyq/crawlab