Crawlab – 基于Celery的分布式爬虫管理平台
- 发表于
- 安全工具
Crawlab介绍
Crawlab是一款基于Celery的爬虫分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架。
Crawlab的架构跟Celery非常相似,但是加入了包括前端、爬虫、Flower在内的额外模块,以支持爬虫管理的功能。
Crawlab安装
1 2 3 4 5 6 |
# 安装后台类库 pip install -r requirements.txt # 安装前台类库 cd frontend npm install |
更改配置文件config.py
,配置API和数据库连接。
1 2 |
# 运行服务 python manage.py serve |
原文连接:Crawlab – 基于Celery的分布式爬虫管理平台
所有媒体,可在保留署名、
原文连接
的情况下转载,若非则不得使用我方内容。