scrapy monitor 实时爬虫监控系统

  • 2016-12-26
  • 3,758
  • 0

项目地址:scrapy monitor

scrapy monitor

针对scrapy框架设计的实时监控爬虫状态系统。

使用Flask创建web服务,将实时状态保存在redis数据库中

效果展示

  • 数据实时更新,可设置时间间隔
  • 图表可下载保存
  • 图表放大至局部
  • 监控数据类型可控
  • 监控时间范围可控

项目依赖

  • scrapy
  • redis数据库
  • redis包
  • flask框架

使用方法

将monitor目录clone到spiders的同级目录下

scrapy settings.py

  • 添加DOWNLOADER_MIDDLEWARES
    • monitor.statscol.StatcollectorMiddleware
  • 添加ITEM_PIPELINES
    • monitor.statscol.SpiderRunStatspipeline
  • 添加STATS_KEYS
    • STATS_KEYS = [‘downloader/request_count’, ‘downloader/response_count’,’downloader/response_status_count/200′, ‘item_scraped_count’]

monitor settings.py

默认即可

运行你的爬虫项目,再运行monitor.app即可看到监控画面

实现原理

爬虫状态收集

StatcollectorMiddleware中间件在每个request发出时将当前crawler的stats保存到redis。

前端数据可视化

ajax实时请求当前状态信息,flask从redis中取出需要的信息,用Echart渲染出图片。
图片可放大查看局部信息,可保存当前监控信息。

链接:https://www.ioiogoo.cn/2016/12/26/scrapy-monitor-实时爬虫监控系统/
本站所有文章除特殊说明外均为原创,转载请注明出处!

评论

还没有任何评论,你来说两句吧