分类:python

python模块学习系列(logging)

PYTHON2官方都说不支持了,可我还没怎么接触py3,不过感觉不影响啊,有需求的时候再折腾下 明显感觉到python新委员会的坚决,希望尽快的了断能为python带来更长远的发展   log 是开发过程中的必要工具,对于开发过程...

admin 3周前 (02-28) 9℃ 0评论 0喜欢

scrapy 分布式爬取并去重配置

这里的分布式去重用到三个东西 第一个为调度器, 第二个为优先级队列 第三个为持外化pipeline 这个需要安装scrapy-redis模块 1 # DUPEFILTER_CLASS = "scrapy_redis.dupefilte...

admin 4周前 (02-21) 21℃ 0评论 0喜欢

scrapy setting log

Logging Scrapy提供了log功能,可以通过 logging 模块使用,程序初步调试阶段可以开启error级别日志,这样信息会少很多,方便定位初级错误 LOG_FILE = "mySpider.log" LOG_LEVEL = ...

admin 4周前 (02-20) 17℃ 0评论 0喜欢