admin的文章

python

scrapy 分布式爬取并去重配置

这里的分布式去重用到三个东西 第一个为调度器, 第二个为优先级队列 第三个为持外化pipeline 这个需要安装scrapy-redis模块 1 # DUPEFILTER_CLASS = "scrapy_redis.dupefilte...

21小时前 3℃ 0评论 0喜欢

python

scrapy setting log

Logging Scrapy提供了log功能,可以通过 logging 模块使用,程序初步调试阶段可以开启error级别日志,这样信息会少很多,方便定位初级错误 LOG_FILE = "mySpider.log" LOG_LEVEL = ...

2天前 3℃ 0评论 0喜欢

未分类

scrapy整合mongodb

pipline, 这里用到setting的设置大家也可以学下,在pipeline里引用spider定义的 custom_setting # -*- coding: utf-8 -*- # Define your item pipeli...

4天前 4℃ 0评论 0喜欢

nginx

centos 安装php56

history命令历史 8 yum provides php #自带的只有5.4版本 9 rpm -Uvh https://mirror.webtatic.com/yum/el7/epel-release.rpm #更新源 10 rpm -...

2个月前 (12-26) 55℃ 0评论 0喜欢

技术

pycharm2018.3破解激活

两种方式都可以 一种永久破解,一种激活 先看激活: 第一步,host文件加上 0.0.0.0 account.jetbrains.com 第二步,打开pycharm, help>register,选择active code,输入 S...

3个月前 (11-30) 125℃ 0评论 0喜欢