这里的分布式去重用到三个东西
第一个为调度器，
第二个为优先级队列
第三个为持外化pipeline
这个需要安装scrapy-redis模块
1 # DUPEFILTER_CLASS = "scrapy_redis.dupefilte...
admin
21小时前 3℃ 0评论
0喜欢
get
def start_requests(self):
url = 'https://www.amazon.cn/gp/site-directory/ref=nav_deepshopall_variant_ful...
admin
2天前 4℃ 0评论
0喜欢
Logging
Scrapy提供了log功能，可以通过 logging 模块使用，程序初步调试阶段可以开启error级别日志，这样信息会少很多，方便定位初级错误
LOG_FILE = "mySpider.log"
LOG_LEVEL = ...
admin
2天前 3℃ 0评论
0喜欢
# -*-coding:utf-8-*-
import re
str = 'abc<img src="http://life240.com/abc.jpg"> check <img src="http://life...
admin
4天前 5℃ 0评论
0喜欢
pipline， 这里用到setting的设置大家也可以学下，在pipeline里引用spider定义的 custom_setting
# -*- coding: utf-8 -*-
# Define your item pipeli...
admin
4天前 4℃ 0评论
0喜欢
history命令历史
8 yum provides php #自带的只有5.4版本
9 rpm -Uvh https://mirror.webtatic.com/yum/el7/epel-release.rpm #更新源
10 rpm -...
admin
2个月前 (12-26) 55℃ 0评论
0喜欢
知乎上找的一个朋友的代码，这个方式确实可行
#淘宝模拟登陆facebook入口
from selenium import webdriver
from bs4 import BeautifulSoup
import time
#...
admin
2个月前 (12-24) 42℃ 0评论
0喜欢
因为前端代码不熟悉，所以临时用图片热区代替链接
但也不能有bug, 所以将按钮自适应，达到适配
var timeout = null;//onresize触发次数过多，设置定时器
window.onresi...
admin
2个月前 (12-19) 34℃ 0评论
0喜欢
两种方式都可以
一种永久破解，一种激活
先看激活：
第一步，host文件加上
0.0.0.0 account.jetbrains.com
第二步，打开pycharm, help>register，选择active code，输入
S...
admin
3个月前 (11-30) 124℃ 0评论
0喜欢
查看当前 PHP 版本
php -v
如果不是7，则删除
yum list installed | grep php
yum remove php
yum remove php-*
更换 RPM 源
#Centos 5.X：...
admin
3个月前 (11-22) 65℃ 0评论
0喜欢
