这里的分布式去重用到三个东西
第一个为调度器，
第二个为优先级队列
第三个为持外化pipeline
这个需要安装scrapy-redis模块
1 # DUPEFILTER_CLASS = "scrapy_redis.dupefilte...
admin
21小时前 3℃ 0评论
0喜欢
get
def start_requests(self):
url = 'https://www.amazon.cn/gp/site-directory/ref=nav_deepshopall_variant_ful...
admin
2天前 4℃ 0评论
0喜欢
Logging
Scrapy提供了log功能，可以通过 logging 模块使用，程序初步调试阶段可以开启error级别日志，这样信息会少很多，方便定位初级错误
LOG_FILE = "mySpider.log"
LOG_LEVEL = ...
admin
2天前 3℃ 0评论
0喜欢
# -*-coding:utf-8-*-
import re
str = 'abc<img src="http://life240.com/abc.jpg"> check <img src="http://life...
admin
4天前 5℃ 0评论
0喜欢
知乎上找的一个朋友的代码，这个方式确实可行
#淘宝模拟登陆facebook入口
from selenium import webdriver
from bs4 import BeautifulSoup
import time
#...
admin
2个月前 (12-24) 42℃ 0评论
0喜欢
有个题是说正则表达式匹配0-1000的所有数字，初看挺简单，但写出来就必须用到正则表达式的前向否定定界符，这样逻辑会很清晰，并且表达也行舒服简洁。
此题关键是思想，0-1000，前向否定：前三个数不能为0
所有可能为0-4位的数字，通过前向...
admin
3个月前 (11-11) 61℃ 0评论
0喜欢
下周一上班了，大公司没进去，也不想等了，先做着再说吧，觉得也离大公司不远了。
由于新公司会需要用到python，所以工作前对python基础知识进行一个系统的回顾。
前言
解释器有 cpthon， ipython, pypy, jpytho...
admin
4个月前 (11-08) 65℃ 0评论
0喜欢
这个视频应该放在百度网盘比较久了，突然发现，分享给大家。
首先申明，此视频如果有版权，请及时联系本站站长，及时处理。
其次，本视频讲得比较细，都是基础知识，适合没有学过其它语言的同学，也适合比较懒得看书的程序员。
python是一门有意思的...
admin
8个月前 (07-09) 65℃ 0评论
0喜欢
pyDash是一个轻量且基于web的Linux性能监测工具，它是用Python和Django加上Chart.js来写的，可以监视Linux服务器资源，比如CPU、内存、网络统计、在线用户的进程等。仪表盘完全由主要的Python发行版本所提...
admin
8个月前 (07-06) 66℃ 0评论
1喜欢
用python编写好一个工程，在第一次运行后，总会发现工程根目录下生成了一个__pycache__文件夹，里面是和py文件同名的各种 *.pyc 或者 *.pyo 文件。（这个是在3.2以上版本才会出现，2.7版本是放在项目同级目录下）
先...
admin
8个月前 (07-03) 61℃ 0评论
1喜欢
