PYTHON存入json文件数据，文章内容保存为对应的文件
# -*- coding: utf-8 -*-
import json
import sys
reload(sys)
sys.setdefaultencoding("u...
admin
6个月前 (02-25) 62℃ 0评论
0喜欢
每次开发完提交代码到测试服务器都要进行相同的操作，是否可以直接触发操作？
gitlab服务器提供了此功能
这里分为几个部分，gitlab服务器（github,自己搭建的gitlab, oschian的码云），线上代码（测试代码，生产代码），...
admin
6个月前 (02-25) 72℃ 0评论
0喜欢
我这里使用的是centos 7 64bit
虚拟机里unbuntu16.04是完整版本的，速度慢，果断放弃了
这里注意gitlab版本的ce与ee的区别，ce是免费的社区版本，ee是企业版本，个人开发者用ce就可以了，ee是付费的，免得后面...
admin
6个月前 (02-22) 69℃ 0评论
0喜欢
这里的分布式去重用到三个东西
第一个为调度器，
第二个为优先级队列
第三个为持外化pipeline
这个需要安装scrapy-redis模块
1 # DUPEFILTER_CLASS = "scrapy_redis.dupefilte...
admin
6个月前 (02-21) 72℃ 0评论
0喜欢
get
def start_requests(self):
url = 'https://www.amazon.cn/gp/site-directory/ref=nav_deepshopall_variant_ful...
admin
6个月前 (02-20) 76℃ 0评论
0喜欢
Logging
Scrapy提供了log功能，可以通过 logging 模块使用，程序初步调试阶段可以开启error级别日志，这样信息会少很多，方便定位初级错误
LOG_FILE = "mySpider.log"
LOG_LEVEL = ...
admin
6个月前 (02-20) 72℃ 0评论
0喜欢
# -*-coding:utf-8-*-
import re
str = 'abc<img src="http://life240.com/abc.jpg"> check <img src="http://life...
admin
6个月前 (02-18) 68℃ 0评论
0喜欢
pipline， 这里用到setting的设置大家也可以学下，在pipeline里引用spider定义的 custom_setting
# -*- coding: utf-8 -*-
# Define your item pipeli...
admin
6个月前 (02-18) 79℃ 0评论
0喜欢
history命令历史
8 yum provides php #自带的只有5.4版本
9 rpm -Uvh https://mirror.webtatic.com/yum/el7/epel-release.rpm #更新源
10 rpm -...
admin
8个月前 (12-26) 139℃ 0评论
0喜欢
知乎上找的一个朋友的代码，这个方式确实可行
#淘宝模拟登陆facebook入口
from selenium import webdriver
from bs4 import BeautifulSoup
import time
#...
admin
8个月前 (12-24) 110℃ 0评论
0喜欢
