分类:python

scrapy 分布式爬取并去重配置

这里的分布式去重用到三个东西 第一个为调度器, 第二个为优先级队列 第三个为持外化pipeline 这个需要安装scrapy-redis模块 1 # DUPEFILTER_CLASS = "scrapy_redis.dupefilte...

admin 21小时前 3℃ 0评论 0喜欢

scrapy setting log

Logging Scrapy提供了log功能,可以通过 logging 模块使用,程序初步调试阶段可以开启error级别日志,这样信息会少很多,方便定位初级错误 LOG_FILE = "mySpider.log" LOG_LEVEL = ...

admin 2天前 3℃ 0评论 0喜欢

python复习

下周一上班了,大公司没进去,也不想等了,先做着再说吧,觉得也离大公司不远了。 由于新公司会需要用到python,所以工作前对python基础知识进行一个系统的回顾。 前言 解释器有 cpthon, ipython, pypy, jpytho...

admin 4个月前 (11-08) 65℃ 0评论 0喜欢

python新手学习视频分享(完整版本)

这个视频应该放在百度网盘比较久了,突然发现,分享给大家。 首先申明,此视频如果有版权,请及时联系本站站长,及时处理。 其次,本视频讲得比较细,都是基础知识,适合没有学过其它语言的同学,也适合比较懒得看书的程序员。 python是一门有意思的...

admin 8个月前 (07-09) 65℃ 0评论 0喜欢

CentOS 安装配置性能监测工具pyDash

pyDash是一个轻量且基于web的Linux性能监测工具,它是用Python和Django加上Chart.js来写的,可以监视Linux服务器资源,比如CPU、内存、网络统计、在线用户的进程等。仪表盘完全由主要的Python发行版本所提...

admin 8个月前 (07-06) 66℃ 0评论 1喜欢

python脚本执行生成__pycache__文件夹

用python编写好一个工程,在第一次运行后,总会发现工程根目录下生成了一个__pycache__文件夹,里面是和py文件同名的各种 *.pyc 或者 *.pyo 文件。(这个是在3.2以上版本才会出现,2.7版本是放在项目同级目录下) 先...

admin 8个月前 (07-03) 61℃ 0评论 1喜欢