标签:爬虫

PHP

php如何进行免费代理抓取

对于很多小站长来说,刚好又只会php,又需要大量频繁抓取某网站数据,此时,必须得有代理支持才能避免被相应网站屏蔽。 笔者当时做小说站时,正是碰到了这种情况,网站大家可以参考:https://loob.cc,https://txt2.cc。这...

admin 1年前 (2018-04-27) 195℃ 0评论 0喜欢

技术

小说章节抓取时加排序号

因为抓取内容有差错,未进行严格限制,导致抓取过程中一些章节的miss,重新插入后,排序变得混乱,重新运行脚本,将章节按页面排序进行序列号分配 后面的程序将采取同样的方式处理,但是,采集过程中加入更多次数的重试,目前设置的5次,比以前的1次会...

admin 2年前 (2017-09-28) 266℃ 0评论 0喜欢

技术

爬虫心得

最近用爬虫用的比较多,记录下一些感想 语言:php, 因为php比较熟,所以还是想用php进行快速开发,当然python go也会比较好 以前用正则,现在直接xpath解析,php有个比较好用的phpquery,懒得写正则 代理:看了下代理...

admin 2年前 (2017-09-26) 171℃ 0评论 0喜欢