秀人集爬虫 【22.04.12】【Windows】【Mac M1】

更新日志:
22.4.12
增加-e early stop参数,配合整站爬取使用,单独无效.如果没有完成整站爬取不要使用该参数,终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环,开多进程处理。
22.1.18
1.兼容更新后的秀人集网站,支持搜索以及全站爬取。
2.修改默认域名为https://www.xiurenji.net(暂时可以不使用-s 参数)。
22.1.20
1.修复页面异常可能导致的异常终止
22.1.24
1.增加-r参数,支持分类重拍,可以开启多个进程进行爬取。说实话就是姐姐太懒了,不想写多线程。
2.增加-c参数,支持爬取特定分类,请直接-c 分类地址。具体参数见下方使用说明。

使用参数:

****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list> (该参数会重新排列分类列表,可以开启多个进程同时进行爬取)
         -c <single category url> (支持单分类爬取,如果只想爬取某一个分类请使用该参数)
         -e <early stop, work in site crawl mode only> (配合整站爬取使用,多次检测到已经下载自动跳过该分类)
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
*************************************************************************************

效果:

C:\Users\obaby>F:\Pycharm_Projects\meitulu-spider\dist\xiurenji\xiurenji.exe -a -e -r
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.04.12
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 开始分析分类信息......
[*] 2022-04-12 21:40:03 CAT: 分析完成,分类数:25
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 重新排列分类信息
[*] 2022-04-12 21:40:03 CAT: 重新索引完成,分类数:25
****************************************************************************************************
[*] 2022-04-12 21:40:03 MiiTao蜜桃社: https://www.xiurenji.net/MiiTao/
[*] 2022-04-12 21:40:03 XingYan星颜社: https://www.xiurenji.net/XingYan/
[*] 2022-04-12 21:40:03 站长推荐: https://www.xiurenji.net/hot.html
[*] 2022-04-12 21:40:03 YouWu尤物馆: https://www.xiurenji.net/YouWu/
[*] 2022-04-12 21:40:03 Uxing优星馆: https://www.xiurenji.net/Uxing/
[*] 2022-04-12 21:40:03 XiaoYu画语界: https://www.xiurenji.net/XiaoYu/
[*] 2022-04-12 21:40:03 WingS影私荟: https://www.xiurenji.net/WingS/
[*] 2022-04-12 21:40:03 XiuRen秀人网: https://www.xiurenji.net/XiuRen/
[*] 2022-04-12 21:40:03 Imiss爱蜜社: https://www.xiurenji.net/IMiss/
[*] 2022-04-12 21:40:03 MintYe薄荷叶: https://www.xiurenji.net/MintYe/
[*] 2022-04-12 21:40:03 Candy糖果画报: https://www.xiurenji.net/Candy/
[*] 2022-04-12 21:40:03 DKGirl御女郎: https://www.xiurenji.net/DKGirl/
[*] 2022-04-12 21:40:03 MFStar模范学院: https://www.xiurenji.net/MFStar/
[*] 2022-04-12 21:40:03 BoLoli兔几盟: https://www.xiurenji.net/BoLoli/
[*] 2022-04-12 21:40:03 最新更新: https://www.xiurenji.net/new.html
[*] 2022-04-12 21:40:03 FeiLin嗲囡囡: https://www.xiurenji.net/FeiLin/
[*] 2022-04-12 21:40:03 MyGirl美媛馆: https://www.xiurenji.net/MyGirl/
[*] 2022-04-12 21:40:03 HuaYan花の颜: https://www.xiurenji.net/HuaYan/
[*] 2022-04-12 21:40:03 MTMeng模特联盟: https://www.xiurenji.net/MTMeng/
[*] 2022-04-12 21:40:03 HuaYang花漾: https://www.xiurenji.net/HuaYang/
[*] 2022-04-12 21:40:03 YouMi尤蜜荟: https://www.xiurenji.net/YouMi/
[*] 2022-04-12 21:40:03 Taste顽味生活: https://www.xiurenji.net/Taste/
[*] 2022-04-12 21:40:03 LeYuan星乐园: https://www.xiurenji.net/LeYuan/
[*] 2022-04-12 21:40:03 MiStar魅妍社: https://www.xiurenji.net/MiStar/
[*] 2022-04-12 21:40:03 Micat猫萌榜: https://www.xiurenji.net/Micat/
[*] 2022-04-12 21:40:03 CAT: 索引完成,分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 开始处理分类:MiiTao蜜桃社
https://www.xiurenji.net/MiiTao/index2.html
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: 开始分析页面链接
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.147_模特白甜私房浴室泳装+三点式缕空内衣秀惹火身材极致诱惑写真47P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9503.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.147_模特白甜私房浴室泳装+三点式缕空内衣秀惹火身材极致诱惑写真47P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.146_模特豆瓣酱私房真空情趣护士装+三点式泳装秀豪乳诱惑写真35P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9158.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.146_模特豆瓣酱私房真空情趣护士装+三点式泳装秀豪乳诱惑写真35P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.145_模特豆瓣酱私房迷你三点式泳装+浴缸半透连体衣湿身诱惑写真50P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9106.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.145_模特豆瓣酱私房迷你三点式泳装+浴缸半透连体衣湿身诱惑写真50P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.144_嫩模优米Yumi私房性感真空女仆装侧露豪乳撩人诱惑写真29P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6914.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.144_嫩模优米Yumi私房性感真空女仆装侧露豪乳撩人诱惑写真29P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.143_新人模特月月may私房床上性感蕾丝内衣秀完美身材诱惑写真30P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6725.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.143_新人模特月月may私房床上性感蕾丝内衣秀完美身材诱惑写真30P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.142_新人嫩模茵茵简紫霞仙子主题CoS古典风清新迷人写真34P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6665.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.142_新人嫩模茵茵简紫霞仙子主题CoS古典风清新迷人写真34P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.141_新人嫩模默默Momo私房三点式比基尼秀F杯巨乳撩人诱惑写真66P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6164.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.141_新人嫩模默默Momo私房三点式比基尼秀F杯巨乳撩人诱惑写真66P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************

[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.128_嫩模梦恬私房真空肚兜小厨娘半脱露傲人豪乳极致诱惑写真51P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:08 NEXT: 下一页地址:None
****************************************************************************************************
[*] 2022-04-12 21:40:08 CAT: MiiTao蜜桃社下载完成,
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:08 CAT: 开始处理分类:XingYan星颜社
https://www.xiurenji.net/XingYan/index2.html
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: 开始分析页面链接

[*] 2022-04-12 21:40:11 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:11 NEXT: 下一页地址:None
****************************************************************************************************
[*] 2022-04-12 21:40:11 CAT: XingYan星颜社下载完成,
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:11 CAT: 开始处理分类:站长推荐
****************************************************************************************************
[*] 2022-04-12 21:40:19 PAGE: 开始分析页面链接
[*] 2022-04-12 21:40:19 DOWNLOAD: 开始下载:[XiuRen秀人网]No.1967_女神王雨纯&周于希Sandy春节合集剧情性感姐妹花斗乳诱惑写真105P
[*] 2022-04-12 21:40:19 DOWNLOAD: https://www.xiurenji.net/XiuRen/5595.html

[*] 2022-04-12 21:40:20 DOWNLOAD: 下载目录:[XiuRen秀人网]No.3022_女神杨晨晨sugar浴池里真空灰色服饰配开档丝袜湿身诱惑写真52P
[*] 2022-04-12 21:40:20 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:20 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:20 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:20 NEXT: 下一页地址:None
****************************************************************************************************
[*] 2022-04-12 21:40:20 CAT: 站长推荐下载完成,

下载地址:

温馨提示: 此处隐藏内容需要发表评论,并且审核通过后才能查看。
(发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址,以便下次评论时使用。
(请仔细检查自己的昵称和评论内容,以免被识别为垃圾评论而导致无法正常审核。)

☆版权☆

* 网站名称:obaby@mars
* 网址:https://nai.dog/
* 个性:https://oba.by/
* 本文标题: 《秀人集爬虫 【22.04.12】【Windows】【Mac M1】》
* 本文链接:https://www.nai.dog/2022/04/10066
* 短链接:https://oba.by/?p=10066
* 转载文章请标明文章来源,原文标题以及原文链接。请遵从 《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。


You may also like

120 comments

  1.  Level 1
    Google Chrome 74 Google Chrome 74 Windows 10 Windows 10 cn广东省广州市 珠江宽频

    观摩学习的,希望可以爬到

  2. Level 1
    Safari 15 Safari 15 iPhone iOS 15.6.1 iPhone iOS 15.6.1 cn山东省烟台市 联通

    第一次使用爬虫,学习一下

  3. Level 1
    Google Chrome 114 Google Chrome 114 Windows 10 Windows 10 cn福建省福州市 联通

    学习分享!干系而楼主

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注