爬取备份“忧郁的弟弟”站点Galgame

爬取备份“忧郁的弟弟”站点Galgame

我的Galgame资源发布站 - 忧郁的弟弟 是由忧郁的弟弟提供的汉化Galgame下载站点,关于该站点介绍请访问:关于若干注意事项(新人必读) | 我的Galgame资源发布站资源备份档分享请见:Mygalgame全站资源备份他人抓取项目请见: Mygalgame backup弟弟站点html结构十分规范,而且爬取特别容易。问题在于该站的资源都是用百度云进行存储,而百度云的转存与下载较为麻...

Python,Game 2018-08-07 PM 41303次 17条
蒲公英(NPUBits)站点 Banner分析

蒲公英(NPUBits)站点 Banner分析

无所事事的时候看到这站内的这个帖子,正好最近在做(学习)数据分析的工作,同时我对主帖子中的一些问题表示关注,所以顺带水一片博文进行分析。首先对从那些地方能获取到数据要进行分析:用户在论坛发帖提交Banner会留下记录,管理员使用Banner更换系统进行自动更换时会在“普通”日志中留下记录,已经展示过的Banner有集中展示页面。所有数据基于站内公开数据,数据最后更新(爬取)于2018/07/...

Python,PT 2018-07-15 PM 5995次 2条
某站5.20开放注册活动结果分析

某站5.20开放注册活动结果分析

很荣幸在本次活动中参与了某站点的最终审核过程。下面根据整次活动的过程进行梳理。该活动以“将特定图片上传到微信朋友圈,发完后截图朋友圈,并上传截图”的形式展开,用户通过上传的朋友圈截图信息,就可以获得一定数量以上的奖励。活动对上传的截图文件有以下要求:请不要通过仅自己可见等设限方式上传到朋友圈需要截图朋友圈带有自己发布内容的区域,不可以截图个人相册等其他区域请完整截图,不要裁剪如果同时加入了自...

Python,PT 2018-07-11 PM 2951次 0条
发种姬修复之 "请填写必填项目上传失败!"

发种姬修复之 "请填写必填项目上传失败!"

这个其实是一个一致很困扰的问题,虽然以前大体可以定位是因为python的requests库原因,导致file的filename属性在上传的时候不能正确的被编码,故服务器接收失败。但是之前这个并不是很影响发种姬发布(实际被影响的种子只有几个)。故一直没有去解决。但最近在配置新的发种姬的时候,却发现所有种子、所有站点都出现了同样的错误。那么就说明了这个问题需要解决了23333额,如果你看不下去中...

Python,Knowledge 2018-05-31 PM 3335次 0条
R酱的Userscript笔记(2): 新手入门篇

R酱的Userscript笔记(2): 新手入门篇

在上一篇中,我简单的介绍了一下什么是Userscript,以及怎么使用Userscript。那么,在这篇中,我们就要开始编写我们的第一个脚本了。第一个脚本模板样例(ES5)在Tampermonkey的管理面板(配置页),点击已安装脚本左边的加号按钮,就会新建一个默认的空用户脚本模板如下:// ==UserScript== // @name New Userscript // ...

UserScript 2018-05-26 PM 2866次 0条
R酱的Userscript笔记(1): 基础介绍篇

R酱的Userscript笔记(1): 基础介绍篇

什么是Userscript按照eMule Fans对Userscirpt的描述,用户脚本(UserScript)是一种强大的客户端(浏览器)Javascript脚本。下载了用户脚本保存在电脑里,通过浏览器的某些扩展程序(最常用的是Firefox的Greasemonkey扩展),就可以运行于相关页面上。用户脚本为用户增强浏览体验和控制。在安装之后,它们可可以任意修改HTML页面,请求其他站点的...

UserScript 2018-05-16 PM 3921次 0条
浅谈PT站自动发种

浅谈PT站自动发种

最近写Autoseed的人真多,我就抛砖引玉的讲讲Python的实现吧。但是其实并不是只有Python才能实现,只要该语言具有网络通信以及本地文件读写的能力均可以。(比如某人的就是用Node.js)传统发种流程在介绍Autoseed的流程前,我们先回顾下传统的发种流程。。可以看到,我们需要先要在本地存在你想要自动发布的文件,并准备好发种表单需要的信息。完成发布后需要下载对应种子,以及做种软件...

Python,PT 2018-04-01 PM 8871次 1条
Pt站资源简介生成工具 PT-Gen

Pt站资源简介生成工具 PT-Gen

此工具已不公开维护,请考虑直接使用以下API地址调用:https://api.rhilip.info/tool/movieinfo/gen (无CORS验证反代)http://api.ourhelp.club/infogen (有CORS验证,仅供OurBits使用)或者使用 https://www.bfdz.ink/tools/ptgen 作为替代。嘛,此类工具已经很多了,比如前有领头的...

Python,PT 2018-03-19 PM 14926次 6条
个人脚本 - Nyaa.si : Base32 to Hex

个人脚本 - Nyaa.si : Base32 to Hex

此脚本已不可用,Nyaa已经默认提供40位hex格式magent链接,相关转换思想实践仍可以使用,故保留。关于HEX编码和Base32编码的讨论可见:https://ted423.bitcron.com/post/document/magnet自从Nyaa.se关站后,复活的Nyaa.si对于以前的种子只保留了magnet链接(爬虫和数据库谁去下种子文件嘛,对吧)然而由于BT网络的特点(保种...

Javascript 2018-01-23 AM 4381次 1条
跨Pt站点高级搜索工具 Pt-Search

跨Pt站点高级搜索工具 Pt-Search

此工具已不维护,请转用 ronggang/PT-Plugins-Plus 工具介绍基于TamperMonkey插件提供的GM_xmlhttpRequest方法,模拟本地用户请求,获取对应站点搜索结果,整理并在单页面中显示。并可依据搜索结果的发布日期、大小、做种人数、下载人数、完成数信息进行排序。你无需像其他软件一样复制以及维护你的Cookies及登陆信息,也不需要考虑二次验证或者安全问题。...

Javascript,PT 2018-01-08 AM 13575次 5条
BYRBT辅助脚本 · Tree View

BYRBT辅助脚本 · Tree View

那是很久很久之前,我在Greasymonkey上随意的找着脚本的时候(那时候应该还没分出Sleazyfork吧),我突然找到了一个这样的脚本:dmhy tree view ,它的功能是将动漫花园的列表状文件列表转换为树状图。。于是就照搬着写了个用在byr上(主要是看隔壁NPU的觉得很新鲜馁~脚本地址:Byrbt - Tree View.user.js脚本展示:

Javascript,PT 2017-09-30 PM 4031次 1条
国内PT站点最新种子公告板Pt-Board

国内PT站点最新种子公告板Pt-Board

在别人的怂恿下写了个这样的工具。原来的想法是在这里就可以直接查看各站最新的种子,方便多站辅种,后来想了想扩充了下,用爬虫补抓了国内各站的历史种子信息,就做成了现在这幅样子。已关闭!本工具不是跨站点搜索,你应该使用Pt-Search作为聚合搜索工具!!!!!禁止滥用!禁止高强度连续请求!本工具禁止在任何论坛、贴吧、Pt站点、QQ群等公开场所宣传。本工具尊重站点要求,如站点禁止抓取展示,请及时告...

Python,Javascript,PT 2017-09-20 PM 17225次 14条
API·IP地址转实际地址

API·IP地址转实际地址

参照之前脚本中使用的 JohnWong/python-tool 提供的http://pytool.sinaapp.com/ 接口实现方法,做以下修改:对原方法中的py2+新浪SAE+wsgi实现形式,使用py3+Flask+blueprint的形式进行改造;移除了无用的linkedin、weibo图案生成部分,合并剩余模块到同一utils中;移除GBK编码导出,移除XML形式导出。更新IPv...

Python,PT 2017-09-09 AM 2735次 0条
关于Thread与while True loop的肤浅认知

关于Thread与while True loop的肤浅认知

虽然很久之前就接触了Python的Thread模块,但在之前的应用中也只是依瓢画葫芦,如在已经荒废了很久的Rhilip/cn-mooc-dl中,为了加快使用脚本下载的速度,而使用了多线程(Thread+Queue)下载的解决思路。在这次的发种姬重构中,为了摆脱主线程while True loop循环闲置时候不能够做后台检查,我将部分与后端Database和待发布站点的相关轮询方法使用Thre...

Python 2017-09-03 PM 2763次 0条
R酱的发种姬: 一次失败重构小记

R酱的发种姬: 一次失败重构小记

到现在为止,可以说之前半个月对于发种姬的第二次重构已经完全失败了。究其原因,可能是没正确的理好思路吧(想太多了。。反思没有考虑到实际需求,就为class Database添加SQLBuilder相关方法。但事实证明了根本没必要,因为深究下去,整个发种姬也就用到以下一些具体的DML,没有必要专门写类似sql_insert()来构建相关语句然后执行。INSERT INTO `{tb}` (tit...

Python,PT 2017-08-28 PM 2965次 0条