luminethonk.22.05.29

折腾到两点才完成两遍图像处理(迫真🤔另外也许我明白为什么metart所有站里只有viv thomas无论如何都不会让我用那张卡了:我中途选择了cancel membership(恼🤔

另外wp这个版本实在是太屑了,web编辑器只要有thonk表情就完全没法用,我基本上只能用手机(全恼🤔难以想象一个thonk表情就足以橄榄它🤔

当然,也许我可以用其他md编辑器先写好,然后粘贴到wp的屑编辑器里,或者它如果实现了json-rpc的话就更好了(确信🤔

genshinserver

最近cuties impact私服的事情传得到处都是,我仔细看了下,好家伙,这玩意居然是个genshin服务器端的开源实现,超,dream comes true了属于是:

https://github.com/Grasscutters/Grasscutter

它用本地fiddler或者mitmproxy代理+根证书来过https证书验证,至少证书这块跟我搞某教育网站本地服务器的方式可以说是差不多了(确信🤔当然我那时并没有闲到实现了它的整个服务器端,我只不过在它返回的json数据里加了一行完整视频的链接,剩下的东西照旧🤔而且由于那玩意是个移动端玩意,我也没搞什么hosts或者mitmproxy,我直接用vestacp实现了一遍目标站的dns,然后让客户端机器直接将dns服务器设置成我的dns服务器ip(也许我想把dns服务器也搬到公网ip上,但我毕竟没有墙内公网ipv4,所以dns直接被污染🤔

目前项目还在开发中,很多功能都没有实现,比如想玩一个单人剧情的话得手动在控制台里添加id啥的🤔但这玩意已经有很多添加新剧情和mod的潜力了,只不过可能添加新剧情的话,基本上服务器端和客户端都得mod(恼🤔

另外2.7更新也是个问题,貌似这次2.6延期到今天,也是因为要修复这个开源服务器能玩的问题(确信🤔可能会加点申必加密协议啥的🤔再过两天我们就知道事情会便乘什么样了🤔

不过哪怕2.7更新导致开源服务器不能玩了,大不了接着玩2.6客户端,然后慢慢将新版本的东西backport过去(确信🤔至于版本检查?我们都是mitm了,屏蔽更新信息并向客户端返回不用更新的响应实在是太にま简单了(确信🤔

我当年搞那个教育网站的时候也遇到了这种问题,它的某个更新也会导致我那套玩意没法播放视频🤔它貌似开始要起了密钥啥的,而且那套加密协议反正破译起来太花时间,像极了cuties impact 2.7可能发生的事情(确信🤔但它的新视频出于某种申必原因还是可以在旧版播放,所以我往我的服务器里加入了屏蔽更新的代码,这样它就接着用了一年还是两年来着🤔

dudiskbitte

最近还重启了度盘转discord drive的项目,上次发现将链接解析和下载放进同一个github actions里可能不是什么好主意,所以这次打算解析在本地搞,下载扔github actions(确信🤔

而且这次我是拿拖片子的脚本改成了下载度盘内容的脚本,就像将它们改成kemono脚本一样,效果看起来还不错(确信🤔

metbruh.22.05.28

一夜过后,metart network的试用会员居然从两天降到了一天🤔我其实有两个metart的正式会员,其中一个可以开启其他站的试用,一个不能,可真にま离谱(恼🤔不然,其实我完全可以通过同时开启两个账号的试用会员来实现无缝(迫真)衔接,每个间隔一天或者半天,然后只要过期了记得续,我就能一直用(确信🤔

下载方面,viv现在多出了五个空闲线程,还有一个线程再过几分钟就搞完了🤔我肯定不会让它们闲着,所以是时候再搞一个轻量级站了,比如这个,只有3500个图片的,分六个线程塞进去,估计不到4小时就能搞完(确信🤔

至于viv的剩下两个线程能不能在它过期前下完,我就无从得知了,我只知道哪怕处理无效的视频我也只需要处理两个线程就是了(确信🤔

eulaAAAAAAAA

草,它过期了之后我也不能再续了,两个帐号都不行🤔这从某种程度上说明了它不能续的原因可能和帐号无关,和信用卡号有关🤔看来如果我不用discord drive式线程分配法的话,我根本没什么可能两天搞完两三千视频,更不用说现在它只有一天试用了(恼🤔

至此我觉得那两个线程加起来应该还有七十多个视频没搞完,尽管它们都是原来的线程8分出来的,但无论如何这就不算完整siterip(恼🤔

thonk

另外我今天下午准备做两次图像处理(迫真),这也是我第一次在那块12TB的os垃圾盘上尝试存放照片🤔现在已经处理完了一张卡,至少图像处理(迫真)阶段的checksum是过了的,不然我肯定不会称之为完成🤔但之后这个rar放在那儿能维持多长时间的文件完整就不好说了🤔

氦气硬盘作为冷存储的安全性是不太好说的,这玩意诞生才几年时间,现在没人能知道氦气泄漏完了之后会发生什么,也没有任何自然使用时发生氦气泄漏的报告出来(毕竟无论哪个厂子的氦气硬盘都是高度密封的,拆开需要专业装备),但也没有人能保证它里面的氦气能存在多少年(恼🤔至少我已经长期保存的两块氦气盘到现在还行,一块是2020年末买的,另外一块是2020年初买的,里面东西都还在🤔

所以给它们5年时间吧,出厂后5年内我觉得它们没有立即备份数据到新盘上的必要(确信🤔再说了,我接下来几天打算重新复活dudrive2discord的王道征途(大嘘),如果可能的话,度盘50TB的archive准备全部转discord drive,我倒想看看屑度能否吃我10Gbps的雷普力度(吴慈悲🤔

thonkeqing.22.05.27

一顿长达11.45小时(大嘘)的磁盘检查后,那块12TB的os垃圾盘终于可以用起来了(🤔和砂糖盘的三块副盘一样,这块盘也便乘了mds futaba的副盘,只用来存储照片🤔当然,也许我还可以拿它存截图,但那也得等砂糖盘的第三块副盘用完了再说(🤔

与此同时我拖metart某个子站的任务再一次出现了进度极其不均匀的情况(恼🤔这个站有2000多个视频,4k视频也比主站和sexart多不少,果然一天过后前四个线程早就搞完了,后四个线程还差一大堆🤔离谱的是它第五个线程只剩60个而第八个线程还剩220个视频🤔我要是将它们split2的话,6个小时一过它又便乘了两个线程闲置(恼🤔但不split2我也不知道如何分配它们,所以最后还是split2得了🤔

我估计这次拖的时间可能会超过两天,搞不好半途就会发生两天试用会员过期的蛋疼情况🤔尽管我可以无限续两天,但这事如果发生在我的脚本里的话,恐怕还是极其恼火的,因为我完全没写异常处理(悲🤔所以恐怕只能希望会员过期这种事情发生在我没有拖站的时刻了(迫真🤔

同时这也说明split8不算什么靠谱的线程分配法🤔所以,恐怕以后的项目我得用discord drive分配线程的那套了,也就是每个线程里塞入行号除以8后取得余数等于线程id的对应行,比如第1、9、17行会出现在线程1里,第8、16、24行会出现在线程8里,以此类推(确信🤔这样它基本上可以做到均匀分布,到时候我只需要采集一遍聊天室消息即可,不需要考虑如何由于中途重新分配了任务而重新组合链接文件了🤔

或者说重新组合链接文件的事情也不是我需要手动做的,只要每个线程文件没问题了,直接将两行转一行后的8个链接文件缝合在一起,中间隔一个我常用的分隔符,然后一次性将所有分隔符便乘回车就vans了(论证过程略🤔

理论上来说分割和重新组合都不用写for循环,一个可以用awk搞,一个可以用某个我又忘了的申必合并指令搞(确信🤔

barbruh

我还买了一堆朝鲜冷面调料,这玩意今天就到了,但等我回去取快递的地方关门了,看来只能明天取了(全恼🤔那么今天晚上吃什么呢?就便乘了一个问题(🤔

thonkcord

另外epic送discord nitro的活动又开始了,但这次只送了一个月会员(🤔我反正不会像去年那样一撸就撸十几个号了,撸上两三个就差不多得了(确信🤔

bruhfei.22.05.26

我刚看了一圈新出的st20000nm007d🤔X京硬盘之家放出了hdtune截图,性能极其离谱,读能跑到286写能跑到288,反正比我现役的所有硬盘牛批114514倍就是了(确信🤔其实如果它和st18000nm001j用同款盘片的迫真论证成立的话,后者大概也能跑到这个速度罢(确信🤔

当然它的价格也极其离谱,好几个店都卖到了3400,我觉得还是拉じば倒吧(全恼🤔说句极其离谱的暴论,它都够买2.42块18TB垃圾盘或者全新hsmr了,或者在买两块18TB的全新hsmr之后再买一块12TB的os垃圾盘(恼🤔以这种方式来迫真论证的话,这3400块钱干脆全部拿去买os垃圾盘得了,可以买4块14TB和一块12TB,68TB迫真数据中心,请(吴慈悲🤔

只不过我两年前的年末写那篇存储分级的时候,可完全没想过有一天我的主存储也会由垃圾盘组成🤔那时我也搞了一块12TB的垃圾盘装笔记本备份,却花了我将近1100🤔而这种12TB垃圾盘能降到600,大概是那时我做梦都不敢想的事(半恼🤔我记得那时0034都才降到550,而每TB降到50的只有连chia矿蛆都嫌弃的2TB/3TB垃圾盘(确信🤔

当然,那时单文件discord drive这种申必玩意可还完全没诞生呢🤔现在有这玩意,我就是把0034当主存储都行(大嘘🤔至于现在正在跑坏道检查的os垃圾盘,它再垃圾有0034垃圾?(🤔

所以度盘转discord drive脚本现在还能用不?🤔我估计本地上传discord drive大概比美国服务器下载度盘还要痛苦114154倍罢(🤔

thonk

希捷居然还出了一个新空气盘,st10000nm017b,我没查到product manual,但X京硬盘之家也放出了测速,读263写259,比hc330稍微好一丢丢,还行(确信🤔

但它的价格就非常没意思了,10TB都要1600块钱,梦回两年前了属于是,要知道氦气盘18TB才1400或者1500(大嘘🤔

话说一手hc330跌回1200了没🤔草,我发现至少X京硬盘之家直接没卖的了,别的地方卖的都是二手,估计已经停产了(悲🤔二手hc330倒是够便宜,七八百就能买一个🤔

AYAYA.22.05.26

在钻研sexart的过程中,我突然发现它的两天试用活动入口居然在它的任意一个站域名/upgrade里面,而非join now🤔而且其实它也没有限制某个账号只能撸一次或者某个特定的站只能撸一次,换句话说它既支持某个站撸两天试用的同时再撸几个站,也支持那个站试用过期了接着撸🤔

那么主站过期后还能接着撸两天试用吗?我估计很快就知道了(确信🤔

反正无论如何,我只花了半小时就改写完了它的拖站脚本,反正它那些站的api基本上完全一样,我基本上只需要将站点域名设置成变量,然后换个变量和cookies就vans了(确信🤔

既然如此,赶紧布置完github actions任务,然后去impact cuties(确信🤔

thonkeqing

当然,我也做了其他改进,比如由于之前缺失currentprogress或者缺失文件链接完全是因为我往discord频道里发消息太频繁了,我干脆改了discord drive,在所有往discord发送消息的curl(包括那个eulaAAAAAAAA bot)下面都写了+1s(确信🤔以前是只有上传线程才+1s,我现在把它们去了(🤔

这么折腾一番后,我估计以后丢文件的情况搞不好会直接消失(确信🤔

thonkeqing

我还写了一个kemono的github actions脚本,由于我现在实在是懒得改workflow文件,所以我干脆用那些拖片脚本的逻辑实现了它,那就是将需要拖的画师啥的每一个写进一行,保存到某个文件里面,运行时加载这个文件🤔而相应的,“正常”的逻辑是像以前那个pixiv脚本一样,每次输参数进去,一次只拖一个🤔

这倒也不是什么坏事,我大可直接找出所有要拖的画师一次性搞了,只不过如果我只想拖一个画师的话总感觉有点蛋疼🤔当然我也可以用这个逻辑重写pixiv脚本,这样我便可以非常方便地将pixiv需要的cookies塞进脚本文件,而非像旧脚本那样每次执行都要复制一次了(确信🤔

下一步当然就是识别出里面的其他网站资源,比如google drive啊,mega啊,还有mediafire之类的,把它们也下下来(确信🤔但这个就留给以后再做了🤔

luminethonk

我现在可能还需要实现另外一样东西,在pixiv或者kemono重新打包大压缩包的时候一边打包一边删东西🤔这样的话假设github actions最多只有54GB空间,我以前只能使用这个空间的一半,不然就完不成打包了,现在我几乎可以完全使用这个空间(应该是这个空间减去里面最大文件的体积🤔

我之前写了一个无限循环的读取rarlog删除已打包文件的玩意,但现在我需要:

  • 将它用&命令fork出去执行,因为我现在没有可能给它单独开个终端窗口

  • 给它的while设置一个终止条件,比如检测到rarlog里面出现了Done

  • 我在整个拖某个具体链接的函数后面加了重定向,它会不会影响rar命令的重定向也就是rarlog的生成?会怎么影响?🤔

我接下来需要解决这些问题🤔

JAJAJAJAJA

写完测试了下,基本上一切顺利,rarlog和外面的log都能记录下来,读rarlog2(记录了rar压缩过程中的stderr)也能看出在rar -df删文件的时候那些文件早就被删了🤔这样,我的github actions脚本就可以处理那些40GB乃至50GB的画师,比如canan这种(确信🤔

除了某些东西极少的画师,rar -df会在删除脚本开始删除东西之前完成打包并提前删除文件,导致脚本看起来压根就没有跑(🤔但这些东西既然那么少,跑没跑删除脚本其实真的没什么关系(确信🤔

那么如果某个画师的东西突破了50GB,此时该怎么办?🤔我估计得搞一个分批次处理了,比如在每次搞完小压缩包之后开始判断,如果那个文件夹的总体积开始大于45GB或者某个设置好的值了,直接开始rar -df外加跑删除脚本(或者不加删除脚本),然后直接discord drive,接下来将文件名便乘part2,然后接着下小压缩包,换句话说将原先执行完for循环才执行的打包和上传挪到for循环里面🤔

os hdd

草,我取上了前几天买的os硬盘,插上去看了眼,发现这玩意连smart都没有,实在是太申必了🤔所以现在我连这狗逼玩意通电多少小时还能接着用多少小时都不清楚🤔hdtune测速显示最高速度只有230MB/s,可以说是远远低于12TB氦气硬盘应该能达到的速度了,甚至低于hc330🤔我保存了旧硬盘的所有测速数据,可以查到x12和hc330能跑到254,12TB的x14也能跑到247🤔

但既然我为了贪便宜不去买10TB硬盘买这狗逼玩意,也许这就是我需要付出的代价罢(全恼🤔接下来我按照惯例跑一遍dg,按理来说应该不会有什么问题,目前我最多就嫌它慢(确信🤔

我猜测这玩意速度慢于预期的原因是,它是某块x16甚至x18阉割容量到12TB之后的产物,由于盘片良品率实在是8行而阉割了那么多部分,它的存储密度其实是不如x12或者x14的,这也会体现在速度上(确信🤔

那这么说的话,那块4TB的x14我估计速度将非常难看了🤔但本来4TB氦气盘真的就是个乐子,而且考虑到我电脑上没有那么多盘位,比如为了插这块12TB垃圾盘我就下线了一块3TB垃圾盘,这个乐子我就不找了(半恼🤔

barbruh.22.05.24

草,登进adulttime抓包grep不出内容,才发现这次的三天试用会员和上次的七天试用会员相比,除了时间不一样外,内容也不一样,上次是可以获取完整视频的,这次不行(恼🤔看来除非我愿意买它那个7.98美元一个月的会员(仍然没法直接下载),adulttime基本上别想了(全恼🤔但再怎么说,adulttime比teamskeet高端1145141919810倍(确信🤔

与此同时,我发现metart network的两天试用,居然只能试用一个站,再选个站就完全没有试用选项了(恼🤔

看来,到此我基本上没有可以拖的站了(🤔

hddthonk

与此同时我联系上了某fisch一个卖os硬盘的,12TB只要600,14TB只要700,我买了个12TB🤔

所谓os硬盘应该算是希捷的申必型号服务器硬盘,申必到不仅标签只写了一个os,连插进sas阵列卡后显示的型号都是os,更别说查出用了几个盘片这种事了🤔但无论如何,这玩意比我预设的价格(600块钱10TB)便宜多了,所以我打算买一个玩玩🤔就像砂糖盘有好几块副盘一样,这玩意也可以做futaba盘的副盘,专门存图片,大不了我做图像处理(迫真)的时候,除了度盘外discord drive也上传一份🤔

至于真·主存储,现在20TB硬盘也快要出了,我打算再等等,等20TB降到2000以下或者至少2500以下,然后一步到位(确信🤔然后挪完数据后这块垃圾盘挂u2或者别的pt去🤔

我估计cmr盘发展到20TB应该到头了,新的磁记录技术,什么光热辅助磁记录乱七八糟的也许能将硬盘升级到单盘114514GB,但这种新技术我觉得还是再成熟几年罢(吴慈悲🤔

bruhfei.22.05.23

终于又有一天可以宅家了🤔本来打算做点图像处理(迫真)的,结果一看,某个暂存盘居然只剩50GB了,看来别想了(恼🤔

既然如此,我可以搞点别的,比如metart network任何一个站的正式会员,可以试用任何其他站两天🤔而且这个试用比mofos之流良心多了,信用卡真的一分钱都不扣,只生成一个0美元的账单(还有一种信用卡验证可是要扣1美元或者0.5美元的,而且通常没法退,毕竟这也不是什么正经信用卡),更离谱的是这两天时间里全站视频都可以随便下,和正式会员一毛一样(确信🤔

既然如此,我的8线程拖站脚本就毫不客气了(吴慈悲🤔比如metart x,我一小时就搞完了它的图片,比普京暴力抽插乌克兰的速度还要快(大嘘🤔

与此同时也许我可以写一写adulttime的脚本,那狗逼玩意貌似已经过期了,而现在它的1美元试用只有三天时间,而不像上周那样给足了一周(恼🤔但至少我创建一个新号后仍然可以用我那张被轮了114514遍的信用卡付款,所以我寻思如果我搞这个狗逼玩意一个月的话,算不算变相的10美元/月?🤔

好在它貌似仍然开放了adulttime的全站资源,而且至少hls仍然可以加载出来🤔至于hls视频合并后大小会不会等于下载的视频,这个我现在是不知道的,但之前我处理它没有hls的旧视频的时候,发现它串流的视频和下载的视频至少大小是一样的,是不是同一个文件我就没处知道了🤔

而且既然它有mp4和m3u8两种资源,我可能得对它们分别处理了,mp4直接aria2c,m3u8的话,hmmmmmmmmmmmmm🤔我是直接合并出mp4呢,还是先往discord tube传一份呢🤔

顺便一提,上次那个8MB分片卡住我的某个线程之后,teamskeet我到今天都没搞完,也没什么兴趣搞了(全恼🤔discord这个8MB限制实在是过于死🐴,它哪怕搞成10MB都比现在好很多,99%的hls视频片段都能完成上传了(恼🤔

话说dash分片会不会比hls好很多?比如支持真·每个分片都是7.2MB这样?🤔只不过不像hls,dash我这边没有工具生成分片和mpd,所以discord tube到今天还是hls(恼🤔

luminethonk.22.05.22

随手撸了一顿pbtv的拖vtt脚本,一句grep就能搞定的事,至于为啥当时我居然忘了加进去这句grep,我暂时蒙在某壬的批里(半恼🤔

在原来的github actions脚本里将每次拖帖子后的rar和discord drive环节删了,挪循环外面,并将while循环改成了for,这样我便可以将所有帖子的metadata和vtt打包进一个大文件里面🤔跑了两遍,最后生成的文件体积差了一大截可还行🤔

whatever,这件事算是彻底搞完了🤔现在看来,adulttime我完全就没开始拖(恼🤔所以下周怎么办?实在不行我再注册个账号,然后用playboy的优惠代码买它下面另外一个站的一周会员试试(🤔

不过和前几个站不同,adulttime我可没有兴趣全搞完,这可是五万个视频哦,以一个平均4GB算,基本上需要200TB🤔我可不觉得discord drive有这么大容量(恼🤔

再说了,我到现在已经有30TB到40TB,说实话我已经不太关心有多少TB的欧美片子了,制霸某恐婚群的欧美区1145141919810次随便制霸,但说实话,这一个月过去了我打飞机还是得靠eula chan这些二刺萌妹(恼🤔所以我这算不算拖了个寂寞(🤔

thonkeqing

回去一看,所有的vtt都没有获取成功,貌似它得带上会员的请求头下才行,不带请求头的话就会跳转登录(全恼🤔更生草的是用grep vtt匹配到的不仅仅是vtt,居然有相当大的概率还能匹配几个视频出来,那些视频的随机参数居然能随机出vtt,这たま简直和度盘的随机文件名脚本随机出8964导致文件被橄榄一样生草了(确信🤔

所以,我恐怕得写个像样的grep脚本了,而且这次我一定要跑至少一遍单元测试🤔

fischlthonk.22.05.21

昨天晚上合并了playboy tv,两行合并后的行数等于去除currentprogress后的行数,也等于最初列表文件的行数,基本上算是搞完了🤔但grep检查时仍然出现了超过一次的匹配🤔

仔细看了下grep结果,它某些链接果然匹配了两遍,但这两个结果来自不同的线程🤔我对此的迫真猜测是它的标题其实不全,它这个玩意貌似标题由系列和系列内的标题两部分构成,我只取了其中一部分,所以导致系列不同但标题相同所以匹配了两次这种现象发生(确信🤔

当然,也有可能是相同的视频在我最初的列表文件里就出现了两遍呢🤔这个我就不清楚了🤔

但我懒得折腾了,再说了vtt我还不清楚啥时候拖呢🤔另外adulttime现在看来只剩下两天时间了,我可真是去たま的(恼🤔

bruh

与此同时我上次买的30块钱电子垃圾也到了,是个东芝的电子垃圾🤔但它看上去不像是5mm硬盘,而且我将型号输进去一查,好家伙,它果然不是5mm,它是7mm(半恼🤔看来下次我买硬盘车之前最好还是从图片里面找到型号查下(🤔

不过盘片貌似只有一个,所以这狗逼玩意还行吧🤔我现在不清楚拿这玩意搞什么,实在不行往里面塞点片子吧(

bruhfei.22.05.20

我原先预计的是这周4天时间拖playboy系列三天时间拖adulttime,到现在进度远远落后预期,playboy plus刚完成整理,而playboy tv还在拖(恼🤔

pbp的替换基本上顺利,除了二次dump仍然产生了一系列缺失currentprogress和资源的链接文件,给替换过程造成了一定困扰🤔修正后它仍然有五个链接需要下第三次,那就下第三次,可以论证我那玩意是可以增量替换的,那就替换三回啊三回(确信🤔

反正替换并合并文件后,拿原始list进行grep查重/查缺,全部都是1,基本上说明生成了符合预期的资源文件,统计出3.6TB资源(确信🤔

pbtv那边就极其坑爹了,由于有的视频几分钟就撸完了有的视频撸20分钟都撸不完,所以三四天过去后,搞完了四个线程,还有四个线程,其中两个还剩60个,一个剩110,而另外一个剩230(恼🤔

既然如此,我只能将那两个60的继续进度了,110的拆分成两个线程,230的拆分成四个线程,这样它也许就搞完了🤔现在仍然有一个线程就是不动,可能得重新跑一次了(全恼🤔

对了,我到今天还没拖vtt🤔另外我仍然可能需要撸一个所有资源metadata之类的玩意,将它们打包到一个大压缩包里面,方便以后我索引和使用这些玩意(确信🤔