这几天忙着impact cuties（指hsr打完了2.1剧情开始打活动），居然忘了sexart还有几个小时就要过期力（悲🤔

上次我整这玩意时大概卡在php版链接解析搞不动上🤔但本来php解析链接啥的就是图一乐，最后还是得按照惯例启动cgi-bin（确信🤔

1145.14秒后，新的metart系拖站脚本缝出来力，两年前写的cgi-bin脚本基本上只需要换个cookies就可以重新用，除此之外我让它试图接收带有域名的完整链接而非没有域名的path，基本上只要从完整链接里提取出三个要素：域名、标题和日期，就足以在任何metart系站的api里提取出所有东西，从metadata到视频链接（确信🤔

由于视频解析的脏活让另外一台机子做力，github actions上跑的拖站脚本变得更简单，它甚至都不需要区分是视频还是图集，那个是cgi-bin脚本需要做的事（确信🤔和两年前一样，它的metadata只占一行，comments也只占一行，剩下的行都是视频或者图集链接，稍微缝下两年前的github actions脚本就vans力（确信🤔当然，今天这个脚本已经是本地actions两用版，尽管⑨⑨%的可能会被部署到actions上（确信🤔

脚本写好后就赶紧用来补全了sexart新出的玩意，图集只出了10个，视频只出了⑨个，没啥意思🤔然后赶紧去雷普metart，毕竟如果我的sexart过期了的话，我将再也没法开启别的站试用（悲🤔好家伙，光列举两万多个图集就花了20分钟🤔

到正式拖的时候，另外一件意外发生力，我的那些github小号除了某个老号外居然全部阵亡，所以规划好的38线程现在只有18线程能跑（全恼🤔

这事也许不需要我提前干预，反正我忘了那个号的邮箱是什么🤔我只需要在接下来的挂机脚本里将merge函数里的线程数改成18，并在下次分配时只分配18线程，或者将剩下的三个新号投入进去凑33线程，并在下次merge时设成对应的线程数即可（确信🤔

如果我中途找到了那个号的邮箱并登上去，我也可以终止那些玩意再跑一遍🤔我寻思metart要是想24小时跑完恐怕是极其有难度的，跑不完也没关系，大不了我再开一个月，不过这次开的是metart，别的站等到快结束时再开试用（确信🤔

thonk

我最后还是找到了密码重新启动了一遍🤔这次剩下的三个github小号能够正常开启5线程，哪怕它们再过几天也会被橄榄，也没关系，至少现在它们加起来可以33线程跑（确信🤔不错，我们来看这破玩意一天够不够🤔

与此同时我发现哪怕上了cgi-bin，它也能给我整出四个没拖下来的posts（半恼🤔迫真诊断下，日志显示aria2c没有下载任何东西，但更诡异的是下载原post后发现里面什么都没有，连metadata都没有，以前这种没拖完的post高低得有一个一个一个metadata🤔再看眼日志，发现和原来不同的是，它对cgi-bin服务器的curl请求居然能够超时60s🤔可见那台小🐔🐔被18线程雷普成了什么寄吧样（🤔

但无论如何拖了一万多个图集居然只有四个需要重新拖，还行🤔我只需要在那句curl里面加上超时重试的参数，接下来应该就不会出错力（确信🤔

thonkeqing

刷某fisch发现移动云居然有13一个月的神车，它和上次我说过的某申必终端机送的云服务基本上算是同款，但它有丧心病狂的1980GB存储🤔而且它居然不需要我买一台没什么卵用的终端，还能月付🤔

唯一的缺点是带宽只有50Mbps，肯定不适合做这个drive那个drive，但挂pt应该没啥问题（迫真🤔如果它还有公网ipv4的话，也许可以做做某些内网穿透方案的中转服务器？这个带宽假如上下行对等的话，甚至都可以中转parsec串流力（🤔

我反正已经买了一台，还多花了两块钱选择了一个一个一个理论上来说离我近的地点🤔也许等我往上面装个parsec后能干到个位数毫秒延迟，但可能并没有什么卵用，因为它十成甚至⑨成只能用cpu编码🤔除非它还虚拟化出一个显卡？但我撅得可能性不大🤔

bruhfei

到差不多十点甚至⑨点之后它终于开出了一台，并没有什么web端，而且貌似账号系统和通常来说的移动云（也就是类似于阿里云或者aws那样的玩意）也不一样，需要用它的专属客户端登录🤔

装了一个一个一个那玩意后才发现它居然不是那种24小时挂机的vps，而是使用逻辑更像一台电脑的vps，它只有连接之后才能开机，只要断开连接一段时间就会关机（恼🤔当然我也可以选择最小化它，这样也许可以实现迫真挂机的效果，因为我这边确实有台24小时开着的机子，但还是感觉有点扯寄吧蛋🤔

我听说有人买了几千台这玩意，然后用一个一个一个定制脚本来每分钟登录和连接一次某个号的机子，用这种方式来让它们全部24小时开机🤔但也许也可以通过让两台这样的机子互相连接对方然后挂后台来保持开机，当然我没兴趣买两台这玩意，所以懒得测🤔

除此之外它的客户端居然支持完整的usb重定向和存储重定向，可以将本地的任意磁盘映射到vps里，甚至还能重定向打印机，尽管我很怀疑它的网速能达到什么程度🤔android客户端我估计也能实现usb重定向，不然那些极其生草的android终端完全没法用🤔这可是parsec以及各种迫真网吧的客户端都没有的黑色高级功能（大嘘🤔

但它那个垃圾客户端串流4k的效果只能说极其坑爹，所以我还是给它整了一个一个一个parsec然后开始挂机🤔网络的确只有4ms，但由于没有独显，编码延迟干到了51ms🤔其实编码延迟不是什么太大问题，毕竟它理论上来说只限制帧率，所以只有我哪天闲得蛋疼拿它串流视频，才能看出来（确信🤔

网络方面，反正没有公网ipv4，而且也没有公网ipv6🤔拿它搭建什么服务基本上是别想力，甚至我怀疑挂pt都挂不利索🤔我也懒得测祖传guilded drive环节力，毕竟再魔改一遍跑在cygwin最小系统上的guilded drive脚本实在是蛋疼（恼🤔

我还闲得蛋疼掏出as测了下磁盘io，它是怎么整的能做到数据盘读733写49，系统盘读4497写897，读写速度居然差了十倍甚至⑨倍，我暂且蒙古🤔

wiebitte

某fisch上还有其他一些可以连接XX云（其实就两种，一个是电信版一个是移动版，但它们都是以android app的形式连接云服务的，所以只要能随便安装app我寻思区别不大，更别说还有parsec云）的抽象硬件，比如100块钱的云终端，它有可能真的只是个机顶盒🤔但我看到的最抽象的玩意是一个一个一个21寸的1080p显示器+机顶盒一体机终端，机顶盒部分配置是1+8，有种20年前瘦客户端的美（确信🤔

但这玩意最抽象的是价格，它居然只要205，如果不介意摄像头弹出按不下去的话甚至还可以便宜到180🤔我寻思买个1080p的显示器都得至少150⑧，这还送一个一个一个可以连接云服务的终端（🤔只可惜它居然是1080p而不是4k，不然我高低得买一个玩玩🤔那么下一个一个一个问题，我放哪儿呢？我没有新的显示器支架用🤔

草，半夜突然醒来🤔也许我被弄醒的原因有114514种，但只要我醒来，那么再次入睡可能就没那么容易力（恼🤔

当然我通常来说也懒得关心什么时候睡什么时候起，只要一天的总睡眠时间达标，该睡睡该干嘛干嘛（迫真🤔所以我起来看一眼waifu impact进度，然后再看一眼alsscan的进度🤔

waifu impact在我睡前甚至在前一天我就撸差不多力，该领的东西都领了一遍，大号甚至从撸喵酱活动完全没开始玩快进到撸完了所有喵酱并将某只橘猪（大嘘）领回了家（确信🤔总共用时两小时，其中可能有十几分钟耗在录制最后一段长达20分钟的配音剧情上🤔我那些小号应该用不了这么多时间，但一小时应该是需要的（确信🤔

比较意外的是我玩的某个hsr小号居然完全忘打了su，我寻思以前我经常一边impact cuties一边挂su，但上周某个时间我这么做时，它断电断得我有点ptsd，所以su一直没打🤔事后分析这种断电和上次看waifufly被雷普时断电原因差不多，su每次打完怪都会切换到一个纯2d的祝福选择界面，此时hsr完全不消耗gpu，无限接近于只开启waifu impact，那么后者打个怪物啥的就是会有几率触发断电🤔

但无论如何，到我醒来的那个时间点，这个号要打三回啊三回才能完成周su任务，我只打完了一回半（全恼🤔只能接着打下去力🤔还好我打得足够快，不到20分钟就搞定力，接下来我甚至还有时间给早柚酱小号coop刷女士周本🤔最后领了一个五星圣遗物一个武器原胚还有一个变换周本材料的玩意，好家伙，ar35小号压根就没有周本材料可以变换（恼🤔

thonk

而alsscan那边，感觉干得还行，现在已经是第二轮的第4小时，加起来已经过去了十小时甚至⑨小时🤔由于合并过程可以在任意时刻进行，出于某种申必原因我设置了一个每过10分钟甚至⑨分钟就进行一次合并的screen，目前alsscan的视频只剩817个没拖🤔

还行，我以为这玩意要干18小时甚至20小时，但目前看来也许14小时就能结束？🤔这下我对之后的metart主站雷普顿时充满了信心，它无非就两三万个图集，有啥难的（迫真🤔只要视频别拖到六小时以上，我就有至少1⑨小时甚至18小时来干图集（确信🤔但这也不好说，之前alsscan的四千个图集就拖了接近三小时半，可能主站的图集没那么大，这个就鬼知道力（悲🤔

但如果它真的过期之后也没拖完，我有没有可能再来一遍？🤔上个月过期的另外一个号也许可以拿出来用，它点击试用metart时应该不会报错，但信用卡是否能过就不好说力🤔

bruhfei

最终发现中途成功续了一次，又续失败一次，失败的一次是因为算错了时间（恼🤔最终导致所有号都有十几个到三十几个runners搁那儿排队🤔

但更蛋疼的是我能够观测到一大堆只有五位数字节的posts，说明它们里面一个视频或者图包都没有🤔而且它们的数量还能多到我能够观测到的程度🤔我写了一个脚本排查并在maindb里将它们恢复到状态码0，但我设置错了门槛大小，导致相当一部分被我漏掉力🤔当然就算我没有漏掉，alsscan也结束力，这还是在它给我多给了若干小时的情况下🤔

事后统计一下，基本上很多之前拖过的metart系站都或多或少出现过少东西的情况🤔随便打开一个看日志和拖下来的东西，aria2c提示list里面没有文件下，而list来自的metadata json只有一句话，找不到视频？wiebitte？🤔

我吴端猜测github actions的某些ip段被metart系站屏蔽力🤔既然如此，看来直接在runners里解析链接的省事方法搞不下去力，我得恢复2022年搞的那套cgi-bin玩意（恼🤔那么问题来力，我用哪台机子做cgi-bin机子捏🤔

或者格局打开，用php来解析，这样我就可以用pikapod力🤔

由于某种申必原因，我看了眼github actions的资源限制，发现了些很有意思的东西🤔

比如它一个白嫖账号可以跑的并行runners数量居然不是5或者10，而是20🤔但更有意思的是除了每个job最多六小时这种陈词滥调外，我还发现了一个一个一个有意思的玩意：每个workflow的最高运行时间长达35天🤔

至此我才意识到一个workflow里面不见得只能跑一个job，尽管我的各种脚本里面习惯性地只安排了一个🤔换句话说我完全可以安排多个jobs，比如考虑到sexart系试用号只能试用24小时，我可以安排四个jobs，将其串成一串来跑相同的脚本四遍（需要设置好这些jobs的依赖关系，不然它们就会并行运行，那肯定不是我想要的），这样我是不是就可以免得每6小时盯着看它搞完了没有（确信🤔

那么在这种情况下，下一个job（是一台全新的虚拟机）如何继承上一个job的maindb进度？🤔答案其实相当简单，我只需要每次搞完一个链接后除了照例将当前进度打包进guilded drive外，我还可以直接修改放在pikapod上用来下载到actions机器的maindb，这样下个job拖这些maindb开始处理时，自然拖的就是已经处理过一部分的力（确信🤔而如何修改它们呢？只需要一个一个一个简单的php脚本，外加一句curl文件上传语句，就可以搞定，反正比我之前用的sftp方便多力（确信🤔

接下来我需要写一个测试用例，一个只包括四行的maindb，还有一个每次for只出一行结果的脚本🤔测试下来基本上符合预期，第一行处理完成后这个job结束运行，可以看到下一个job的确从第二行开始处理，而放在pikapod上的maindb也便乘了第一行有链接🤔那么接下来两个基本上不用测力🤔

或者我可以将脚本里的只限处理一行这句删掉，看第三个job处理完剩下两个链接后，第四个job会做什么🤔它做的无非是打出四行红字，都已经处理过一遍力，然后退出（确信🤔

这两天某两款萌妹游戏的卡池里面什么都没出，所以我接着撸sexart相关玩意🤔

上次写了一个合并maindb的玩意，做了一点改进后我按照惯例检查合并前和合并后的maindb变化，发现某些行在合并后的maindb里面便乘了空行🤔后面一检查发现只有for循环外的cat *.txt都改成了temp目录下，循环里没改，所以它只能便乘空行，而没有便乘空行的其实是根目录就有而且一直在添加新东西的maindb（恼🤔改掉后再跑一遍，这次diff检查说明以后这玩意可以用来整别的玩意力（确信🤔

接下来从某个maindb开始分配线程的玩意也能随便撸出来，等我搞定github actions那边的事情，我就开始停止目前的两个线程，合并一次maindb，并以此来开始搞（确信🤔当然现在切换到真·多线程模式其实切不切换没啥太大关系，但等我真的想挑战什么24小时速通它的一系列分站甚至主站metart时，，，就有用力（确信🤔等等，主站可是足足有20TB内容的，24小时速通真的行吗（🤔

AYAYA

又经过了11451.4秒的哼哼雷普后，我终于将sexart脚本做了github actions适配🤔在多方面对比各种代码后，我发现了两点：

• 拖视频post的代码和拖图片post的代码确实没法合并，因为它们需要抓取的网页元素不一样（悲🤔所以我最多只能按照post类型来分流，并将guilded drive上传语句从处理视频或图片的函数中挪到它外面，省得我每一个函数里面都写一句上传guilded drive🤔

• 但github actions版本和本地版本确实可以合并，因为它们的区别居然只有具体的guilded drive脚本位置，还有github actions专属的处理后上传当前进度的功能🤔只需要找个办法判定当前是否在github actions里，设定一个一个一个flag或者不设定，然后在相关语句前加if即可（确信🤔

现在github actions既可以处理视频也可以处理图片，而且将它们塞进同一个maindb里也可以🤔讲真我寻思将它们塞进同一个成品maindb里，估计用cloudflare worker索引它们中的任意一个也是可以的，をたま就不信它们能恰巧共享同一个url，这个结论甚至可以扩大到metart系所有站，甚至将那三个kg系塞进去搞不好也可以（迫真🤔

为了方便将其投入多线程生产环境里，我还将某些初始化步骤做了抽离，便乘了五个初始化脚本，分别对应着github actions单账号能设置的五个线程，而它们会下载并调用同一个sexart处理脚本🤔不清楚前年我怎么想的居然在维护⑨个甚至⑧个除了某几行参数不一样别的玩意一毛一样的脚本（恼🤔

但更加牛批的是我停止那两台vps的处理，换这个脚本上，它也能和之前一样跑，基本上除了不会每上传一个视频再上传一个日志外和github actions版一毛一样（确信🤔

现在我在所有地方实现了统一脚本，以后只需要改一处就能改所有地方（确信🤔接下来趁着那两台vps继续跑视频时，sexart图片五线程github actions雷普，启动！🤔

another 11451.4 secs later,,,

极其生草的是，只有第一个线程两小时半跑完全程，别的线程三个小时才完成了三分之二🤔按理来说我分这些玩意的时候是均匀分配的，再说了它们都是只占300MB左右的图片，不是什么随着日期越来越新而逐渐增大的视频，结果有一个线程要么明显比别的线程东西少要么明显更快，wiebitte？🤔

whatever，收集起来它们所有的maindb，合并，再次分配，重新五线程跑🤔等这坨玩意跑完后，我就拿github actions处理剩下的亿点点视频，接下来才是真正的github actions时刻（确信🤔

然后再往脚本里面塞点东西🤔也许我有必要用time来统计一下某些操作的用时，但time这玩意只能加在某个函数里面某些命令的前面，它的结果才能被这个函数调用时后面加的重定向stderr写入日志文件（恼🤔所以我最后干脆若干个函数套娃，这样无论哪一步骤还是总体的拖视频或者图片时间都能记录到日志里，总用时也能显示到屏幕上或者github actions的日志里（确信🤔

除此之外我还需要从2022版断点续传玩意里移植点东西过来，比如不清楚为啥2023版居然没有统计进度的功能🤔这部分还是比较好搞的，但现在我已经开始跑力，下次再说🤔

thonk

又过去了将近40分钟，剩下的这点图片也全搞定力，合并后第一个全部拥有guilded drive链接的maindb便搞了出来🤔接下来当然是停掉某台arm vps的进度，将其当前的maindb还有大盘鸡上的maindb进行合并，撸出十个甚至⑨个线程的maindb，塞进github actions里🤔当然，我现在基本上可以将那台arm vps删掉力，这两天我用它只是没完成github actions脚本暂时顶着而已，但如果它完成力，那么接下来的sexart乃至metart系雷普，就基本上没我自己的vps啥事力（确信🤔

现在那台vps可以用来处理别的玩意，比如我又上传了一批游戏录屏，需要它处理下🤔

另外不清楚kg系能不能走github actions，但我寻思至少按照我写的那些脚本，恐怕它得，，，将html也塞进maindb或者，，，？🤔或者它干脆就直接访问那些网页得了，我撸sexart都能让它们随便拿sexart的cookies解析下载链接（而非我以前搞的cgi-bin中转），kg系站甚至都没有cookies，我怕啥🤔

话说rosefile站还有啥？我就不信wp搭建的rosefile站就那么三四个（其中一个我到今天都没实现分析），肯定有别的（恼🤔

AYAYA

到了今天晚上11点多，sexart剩下的一百多个视频也被十个甚至⑨个github actions线程雷普完成，至此经过三天啊三天的雷普后sexart全站告捷，统计下来视频13.9TB，图片709.9GB，还行🤔

现在我可以一个github号上十个甚至⑨个github actions机子，而我目前至少有两个号可以随便用，它至少今年貌似又管得松力，换句话说如果哪天我真的撅定要雷普它的主站力，我就开始20线程雷普，就算它真的有三万个图片posts，又如何？（吴慈悲🤔

但在此之前，我需要解决它那些东西少的小站🤔现在有两个我比较感兴趣的问题：

• 在我获得它们的一天试用access前，我能不能先获取它们的视频列表来构造一个一个一个maindb？

• 我在sexart上的cookies能不能在别的站用？