草，半夜突然醒来🤔也许我被弄醒的原因有114514种，但只要我醒来，那么再次入睡可能就没那么容易力（恼🤔

当然我通常来说也懒得关心什么时候睡什么时候起，只要一天的总睡眠时间达标，该睡睡该干嘛干嘛（迫真🤔所以我起来看一眼waifu impact进度，然后再看一眼alsscan的进度🤔

waifu impact在我睡前甚至在前一天我就撸差不多力，该领的东西都领了一遍，大号甚至从撸喵酱活动完全没开始玩快进到撸完了所有喵酱并将某只橘猪（大嘘）领回了家（确信🤔总共用时两小时，其中可能有十几分钟耗在录制最后一段长达20分钟的配音剧情上🤔我那些小号应该用不了这么多时间，但一小时应该是需要的（确信🤔

比较意外的是我玩的某个hsr小号居然完全忘打了su，我寻思以前我经常一边impact cuties一边挂su，但上周某个时间我这么做时，它断电断得我有点ptsd，所以su一直没打🤔事后分析这种断电和上次看waifufly被雷普时断电原因差不多，su每次打完怪都会切换到一个纯2d的祝福选择界面，此时hsr完全不消耗gpu，无限接近于只开启waifu impact，那么后者打个怪物啥的就是会有几率触发断电🤔

但无论如何，到我醒来的那个时间点，这个号要打三回啊三回才能完成周su任务，我只打完了一回半（全恼🤔只能接着打下去力🤔还好我打得足够快，不到20分钟就搞定力，接下来我甚至还有时间给早柚酱小号coop刷女士周本🤔最后领了一个五星圣遗物一个武器原胚还有一个变换周本材料的玩意，好家伙，ar35小号压根就没有周本材料可以变换（恼🤔

thonk

而alsscan那边，感觉干得还行，现在已经是第二轮的第4小时，加起来已经过去了十小时甚至⑨小时🤔由于合并过程可以在任意时刻进行，出于某种申必原因我设置了一个每过10分钟甚至⑨分钟就进行一次合并的screen，目前alsscan的视频只剩817个没拖🤔

还行，我以为这玩意要干18小时甚至20小时，但目前看来也许14小时就能结束？🤔这下我对之后的metart主站雷普顿时充满了信心，它无非就两三万个图集，有啥难的（迫真🤔只要视频别拖到六小时以上，我就有至少1⑨小时甚至18小时来干图集（确信🤔但这也不好说，之前alsscan的四千个图集就拖了接近三小时半，可能主站的图集没那么大，这个就鬼知道力（悲🤔

但如果它真的过期之后也没拖完，我有没有可能再来一遍？🤔上个月过期的另外一个号也许可以拿出来用，它点击试用metart时应该不会报错，但信用卡是否能过就不好说力🤔

bruhfei

最终发现中途成功续了一次，又续失败一次，失败的一次是因为算错了时间（恼🤔最终导致所有号都有十几个到三十几个runners搁那儿排队🤔

但更蛋疼的是我能够观测到一大堆只有五位数字节的posts，说明它们里面一个视频或者图包都没有🤔而且它们的数量还能多到我能够观测到的程度🤔我写了一个脚本排查并在maindb里将它们恢复到状态码0，但我设置错了门槛大小，导致相当一部分被我漏掉力🤔当然就算我没有漏掉，alsscan也结束力，这还是在它给我多给了若干小时的情况下🤔

事后统计一下，基本上很多之前拖过的metart系站都或多或少出现过少东西的情况🤔随便打开一个看日志和拖下来的东西，aria2c提示list里面没有文件下，而list来自的metadata json只有一句话，找不到视频？wiebitte？🤔

我吴端猜测github actions的某些ip段被metart系站屏蔽力🤔既然如此，看来直接在runners里解析链接的省事方法搞不下去力，我得恢复2022年搞的那套cgi-bin玩意（恼🤔那么问题来力，我用哪台机子做cgi-bin机子捏🤔

或者格局打开，用php来解析，这样我就可以用pikapod力🤔

由于某种申必原因，我看了眼github actions的资源限制，发现了些很有意思的东西🤔

比如它一个白嫖账号可以跑的并行runners数量居然不是5或者10，而是20🤔但更有意思的是除了每个job最多六小时这种陈词滥调外，我还发现了一个一个一个有意思的玩意：每个workflow的最高运行时间长达35天🤔

至此我才意识到一个workflow里面不见得只能跑一个job，尽管我的各种脚本里面习惯性地只安排了一个🤔换句话说我完全可以安排多个jobs，比如考虑到sexart系试用号只能试用24小时，我可以安排四个jobs，将其串成一串来跑相同的脚本四遍（需要设置好这些jobs的依赖关系，不然它们就会并行运行，那肯定不是我想要的），这样我是不是就可以免得每6小时盯着看它搞完了没有（确信🤔

那么在这种情况下，下一个job（是一台全新的虚拟机）如何继承上一个job的maindb进度？🤔答案其实相当简单，我只需要每次搞完一个链接后除了照例将当前进度打包进guilded drive外，我还可以直接修改放在pikapod上用来下载到actions机器的maindb，这样下个job拖这些maindb开始处理时，自然拖的就是已经处理过一部分的力（确信🤔而如何修改它们呢？只需要一个一个一个简单的php脚本，外加一句curl文件上传语句，就可以搞定，反正比我之前用的sftp方便多力（确信🤔

接下来我需要写一个测试用例，一个只包括四行的maindb，还有一个每次for只出一行结果的脚本🤔测试下来基本上符合预期，第一行处理完成后这个job结束运行，可以看到下一个job的确从第二行开始处理，而放在pikapod上的maindb也便乘了第一行有链接🤔那么接下来两个基本上不用测力🤔

或者我可以将脚本里的只限处理一行这句删掉，看第三个job处理完剩下两个链接后，第四个job会做什么🤔它做的无非是打出四行红字，都已经处理过一遍力，然后退出（确信🤔

这两天某两款萌妹游戏的卡池里面什么都没出，所以我接着撸sexart相关玩意🤔

上次写了一个合并maindb的玩意，做了一点改进后我按照惯例检查合并前和合并后的maindb变化，发现某些行在合并后的maindb里面便乘了空行🤔后面一检查发现只有for循环外的cat *.txt都改成了temp目录下，循环里没改，所以它只能便乘空行，而没有便乘空行的其实是根目录就有而且一直在添加新东西的maindb（恼🤔改掉后再跑一遍，这次diff检查说明以后这玩意可以用来整别的玩意力（确信🤔

接下来从某个maindb开始分配线程的玩意也能随便撸出来，等我搞定github actions那边的事情，我就开始停止目前的两个线程，合并一次maindb，并以此来开始搞（确信🤔当然现在切换到真·多线程模式其实切不切换没啥太大关系，但等我真的想挑战什么24小时速通它的一系列分站甚至主站metart时，，，就有用力（确信🤔等等，主站可是足足有20TB内容的，24小时速通真的行吗（🤔

AYAYA

又经过了11451.4秒的哼哼雷普后，我终于将sexart脚本做了github actions适配🤔在多方面对比各种代码后，我发现了两点：

• 拖视频post的代码和拖图片post的代码确实没法合并，因为它们需要抓取的网页元素不一样（悲🤔所以我最多只能按照post类型来分流，并将guilded drive上传语句从处理视频或图片的函数中挪到它外面，省得我每一个函数里面都写一句上传guilded drive🤔

• 但github actions版本和本地版本确实可以合并，因为它们的区别居然只有具体的guilded drive脚本位置，还有github actions专属的处理后上传当前进度的功能🤔只需要找个办法判定当前是否在github actions里，设定一个一个一个flag或者不设定，然后在相关语句前加if即可（确信🤔

现在github actions既可以处理视频也可以处理图片，而且将它们塞进同一个maindb里也可以🤔讲真我寻思将它们塞进同一个成品maindb里，估计用cloudflare worker索引它们中的任意一个也是可以的，をたま就不信它们能恰巧共享同一个url，这个结论甚至可以扩大到metart系所有站，甚至将那三个kg系塞进去搞不好也可以（迫真🤔

为了方便将其投入多线程生产环境里，我还将某些初始化步骤做了抽离，便乘了五个初始化脚本，分别对应着github actions单账号能设置的五个线程，而它们会下载并调用同一个sexart处理脚本🤔不清楚前年我怎么想的居然在维护⑨个甚至⑧个除了某几行参数不一样别的玩意一毛一样的脚本（恼🤔

但更加牛批的是我停止那两台vps的处理，换这个脚本上，它也能和之前一样跑，基本上除了不会每上传一个视频再上传一个日志外和github actions版一毛一样（确信🤔

现在我在所有地方实现了统一脚本，以后只需要改一处就能改所有地方（确信🤔接下来趁着那两台vps继续跑视频时，sexart图片五线程github actions雷普，启动！🤔

another 11451.4 secs later,,,

极其生草的是，只有第一个线程两小时半跑完全程，别的线程三个小时才完成了三分之二🤔按理来说我分这些玩意的时候是均匀分配的，再说了它们都是只占300MB左右的图片，不是什么随着日期越来越新而逐渐增大的视频，结果有一个线程要么明显比别的线程东西少要么明显更快，wiebitte？🤔

whatever，收集起来它们所有的maindb，合并，再次分配，重新五线程跑🤔等这坨玩意跑完后，我就拿github actions处理剩下的亿点点视频，接下来才是真正的github actions时刻（确信🤔

然后再往脚本里面塞点东西🤔也许我有必要用time来统计一下某些操作的用时，但time这玩意只能加在某个函数里面某些命令的前面，它的结果才能被这个函数调用时后面加的重定向stderr写入日志文件（恼🤔所以我最后干脆若干个函数套娃，这样无论哪一步骤还是总体的拖视频或者图片时间都能记录到日志里，总用时也能显示到屏幕上或者github actions的日志里（确信🤔

除此之外我还需要从2022版断点续传玩意里移植点东西过来，比如不清楚为啥2023版居然没有统计进度的功能🤔这部分还是比较好搞的，但现在我已经开始跑力，下次再说🤔

thonk

又过去了将近40分钟，剩下的这点图片也全搞定力，合并后第一个全部拥有guilded drive链接的maindb便搞了出来🤔接下来当然是停掉某台arm vps的进度，将其当前的maindb还有大盘鸡上的maindb进行合并，撸出十个甚至⑨个线程的maindb，塞进github actions里🤔当然，我现在基本上可以将那台arm vps删掉力，这两天我用它只是没完成github actions脚本暂时顶着而已，但如果它完成力，那么接下来的sexart乃至metart系雷普，就基本上没我自己的vps啥事力（确信🤔

现在那台vps可以用来处理别的玩意，比如我又上传了一批游戏录屏，需要它处理下🤔

另外不清楚kg系能不能走github actions，但我寻思至少按照我写的那些脚本，恐怕它得，，，将html也塞进maindb或者，，，？🤔或者它干脆就直接访问那些网页得了，我撸sexart都能让它们随便拿sexart的cookies解析下载链接（而非我以前搞的cgi-bin中转），kg系站甚至都没有cookies，我怕啥🤔

话说rosefile站还有啥？我就不信wp搭建的rosefile站就那么三四个（其中一个我到今天都没实现分析），肯定有别的（恼🤔

AYAYA

到了今天晚上11点多，sexart剩下的一百多个视频也被十个甚至⑨个github actions线程雷普完成，至此经过三天啊三天的雷普后sexart全站告捷，统计下来视频13.9TB，图片709.9GB，还行🤔

现在我可以一个github号上十个甚至⑨个github actions机子，而我目前至少有两个号可以随便用，它至少今年貌似又管得松力，换句话说如果哪天我真的撅定要雷普它的主站力，我就开始20线程雷普，就算它真的有三万个图片posts，又如何？（吴慈悲🤔

但在此之前，我需要解决它那些东西少的小站🤔现在有两个我比较感兴趣的问题：

• 在我获得它们的一天试用access前，我能不能先获取它们的视频列表来构造一个一个一个maindb？

• 我在sexart上的cookies能不能在别的站用？