wiebitte.24.04.15

草,半夜突然醒来🤔也许我被弄醒的原因有114514种,但只要我醒来,那么再次入睡可能就没那么容易力(恼🤔

当然我通常来说也懒得关心什么时候睡什么时候起,只要一天的总睡眠时间达标,该睡睡该干嘛干嘛(迫真🤔所以我起来看一眼waifu impact进度,然后再看一眼alsscan的进度🤔

waifu impact在我睡前甚至在前一天我就撸差不多力,该领的东西都领了一遍,大号甚至从撸喵酱活动完全没开始玩快进到撸完了所有喵酱并将某只橘猪(大嘘)领回了家(确信🤔总共用时两小时,其中可能有十几分钟耗在录制最后一段长达20分钟的配音剧情上🤔我那些小号应该用不了这么多时间,但一小时应该是需要的(确信🤔

比较意外的是我玩的某个hsr小号居然完全忘打了su,我寻思以前我经常一边impact cuties一边挂su,但上周某个时间我这么做时,它断电断得我有点ptsd,所以su一直没打🤔事后分析这种断电和上次看waifufly被雷普时断电原因差不多,su每次打完怪都会切换到一个纯2d的祝福选择界面,此时hsr完全不消耗gpu,无限接近于只开启waifu impact,那么后者打个怪物啥的就是会有几率触发断电🤔

但无论如何,到我醒来的那个时间点,这个号要打三回啊三回才能完成周su任务,我只打完了一回半(全恼🤔只能接着打下去力🤔还好我打得足够快,不到20分钟就搞定力,接下来我甚至还有时间给早柚酱小号coop刷女士周本🤔最后领了一个五星圣遗物一个武器原胚还有一个变换周本材料的玩意,好家伙,ar35小号压根就没有周本材料可以变换(恼🤔

thonk

而alsscan那边,感觉干得还行,现在已经是第二轮的第4小时,加起来已经过去了十小时甚至⑨小时🤔由于合并过程可以在任意时刻进行,出于某种申必原因我设置了一个每过10分钟甚至⑨分钟就进行一次合并的screen,目前alsscan的视频只剩817个没拖🤔

还行,我以为这玩意要干18小时甚至20小时,但目前看来也许14小时就能结束?🤔这下我对之后的metart主站雷普顿时充满了信心,它无非就两三万个图集,有啥难的(迫真🤔只要视频别拖到六小时以上,我就有至少1⑨小时甚至18小时来干图集(确信🤔但这也不好说,之前alsscan的四千个图集就拖了接近三小时半,可能主站的图集没那么大,这个就鬼知道力(悲🤔

但如果它真的过期之后也没拖完,我有没有可能再来一遍?🤔上个月过期的另外一个号也许可以拿出来用,它点击试用metart时应该不会报错,但信用卡是否能过就不好说力🤔

bruhfei

最终发现中途成功续了一次,又续失败一次,失败的一次是因为算错了时间(恼🤔最终导致所有号都有十几个到三十几个runners搁那儿排队🤔

但更蛋疼的是我能够观测到一大堆只有五位数字节的posts,说明它们里面一个视频或者图包都没有🤔而且它们的数量还能多到我能够观测到的程度🤔我写了一个脚本排查并在maindb里将它们恢复到状态码0,但我设置错了门槛大小,导致相当一部分被我漏掉力🤔当然就算我没有漏掉,alsscan也结束力,这还是在它给我多给了若干小时的情况下🤔

事后统计一下,基本上很多之前拖过的metart系站都或多或少出现过少东西的情况🤔随便打开一个看日志和拖下来的东西,aria2c提示list里面没有文件下,而list来自的metadata json只有一句话,找不到视频?wiebitte?🤔

我吴端猜测github actions的某些ip段被metart系站屏蔽力🤔既然如此,看来直接在runners里解析链接的省事方法搞不下去力,我得恢复2022年搞的那套cgi-bin玩意(恼🤔那么问题来力,我用哪台机子做cgi-bin机子捏🤔

或者格局打开,用php来解析,这样我就可以用pikapod力🤔

rosebitte.24.04.14

昨天睡(迫真)前突然想拖一顿rosefile站,花了大概一个小时对着之前用了114514年的kg系脚本和现在跑在github actions上的metart系脚本缝了1145.14秒,缝出了一个github actions用的脚本,一个站四个线程,12线程,启动!🤔但跑了一顿后出现了一大堆只有6xxxx字节的post,而且我下了其中某一个看上去不是6xxxx字节的post,它里面应该有两个rar但我最终下的东西里面只有一个(恼🤔

这说明多线程跑rosefile链接解析时,它的登录特性(一台机子登录后别的机子之前登录过生成的cookies光速失效)能够导致部分线程没法正常解析出链接🤔那么如果我设置成无限循环重试呢?它又会出现所有线程搞半天都处理不了任何一个文件的情形,此时它们估计忙着互相使对方的rosefile登录状态失效,最终没有一个号能解析出链接(撅望🤔

既然如此,在这些机子上完成rosefile链接解析基本上不可能力,如果是以前的话我肯定能光速撸一个cgi-bin脚本,rosefile只要能解析出cloudflare r2或者sharepoint的链接,接下来这些链接既不锁ip又不验证headers,随便哪个github线程都能随便下(确信🤔但我现在缺少撸这套玩意的基础设施,所以我还是在我的vps上跑单线程rosefile得了,那些github actions号如果实在是闲得没事干,不妨接着跑sexart去🤔

bruhfei

又跑了一两个sexart小站,某个github旧号有时候能跑20线程有时就只能跑1⑨个线程,此时我就需要对付它处于排队等待状态的那个线程(恼🤔比如我可以将它分配到的maindb.txt直接便乘一个空的,这样它哪怕到时候上线也只会光速结束(确信🤔然后我接着分配一次🤔

11451.4 secs later,,,

现在metart系只剩下一个alsscan和metart主站没拖🤔先拖alsscan,它有接近4000个图集和4000个视频🤔

这次我上了若干个号,某老号18线程,别的号5线程,总计33个🤔出于某种申必原因,这些号拖这4000个图集居然花了两小时半还没拖完,肉眼可见地要肝到三小时半甚至四小时(全恼🤔有没有可能因为这个alsscan,它有很大一部分图集体积是以GB计的?🤔

所以到该拖视频的时候,我是只开20线程呢,还是开个什么38线程?🤔但无论怎么开,我现在只需要短短的几句话,按下回车后它就会自动分割maindb自动分配任务,非常方便(确信🤔接下来我就要么坐等它完成,要么等六小时多十分钟甚至⑨分钟后自动合并,然后自动重新分配(确信🤔

barbruh

终于,alsscan的视频部分开拖力🤔上次我写了一个连续拖视频workflow直接导致我的某个老号被橄榄,所以这次我需要用github actions自身机制之外的玩意实现workflow无限续🤔而这其实相当好办,既然之前已经用repository_dispatch实现了几乎全自动分配任务,更早之前又实现了自动合并,那么我完全可以将这两者缝起来,也就是分配任务后定一个一个一个6小时零10分钟甚至⑨分钟的时,时间一到自动合并然后紧接着分配任务,以此重复三回啊三回(确信🤔至于定时,可以用简单的sleep来实现,也可以随便找个倒计时脚本,实现可视化的倒计时(确信🤔

现在理论上来说我再也不用人工干预这破玩意力,如果我不想人工干预的话🤔我要是中途想人工干预的话我就中断这个自动脚本的运行,停掉所有的workflows,然后重新开始这段脚本(确信🤔

只不过我现在这坨玩意跑在五个还是六个不同的github号上,而我懒得一个一个一个登录它们停掉workflows🤔我寻思下次我可以考虑写一个kill switch,换句话说它以后每次搞完并上传完后还会从某位置下载一个文件,根据文件内容来撅定继续还是中止整个脚本🤔但这次我懒得折腾力,github要是因为我跑满六小时就橄榄我的号就橄榄好了,懒得关心(吴慈悲🤔毕竟哪怕我接下来一整个月都没法用github actions,我现在雷普github actions生成的数据已经突破了0.05PB,就这样🤔

bruhfei.24.04.12

今天撸了十个甚至⑨个gmail账号🤔现在gmail还是挺便宜的,很多地方都能便宜到一块二一个🤔而且在各种乱七八糟的邮箱服务里面,gmail算是事最少的,登上去之后撅大多数情况下可以随便改密码和恢复邮箱,后者甚至不用输入发往原邮箱的验证码(当然也有可能是因为原恢复邮箱完全就没有通过验证,所以只能作为异地登录时的2fa项用),它估计默认只要能进到security页面的用户就十成甚至⑨成是合法用户⑧🤔而在别的地方或者机子上再次登录时居然只需要输一遍恢复邮箱的全名就可以过2fa(迫真),不用等什么恢复邮箱收到验证码🤔

但以后用它们的时候也许根本不需要登什么gmail,只需要设置好邮件转发,接下来就可以拿它注册github或者别的东西玩力(确信🤔

至于github账号注册方面,就很不幸力,注册了四个只存活了三个,到第三个时验证已经开始便乘了最难的那种,需要连续对五次(恼🤔第四个号分分钟被橄榄,一眼盯帧,鉴定为忘了上梯子(全恼🤔所以我换了台机子又注册了一个🤔而在github actions使用方面,前两个跑demo runner(只输出几行字符串)可以秒开,第三个会无限排队,过几个小时后才能秒开🤔第四个也在无限排队🤔

whatever,反正我现在不用它们,以后再说🤔先这样每天注册几个备用,我看啥时候攒到20个github账号再开干🤔

waifu impact上次那个射史莱姆活动被我一天rush完力,现在的新活动是一个一个一个撸猫活动,真的可以撸喵酱玩🤔这算什么,我下楼还可以撸喵酱irl(半恼🤔

thonk

下午又光速撸了十个甚至⑨个,现在我已经有了20个配置完成的gmail账号🤔github那边事情可能更多些,主要是我也没有什么办法买到已经折腾好的,github actions antics也不像az或者aws那样有114514人雷普,所以我只能一个一个一个手工注册🤔那么问题来力,我这边很难说是干净的注册环境,所以很多东西恐怕就很难办,比如我现在注册的几个搞不好它的actions处于某种受限状态,开不出20个runners,只能开十几个或者五个,或者注册了几天甚至一晚上就会被橄榄(恼🤔

那么什么算是比本地挂梯子干净的注册环境呢?用hetzner或者vultr的vps跑一个桌面环境,然后装个firefox,在它上面注册,这个应该算是比较干净的,除了ip可能是数据中心ip外🤔或者在某些众包平台(还得是国外的平台)人肉注册,限制一人只能注册一次🤔

AAAAAAAAqua

草,vps上注册的github号被光速橄榄🤔与此同时哪怕在本机需要输五重禁忌验证码,号都能稳定存活若干分钟🤔

另外一方面和gmail一样,github也能设置为不需要登账号就能启动actions🤔还记得我说过114514遍的repository_dispatch大法吗?它当然可以和需要登录的workflow_dispatch放同一个workflow文件里,只不过下载sh文件那行需要写成两种下载方式之间用||隔开的方式,这样使用workflow_dispatch方式触发workflow的话它就用填进去的链接作为变量下载sh,而忽略||后面的语句;而使用repository_dispatch触发的话||前面的下载语句当然会下载失败,自动执行||后面的语句(也就是用curl里的参数作为变量下载sh🤔

照例,我们需要设置一个一个一个pat,顺便在设置里面将github辣眼睛的迫真暗黑模式换掉🤔接下来就可以准备好curl语句,用在我的metart系控制脚本里面,比如下次分配maindb的时候除了上传切好的maindb片段到某pikapod站外,还可以接着立即启动各种github actions(确信🤔目前我已经有七个号可以用,差不多每个号如果能跑6个runners的话就能搞出40线程🤔反正现在我肯定不愿意一个一个一个粘贴那40个sh文件手动启动力🤔

我看再过一周我能不能撸比如24个不会被瞬间橄榄的github号🤔以每个号能跑五个runners算,我可以在跑某些小站的时候牺牲四个号来换取一段时间(比如一天)的20线程,接下来可以拿剩下的几十个号放个metart带烟花(确信🤔

或者我可以去挖掘一些可以开十几个runners的老号,将它们也添加进repository_dispatch战略储备?🤔那玩意尽管只能开12个runners,但它跑12个runners好几小时后居然没有被橄榄,不像我后面创建的一个号几小时后还是被橄榄力,所以这个号至少顶2.4个我这几天新创建的小号(确信🤔不错,我现在有8个号,四舍五入等于47台4GB内存的vps(迫真🤔

eulaAAAAAAAA.24.04.10

就在我离完成metart系全站的完全收录只差两块嗯骨头和三个新发现的小站时,突然啊,我用了一年多没啥屁事的github小号被橄榄力,actions没法用(撅望🤔换了另外一个号接着拖,它居然只能开12个runners,再注册一个号也只能再开五个,剩下三个还在排队状态🤔

现在看来如果我不事先准备上七八个小号并在某个impact cuties专用系统里装一个一个一个开启了身份标签页功能的firefox的话,恐怕我也没法啃最后两个嗯骨头(悲🤔它们可能得开40线程才能在24小时内完成🤔

或者25小时——前面拖的几个站目前也一个一个一个相继过期,按照它给我发开通和过期邮件的时间可以算出试用会员的持续时间通常在25小时左右,有一个极其特殊的是31小时,但只出现过一次,所以我不能将其设定为我的拖站行动的时间基准🤔

奇怪的是它们过期之前居然没有尝试从我的信用卡里扣一次款,不错,至少我不用面临海量异常交易(确信🤔

既然如此,恐怕我得休息几天力,至少我得多注册几个github小号,甚至准备上十个甚至⑨个,才能啃接下来的嗯骨头(悲🤔而且很明显这对我接下来有兴趣搞的kg系github actions项目也算是一种打击(恼🤔

thonk

事后推测我那个号被橄榄的原因可能就是它的四联装workflow,也许github单方面认为我这么安排jobs就是为了规避它的六小时限制,所以在跑了六小时进入第二轮时不到半小时,它们连同整个号都被橄榄🤔这个原因的可能性应该比别的原因高很多,毕竟如果说我对github actions资源消耗得太多的话,我可是连续五六天在上面跑了三四百次workflow runs的,很多也跑到六小时结束,但它一直没橄榄我的号,直到我的四联装workflow跑了六小时半才开始橄榄🤔

不过这个还算好(迫真)的,以前我尝试在workflow里跑ssh或者某种ssh服务器,那基本上才是几分钟就被橄榄,而且不是actions不可用这样的,而是连号都给🐑咯🤔

sayuAYAYA.24.04.08

今天中午早柚酱小号按照惯例抽卡,才抽了不到三发,好家伙,一道金光过来,水龙🤔草,这个号应该还远远没到出金的时候,而且它不是每次出金几乎都要歪吗🤔现在它不仅提前出力,甚至还没歪可还行🤔

反正我惊呆到甚至忘了开屏幕录制🤔whatever,是时候将蓄力时只会哼哼哼啊啊啊啊的臭 龙塞进🍪impact力🤔当然c0水龙没有霸体也没有+1某申必buff,需要三种元素和水反应才能最大化伤害,所以waifurina也不适合塞进去,那么就只能找个盾🤔这个号也没有钟离,那么laylawaifu,启动!🤔

thonkart

metart系拖站那边,得益于我的逆天20线程github actions基础设施(大嘘),我今天一天就雷普了五个站🤔加上昨天下午到今天凌晨之间拖完的metart x,外加早就拖完了的sexart,metart系的12个站里面我已经完全雷普了七个(确信🤔

剩下五个里面有图片四五千但视频只有七百多个的某站,图片三千多视频1500的某站,图片两万多但视频只有(?)两千左右的metart,某个和sexart规模差不多的站,还有一个有着四千多个视频的站🤔这里面很明显有两个难度极高的,metart主站也许我需要动用的不是20线程而是40线程,而另外一个?我能不能在一天内搞完都不好说(恼🤔

github actions v2.24.04.07

由于某种申必原因,我看了眼github actions的资源限制,发现了些很有意思的东西🤔

比如它一个白嫖账号可以跑的并行runners数量居然不是5或者10,而是20🤔但更有意思的是除了每个job最多六小时这种陈词滥调外,我还发现了一个一个一个有意思的玩意:每个workflow的最高运行时间长达35天🤔

至此我才意识到一个workflow里面不见得只能跑一个job,尽管我的各种脚本里面习惯性地只安排了一个🤔换句话说我完全可以安排多个jobs,比如考虑到sexart系试用号只能试用24小时,我可以安排四个jobs,将其串成一串来跑相同的脚本四遍(需要设置好这些jobs的依赖关系,不然它们就会并行运行,那肯定不是我想要的),这样我是不是就可以免得每6小时盯着看它搞完了没有(确信🤔

那么在这种情况下,下一个job(是一台全新的虚拟机)如何继承上一个job的maindb进度?🤔答案其实相当简单,我只需要每次搞完一个链接后除了照例将当前进度打包进guilded drive外,我还可以直接修改放在pikapod上用来下载到actions机器的maindb,这样下个job拖这些maindb开始处理时,自然拖的就是已经处理过一部分的力(确信🤔而如何修改它们呢?只需要一个一个一个简单的php脚本,外加一句curl文件上传语句,就可以搞定,反正比我之前用的sftp方便多力(确信🤔

接下来我需要写一个测试用例,一个只包括四行的maindb,还有一个每次for只出一行结果的脚本🤔测试下来基本上符合预期,第一行处理完成后这个job结束运行,可以看到下一个job的确从第二行开始处理,而放在pikapod上的maindb也便乘了第一行有链接🤔那么接下来两个基本上不用测力🤔

或者我可以将脚本里的只限处理一行这句删掉,看第三个job处理完剩下两个链接后,第四个job会做什么🤔它做的无非是打出四行红字,都已经处理过一遍力,然后退出(确信🤔

thonk.24.04.06

这两天某两款萌妹游戏的卡池里面什么都没出,所以我接着撸sexart相关玩意🤔

上次写了一个合并maindb的玩意,做了一点改进后我按照惯例检查合并前和合并后的maindb变化,发现某些行在合并后的maindb里面便乘了空行🤔后面一检查发现只有for循环外的cat *.txt都改成了temp目录下,循环里没改,所以它只能便乘空行,而没有便乘空行的其实是根目录就有而且一直在添加新东西的maindb(恼🤔改掉后再跑一遍,这次diff检查说明以后这玩意可以用来整别的玩意力(确信🤔

接下来从某个maindb开始分配线程的玩意也能随便撸出来,等我搞定github actions那边的事情,我就开始停止目前的两个线程,合并一次maindb,并以此来开始搞(确信🤔当然现在切换到真·多线程模式其实切不切换没啥太大关系,但等我真的想挑战什么24小时速通它的一系列分站甚至主站metart时,,,就有用力(确信🤔等等,主站可是足足有20TB内容的,24小时速通真的行吗(🤔

AYAYA

又经过了11451.4秒的哼哼雷普后,我终于将sexart脚本做了github actions适配🤔在多方面对比各种代码后,我发现了两点:

  • 拖视频post的代码和拖图片post的代码确实没法合并,因为它们需要抓取的网页元素不一样(悲🤔所以我最多只能按照post类型来分流,并将guilded drive上传语句从处理视频或图片的函数中挪到它外面,省得我每一个函数里面都写一句上传guilded drive🤔

  • 但github actions版本和本地版本确实可以合并,因为它们的区别居然只有具体的guilded drive脚本位置,还有github actions专属的处理后上传当前进度的功能🤔只需要找个办法判定当前是否在github actions里,设定一个一个一个flag或者不设定,然后在相关语句前加if即可(确信🤔

现在github actions既可以处理视频也可以处理图片,而且将它们塞进同一个maindb里也可以🤔讲真我寻思将它们塞进同一个成品maindb里,估计用cloudflare worker索引它们中的任意一个也是可以的,をたま就不信它们能恰巧共享同一个url,这个结论甚至可以扩大到metart系所有站,甚至将那三个kg系塞进去搞不好也可以(迫真🤔

为了方便将其投入多线程生产环境里,我还将某些初始化步骤做了抽离,便乘了五个初始化脚本,分别对应着github actions单账号能设置的五个线程,而它们会下载并调用同一个sexart处理脚本🤔不清楚前年我怎么想的居然在维护⑨个甚至⑧个除了某几行参数不一样别的玩意一毛一样的脚本(恼🤔

但更加牛批的是我停止那两台vps的处理,换这个脚本上,它也能和之前一样跑,基本上除了不会每上传一个视频再上传一个日志外和github actions版一毛一样(确信🤔

现在我在所有地方实现了统一脚本,以后只需要改一处就能改所有地方(确信🤔接下来趁着那两台vps继续跑视频时,sexart图片五线程github actions雷普,启动!🤔

another 11451.4 secs later,,,

极其生草的是,只有第一个线程两小时半跑完全程,别的线程三个小时才完成了三分之二🤔按理来说我分这些玩意的时候是均匀分配的,再说了它们都是只占300MB左右的图片,不是什么随着日期越来越新而逐渐增大的视频,结果有一个线程要么明显比别的线程东西少要么明显更快,wiebitte?🤔

whatever,收集起来它们所有的maindb,合并,再次分配,重新五线程跑🤔等这坨玩意跑完后,我就拿github actions处理剩下的亿点点视频,接下来才是真正的github actions时刻(确信🤔

然后再往脚本里面塞点东西🤔也许我有必要用time来统计一下某些操作的用时,但time这玩意只能加在某个函数里面某些命令的前面,它的结果才能被这个函数调用时后面加的重定向stderr写入日志文件(恼🤔所以我最后干脆若干个函数套娃,这样无论哪一步骤还是总体的拖视频或者图片时间都能记录到日志里,总用时也能显示到屏幕上或者github actions的日志里(确信🤔

除此之外我还需要从2022版断点续传玩意里移植点东西过来,比如不清楚为啥2023版居然没有统计进度的功能🤔这部分还是比较好搞的,但现在我已经开始跑力,下次再说🤔

thonk

又过去了将近40分钟,剩下的这点图片也全搞定力,合并后第一个全部拥有guilded drive链接的maindb便搞了出来🤔接下来当然是停掉某台arm vps的进度,将其当前的maindb还有大盘鸡上的maindb进行合并,撸出十个甚至⑨个线程的maindb,塞进github actions里🤔当然,我现在基本上可以将那台arm vps删掉力,这两天我用它只是没完成github actions脚本暂时顶着而已,但如果它完成力,那么接下来的sexart乃至metart系雷普,就基本上没我自己的vps啥事力(确信🤔

现在那台vps可以用来处理别的玩意,比如我又上传了一批游戏录屏,需要它处理下🤔

另外不清楚kg系能不能走github actions,但我寻思至少按照我写的那些脚本,恐怕它得,,,将html也塞进maindb或者,,,?🤔或者它干脆就直接访问那些网页得了,我撸sexart都能让它们随便拿sexart的cookies解析下载链接(而非我以前搞的cgi-bin中转),kg系站甚至都没有cookies,我怕啥🤔

话说rosefile站还有啥?我就不信wp搭建的rosefile站就那么三四个(其中一个我到今天都没实现分析),肯定有别的(恼🤔

AYAYA

到了今天晚上11点多,sexart剩下的一百多个视频也被十个甚至⑨个github actions线程雷普完成,至此经过三天啊三天的雷普后sexart全站告捷,统计下来视频13.9TB,图片709.9GB,还行🤔

现在我可以一个github号上十个甚至⑨个github actions机子,而我目前至少有两个号可以随便用,它至少今年貌似又管得松力,换句话说如果哪天我真的撅定要雷普它的主站力,我就开始20线程雷普,就算它真的有三万个图片posts,又如何?(吴慈悲🤔

但在此之前,我需要解决它那些东西少的小站🤔现在有两个我比较感兴趣的问题:

  • 在我获得它们的一天试用access前,我能不能先获取它们的视频列表来构造一个一个一个maindb?

  • 我在sexart上的cookies能不能在别的站用?

lisAYAYA.23.02.02

今天照例领某些矿场小号的最后5个纠缠之缘,发现它们里面有六个号居然能玩一把什么second blooming,领个lisa新衣服🤔接下来我发现它居然还是一个一个一个全程配音的活动,大概就和2.8的diluc新衣服活动一个待遇(确信🤔而且在须弥度假(迫真)的lisa也换上了新衣服,包括可游玩内容里的试用80级lisa(确信🤔

而在可游玩内容方面,貌似试用角色没法全程都用,但有意思的是某些位置的试用角色可以连续两盘或三盘用,某些位置不能,看它那些槽是连着的🤔反正最简单的那档难度,一盘只需要放一个试用角色就能无脑6000分,三档奖励居然能拿两档,这可真是太にま良心了(迫真🤔而想领lisa新衣服的话,五盘里面平均每盘居然只需要2000分,四舍五入几乎算是白送(确信🤔但我估计要是想全拿奖励的话,恐怕还是得迫真研究一下teamcomp和能用的buff(悲🤔

但这活动怎么说呢,目测又是个游玩十几分钟、剧情三小时(不算合影impact)的屑活动,我的那些号居然一个一个一个一个都被各种玩意卡住了,那几个小号需要完成lisa传说任务,而我的大号居然被魔神任务第二节卡住了,好家伙,连那些矿场小号都不如(全恼🤔现在唯一一个没有被卡的号是某eula chan大号,那个号已经快完成了须弥主线,我寻思到时候和lisa聊天时对话内容会变(确信🤔

thonkeqing

没想到昨天那个卖家最后还是把czechcasting的号发过来了🤔既然这次买卖做得这么愉快(迫真),等我拖完czechcasting了我就找他买naughty america(确信🤔

我不到一个小时就撸出了获取所有视频和图片链接的cgi-bin脚本,和去年搞的那套玩意一样,我可以用一台小🐔🐔来托管cgi-bin,链接解析啥的都由它来完成,反正和dirtyflix一样,czechcasting解析出的链接也是不限ip不限cookies的(确信🤔现在我可是有自己的常驻小🐔🐔的,一个月只要(迫真)3块钱,再也用不着woiden那套坑爹玩意了🤔

但它还有一个什么360度照片的玩意比较麻烦,本质上是不同角度的48张照片,但问题是它们被隐藏在了一个api后面,它要是有20组这样的照片我就得访问20次那个api,拖完全站少说也得雷普上个十万甚至⑨万次(恼🤔而且尽管它把请求这个api的方法写进了html内置javascript代码里,但bash整它还是有亿点点烦(半恼🤔我现在寻思要不要整它,实在不行完全跳过了也不是⑧行,反正这玩意和它的其他照片一样就是个噱头(恼🤔

但也有一说它访问那个api时可以不带站点cookies,只需要带一个什么csrf token,也许可以外包给下载脚本搞,这里先按下不表🤔

但无论如何,现在这个cgi-bin脚本已经可以将能下载的资源以aria2c列表的形式打印出来了🤔html我最后发现不好用文件的形式来提供,放cgi-bin里完全无法获取,放html里那个脚本并没有对html目录的任何权限,最后一想干脆也塞进响应体里得了(半恼🤔

到时候下载脚本可以将cgi-bin的响应分割开来,上半部分保存成aria2c列表,剩下的玩意保存成html文件,然后用aria2c批量下再开启guilded drive就vans了(确信🤔也许我可以将视频转guilded tube的github actions玩意也改成那个叫做啥来着,然后找出1080p和4k的视频,在cgi-bin里自动触发actions,免得我每次找到一个视频就得手动触发一次🤔

还有一种搞法,cgi-bin只返回html全文,而分析(和可能存在的雷普某api几十次的)工作扔给下载线程🤔最多把从html里分析视频链接并发送到github actions这件事暂时保留在cgi-bin里,但这个其实也可以外包掉(确信🤔

现在某台大盘鸡还在拖guosw,我估摸着czech casting想拖的话恐怕还是得上github actions(悲🤔project cosette此时还是没有开发出来,但我可以使用半个(迫真)project cosette的技术,比如拿已经实现了的cgi-bin技术来实时返回日志和将guilded drive链接塞进maindb,方法无非是将本地脚本里的那套sed语句做成cgi-bin格式(确信🤔和之前搞guilded tube时一样,它仍然有可能会出现写冲突,但实在不成我干脆把maindb也拆成线程数份得了,每个线程只读写和它绑定的maindb(确信🤔

但考虑到这一到两周我cuties impact的活动快要打不完了,主力工作(甚至包括处理截图啊啊啊啊啊啊啊啊啊啊啊啊)可能得拖到下周甚至下下周(全恼🤔现在我要是偶尔抽点时间的话,就只能写点子模块啥的了(悲🤔

thonkhub.22.12.28

今天又到了onedrive转三盘的时候🤔前几天搞的gh自动化可以用起来了,写一个粗糙的自动延时函数,将8个链接文件的url作为8个参数直接塞进去,理论上十分钟甚至⑨分钟后8个workers就会在两个小号上跑起来了(确信🤔

除了它跑到第二个时突然开始显示当前run的状态了🤔好家伙,我当时撸的gh watch忘删了(恼🤔实测那玩意根本没法用来在命令行里打印详细日志,更何况onedrive转三盘的日志压根就不会打印出来,而是转储并发送到了我的小鸡上🤔赶紧删了那段代码重来一遍(恼🤔

thonkdisk

度盘现在貌似上传速度又下降了一截,以前能在github actions上跑出100MB/s以上,现在只有两位数了,至少得四五分钟才能上传完(恼🤔之前那种先上传60秒再上传80秒什么的根本上传不完(全恼🤔

所以我在度盘上传脚本里加了这么一个玩意:每次上传之前先从某个url里获取上传参数,无非是超时时间和线程数,再去上传🤔这样我就可以根据日志情况动态调整这两个值,而不用停止整个runner再重启了(确信🤔

考虑到度盘目前充满各种不确定性,我以后onedrive转双盘和转度盘目测得分开整了(半恼🤔

barbruh

草,两小时后前四个线程搞完了,剩下四个线程只剩一两个了🤔奇怪的是它们都处于只搞完一半(也就是discord出了但guilded没出)的状态,草,是不是账号被橄榄力?🤔

登进去一看,果然两个账号都被橄榄力(恼🤔而且更离谱的是,我当时搞gh自动化的时候将一个链接粘贴了两遍,导致对应的文件也处理了两遍,这样下来最后一个线程完全就没被处理过,现在好了,我需要重新整的文件不再是四五个,而是十几个(全恼🤔

照例重新注册了两个账号,然后接着撸我那套玩意,好家伙,一个文件都没上传上去就光速被橄榄🤔草,是不是我那台使用gh发布命令的vps特征被识别了,只要是用这个vps的ip触发runner的号就会被橄榄?🤔

既然如此,我掏出另外一个小号,这次改用repository_dispatch法触发runners🤔结果上传了一个到一个半文件就被橄榄力🤔

我去,现在看来github actions的好时代,也许真的结束了(全恼🤔它有各种各样的玩意橄榄我的号,比如我在上面跑的玩意被特征识别了,比如我瞬间使用了大量的网络带宽(那不废话吗,十分钟就得下载8GB上传至少24GB,甚至更多),比如我跑了超过1145.14秒之类的🤔

估计等所谓的能一个runner跑一个文件的project cosette出来之前,我还是别玩github actions了(恼🤔那么接下来开始上我自己的vps,onedrive转三盘脚本魔改一顿后基本上能无缝运行,速度不敢说和github actions一样快吧,也慢不到哪儿去🤔

或者我也可以去hetzner整上8台vps来跑八线程onedrive转双盘,最多两小时跑完,然后删🐔(确信🤔估计不会花太多钱,以3.7欧元一个月算的话一顿应该不会超过一块(确信🤔

github actions cli.22.12.22

这段时间我在整一些新的github actions antics,比如使用它新出(迫真)的叫做gh的命令行客户端🤔其实我更想通过抓包来启动github actions机子,但出于某种申必原因firefox现在没法抓github的包了,它只要发送了那个post请求就会跳转,导致请求体出不来(恼🤔我记得年初刚玩github actions的时候firefox还是可以抓到请求体的🤔

反正无论如何,抓不了就不搞什么抓包启动了,再怎么说这种土法antics十成甚至⑨成会遇见各种申必不确定性因素,比如它里面有一个申必token我不清楚怎么获取,总不能每次跑这玩意都抓一次包⑧🤔

而它那个gh用起来极其蛋疼,登录貌似用的一种验证码登录法,生成一个和本机有关的验证码然后在要登录的账号上打开某个页面将这个验证码粘贴进去就可以了🤔但登录之后还是没法直接启动actions,需要先安装一个git(当然对于绝大多数linux来说git要么自带要么可以轻松装上,但win系统就比较麻烦了),然后用git clone来将某个自己的repo放在本地,再进入那个repo目录,接下来才能执行gh workflow run后面跟上workflow的id或者名字来运行一个一个一个一个runner🤔

这是个非常奇怪的逻辑,因为我只是想跑actions,并不想搞什么正经git🤔但对我来说更不方便的是,它并不支持多账号,我要是想驱动8个线程,我不得先登出一个账号然后再登一个进去,或者用两台机子?而它们放置workflow的repo肯定又不一样,怎么想怎么蛋疼(恼🤔

最后我想到一种比较苟且的方法:它的账号配置文件在~/.config/gh/hosts.yml里面,我可以保存若干个这个文件不同账号的版本,这样我便可以将一次actions run封装成一个函数,每次执行这么一个函数时,便可以先恢复某账号的配置文件版本,然后定位到它的repo本地位置(假设它一个号里面只有一个repo,而我那些跑actions的小号就是这么配置的),并以workflow的名称而非id来运行它,再将配置文件名字改回去🤔

在一顿迫真折腾之后,这玩意搞定了,我只需要在函数后面跟上用户名和guilded视频链接,它就能自动启动一个对应的runner来转视频,几分钟后视频的guilded tube m3u8就会出现在discord频道上,不错🤔

当然,它也可以用来启动onedrive转三盘之类的玩意,我只需要填进去它的八个列表文件的url,让它开始跑就vans了,它会自动每60秒启动一个线程(确信🤔

接下来是不是还可以将其改造成cgi-bin呢?就几个请求的事,并不需要那台hosmatic的破机子实际上跑什么东西🤔拉寄吧倒⑧,这种又是要装git又是要将配置文件放在homedir的屑玩意怎么听怎么不像是可以装进cgi-bin的(全恼🤔

thonkeqing

在迫真查资料的过程中,我发现github actions除了我们熟知的workflow_dispatch手动触发法外,还有一种叫做repository_dispatch的手动触发法(我年初刚开始玩的时候没听说过,搞不好这玩意是这几个月新出的),这种方法只需要一条curl命令(或者js/php)就能启动一个worker并将参数输入进去🤔所以它比前者更适合自动化脚本,或者更适合跑在hosmatic的白嫖玩意上(确信🤔当然它也是有亿点点不足的,比如和gh不一样,它启动worker之后没有任何反馈,除非我去刷网页或者gh,不然我根本不清楚它有没有启动成功(半恼🤔

使用时需要注意输入给它的参数在workflow里面的形式和workflow_dispatch完全不一样,如果使用workflow_dispatch时的参数是github.event.inputs.AYAYA,那么使用repository_dispatch时它就应该便乘github.event.client_payload.AYAYA🤔所以除非使用一套比较复杂的写法,不然我不觉得同一个workflow文件可以同时支持这两种触发方式🤔

但同时,使用repository_dispatch时参数不用在workflow文件里显式地定义出来,只需要在repository_dispatch:下面加一句比如types: pull-antics,然后在post请求里使用这个type就可以了,然后参数可以任意添加进去🤔换句话说检查参数有效性的事情便乘了发送post请求的玩意需要做的事,但我估计这不是什么大问题🤔

那么post请求又该如何构造呢?这个也比较简单(迫真),直接给出示例:

curl -i -X POST -H "Accept: application/vnd.github+json" -H "Authorization: Bearer [PAT]" -H "X-GitHub-Api-Version: 2022-11-28" https://api.github.com/repos/[username]/[reponame]]/dispatches -d '{"event_type":"pull-antics","client_payload":{"arg1":"value1","arg2":"value2"}}'

其中PAT就是我年前写的可以修改repo的github actions(当然现在我已经不将实际运行的代码放在repo里了,所以这玩意也用不上了)里用到的personal access token,按照github文档的说法它需要赋予所有repo权限🤔所有参数都在post请求体的client_payload字段里(确信🤔

thonksette

至此实时日志和自动触发runner都实现了,史诗级巨坑project cosette貌似又向前推进了两步(迫真🤔

discordbruh

草,我才发现准备挪(一代)discord drive那玩意居然在rar压缩阶段停了(全恼🤔由于rarlog实在是太长了,它居然没来得及在空间被占满之前删掉已经压缩完成的文件,而且按理来说我可以按r来恢复rar压缩,但我只恢复了一次,第二次空间被占满后它就恢复不了了(全恼🤔

目前看来由于相当大一部分文件还是被删了,我也只能硬着头皮上传这部分压缩包了(悲🤔好家伙,这坨玩意占据了2TB甚至1.⑨TB,而分卷压缩包的编号也到了23万,好家伙,这是我自1⑨年开始玩discord drive起第一次看到编号突破20万(确信🤔

而除了这些压缩包外居然还有100GB甚至⑨0GB东西没被压缩🤔检查rarlog之后发现也许剩下的东西也没有那么多,只是这⑨0GB里的某些东西来不及删而已(确信🤔但我也可以在下次打包它们的时候直接全部打包算了,反正rar最后一个分卷会保存所有那些文件夹(哪怕此时里面一个文件都没有,我写的那个自动删除脚本只删文件)的时间戳,以后我要是想取回这坨玩意只需要按照顺序跑三次discord drive下载并解压到同一个文件夹下就vans了,它应该能直接以覆盖的形式将那些文件夹的时间戳便乘它们应该是的值,至少win系统里是这样(确信🤔

那就这么搞⑧,等上两天应该就上传完了(确信🤔