wiebitte.22.05.04

昨天晚上突发奇想,把上次做discord账号注册测试生成的8个32线程webhook(其实还有第⑨个,但那个里面只有10个线程,所以我没用到)全™用起来了,现在我可以八线程拖站(确信🤔除去正在拖dirtyfilx的一号线程和正在拖metart图片的二号线程,我大概还有6个线程可以用来拖metart的视频🤔这点视频才一千多个,刚好可以用来测试这群多线程玩意🤔

没想到github public actions居然没有限制同时运行的runners数量,随便开八个(确信🤔我估计如果每个线程能有150MB/s下载速度的话,这6个线程加起来再怎么说也能逼近8Gbps了吧🤔可以说是拖站史上(大嘘)带宽最大的拖站了🤔metart看起来可以吃得下,但如果换成naughty america的话我就不清楚了🤔

thonkeqing

6个小时之后,那6个线程居然提前完成了四个,剩下两个是超时结束的🤔看来将那个视频列表均匀分割的确会造成有的提前结束有的超时了还没搞完,基本上就和多线程discord频道备份脚本一个尿性🤔既然如此,我可以将那两个线程没搞完的列表整合一下,再分割成六份重新多线程去🤔

无论如何,这的确会给我事后将它们合并成一个装满discord drive链接的列表文件这件事造成困扰(恼🤔所以我只能最大限度地降低这种困扰了,比如先用wiebitte表情分割每次拖站再说🤔线程1-4是正常完成的,直接合并就vans了🤔线程5需要先和线程1-2的新内容先进行合并,然后再和线程6合并,再合并线程3-6的新内容,这样我觉得最后顺序就应该能整合适了🤔除非我中途觉得某些线程仍然闲得蛋疼,再整合并重新分割一次🤔

但现在看来,我这8线程的确可以说是神速,我觉得这顿视频整合完毕之后图片也可以至少7个线程铺开,至于dirtyflix那个线程它爱啥时候搞完啥时候搞完,我懒得关心(吴慈悲🤔

然后,等我搞完metart我就去搞naughty america🤔

stat

折腾了1145.14秒后终于将那几个频道备份了下来,一番迫真处理之后终于把metart所有视频的链接收集齐了,至少视频的数量貌似能对应上(确信🤔但在处理xconfessions时发现除以3居然比视频数量少1/3,一检查发现某个视频的currentprogress文件由于某种申必原因没有上传上去🤔当然这不是什么大问题,从别处复制一个占位就vans了🤔

接下来由于我的每一个单文件discord drive文件名后面都带有文件大小的准确字节数,我可以直接开始统计这些站的资源总量了,比如metart:

cat /lickeqing/metart.videos.txt | awk 'NR%2==1' | sed 's/^.*\///g;s/.metadata.rar//g;s/^.*\.//g' | awk '{sum+=$1} END {print sum}'
# 3353971940423
cat /lickeqing/metart.images.txt | awk 'NR%2==1' | sed 's/^.*\///g;s/.metadata.rar//g;s/^.*\.//g' | awk '{sum+=$1} END {print sum}'
# 1916462601911
cat /lickeqing/xconfessions.txt | awk 'NR%3==2' | sed 's/^.*\///g;s/.metadata.rar//g;s/^.*\.//g' | awk '{sum+=$1} END {print sum}'
# 202315174465

草,metart的视频总量居然高达3TB,而这些图片现在也占用了高达1.74TB的空间,我甚至还没有拖完,我觉得可能连三分之一都没达到🤔严格点来说这些视频我只花了将近10小时就搞完了(确信🤔看来,我得将接下来剩下的图片也八线程撸了,dirtyfilx可以以后再说(吴慈悲🤔至于xconfessions加起来只有188.42GB,如果我没有将每一个分辨率的视频都保存一遍的话恐怕只会更低(恼🤔

发表评论