这两天发现垃圾moopan又一次可以出租了,所以我又搞起了ddg
这次总体来说除了补上了半年的存货(大约只有不到60GB)外还着重处理了那些被叫做补种的帖子,之前这些玩意实在是过于变化多端,我通常都是将它们列入排除列表的,但这次我居然闲得姬儿蛋疼全部半自动处理了一番,就是自动下载,手动解包然后自动重新打包
然后我发现它还有部分帖子居然还用的是jkpan,这就非常有意思了,jkpan可比moopan好搞多了,除了它其实有两种类型的文件,一种可以多线程(服务器位置在美国,应该和我的好几个vps都是邻居),一种只能单线程(服务器位置在加拿大ovh),写个if区分下就可以了;然后对于后者,我的某台vps直接卡到了KB级别,然后我得以发现它的网络实在是太垃圾了,对于美国之外的东西都能卡到KB,包括度盘和onedrive,所以迫使我将这部分工作转移到了我已经用掉一半的旧vps上,那个单线程可以跑到20MB/s,反正比10个线程都只有5MB/s的moopan好多了
最后这坨东西占掉了290GB的空间,上传到onedrive的时候我得以发现我的某些onedrive翻车了,或者它看上去像是翻车了,而另外一些onedrive却能用(但离翻车也不太远了🙃我突然想到我之前搞的defloration好像也在那些翻车的onedrive账号上,另外我前几年搞的perusona相关东西好像也在🙃这就太™扯了,好在我至少对defloration搞了discord drive,而perusona相关东西其实最全的还在我本地,至于那些几十GB的megatan相关bgm,我好像不是megatan粉丝
然后我在onedrive完之后将这些东西和另外一台vps上处理的100GB东西同时进行discord drive归档处理,结果它们居然都花了三个多小时,卧槽,我觉得原因出在那台垃圾vps的cpu上,尽管它据说用的是高频ryzen(等下,ryzen是家用cpu吧,就像core i系列一样),但它只有30%的使用率,如果母鸡用的人多了它就会卡使用率,然后就像我那天在某快餐店使用atom平板跑discord drive一样,无论开了几个线程,都会卡出翔来🙃当然那天实在是太坑爹了,20个线程只有几百KB,直到我把线程数降到4才能勉强达到上传极限的一半(还得考虑到无线网络开销等事情),这个按照平均速率算下来也只有⑨,尽管刚开始跑脚本时可能没限制cpu使用率,上传和下载加起来居然上了Gbps
另外度盘现在基本上别想随便使用分享功能了,至少我那个存ddg的账号完全别想分享任何东西了,目前还能用的缓解方法是使用共享功能然后像google drive一样把共享权限给大号,反正分享也好共享也好目标都是将文件转存到大号,然后使用pcs-go的cp命令将需要的文件复制到共享文件夹里;接下来需要在大号的web端上将共享文件夹里的东西复制到大号的某个文件夹里,这里蛋疼的是两个客户端都没法做这件事,这也许说明共享功能算是某个该被砍掉但度盘的产品经理懒得砍的功能
或者也可以用更爽的方法,既然pcs-go仍然被用来传度盘,其实pcs-go还有一个sumfile命令,可以算本地文件的度盘参数(其实就是几个md5值)并生成转存命令,这样只需要在任意账号上跑生成的转存命令就能直接秒传转存;最吊诡的是如果使用了多线程其实度盘返回的文件远程md5是错的,但本地算出来的md5居然能用来秒传;另外一方面也意味着之前存到度盘里的那些东西就没法这么搞了,除非将它们先下下来然后跑sumfile
所以我在传discord drive之前就算了它们所有文件的sumfile然后保存了起来,这样用到它们时我甚至连度盘都不用进,直接grep出需要的文件即可,grep不出我再用上面说的共享文件夹法;另外因此我之前脚本的那种每1GB上传一次的方法也不太合适了,一方面我现在vps由于各种drive的存在空间基本上腾得非常充分,420GB的分区经常有400GB的可用空间啥的,另外一方面moopan也不会给我什么时间用来浪费在度盘上传中经常发生的最后卡十几分钟上,使得我只能集中上传;至少我集中上传度盘时遇到卡了可以中止脚本直接重新运行一遍,因为文件只有上传完了才会被挪走,我这么做可以直接利用pcs-go的断点续传机制,第二次上传的时候速度可以恢复到刚开始的水平,几秒后文件就传了上去,甚至我可以每两分钟重新跑一遍脚本,好像有个timeout命令可以做到这点,外层再套个迫真无限循环
说到moopan,非常生草的事情是那个出租账号的只有在有人租了它的账号后才会改密码,而且我租了这破玩意十次甚至九次了,我发现它连改密码都懒的1b,每次只改一个字节,所以这次改密码之后我完全就猜出了它的密码,一方面我可以白嫖了,另外一方面由于没人用它这垃圾玩意(除非又有一个疯掉的ddg会员出现了),它就一直不会改密码,而我的cookie就能一直用在脚本里,免得我三天两头改脚本
目前看来既然moopan完全没法充值,十月份这个账号过期之后我也就没法搞ddg了,这就是为什么我这几天集中搞了下,目前看来至少大件我已经搞了个差不多,还有什么遗漏的玩意我可以慢慢排查,其实我半年前就已经彻底征服了ddg,现在只是在巩固成果而已(手动wiebitte
最蛋疼的是其实我15年就在搞ddg了,而且那时也用的是bash,而且那个叫做colafile的网盘比jkpan和moopan良心得多,但那时我完全不知道有什么办法存储这些东西,我知道onedrive和google drive已经是18年的事情了,大规模使用pcs-go上传东西也是17到18年的事情;尽管我17年就开始使用discord,但18年才开始搞discord脚本,开发完成discord drive基本上是19年中期了,所以我在19年末才得以彻底征服ddg(手动futabruh;中途曾经换过python,但最后还是嫌python不够灵活,所以ddg的转存以bash始,以bash终