bruhfei.22.10.22

一夜过后,才发现昨天晚上在笔记本上跑rclone的时候,居然忘了将新建的sharepoint site的rclone配置文件参数给复制过去,现在好了,只有原来那个sharepoint site对应的文件夹上传上去了,剩下的都没有上传,基本上空置了4个小时(全恼🤔

好在它们上传得挺快的,255分钟上传了161.36GB东西,平均下来应该是10.80MB/s,与此同时度盘用了264.5分钟,它居然超过了度盘,不错🤔看来在我一顿迫真调参后,它被优化得不错,而度盘上传从某种程度上说还受限于将文件挪到内存盘这个无法忽略不计的overhead(悲🤔

其实昨天晚上上传另外一坨文件的时候,临时决定还是塞满sharepoint site为好,所以最后没有把所有东西都上传到新sharepoint site里面,而是把一个文件夹塞进了旧的里面,剩下的都塞进新的,甚至以后如果新生成了什么东西也先塞进那个里面,然后再塞进第三个site(我一晚上创建了6个🤔当然我极其尴尬地发现这些剩余的东西也比pe4010的可用空间大100GB左右,所以我这么做也可以实现上传完旧sharepoint site之后直接删掉那个161GB的文件夹,然后将最后100GB东西复制进去,接下来可以一条命令撸到底(确信🤔

为了实现这个目标,我写了一个临时函数,将两条rclone命令加了进去,然后对这个函数进行计时🤔当然每条rclone也可以设置计时,但我原计划是在第二个rclone上传的间隙,停止整个函数的运行,然后做删文件并复制新文件的事情,然后继续跑这个函数🤔现在看来,我不需要这么做了,直接跑第二条rclone就vans了🤔

barbruh

上传过程中居然出现了三次错误,而且我以前从来没见过这种错误:它提示文件在上传的过程中被修改过,所以取消了上传🤔

这个可能有两种意思,一种意思是源文件被修改过,这个很明显不大可能发生,毕竟我只是挂那儿上传,而非对其进行写入,而且哪怕这个固态真的中途出了点什么申必故障,它应该也不会被rclone感知到,比如修改日期发生了变化🤔以我面对故障固态的迫真经验,它什么metadata都不会变,只不过文件中间的一部分便乘了全0(确信🤔

另外一种意思是指onedrive上面的文件分片被修改过,至少我在网上查到的几例是这样,它们有rclone上传的,也有直接操作graph api上传的,反正解决方案全都是重试一遍就vans了🤔

那好,我就重试一遍,或者说我也不用手动重试,rclone上传完别的文件后会自动重试一遍出错的文件,并再次检查下别的文件(确信🤔但它上传完成后我还会再检查一遍,并保存下检查记录🤔

反正无论如何我应该能保证它全传了上去(确信🤔

thonk

现在有个问题,假设pe4010有可能出现故障,我如何规避它?🤔

一种方案是将8GB包复制到pe4010上时,再复制一份副本到我认为可靠的存储媒体上,比如那些2.5寸sas盘,然后在那些盘上跑checksum🤔至于在线文件的checksum,至少我的discord drive脚本会计算它的sha512,并以这个值作为分片文件的文件名,所以应该是比较好查的(确信🤔

还有一种方案,直接弃用pe4010,然后用一块1TB左右的2.5寸硬盘来上传🤔当然机械硬盘多线程上传其实效果不是很好,而且还有一个问题,那是台笔记本,它可能会出现供电问题🤔便宜而且性能好的2.5寸sas肯定用不了,别的2.5寸机械硬盘性能都不怎么样(恼🤔

发表评论