pcie bruhfurcation continued.21.01.28

由于我忘了拿pcie拆分卡,我不得不再买一个🤔还顺便带了四根普通线,我插上去配置好后发现这四根线只有一根能够正常使用,剩下三根基本上相当于不存在🤔

所以我只能用那四条1.9m的差分线了,插了一堆阵列卡上去,看能不能全部识别🤔事实证明阵列卡是最不适合用来测试pcie拆分的玩意,哪怕亮机卡都比阵列卡更适合🤔

具体来说,我往上面插了一块sas2008,一块sas1064e,一块dell 6ir,然后到1068e/1064e的启动界面时,卡住了🤔只留了一块1064e,能够启动系统,而且卡也能正常用,但sas2008的启动界面基本上被跳过了🤔我还以为是我的那些垃圾阵列卡不支持延长,但1064e用的是同款芯片,所以功耗也不会比那些1068e低啊,而且目测功耗是最后一个可能出问题的地方🤔

然后我调换了下线的两头,再次测试了下,然后我发现一个问题,非常有可能1068e的卡是不能多插的,至少刷了oprom的版本是不能多插的🤔毕竟只插一张这个系列的卡,无论在拆分出来的任何一个口还是直连(相当于D位置),都能随便用并启动上面的硬盘🤔

我无端猜测原因可能出在,插了多张同一系列的1068e/1064e卡后,它的oprom/bios自检过程需要找到所有类似型号的卡,而这部分枚举过程中可能有bug导致死循环(瞎编🤔

这可真是太™邪门了🤔另外这也说明,我之前讲的廉价nas(大嘘)里面如果要插两张甚至更多dell 6ir这种垃圾的话,可能得抹除oprom,可能抹除了oprom也不能插(但可能性极小,毕竟没有oprom的话它压根就不会跑bios,试图识别所有的同系列阵列卡和上面接的硬盘什么的)🤔

其实我现在用的12盘位硬盘架还有个里面带桥接芯片的版本,可以一根sas线驱动12块硬盘,两根的话肯定更好,但考虑到sas1068e/sas1064e的最大吞吐大概也就是个800MB/s左右,甚至更低,sas1*4的12Gbps其实是完全够的🤔

wiebitte.21.01.25

这几天遇到一些ibus盘的资源,我顺手撸了一个下载它的脚本,而且我发现它貌似还有资源目录的功能,于是就像上次递归处理度盘那样,它的递归列举脚本也被搞了出来🤔

这玩意反正下载速度比度盘快多了,能跑到170MB/s,基本上达到了我的vps的网速上限,而且那天貌似我那机子没什么人用,所以硬盘io貌似也没卡🤔更神奇的是我用另外一个vps从它那儿下载东西,两者速度加起来达到了2.99Gbps,看来它的2Gbps居然是按照全双工算的,这可有点意思了🤔

就是这傻逼phpdisk盘除了cookies限制外还加上了ip限制,用另外一个ip调用某个cookie会直接导致这个cookie被注销,不清楚服务器那边会不会失效,但看了下返回头,本地cookies会被清空并302跳转到登录页🤔而且它貌似每过几个小时就会失效一次,看来像以前那样持久化是不行的🤔

好在我租的这个号主是个懒人,从来不改密码,那我就接着白嫖🤔

futabruh.21.01.23

草,我发现n3150主板插了之前的ddr3内存条完全没有反应,然后上ark一查,好家伙,这玩意只支持ddr3l,能驱动ddr3内存条就见了鬼了🤔

所以,这块主板目测只能接着吃灰了,除非我准备买个ddr3l内存条🤔所以为什么我要买这垃圾玩意,而不是插笔记本ddr3l内存的玩意🤔毕竟我有两条笔记本ddr3l🤔

另外ddr3主板肯定能支持ddr3内存和ddr3l内存,只是不能混插而已🤔但反过来就不行了,因为ddr3l主板只能提供1.35V电压,而ddr3可以提供1.35V和1.5V🤔

preparations.21.01.20

我现在基本上已经做好了回去的准备了(迫真,11个笔记本档只上传了8个,还剩大约3.5TB的东西🤔

之所以这么慢,完全是因为我中途翻了一次车,导致我的某个草稿本变成了乱码,我的一个400GB的备份档密码没了,所以我只能重新制作一次并重新上传了,这部分浪费了半天时间🤔生草的是我手动撸出了新上传脚本后发现cygwin的bash历史记录还在,调出来发现和我手撸的完全一毛一样🤔

更生草的是我后面重新开始跑那段代码的时候发现它少加了-rr5,这样大约20个包废了,得重新上传🤔这么折腾几顿之后,我一开始预计10天能上传7200GB到7680GB,实际上可能只有5.6TB🤔

others

其他部分还行,除了修好了主板外,我还成功寄出去了电源,从旧的nas里拆下了dc-atx电源模块,买好了四核玩具主板(忘了型号,反正比j1900还要垃圾,估计只能跑个黑群,其实我那个黑群貌似又启动不起来了,所以不要拿群晖当正经系统用),买了四节普通21700锂电池寄回了家,还买上了硬盘笼子和cpu水冷散热器,这样我到家就能接着爽了(大嘘

flashgames

我还翻出了某个装有flash小游戏合集的备份,我看到时候能不能从里面找点flash小游戏的乐子,比如试下那个开源flash模拟器用起来怎么样,然后给其提供discord源🤔我就不信20年前的flash小游戏能有超过discord文件上传上限的🤔

futabruh

草,我发现我什么都拿了,但就是忘了拿pcie拆分卡🤔实在不成我要么不玩pcie拆分得了🤔

wtf.21.01.15

我的主板和新买的2678 v3同时到了,我发现它居然把主板修好了,现在四根通道都是好的,能识别到64GB,而且烤机主频能上3.17🤔甚至连网卡都能上Gbps🤔所以另外一块U基本上白买了,而且也插上去烤了下机,发现只能上2.99,看来真的白买了🤔赶紧安排退货🤔

当然这比我预想的要好些,因为本来我是打算退掉之前装上去的那个,但那个U再过一天就自动确认收货了🤔这样看来,华南的售后还是有点卵用的🤔

另外我还做了一顿迫真图像处理,砂糖盘在插了将近一周之后终于有机会下线了(bruh

thonk

我发现e5 v3的鸡血bios式迫真超频居然也有玄学,我现在在主系统上插的2678 v3,aida64烤机能上3.23,那两个U能上3.17和2.99,我听说有人能上3.3,所以这玩意莫非也有体质的区别?🤔

但无论如何,华南解决了鸡血bios的问题,这种垃圾U性能能提升一点算一点,反正我也基本上没花钱🤔

but

但现在我这套备用系统有一个蛋疼的问题,它再次启动系统时没法从任何nvme硬盘启动,只能要么重置bios,要么在bios菜单里面f9🤔这倒不是那么蛋疼,比如我仍然可以在f9后调好内存频率然后f10,然后我仍然可以启动系统,并使用我设置的内存频率(比如我这些ddr3垃圾内存是1866),只不过我每次开机都得这么设置一次🤔而且这样我也没法不用显卡启动了,毕竟没有显卡我压根就没法进bios🤔

但愿它不会导致我的插阵列卡上的sata固态都没法启动,不然这就非常蛋疼了🤔反正我当时买nvme固态也是非常傻逼就是了🤔

new 21700

我最近发现了一款神奇的21700锂电池,它有一个typec输入,可以直接给它自己充电,甚至可以用cc线给手机充电🤔本质是普通锂电池里面集成了一个充放电+保护电路板🤔

这玩意有点意思,但太贵了,一节要40,我的相机需要两节这玩意,那就是80了🤔再说了我貌似没有移动的充锂电池的需求,所以它的typec接口也没啥意思,给手机放电的电流只有iphone水平,所以这个溢价不是那么香🤔更坑爹的是这款还是最便宜的,nitecore的类似电池一节200,当然nitecore除了充电器外别的东西贵是众所周知的了,但这个还是有点过分了🤔除非它能用pd 20V以45W功率放电🤔

futabruh.21.01.12

草,oodefrag崩了,再次启动后砂糖盘居然从头开始了,简直™智障🤔然后华南售后给我打电话说主板一点问题都没有,是那颗U坏了🤔又到了👴最喜欢(大嘘)的踢皮球环节🙃

目测我目前没有别的选择,只能赶紧再买一个寄过来,然后等我的主板再次寄到我这边时,将那个U赶紧退了🤔我都不确定那个新的U到了之后它会不会再次只有三个通道,或者出现其他奇怪的故障,到时候我就知道了🤔

另外在可能有了半周之后,装笔记本备份的12TB硬盘终于完成了defrag,这样我接下来就可以将那两行oodefrag命令行从度盘备份脚本里注释掉了🤔与此同时砂糖盘还在defrag,目测还得一天🤔

话说回来机械硬盘的寿命有十年甚至九年,这两三天对它的寿命影响基本上可以忽略不计,但还是令人极其不爽,毕竟砂糖盘基本上还有不到100GB就整理完了(bruh

UPDATE:在我塞了一顿新的备份档之后,砂糖盘又tm重新来了,我现在打算放弃用全盘方式defrag了🤔考虑到现在碎片文件只有不到300GB,用space模式可能更好些,尽管它没法让所有文件都连续摆放,但考虑到砂糖盘经常挪来挪去文件,space模式至少能保证单个文件没有碎片,至于多个文件是否连续,好像不是那么重要🤔反正事实证明rar+恢复记录能产生大量碎片,vsr和acronis等备份软件更是能造就成百上千碎片,所以最后还是得defrag🤔

newbackups.21.01.10

我去年的备份终于上传完了,现在我可以用接下来的11天时间上传下那些笔记本备份了🤔

但这些玩意肯定是没法用原来的那套脚本的,因为首先它不是rar档,而是tib档,而且像以前那样全部重命名为rar也不是个好主意,因为我还想趁机做碎片整理🤔

所以我最后改写了下脚本,随机文件名的脚本没怎么改,但它随机完后不会立即执行movefile.sh,准确点来说file压根就不会moved🤔

但度盘上传的那部分脚本改了很多,它仍然会将源文件打包到内存盘或者其他指定的临时地址,但和之前用的脚本不同的是,它需要上传的是打包后的rar文件(因为需要加rr5)而不是源文件,所以刚好可以利用recover.txt的信息而非ls结果来构建for循环🤔recover.txt一行有两个数据,一个是源文件名,一个是随机后的文件名,它们刚好可以填进rar的两个参数,将源文件打包成随机后的压缩包文件,并上传后者🤔而利用度盘的ls结果来判重时,对比的也变成了recover.txt的随机后文件名那一栏🤔

这样就做到了在不挪动原始文件的情况下将随机文件名后的压缩包文件上传到度盘了,然后反过来的过程也非常简单,利用recover.txt里的信息解压即可🤔所以metadata变得极其重要,此种方式上传度盘后一定要将metadata压缩后放置多份(其实在rar里面排除tib文件就可以了)🤔

话说回来我发现某些备份档的访问时间貌似变了,好像旧版本win10不具备影响这部分时间戳的能力,但新版本win10可以🤔所以新版winrar加了一个选项,可以用来保留源文件的访问时间🤔而在命令行rar里,需要在-ts后面再加一个-tsp参数,这样就能像以前一样用了(迫真🤔

另外我好像少加了一个sf功能,但也许我也懒得加了🤔我曾经需要加sf,是因为随机文件名有几率随机出度盘的敏感词,这就非常生草了,搞得我只能在度盘上使用recover.sh才能转存,存过去后再movefile.sh🤔但准确点来说只有tib文件的checksum才是最重要的,rar哪怕坏了也能用rr恢复🤔而且度盘导致文件损坏那是不知道多少年前的事情了,我已经上传下载了不知多少TB的东西,无论是官方客户端还是pcs-go,没遇到一次坏的🤔

bruhboard.21.01.08

在我终于等来了2678 v3然后装上x99-tf后,我发现它居然翻车了,第二个ddr3内存槽无论插什么内存都识别不了,无论是16GB的1866内存还是4GB的1066内存🙃

另外我还发现了这个主板非常有意思的地方,如果有一根内存条的话插这四个槽中哪个位置都能点亮机器,但一般来说很多主板是有严格的内存顺序要求的,第一根必须插第一个槽,第二根必须插第三个槽之类的,但这个主板没有🤔所以当这一根内存条插第二个槽时,主板的板载诊断卡停留在了53,就像这个系统没有插任何内存条一样🤔所以我可以非常确定,就是这个内存槽坏了🤔

但我不太确定的是,这是主板的问题还是CPU的问题🤔也许我可以将t8上面曾经在tf上插过的2678 v3卸下来测试,但我现在的主系统一直保持着128GB内存的良好(迫真)状态,我不想这么折腾一顿后搞得主系统的内存识别也出问题🤔再说了我买这破CPU就是为了不拆主系统🤔所以这种排除法我就没法用了🤔

所以到现在我只有一个选择了,接着将主板寄去rma🤔他们那边好像有办法检测真正的故障,如果他们判断是CPU故障的话我就可以立即退换CPU了,如果他们判断是主板故障的话也会修好主板🤔

futabruh

更蛋疼的是测试过程中我还烧坏了我的亮机卡,这下好了,我是没机会折腾bios和pcie拆分了,还是赶紧rma为好🤔话说回来这套x99在不插显卡的情况下功耗居然只有44W,这还是加上阵列卡之后🤔相比之下x79垃圾主板好像待机功耗也得100W🤔

其实我觉得backblaze那套玩意没必要1:1复刻硬件,它的17+3台服务器可是分布在20个不同排的机架上的,从而做到最大程度上的避免关联失误(比如一排机架掉电之类的故障),但家用完全不需要到这个程度🤔所以最后搞不好是用一台电脑来对付20块硬盘,搞不好也不是20块,因为一张阵列卡可以上8块硬盘,所以更有可能是8的整数倍,比如16块🤔这样的话写文件阵列的程序也可以搞成单机程序,然后用10GbE输出🤔如果用x99的话,大概需要1500多🤔主板和CPU是1100左右,两张阵列卡20(大嘘),一个10GbE网卡是200,加上长城矿龙电源🤔x79的话肯定更便宜,但我们都知道垃圾x79主板的pcie拆分不能用🤔

等下,这里迫真算下吞吐量,如果目标是10GbE,或者如果能链路聚合加到20GbE,其实两张1068e是够了的,一张貌似能提供800MB/s的吞吐量,而且八块3TB垃圾盘速度加起来应该就是这个值🤔这东西一般来说不会存在一边读一边写,所以半双工也ok🤔

但这个800MB/s的前提是pcie1 x4🤔所以如果是两张2308的话,只需要pcie3 x1就能搞定了(大嘘🤔但无论如何,现在缺少的其实是便宜的pcie拆分方案,我现在的这套算下来高达500🤔实在不行x8x8都可以,只要能同时接两张阵列卡和一张网卡即可🤔

当然我没写过这种类型的东西,不清楚什么13+3文件阵列的计算量如何,需要多块的CPU才能不会比硬盘的速度慢🤔

4tb trash

现在又到了一个4TB的垃圾盘,光从外观上看也能看出是叙利亚成色,但翻了下product manual发现是五碟装,貌似更垃圾的3TB盘也是五碟装,所以这玩意性能可能会稍微好点🤔测试果然如此,最高能上180MB/s,要知道六碟装的希捷6TB也只能上200多一点🤔

然后我将它和一块6TB的st6000nm0095一块插上硬盘背板,然后再插上sas2008阵列卡,发现其中一块盘不识别,换个口后正常了🤔这样就解决了我多年以来的疑问,这块阵列卡就是某个口坏了,导致其不能识别8块硬盘🤔

接下来就好办多了,我之前将游戏备份啥的全部加密打包了,直接解压就可以了,甚至都不需要用到脚本🤔全程功耗居然只有85W,这还是我将x99-tf寄出去然后用那个垃圾x79搞的结果🤔看来这些老服务器平台的功耗也没有那么吓人啊🤔

这样算下来我觉得那套16盘文件阵列系统功耗也不过如此🤔这个玩意现在是85W,而不接任何硬件假设是55W(考虑到CPU是使用了一部分的,而非完全闲置)的话,那么一块阵列卡+两块硬盘就是30W,这个数值*8也就是240W,总共只有290W,连我的主系统打游戏时的功耗都比不上🤔当然阵列卡我肯定不会也没地方插8块,最多只插两块,所以最终功耗会更低🤔

等等,这不是什么科学的计算功耗的方式,以product manual里记录的连续写功耗开始算,每块盘是0.63A*12V+0.69A*5V=11.01W,16块盘是176.16W,然后每张sas2308功耗是9.8W,两张是19.6W,一张x540-t2的功耗是17.4W,然后加上刚才的估计值55W,算下来268.16W,这才是科学的计算方法(大嘘🤔

物料成本:

x79主板,200

e5 2670,300以下

pcie拆分卡,用来拆分一个x16给两个x8阵列卡用,50

4个x4的直插拆分卡不存在,不然可以搞这个,但无论哪种,都可以插这种主板下面的x16槽,然后支起来即可

两张dell 6ir阵列卡,20(草

四根8484转8087线,每根8块,我记得那家其实有卖dell 6ir的,这样48块钱就全包了

四条浪潮的硬盘背板,每条15,但这样的话你怎么放硬盘?叠叠乐?倒不是不可以,但硬盘直接这样叠着可能会导致其共振或者缺乏散热然后挂掉🤔

其实还有一种办法是将硬盘竖起来放,此时只需要定制一个泡沫棉然后中间按照背板的形状挖孔,下面再垫一层泡沫棉,就能牢牢固定住硬盘了🤔散热可以通过在中间吹搞定🤔

或者两个浪潮的硬盘笼子,每个满配硬盘架子需要200,至于为什么是两个,因为每个笼子只能装3*4个硬盘,但我们需要4*4个硬盘位,当然它有个升级型号可以用两条8484转8083也就是一张阵列卡支持12块硬盘,两个这玩意可以提供24个硬盘位,但那个太贵了,又要多出来100🤔

或者折衷方案,12块硬盘内置4块硬盘外置(迫真,200+15(大嘘

x540-t2,200以内可以搞定

再就是硬盘了,假设240的4TB垃圾盘能买16块

电源我记得有服务器电源,150,机箱忽略不计

总计成本:5003(bruh

what you got:4*13=52TB的超大号阵列,能随便跑满x540-t2的两个10G口,此时这套玩意的功耗上了270W,大概是一天5.32元电费的样子,因为只要这玩意24小时开机,它肯定会让电费上0.8224(futabruh

bruhsette

然后我解压到第二个游戏备份的时候,sas2008阵列卡居然又™掉线了,哼哼啊啊啊啊🤔而我用sas1064e就好很多,反正那两个盘还真都是sas盘🤔现在搞了好几个小时都没事,也许我接下来几个都可以用它了🤔

所以我估计这块sas2008搞不好真的寿终正寝了🤔但话这么说回来,sas2308也掉过线,而且还是在我目前正在送修而且接下来要用的那个主板上掉过线,这的确是件令人担忧的事情🤔不过也许到时候我就用拆分卡全™接外面了🤔

dudisk antics.21.01.06

我最近在逛度盘第三方客户端的时候发现了这个东西:

https://github.com/yuantuo666/baiduwp-php

传说中的度盘svip链接解析,当然这种东西几年前就有人搭了网站,但开源的我还是第一次见,开源的好处当然就是可以自己找svip账号来搭建,这样就不会像公共网站一样被草到没法用,毕竟我听说一个svip每天只能解析一万还是五万次链接来着🤔

更生草的是解析出来的度盘svip链接,需要用的UA是LogStatistic🤔这可真是太™草了,就像以前pcs-go还能用来下东西时设置appid为百度输入法的appid一样🤔

而且和oneindex一样,这玩意还能在三蛋空间上跑起来,三蛋甚至还有免费数据库用🤔当然开启数据库后除了缓存链接外,它也给访客加上了每天只能解析一次的限制,可以考虑将这段代码注释掉,毕竟自用🤔但无论如何,我做梦也想不到三蛋有一天也能搞度盘,这可真是白嫖到底啊(因为其实度盘vip的cookie也不难找🤔

实测解析出的链接可以在vps上以高达100MB/s的速度下载,这算是赶上了discord drive的水平,而且不像discord drive,它不是8MB文件打包,所以真的是爽的1b🤔

现在的问题是我在手机上居然找不到一款可以改UA的下载器应用,手机上跑aria2c是可以的,很不幸的是aria2c无论对内置存储还是存储卡都没有写权限🙃

我现在可能还想做一件事情,将这个脚本改成bash脚本🤔然后搭配aria2c使用🤔

UPDATE:在我花了十个甚至九个小时后终于将其改写成了bash,它能输入一个分享链接并递归地解析出里面所有文件的直链,并生成相应的sh脚本,并像discord drive一样将文件塞进分享链接里同样的文件夹位置🤔但非常尴尬的是,我换了好几个账号,发现无论原版php程序还是我的bash脚本都解析不出svip直链了🙃bruh

hakushin digital librarian guide.21.01.05

ooooOOOOOOOO

digital librarian是我目前迫真身份认同的一部分,所以我突然想借这个机会讲点digital librarian心法(大嘘🤔

hdd data storage hierarchy

对于每一个迫真digital librarian来说,确立合适的数据存储层级是非常重要的事情,它能够确保以最少的投入建立和维护最大的数字图书馆,而且还能确保它的可靠性🤔而建立数据存储层级需要准确地对数据和其存储媒介(主要是机械硬盘,固态作为数据存储大概应该是个笑话)进行分类🤔

我目前使用的数据分类有三种类型:

  • 第一类数据,又称不可再生数据,字面意思,比如相机照片就很明显属于这种,另外属于不可再生数据的有游戏存档、自己做的mod、写的代码、pr和ae工程文件等🤔
  • 第二类数据,又称半不可再生数据,和上者的区别在于它也许可以再生,但再生起来极其困难,比如固态盘的备份,pr和ae生成的视频,游戏打包等(这部分通常包括了游戏mod,尤其以rts游戏和某以i打头的厂家做的萌妹游戏(大嘘)为甚,很明显打包存自己硬盘上比从sbeam上下然后再打mod方便得多)🤔游戏截图理论上来说算第一类,但它又没那么重要,所以从实践上来说我将其降级到第二类🤔
  • 第三类数据,又称完全可再生数据,当然是指完全可以非常简单地从互联网上获取的数据,最明显的例子就是discord drive的本地副本了,如果哪天需要重新下下来就是一句命令行的事(迫真,通常来说音乐、porn和bdmv属于此类🤔

相应地也有三种类型的存储,而且每种存储我设立了相应的标准:

  • 主存储(Master Data Storage)只用来存储第一类数据,它必须是当下能买到的最好到次好的全新国行五年保CMR机械硬盘,当然我没有那么土豪,但我也划了一条2500块钱的线,在这个线里买容量最大的,就像我之前说的,至少希捷是需要买某系列里容量最大的🤔1⑨年是exos x10,20年是exos x12,而今年可能是exos x16甚至exos x18🤔这些硬盘都是氦气盘,拥有当下最快或者次快的连续读写速度🤔用萌妹来做卷标的话,目前只有futaba,毕竟geek之神(大嘘🤔
  • 副存储(Secondary Data Storage)用来存储第二类数据,和第一类数据的备份,它可以降级,但也需要保证是二手的服务器CMR硬盘,通电时间需要在一年以内🤔由于需要保存第一类数据的备份,出于迫真冗余的需要,最好是空气盘🤔我经常使用希捷的6TB硬盘做副存储,但最近我在尝试10TB,而且那个盘都可以满足主存储的标准了,速度甚至都比我所有的主存储快🤔用萌妹来做卷标的话,它可以是任何萌妹(错乱🤔
  • 第三类存储(Tertiary Data Storage)是我目前存储层级里最垃圾的存储,基本上只要求没有坏道即可,在此基础上越便宜越好,如果蓝光25G比机械硬盘便宜的话都可以用蓝光(而且我好像以前就是这么做的,我有大约1.5TB数据是以蓝光的形式存储的),但现在看来机械硬盘都跌到50块钱每TB了,傻逼才用蓝光25G🤔很明显它只适合存储第三类数据,但第二类数据的备份在上传完网络存储之后也会存到这些垃圾盘上,毕竟本地就是比从网上下载快🤔这系列是不会有萌妹卷标的,而且以后我会直接挂载到目录上,这样就更不需要卷标了🤔

这三个存储层级都可以通过网络存储来进一步容灾(迫真🤔度盘是非常理想的选项,因为它只有下载时才收费,存储是不收费的(大嘘🤔再就是discord drive了,但discord drive其实用起来不是那么方便🤔由于除了第三类数据外别的东西都需要加密后才能上传,而加密后的8MB包可不是什么好玩意🤔所以discord drive很少用于容灾,倒是服务器那边的备份经常会用到discord drive,这样它能够很快变成本地的第三类数据🤔discord drive甚至可以说是最第三类的第三类数据,真的就是一句命令行的事🤔

其实我当时开发discord drive甚至它的前身,音乐递归上传脚本,是为了解决分享问题的,我自己萌妹聊天室里有个音乐鉴赏(大嘘)频道是靠上传flac做音乐鉴赏的🤔而discord drive也被经常用于快速分享元首视频的原始高码率格式🤔但我后来意识到像Panfuricus这样的把discord当野爹而非肉便器的discord奴才越来越多,吓得我只能把discord当数据存储了(bruh

对于图片来说上传度盘已经是标准处理流程的一部分了,所以我只需要对图片文件夹外的其他东西一次性打包上传即可🤔这部分是以年为单位,每年的最初几天我都会对去年的除图片外的主存储和除图片和游戏截图外的副存储进行打包上传,并在上传完后将其转移到垃圾盘上🤔其实游戏截图我也想备份,但这部分东西太™多了,我暂时没啥好办法🤔

old hdd backups

在这个层级确立之前我有一堆旧硬盘需要备份,其实我将原始盘里的数据作为第一类数据处理,那么它们的备份当然是第二类数据了,需要副存储来保存它们🤔比如我的笔记本硬盘就买了个12TB的氦气盘来存储,尽管同一个卖家也在卖坏道盘,而且我的确扫出了坏道,但在确认测试中又没重现坏道,所以我可以认为这硬盘大概应该可以做副存储用🤔另外一个例子是蓝光盘,我最后应该是用一个6TB的sas盘备份起来了🤔旧的四块2TB台式硬盘最后其中三块备份到了另外一块6TB的sas盘里🤔最后一块由于使用过于频繁,已经便乘主存储(大嘘🤔

habit

另外良好的硬盘使用习惯也能保证数据存储有尽可能长的寿命,当然它不会无限长,毕竟据说机械硬盘的寿命只有十年,氦气盘可能还得减个半,但至少能持续到将其备份到另外一块盘上的时候🤔

首先最基本的是机械硬盘通电时一定不能移动,一定要固定好,使其不受震动等影响🤔不然它肯定要坏🤔不通电时基本上只要不剧烈磕碰就没事,但像我上次那样直接摔到地上,它肯定也会坏🤔

另外机械硬盘对电源也有要求,劣质电源也会像通电时移动一样损坏硬盘,而且我听说希捷的硬盘缺乏滤波电路,更容易因为电源问题损坏🤔像我台式机用的p1000电源就是那种质量非常好的电源,上面接的机械硬盘没一个坏的,而且我基本上只用希捷🤔我不清楚机械硬盘用的滤波组件有没有,但如果有的话可以考虑在电源输入上加装一个🤔

其实服务器用的硬盘背板上面就有这种滤波电路,比如某个15块钱的4盘位背板,每个盘位上面都有两个滤波电容,而且这种东西还有额外的好处,一条8087转8087就能接4块硬盘,乱七八糟的硬盘线顿时少了三条🤔

3.5'机械硬盘需要5V和12V,12V通常用来旋转盘片,特点是刚启动时需要消耗掉大量电流,比如像最新的服务器硬盘需要3A这么大的电流,所以移动电源大概是没法用来做12V输入了(悲🤔但在启动完成、盘片定速旋转时,需要的电流就非常少了,所以如果电源不够给力的话多机械硬盘需要设置延时启动🤔5V用来供应旋转盘片外的其他任何电源需求,包括寻道和读写数据🤔而对于2.5'机械硬盘来说,至少笔记本用的型号只需要5V,那么这5V需要供应所有方面,包括旋转盘片,所以易驱线的供电质量是非常重要的,插的USB接口的供电质量也是非常重要的,不够的时候一定要想办法外接供电🤔
至少希捷的任何型号机械硬盘,用电量是可以在product manual里查到的,搜stxxxxxxxxxx product manual pdf应该就可以了🤔

除此之外,我还有一些个人化的使用机械硬盘的习惯,不太适合所有人:

  • 众所周知机械硬盘的寿命和其通电时长有关,以至于通电时长基本上算是判断二手硬盘寿命的唯一标准🤔smart也是可以刷的,但这就是后话了🤔外加上我有时候需要不加机箱使用它们,所以至少我目前来说只有使用的时候才会给它们通电,不使用时是不插上去的🤔用这种方式我目前的主盘用了一年了才不到100天的通电,这基本上接近于“数据存储”了🤔
  • 而经常使用的数据我更倾向于转移到固态上,而当固态容量不够用时,我倾向于用笔记本盘存储它们,因为笔记本盘尽管速度非常慢,但对慢速数据来说它容量管够,而且噪音和发热可以忽略不计,对恶劣供电和使用环境的容忍度高,而且如果阵列卡真的没盘位了(大嘘),可以直接接usb上🤔
  • 为进一步减少第一和第二类存储的使用量,使用第三类存储对其上的部分数据进行迫真索引也是个好主意,比如我这几天搞的游戏打包的副本,和以后做的图像副本,后者只存储jpeg格式,当需要raw格式时可以很容易从主存储里索引出来,然后接主存储或者直接从度盘上下(大嘘🤔
  • 尽可能使用和使用数据最常用的操作系统匹配的文件系统,比如最常用这些数据的系统是win的话就用ntfs,别用ext4和exfat等玩意,而如果最常用的是linux的话就别折腾ntfs了,用ext4🤔这可以确保到时候数据恢复(当然我说的是分区表损坏这种类型的故障,而不是物理损坏,后者还是不如像之前说的做好冗余和容灾靠谱)时轻松很多🤔

到此我需要强调一个更加重要的点,如果你是个人为单位的迫真digital librarian的话,千万不要用raid,千万不要用raid,千万不要用raid🤔raid0大概就是个笑话,raid1也是多此一举(因为上述的分层已经确保了重要数据的冗余度),而最常用的raid5,一旦坏掉一个盘就得重建阵列,而在此过程中只要有一个bit错误,重建阵列就会失败🤔并且在重建阵列的过程中其他硬盘也有几率刚好损坏🤔

再说了raid需要硬盘一直上线,如果没有服务器机房那种五年淘汰一次硬盘的财力,还是不要尝试了,还是用上述的冷热存储法好了🤔但如果你是规模大一点的多人digital librarians集合的话,可以尝试做backblaze风格的文件阵列,然后将一个文件分散在17+3台不同服务器的17+3块硬盘上,然后也许就可以让所有数据都一直在线了🤔在这种情况下甚至存储分级都不用做了,所有数据都用垃圾盘存,损坏了直接换新+硬盘对拷机强行复制,重建阵列分分钟搞定🤔按照backblaze的实践,他们压根就没有遇到过三份冗余同时坏掉的情况,两份冗余同时坏掉的情况都很少见🤔

但我肯定不会尝试这种激进的数字图书馆方案,毕竟我只有一个人,而且20台服务器的电费还是非常吓人的🤔但这玩意能搞起来的话还是非常爽的,20块3TB垃圾盘能提供51TB的空间和最大1360MB/s的连续读取速度,能跑满10GbE甚至20GbE🤔8k unterganger估计会狂喜(话说我上次做元首视频是几年前的事情了?),但这玩意装游戏应该不怎么样🤔

更不要依赖nas来组建数字图书馆🤔nas违背上述的每一个数字图书馆原则,它的文件系统不透明,违背文件系统匹配原则(尤其是绝大多数买nas的都常用的是win系统,是怎么容忍nas上文件系统都是linux系的),喜欢自作主张地对多块硬盘建立鬼知道是什么形状的阵列,只有1Gbps的小水管,目测供电也不怎么样,本来应该只在本地或者内部网络存储的数据随时都能被外网访问,整个系统都24*7连接到鬼知道有没有漏洞的nas厂商的服务器,甚至更容易受到勒索软件的威胁,因为你都不能下线你的不常用硬盘🤔已经有人因为使用nas而被勒索软件橄榄了数据仓库🤔想成为迫真digital librarian还是不要偷懒为好,自己去装机子,自己去装系统,自己去确立存储层级并想办法做最佳实践,nas也自己去搞🤔

群晖dsm从数据存储的角度来说基本上一无是处,我自己的nas也只跑一个winserver201⑨,况且我常用它的时候大概也是两年前了,现在基本上只有用到上面硬盘的时候才开个机🤔再加上我现在存储彻底转sas和迫真冷存储,nas更没机会开机了🤔现在唯一在跑的群晖dsm在数据存储方面的效果连笔记本盘直接插电脑上都不如,已沦为docker机器,而且还是没有命令行的那种🤔当然你可以搞个开ssh server的docker镜像然后连ssh当迫真bash环境跑,但那样就没啥意思了🤔