rosebitte.24.01.12

这几天又哼哼处理了一波截图,外加腾出了某vps上的某些数据,现在那台vps可以一次性处理1.8TB数据(确信🤔很不幸的是截图还在上传,所以我寻思此时它是不是可以干点别的,比如跑跑rosefile?我又一次貌似两三个月没跑力(撅望🤔

照常开启链接分析,接下来买个rosefile号开始雷普就vans力(确信🤔就当我买了号准备开始对rosefile进行战 争 雷 普时,我突然发现rosefile果然不出意外地出意外力(全恼🤔

这次它curl后只会返回一个一个一个一个cloudflare的验证浏览器页面(恼🤔按照以往的经验,此时我应该上ssh代理使用vps的ip访问一下rosefile,然后将浏览器提供的curl headers塞进curl命令行里,十成甚至九成就能解决(确信🤔

但至少今天这套玩意是对付不了cloudflare的浏览器检查的(恼🤔我迫真查了下资料,某个网站比较详尽地解析了cloudflare浏览器检查的机制,比如除了我们熟悉的header之类的玩意外,它上了一个一个一个一个叫做tls指纹和http/2指纹的玩意,这样curl再怎么凹参数都没法便乘浏览器(悲🤔有一说一我上次见到把东西写得比教科书还要详尽的个人(迫真)blog网站还是上次🤔

怎么办?此时可以尝试使用一种叫做curl-impersonate的申必魔改curl(当然,它也有libcurl库),实测用了它之后我接下来的脚本除了将curl换成它那玩意外一个字节都不用改,继续雷普rosefile(确信🤔它直接访问首页的话会返回一段公告,貌似是有人在d它的站,所以它不堪雷普开启了cloudflare的under attack模式,只有用黑色高级会员账号登录之后才能解除🤔

那么问题来了,我那个脚本被设计成了每下一次文件重新登录一次,所以肯定不能用未魔改的curl🤔管它呢,我已经用魔改版curl解决了问题,它爱怎么折腾怎么折腾(半恼🤔

当然按照那个网站的建议,其实我还可以找到它的源站ip来雷普,而且我貌似还真的找到力🤔一眼盯帧它居然用的还是宝塔面板可还行,那么它后面被发现甚至还用了winserver+iis然后外挂php这样有年代感的组合也真的没啥奇怪的🤔curl可以实现访问某个域名但强制解析成某个指定ip,就像改了/etc/hosts,但我没尝试成功🤔不过话说回来我都能轻松找到它的源站ip,d它站的那些嗨阔能不能轻松找到,从而引出一个一个一个一个更加耐人寻思的问题,开cloudflare的under attack模式到底有没有什么卵用,我暂且蒙在这破站用的宝塔面板里(迫真🤔

bruhfei

这段时间某fisch又有了一款带标准usb的8寸板,好像叫做winbook来着,配置和我曾经用了好几年但现在以零件形式存在的某mini3相比算是降了一级,降到了3735这个级别,但一眼盯帧事一个一个一个一个洋垃圾啊啊啊啊啊,所以至少量大管饱,不像我之前用的型号全网都找不到一个屏幕好的(恼🤔再说了,37xx的atom平板其实比8xxx稳定很多,37xx基本上插tf卡很少掉存储,不像8xxx平板动不动不识别tf卡(恼🤔我到现在还有一个1+16的iwork7可以开机玩,至少跑个win8还是非常流畅的,win10的话就不好说力(🤔

它有三种配置卖,1+16的100,1+32的150,2+32的200,还可以加70换128GB的emmc,这个价格还行(确信🤔更加生草的是它的usb接口既有usb2的也有usb3的,十成甚至九成1GB版本只有usb2,而2GB版本才给usb3🤔我寻思如果连3735都能引出标准usb3的话,iwork7是不是可以通过pcb板上的申必引线也引出一个usb3?哪怕由于它厚度太小放不下标准usb,那么以usb-c的形式存在🐒不🐒啊?(🤔

这要是5年前出的话我高低也得买一个一个一个,但现在我对不能4k串流parsec的win板没有任何兴趣(吴慈悲🤔

thonkeqing.23.06.20

这几天哼哼impact cuties,顺便连着上传了若干TB的玩意,目前某vps里面1TB左右的cosplay片子全上传完了,上次整的截图备份目前还在上传双盘阶段(确信🤔

cuties impact那边我也推进了若干活动,比如某早柚酱小号我都快打完某自定义本活动和某boss战活动了(确信🤔我感觉那个自定义本的自定义部分撸起来还是有点复杂,所以我就不整活了🤔而boss战打起来还行,将敌人调到合理(迫真)的70级之后,我那早柚酱小号的双水🍪impact队居然能打过前三关,甚至可以在时限内完成,但最后一关就不太好打了,不清楚为啥🤔

10G

最近瞎寄吧逛某fisch,发现上面的10GbE交换机已经便宜到1000左右了,8口最便宜的是tplink的型号为st1008的玩意,才⑨00悲报,⑨00的没了,现在最低也得1500(半恼🤔

它还有一个后面带f的型号更便宜,能便宜到450左右,但那个就是光口了,而且由于某种申必原因只支持10G/2.5G/1G,是不是漏掉了5G🤔再说了,现在10G电口网卡(只支持10G/1G的那种)都便宜到50甚至45了,我要是上光网络的话除了光口网卡还得再买两个光模块加一条光缆,或者更坑爹的10G电口模块(恼🤔不过这倒也不是什么坏事(大嘘),反正只接一两个设备的话一个10G电口模块也就(大嘘)150,对于114514%肯定没有10G的口子(比如1G路由器)我甚至可以使用几乎不要钱的1G电口模块(确信🤔

当然和2.5G的sh系列一样,st系列也有五口的1005,和1008相比除了少三个口外,还是吴风扇设计,而据说1008的内置风扇如果不魔改一番的话叫得比野兽先辈的哼哼哼啊啊啊啊还要大声(悲🤔也许这玩意比1008更适合塞我的光猫柜里,而且它才1000甚至⑨00(确信🤔

但现在又有一个一个一个问题,我要是整一个它连上目前用的有线只有1G的路由器,在我的两台2.5G(或者一台2.5G一台10G)的电脑之间传数据,它会走1G还是2.5G?🤔理论上来说它应该是2.5G,首先台式机上插着的浪潮垃圾x540连接上10G交换机最后会协商出10G速度,笔记本上插着的2.5G网卡当然也会协商出2.5G(至少那个交换机说它可以1G/2.5G/5G/10G自适应,那我就当它是⑧)🤔而目前几乎所有家用交换机用的都是存储转发原理,那么如果我当年学的关于路由的玩意是那样的话,2.5G笔记本和10G台式机之间无论谁给谁传数据,它都只在同一个交换机里完成存储转发,不会和1G网关有半毛钱关系(确信🤔那么实际的速度应该就是它们两者的最小值,也就是2.5G(确信🤔当然我也可以做另外一个迫真实验,将光猫桥接进某路由器(换句话来说插进lan口)但想办法只保持100Mbps连接,而路由器和笔记本还有台式机还是1G,然后看那两台电脑间传文件是1G还是100M就vans了🤔

2.5G

也许目前10G对我来说还是不太靠谱,倒不是因为交换机太贵还是啥,主要是我的台式机所有能插东西的pcie槽上都插满了固态,上10G网卡极其困难,我可能得费很大工夫将显卡下面的x4延长出来,那费用可比引出x1高多了(恼🤔而2.5G网卡有usb版本,而且我笔记本和台式机上现在就各插着一个(确信🤔

所以,买个2.5G交换机可能更适合我房间的网络升级(确信🤔除了我们比较熟悉(迫真)的sh1005外,tplink还有一款更便宜的塑壳版se1005m,都便宜到235了,搞得我现在就想买一台(迫真🤔

thonk

除此之外还有一种类型的2.5G交换机(目前我至少看到有两个厂子在做,说不定有更多),上面除了五个2.5G电口外还装了一个10G的spf光口🤔这玩意作为家用设备很明显不是用来接什么10G交换机的,而是用来接一种俗称猫棒的光电转换设备,它长得像普通的光模块,但可以将光宽带的光纤转换成电信号🤔光的部分我也许能迫真理解(无非就是各种乱七八糟接头的事情,装个转接器就能解决),但我不太清楚为什么它直接插交换机里就能用,是不是因为这玩意其实还实现了部分路由器功能,比如网关?🤔如果是这样的话,一个这样的猫棒加上这种交换机就可以完全替代光猫,最多拉出一根线来接无线ap(确信🤔而且猫棒这种东西也不算太贵,⑨0块钱出头的样子,加上260的交换机貌似不会超过400(确信🤔

wiebitte

这几天discord drive和guilded drive实在是快的批爆,1.5TB左右的东西也只需要不到20小时就能传完,这要是搁以前不上传个一天以上就怪了(确信🤔

既然如此,赶紧切主系统处理一波🤔哼哼对比一番后,两块10k机械硬盘和某垃圾固态都腾出了空间,那么下一步当然就是尝试将某块pe4010上面的arw压缩包扔进10k硬盘里🤔

极其生草的是这次pe4010移动硬盘插上去之后,又便乘了空盘(恼🤔我现在大概明白这狗比玩意是怎么回事了,它只要不安全移除,下次插入的时候就会便乘这样🤔解决办法也非常简单(大嘘),无非就是拔下来插入另外一个rtl9210b主板,然后用它接某台电脑上,然后执行一次安全移除,再插回去(确信🤔看来以后我得随身带一个rtl9210b小主板,顺便再带一个小螺丝刀🤔或者,我去研究下这破玩意怎么刷固件,给它刷个最新版固件🤔

与此同时我还可以去整一下什么gm23之类的玩意🤔按照之前的预计,我尝试写一个到达maindb最新id之后就停止的拖html脚本,但它非常诡异地在第一页就退出了(悲🤔所以我不得不用老办法,也就是手动寻找上次拖的id可能在的页数,并将它手动填进去🤔好在这一步也不是那么难做,考虑到它id基本上只会自增,所以看到某一页第一行的id比目标id多,下一页第一行的id比目标id少,这样就能确定页数,换句话说这玩意可以二分(确信🤔

然后就是具体的下载html了,线程数设为1可以确保全部下下来,就是有点慢🤔2和4应该也可以,但我懒得试🤔接下来一切照旧,基本上和那三个破站没啥关系了,我可以坐等它搞完vans(确信🤔

那些arw压缩包在大概一小时半后也全部解压完成,好,impact cuties去🤔

gm23thonk.23.01.31

雷普了不知多少天,那个叫做gm23的破站,它居然还在雷普(恼🤔更离谱的是那个rosefile号居然还能用,我都忘了哪天买的了(喜🤔

现在情况大概是3088个帖子搞完了,149个还在搞,而文件总容量达到了丧心病狂的20TB甚至1⑨TB,反正比帖子更多的什么kg0999只有6TB的容量大多了🤔这么算下来,估计iftop的那个screen都能捕捉到10TB甚至⑨TB的流量统计(确信🤔以这个雷普速度,这个月结束之前它也许就能雷普完了,最多只往后拖半天(确信🤔

我估摸着后面那些帖子动不动十几GB啥的,我还曾经见过50GB的帖子🤔反正这些玩意里面除了cosplay图包外,别的东西我十成甚至⑨成没什么性趣(半恼🤔某种程度上说我拖这坨玩意只是为了把我的在线数据收藏加到0.1PB而已(迫真🤔

我不清楚去年年初是怎么发现这几个rosefile站的,是不是我当时发现了rosefile极其生草的特性后就用google迫真高级搜索找所有带rosefile链接的网页,然后发现的🤔但rosefile相关bash函数确实是一年前甚至更早出现在我的小本本里,而且发展出了五六版(确信🤔不过这些代码只需要亿点点小修小改就能继续用,也是有意思🤔

rosebitte.23.01.15

好家伙,rosefile还在拖啊,都快20小时了,那个账号居然还没改密码,有意思🤔

看来它那个什么号中号说的4小时只是重新开放购买的时限,但有意思的就是,rosefile的账号系统是这么一坨玩意,另外一个登录的用户会把之前登录的用户直接顶下线,使其打开文件的时候跳转到重新登录页面🤔所以我的rosefile下载脚本每下一个文件会先直接登录一次(还好它不需要验证码,要是像moopan那种我就得寄),获取cookies.txt,然后curl -b或者aria2c --load-cookies就vans了(确信🤔所以理论上来说我就算整十几个线程同时雷普它,只要它们别真的同一时间访问下载链接解析api,应该能同时下载文件(确信🤔

rosefile还有一个极其有意思的地方,它们的站长貌似在phpdisk的基础上作了亿点点魔改,几乎所有资源都有一个叫做down-node.com的镜像站,而访问这个镜像站的链接时,它会302到一个叫做rosenode.sharepoint.com的域名,很明显他们搞了一个onedrive for business镜像,而down-node.com就像我撸的那群oneindex站一样,只是个解析站而已(确信🤔所以在我的脚本里,rosefile下载文件基本上可以跑到带宽上限,比别的phpdisk站不知高到哪儿去了🤔

话说回来假如rosefile的站长用的是25TB的黑色高级sharepoint sites的话,现在它们这些site的编号已经到了node44,我是不是可以认为它们全站已经有1100TB的数据了?🤔

但onedrive这玩意我们都知道,它会动不动429,我这次就给它加上了之前没有(或者说也许有但不够完善)的fallback功能🤔毕竟它解析出的一堆链接里,第一个是它自己的文件服务器,第二个和第三个是onedrive镜像,那么我完全可以将这几条链接进行一个tac,这样onedrive镜像排最前面,它自己的源排最后,然后外面套个for一个一个一个一个进行下载啊啊啊啊啊🤔考虑到无论下载哪个链接,aria2c里都指定了文件名,所以这三个链接如果都能下的话,剩下两个肯定会被自动跳过(确信🤔而如果前两个onedrive镜像站都429了,那它肯定会去最后一个链接,以30MB/s到50MB/s的速度下文件(确信🤔

综上所述,无论rosefile的onedrive镜像准不准备整什么429烂活,我的脚本114514%能将指定文件下下来,全程不需要任何人工干预(确信🤔现在我基本上可以放心将其塞入任何拖114514个文件的大工程里了🤔

wiebitte

话说我搞了将近一天,它居然还剩四千个帖子?这么算的话不得整十天甚至⑨天?🤔看来我要么就图一乐得了,要么重新研究如何多线程搞这玩意🤔

但就这些可能10%都没有的玩意,就已经有将近2TB了,这已经是我那台机子的最大速度,看来这些玩意的全集想必又(?)是个20TB大小的庞然大物,我这么整的话离拥有0.1PB数据貌似不远了(迫真🤔

thonkbitte

现在已经两天过去了,它还在搞,更离谱的是我的挂机iftop捕捉出4245GB的下载可还行🤔看来我这个大盘鸡处理这些东西的速度大概是一天2TB(确信🤔

那么我们来看现在它处理了多少帖子了?随便整点迫真脚本,可得现在已经处理(也就是状态码被设为1)的帖子数量是2623,而等待处理的帖子数量是1581🤔有意思,这么搞的话再搞个一两天应该能彻底搞完(确信🤔只不过现在我得做下度盘转双盘,等它搞完了再恢复这玩意🤔

lickeqing

一小时后,度盘转双盘也搞完了,现在接着拖rosefile站,三回啊三回(大嘘🤔

简直不可思议,现在貌似应该已经两天半了,我居然还能接着拖🤔这么搞下来,我这几天甚至有可能将其他几个rosefile站也拖一拖了(确信🤔我记得还有一个cosplay片子的,我到时候去看看🤔

需不需要上hetzner租一个vps?我还在调研这种可能性(大嘘🤔理论上来说onedrive可以在ipv6下运行,但guilded我就不清楚了🤔至于github actions我就有点累觉不爱了(悲🤔

paimonthonk

接下来我又折腾了其他几个rosefile站的拖帖子和分析🤔它们和我现在还在拖的那个大差不差,就某些链接的细节可能有亿点点差别,照着改了就vans了(确信🤔

基本上我可以将html和maindb接着保存到某台大盘鸡上,而具体的拖站可以部署到别处,比如我可以去hetzner开几台机子,或者如果现在是去年的话,我会扔到github actions上(确信🤔接下来可以考虑每拖一个帖子就往discord频道发送一次cuttentprogress,里面包含日志和修改后的maindb(确信🤔这样如果某种不可抗力发生了,比如我的github小号又双叒叕被橄榄力,我就能直接开始断点续传(确信🤔

然后我发现了一个极其奇葩的rosefile站,它一个帖子居然有几十个资源🤔这就极其离谱了,我现在整的玩意是以帖子id为单位的,无论是分析还是拖资源,它这么整真的给我整不会了(全恼🤔

现在看来要么我硬着头皮将一个帖子对应的所有资源真的一次性全拖下来(以我的大盘鸡的剩余空间,这个真的可以有),要么我针对它写一个精耕细作的分析函数,比如往maindb或者auxdb里一次插入若干行🤔此时maindb或者auxdb里的postid格式便乘了原来的postid加上一个partno(确信🤔拖站函数需要具备根据maindb里的partno准确定位到需要拖的资源的能力🤔考虑到它一个帖子里的多个资源之间没有任何div分割或者诸如此类的玩意,就是连续的几行文本,我估计这玩意不会好办(悲🤔

rosethonk.23.01.14

今天是一个一个一个一个野兽节啊啊啊啊啊(半恼🤔既然如此,我们来搞点野兽antics,比如再拖一次某rosefile站🤔

其实去年年初我就拖过它(的一部分),但那时我并没有系统性地拖它,所以我现在连一个一个一个能拿来用的链接数据库或者诸如此类的东西都没有,只能从头开始拖了(悲🤔再说了那玩意是discord drive,肯定不符合我现在的口味,现在我还是更喜欢用guilded drive(确信🤔

为了实现所谓系统性的拖站,我肯定需要先将其每个帖子的html(包括所有metadata)都存放在本地,就像我若干年前搞ddg那样🤔一个aria2c就能批量搞定,而且不像ddg,这玩意貌似没装什么乱七八糟的服务器安全狗,可以直接aria2c雷普(确信🤔

接下来我需要对这些html进行迫真分析🤔和以前不同,我这次用了一个迫真文件数据库来保存各种数据,说是数据库,其实只不过是一个类似csv那样的文本文件,只不过我喜欢用|而非逗号来分割列🤔它的第一列是post id,第二列是状态码,0表示这个post可以拖,1表示拖完了,别的状态表示别的情况(比如post里面并没有rosefile链接或者别的🤔每次分析时遍历所有之前保存的(以post id为名的)本地html,再一个一个一个一个和maindb文件进行grep,如果grep出了的话说明它已经出现在maindb里面,不用添加了🤔不然的话做一个简单的链接分析,grep出链接就添加进maindb,并且挖掘一下它的标题和解压密码,并保存到auxdb里🤔挖掘不出链接的话也添加进maindb,但状态码就不是0了🤔后面几列分别是guilded drive链接、文件夹大小和guilded drive链接文件的sha512 checksum,其实和guilded drive运行完后往results.txt里追加写入的东西一毛一样了(确信🤔

在处理阶段,它会直接一次性for循环整个maindb,在循环内部检查状态码,如果是0的话就开搞,使用rosefile函数下载post里面的所有链接到post id为名的文件夹里,把html也拷进去,接下来直接跑guilded drive🤔最后生成的链接可以在results.txt里面grep,选取最后一条,并修改maindb的对应行,使其状态码便乘1,并插进去guilded drive信息🤔

当然我也曾经尝试过自动解压啥的,但速度实在是太慢,大概是不解压直接上传的三倍啊三倍,考虑到我现在没法像去年年初那样疯狂雷普github actions了,现在我只能忍痛(大嘘)跳过这个环节(悲🤔

就这样,我可以实现这玩意的长期断点续传,并在它每天都要更新114514个视频的情况下随时跑一发,将其上面能下载的东西全下载并重新上传到guilded drive上(确信🤔

psuthonk

草,impact个cuties直接唐突断电,做个图像处理(迫真)也能有一两个文件checksum对不上🤔以我114514年的迫真经验,这十成甚至⑨成是电源的问题,外加这个破电源每天impact cuties时都在浪叫,实在是受不了,早就想换了(恼🤔

我这次打算上个80plus钛金的电源,因为我可以迫真论证,能量转换效率越高,用来浪叫的能量就越少,也许浪叫声就会越小(大嘘🤔

找了半天最后确定了两款,evga的850t2和海盗船的ax850🤔1000W的都贵得离谱,尤其是我想要的钛金这个级别,所以我只能退而求其次买个850W的了(悲🤔

接下来我看上了一款400块钱的ax850,付款发货啥的都谈好了,然后我发现了两个致命问题:

  1. 海盗船有两种ax850,一个是金牌,一个是钛金,而且极其离谱的是它们都叫做ax850,这真是离谱たま给离谱开门(全恼🤔而多方面对比(包括铭牌和模组接口布局),我发现我买的是金牌ax850(恼🤔

  2. 那个狗逼卖家送的模组线里没有ide线,而我找了114514个模组线卖家没一个能正常发货的(恼🤔没ide线我用じば驱动我那几块sas硬盘啊(全恼🤔退114514步讲,我买个400块钱的电源居然还要再花25买条线,怎么想怎么离谱🤔

所以最后我只能退了,又得从头开始(全恼🤔再回头一看,钛金ax850可不是五六百就能买到的,至少得750🤔看来我只能去看下evga的电源了(半恼🤔

联系了好几个都没搭理我可还行🤔

barbruh

我还想把现在用的显卡也换掉🤔好家伙,现在6900xt貌似涨了,我上次看的时候只有3000,现在又涨到了均价4000,3000左右只能买到一款联想oem猴版🤔

猴版就猴版,反正我这段时间以及之后很长的时间都只用它来impact cuties,我估计如果是6900xt的话impact cuties能占用60%的gpu就很了不起了(确信🤔

它还有一个叫做蓝宝石毒药的顶级非公,双槽风冷+360冷排水冷,大概相当于n卡里的evga kingpin(大嘘🤔这玩意最便宜的也得4500,尽管只(迫真)比均价多了500,但问题是6900xt我只做过渡卡用,以后有条件了恐怕要升级什么4090+5k显示器,所以我不是很想在6900xt上花太多钱,至少不想到什么4500这个级别🤔再说了,剩下1000块钱干什么不好,买个硬盘都能买16TB到18TB的,当然如果是0034垃圾的话不清楚能买几块🤔

但话又说回来,我要是只impact cuties的话,买个1080ti也能随便impact,它只需要一千甚至⑨00(确信🤔问题是我既然要花钱买新显卡了,那我肯定想让room girl也能4k流畅运行,或者至少给我上到45fps,1080ti肯定是做不到这款优化极差的游戏4k流畅的,所以还是想办法撸个6900xt⑧🤔~或者实在不成我先去zodgame上找找这玩意的整合包?看更新之后是不是优化好些了🤔~

AYAYA

在我哼哼沟通了114514个卖家之后,显卡和电源都确定下来了,显卡是那个3300的联想猴版6900xt,电源是个514.19的850t2,这价格实在是太臭了,臭 源(半恼🤔

搞了半天那个显卡卖家一回到家就喝了一天的酒,但在我观看了一顿商品留言时,我至少确定他回家时把卡带身上了(确信🤔而且既然我发现了潜在的竞争者,我现在不先买下来难道等明天那玩意被别人买下了,我再去花3500从卡贩子甚至矿蛆那里买?开什么じば玩笑(恼🤔我对这玩意的价格预期就是3000,这300块钱就算我大意了没有几个月前买的代价(迫真🤔

至于850W电源能不能用来驱动6900xt,我看的情况是毒药也只(迫真)需要一个850W电源,我这玩意肯定频率远远不如毒药,甚至不如amd公版,搞不好850W电源还能跑在它的50%负载状态(确信🤔

当然目前还有两个小问题,我要是换a卡的话geforce experience很明显我是想都别想用了,那么我要是想录屏的话就得找amd那边的工具,或者用第三方🤔截图应该还是fraps,反正到时候再说就是了🤔

还有一个问题是parsec是否支持a卡串流,h265编码之类的🤔话说parsec如果只支持n卡和intel核显的话就太にま离谱了(🤔