cyreneAAAAAAAA.26.03.18

这几天我的那份工作处于一种薛定谔的状态(此处插入114514字系统性辱骂它们的prompt),所以我开始闲得鸡巴蛋疼,开始整些我自己的项目🤔我在副机上配置了一个codex,然后我一边让它给我折腾昔琏的语音一边写discord bot🤔

其实半自动搞ai萌妹语音模型是可以搞的(全自动我暂且不考虑,我怕ai瞎几把干),比如我让它从hsr wiki上去拖昔琏语音🤔我之前自己写过一个获取hsr wiki或者genshin wiki语音的脚本,但我懒得想放在了哪里,所以干脆让它重新写一个🤔

在折腾了11.4514回后,它终于写了一个能用的,光速开aria2c🤔接下来我就可以开启全自动流程,让它自己去处理这些语音,然后打包,我只需要上传到google drive然后开启colab笔记本,就可以开始训练力(确信🤔

但我试了好几个rvc的colab笔记本,它们都不怎么行,因为所有rvc的笔记本都需要做一件事,下载巨量底模,这件事被google colab定义为白嫖版本禁止的行为,如果一开启下载,基本上几分钟后这个实例就要寄(全恼🤔那么下下来转google drive可行吗?我也试过,先不说google drive这个b玩意io极差,顺序读写也是usb2速度,我的实例开启死亡倒计时后其实也撑不到它完成转移(恼🤔

既然如此,我也没啥别的选择,只能本地干力(悲🤔好在codex配置环境那真是一把好手,我只需要说一句在某个目录配置好rvc,它就开始自己装各种依赖,包括cuda这种东西🤔接下来我可以无缝迁移之前搞的东西,开始训练🤔它这个套件还有一点小问题,codex也可以展开修复🤔

本地40hx这个训练速度真太你妈慢,五个小时才跑了不到三十轮,最后它可能跑了六十轮多一点,但我用它的日志数据让codex分析,它认为第55轮的checkpoint是质量最好的,接下来再训练会过拟合,那就这样(🤔

接下来再训练个特征索引,这玩意也有问题,还需要codex写个临时脚本合一些东西🤔最后到了训练环节,它这个webui也用不了一点,所以我干脆让codex写个推理用命令行脚本🤔就这样,我整出了昔琏演唱的各种歌曲🤔

但这个ai唱歌的环节现在能自动化吗?我看比较悬,google drive部分其实还好,大不了用rclone挂载,然后要么开始上传下载,要么新建文件夹放需要处理的歌曲(主要是它需要处理多轮,前一轮的输出是下一轮的输入),但colab笔记本怎么自动化,,,🤔处理完后调用推理脚本来推理,接下来只需要用ffmpeg就能将伴奏和两段(或者更多)人声合并成一个flac,甚至还可以操纵某个nitro账号上传到某个discord频道或者google drive或者度盘或者任意地方(确信🤔

接下来还有discord bot环节🤔我一开始是准备做个让bot像昔琏一样说话的ai chatbot,但一看我要整什么lora微调,要整llm,接下来要么本地部署要么找个能挂载lora的在线厂商,中间的agent套个openclaw(它倒是很容易集成discord,,,)或者酒馆的皮,而非常有可能我整完这套玩意只是用来发送pls astawaifu irl让它生成个aigc,那我干脆写个只用来做pls astawaifu irl的bot🤔

首先,我让它先能在聊天里监听pls xxx irl,如果它出现了这个句式,就提取出中间的那个xxx,去掉里面的waifuchan,然后上zerochan检索,从第一页里随机取一张图片下载下来,然后使用jiaotu的api进行aigc生成🤔我上次整的jiaotu脚本还是bash写的,现在它没法用,因为上传图片api发生了点变化🤔我又截了几个http请求给它参考,马上它就能修复上传🤔下载无水印图片还是那个api,发送生成请求也没变,反正没几分钟我就可以用pls astawaifu irl召唤astawaifu的aigc力(确信🤔

但别的waifu就不太好使力,因为它不见得能在去除waifuchan后在zerochan上搜到,因为zerochan这个逼网站有它自己的标签系统🤔我整了一个简单粗暴的映射txt来处理这事,比如我输pls smol cyrene irl,它会直接查表,我在里面写了smol cyrene直接对应Cyrene (Honkai Star Rail) (NPC),接下来它就用Cyrene (Honkai Star Rail) (NPC)搜🤔当然我输pls Cyrene (Honkai Star Rail) (NPC) irl它肯定也能出结果,但这个实在是过于蛋疼🤔

再下一步,我可以让它实现with语法,比如pls cyrene irl with vivian clothes and lake,它会触发两个开关,vivian clothes用来在提示词里加上一句and then make them wear zzz vivian's "iris of the shore" outfit in pic2,,并将一个常量ossid作为第二张图的ossid传进去🤔而lake开关就简单很多,它只改某条提示词,不添加新的图片🤔很明显这些开关之间可能是互斥的,比如with xxx clothes和比基尼是互斥的,场景类也是互斥的,in space由于同时约束了场景(近地轨道)和服装(航天服),所以和其他所有开关都是互斥的,我需要规定好🤔

接下来我还需要实现双人或者说双图生成,比如pls astawaifu irl and cyrene irl with vivian clothes and comimarket and kissing,它接收到这条指令后,需要在zerochan上去找astawaifu的图作为图1,昔琏的图作为图2,然后拿我的双图提示词(它和单图提示词还不一样,因为它的常量参考图在图3)去搞,考虑到我开启了一个一个一个开关啊啊啊啊啊,,,不过还行,它们至少不互斥,每个对应着一段提示词,顶多加一个图3🤔我觉得最麻烦的是在单图模式里我规定了如果上传了一大堆图、链接里也有一大堆图时,它会将这些图添加进一个队列依次生成,但一旦确定了双图模式,它最多只接受两张图,剩下的图会被直接忽略🤔那么问题来力,谁是图1谁是图2?优先考虑上传还是链接?比如上传了两张链接里也有两张,怎么取?🤔还有in space不能在双图模式里运行(两个宇航员萌妹接吻那实在是太你妈超现实力,,,)我也许需要向codex来address this issue🤔

发表评论