amdbitte.26.06.20

昨天做了一整天fileops,而在等fileops完成的过程中,我刷到了一个帖子讲如何白嫖amd的算力🤔

它这玩意给得貌似比端脑云慷慨,随便我就搞到了20小时试用🤔它装的显卡貌似是个7900xtx的同款gpu,显存48GB但不是hbm,它比5090好的地方貌似只有显存🤔它的示例里有一个用hermes agent驱动一个本机部署的qwen3.6小模型改代码的项目,反正模型本身就在它的实例里,我就姑且演示一下🤔

反正它的演示case貌似可以跑,但那玩意才只需要改两行py代码,,,接下来让它部署个codex就很迷,死循环了半小时也搞不定(全恼🤔最后我手动将codex的参数整了进去才能用(悲🤔

为什么我需要往里面部署codex?当然是因为它那个内置模型没法将那台机子改造成云koitatu,它甚至懒得试(🤔但codex的话,,,貌似也不怎么样,在一顿疯狂雷普后,它挖掘出了这玩意没法做云koitatu的真实原因:wine+dxvk一旦调用amd的gpu就会触发gpufense,这和端脑云的完全没有加载图形加速模块简直就是一对苦命鸳鸯(撅望🤔但端脑云那边至少到了可以串流wine desktop环节,这b机子连这个环节都没有🤔看来我驱动ai的水平还需要提高🤔

whatever,我现在对amd显卡跑llm突然产生了兴趣,比如在我主机的6900xt上跑一个?🤔接下来我发现主机的codex居然停留在一个非常牢的版本,也没有更新🤔可能牢版本codex没有自动更新选项,所以它就这样?反正这个版本并没有将会话和provider绑定,所以我在后面才惊奇地发现会话和provider居然是绑定的?🤔但这牢版本也不是不能用,它在一番雷霆探索后发现diffgemma完全没法部署,但我至少可以部署那个huggingface上最你妈火的fable风味11b小模型,它量化完居然只有7GB,那就是它力🤔

1145.14 secs later,,,

它整了一个人模狗样的api,塞进cherry studio里也能用🤔貌似它的runtime比我想象中的轻量很多,它只需要一个vulkan版本的llama.cpp,,,也不需要装什么rocm(我估计现在rocm应该也只有linux版),启动速度极快,几秒钟权重就加载到了显存里,然后就可以开启api力(确信🤔

但我本机还是别跑什么模型比较好,毕竟等我同时打开waifu impact、hsr和zzz时,可没有显存空间给某模型用,,,🤔

发表评论