啥样的笔记本能跑本地大模型？请老哥们支招

sunbeach

本地gpu能跑的llm都跟人工智障差不多，要想拿来玩不如狠狠心弄个农企32核以上的洋垃圾+128g以上内存，慢是慢点但是智力高不少

sunbeach

袄_偶滴小乔 发表于 2024-2-18 14:41
我这有两块闲置的26核的5320可以用吗，可以跑啥模型

直接搜cpu大模型就行，主要吃内存，65B的差不多要吃75G，CPU跑基本都在一秒1~2字符这样
对比8g显存的显卡只能跑7B模型那智力水平就是降维打击