想弄一台能本地部署grok的机器要怎么弄？

mamc06 · 发表于 2024-3-25 20:32

上周老板把我喊到办公室，叫我下载一下grok-1，我赶紧和他解释说这玩意本地部署要300g显存，不是咱能玩得起的

。老板没说话直接叫我下，这周又找我聊天，问我下的如何了，我说经过我不懈的努力可算下好了

。老板叫我去调研，如果本地部署要多少，我随便问了一家报价接近170个

，但是我想货比三家，有老哥知道其他渠道吗？

mamc06 · 发表于 2024-3-26 09:44

mimighost 发表于 2024-3-26 09:41
你需要8台h100/h800的机器，而且还必须要nvlink

你确定你老板搞得定这个？？？？？ ...

这我就不懂了，反正他是叫我去调研本地部署的配置，我是想把调研好的表格提交给他，他怎么处理是他的事

mamc06 · 发表于 2024-3-26 09:46

mp5 发表于 2024-3-26 09:32
用ollama上yi，chat能力基本在gpt3.5左右，16G显存的消费级显卡混合32G内存就能跑，不过是逐字出结果，要快 ...

我们想找多语言模型，这个yi可能不太适用吧

mamc06 · 发表于 2024-3-26 11:22

naiveyan 发表于 2024-3-26 10:37
网上搜到跑起来的相对比较低的配置是8卡a800 80g，https://www.j i a n s h u.com/p/0660ab9727dc
可以按照 ...

找了家上海的渠道，给的报价是170（含税）老板叫我多找几家问问，这种渠道在哪找比较靠谱

mamc06 · 发表于 2024-3-26 21:40

webashrat 发表于 2024-3-26 15:56
300g?我朋友跟我说他八卡640g都不够

—— 来自 QUALCOMM OWW212, Android 11上的 S1Next-鹅版 v2.5.2 ...

目前找到的配置单

mamc06 · 发表于 2024-3-29 15:00

Benighted 发表于 2024-3-29 14:51
grok参数这么高也没见比其他开源模型强到哪去啊，非要用它难道你老板是马一龙真爱粉？ ...

这我也不太懂，更新一下，我把价格都问了一遍然后做成表格发给老板，老板又叫我去调研可部署的云平台

		自动登录	找回密码
密码			立即注册

[硬件] 想弄一台能本地部署grok的机器要怎么弄？