李彦宏内部讲话：大模型开源意义不大，百度绝不抢开发...

ycjiang1337

王怡人 发表于 2024-4-11 22:20
我印象中看过海思架构师通过成本反推认为文心免费版使用的模型最多只有6B的参数, 因为百度明显不打算在大 ...

现在非常尴尬的是文心4和GLM4有来有回，但是GLM4可以免费用…

—— 来自 HUAWEI ALN-AL80, Android 12上的 S1Next-鹅版 v2.5.4

ycjiang1337

诚司 发表于 2024-4-11 23:05
文心一言最开始版本据说是用bert结构实现的，毕竟千帆上就叫ERNIE-Bot，那拉胯很正常，和T5坐一桌。现在 ...

到底谁先传的用BERT…能用BERT结构做生成任务那可比GPT还牛逼了

—— 来自 HUAWEI ALN-AL80, Android 12上的 S1Next-鹅版 v2.5.4

hbxsdfx

百度、阿里、腾讯已经切入到我们这个细分行业里了，做垂直领域的行业大模型，确实是有人买单的

诚司

ycjiang1337 发表于 2024-4-12 09:58
到底谁先传的用BERT…能用BERT结构做生成任务那可比GPT还牛逼了

—— 来自 HUAWEI ALN-AL80, Android 12 ...

我没深入用过最初版的文心一言，也没详细比过
不过T5的对话版，硬说的话也没那么烂，2023了也都还有codeT5+这样的工作，code summary方面也还可以的

kqwert

做第一个开源的人有意义，做第二个还有什么用吗

TiiTiiLL

llm开源的一大尴尬点是大部分科研势的资源finetune一个7B的模型就够呛了，企业那种规模的llm连做inference都够呛，开源了后基本就是企业间相互白嫖

折中旗帜鲜明

别的没用过不好说，但贴吧包打听是真的弱智AI，完全就是编一段内容瞎回复

archfriend12

开源的抄就完事了，的确不用抢

诚司

TiiTiiLL 发表于 2024-4-12 10:27
llm开源的一大尴尬点是大部分科研势的资源finetune一个7B的模型就够呛了，企业那种规模的llm连做inference ...

7B和33B以上真的天差地别的，特别是long context
lora finetune 33B其实没这么废资源，QLora那更是了，72B的用QLora其实才70G显存，消费级的卡几张就够了

不过全参明显学术界和开源届就没跟上，或者没想去跟，megatron的代码用来训练llm的开源资料少得可怜，开源的遍地deepspeed，明显都是lora训的
不过megatron方面开源的也是阿里比较多，Qwen72B也开源，Pai-megatron-Path也开源，阿里这是化身铁拳要打爆大模型初创公司是吧

五块小民

开源是为了培养用户抢生态，打破高性能ai模型的垄断。闭源你做不到前列，用户就差一大截了。你要是低价促销就覆盖不了研发费用，那还不如开源赚点吆喝呢

焚舟

搭车问下，普通搬砖码农办公用，现在文心一言付费版值得吗？和gpt4比咋样？

mimighost

TiiTiiLL 发表于 2024-4-12 10:27
llm开源的一大尴尬点是大部分科研势的资源finetune一个7B的模型就够呛了，企业那种规模的llm连做inference ...

就那些组，一个组才8张a100，还要养几个博士生，llm还是算了吧

llm是真富哥的玩意儿，没卡那就是上那美克星之前的孙悟空，有卡就是弗利萨

没卡的我看都转向llm evaluation这个赛道了，说白了就是个上游模型商抓虫罢了，免费的beta tester

TiiTiiLL

mimighost 发表于 2024-4-12 13:11
就那些组，一个组才8张a100，还要养几个博士生，llm还是算了吧

llm是真富哥的玩意儿，没卡那就是上那美克 ...

大部分院校的情况是8张A100整个院排队用

Aerooxx

焚舟 发表于 2024-4-12 11:41
搭车问下，普通搬砖码农办公用，现在文心一言付费版值得吗？和gpt4比咋样？ ...

直接智谱清言GLM4啊，免费，CodeGeex也是免费的，看另一个码农代码辅助楼评价不错