开源类GPT4多模态模型项目-OpenFlamingo-转型开源模型项目集合页

jcwatm1 · 发表于 2023-4-2 22:28

yesicant 发表于 2023-3-31 16:08
https://github.com/manyoso/haltt4llm

一个近期的LLM对比基准测试

gpt4all支持中文吗？

yesicant · 发表于 2023-4-2 23:30

jcwatm1 发表于 2023-4-2 22:28
gpt4all支持中文吗？

不支持吧

得训练集有中文训练出来的才会懂中文

—— 来自 S1Fun

Orienser · 发表于 2023-4-2 23:58

一直在等个日翻中效果比较好的模型，这样就能自己翻点黄油了

。之前在huggingface上试了几个效果都不太行，gpt4all也是下完了才发现不支持中文

酱徐子 · 发表于 2023-4-3 00:13

期待中文版小黄文生成器

squallx · 发表于 2023-4-3 04:25

插眼

—— 来自 OnePlus GM1910, Android 12上的 S1Next-鹅版 v2.5.4

大江户战士 · 发表于 2023-4-3 04:28

提示: 作者被禁止或删除内容自动屏蔽

yesicant · 发表于 2023-4-3 17:50

mahoraga 发表于 2023-3-29 18:51
好啊，现在商用开源的项目也多起来了，赶紧加大力度给我干死closeai!(开玩笑的），我也看到几个，一个是dat ...

最近中文LLaMA微调项目也多起来了，配合llama.cpp实装的mmap高速推理，非常劲

https://github.com/ymcui/Chinese-LLaMA-Alpaca

—— 来自 S1Fun

mahoraga · 发表于 2023-4-3 22:59

yesicant 发表于 2023-4-3 17:50
最近中文LLaMA微调项目也多起来了，配合llama.cpp实装的mmap高速推理，非常劲

嗯，中文的光llama的微调我感觉就有两三个了，还有BELLE是基于BLOOM的，好像也还可以。

llama.cpp我看它之前说不能支持gpu就没仔细看。好是挺好，我就是在想它作者为什么不直接搞个ggml的库，他反正已经又whisper.cpp和llam.cpp这两个大热项目了，直接维护一个ggml的基础库然后让其他开源老哥做具体实现，说不定以后就成了C++推理部署的通用标准了，这不是瞬间起飞

yesicant · 发表于 2023-4-4 05:17

本帖最后由 yesicant 于 2023-4-4 05:19 编辑

yesicant 发表于 2023-3-31 05:51
Vicuna-13B，微调 LLaMA13B版本，使用ShareGPT 收集的数据集进行训练
项目主页:https://vicuna.lmsys.org/
...

更新:Vicuna开源了模型权重，这次不止训练集了

项目地址:https://github.com/lm-sys/FastChat/#vicuna-weights

除了控制台界面还有对应的gradio ui

从项目主页的说明来看，未来还会放出7b版本

—— 来自 S1Fun

yesicant · 发表于 2023-4-4 15:09

新项目Baize(白泽)

demo地址:https://huggingface.co/spaces/project-baize/baize-lora-7B

github地址:https://github.com/project-baize/baize

遗憾的是目前还不怎么会中文

好消息是以后可能会

—— 来自 S1Fun

zgodel · 发表于 2023-4-4 18:38

Mark

oldttt · 发表于 2023-4-5 18:30

楼主被塞了，这收藏了也看不到内容了

傲游 · 发表于 2023-4-5 18:52

提示: 作者被禁止或删除内容自动屏蔽

囧Smith · 发表于 2023-4-5 19:27

楼主被封了，新号要三天才能发言，三天后恢复更新

red2077 · 发表于 2023-4-5 19:29

—— 来自 S1Fun

stanzgy · 发表于 2023-4-5 19:35

lz是干嘛了

论坛助手,iPhone

巨魔型美羽 · 发表于 2023-4-5 19:51

提示: 作者被禁止或删除内容自动屏蔽

Lucario · 发表于 2023-4-5 20:12

stanzgy 发表于 2023-4-5 19:35
lz是干嘛了

论坛助手,iPhone

我怀疑是早上讨论ykw进去的贴说了啥

勿徊哉 · 发表于 2023-4-5 20:14

提示: 作者被禁止或删除内容自动屏蔽

Lucario · 发表于 2023-4-5 20:15

勿徊哉发表于 2023-4-5 20:14
难道不是因为ykw的帖子就是楼主发的？
并且楼主在回复中扬言：为了发这个贴我进去也值了！ ...

草，lz这是明知故犯啊，就不能开小号键政么，赶着给狗叔送人头

伊莉伊莉雅 · 发表于 2023-4-6 02:50

勿徊哉发表于 2023-4-5 20:14
难道不是因为ykw的帖子就是楼主发的？
并且楼主在回复中扬言：为了发这个贴我进去也值了！ ...

太草了

矢吹奈子 · 发表于 2023-4-6 03:59

本帖最后由矢吹奈子于 2023-4-6 04:17 编辑

整合一下lz的亡语

----------------------------
Laion组织(提供SD模型训练集的开源非盈利组织)根据论文用Clip与LLaMA(没想到吧，又是我们)复现了去年刷榜各种项目的的多模态模型，Flamingo相关的权重与训练代码

关于Flamingo的相关介绍可以看这里:https://zhuanlan.zhihu.com/p/508918171

hugface模型仓库地址:https://huggingface.co/openflamingo/OpenFlamingo-9B

训练代码:https://github.com/mlfoundations/open_flamingo

模型权重净重5.2G，参数为9B，大部分人的显卡应该都能跑

效果比Flamingo论文中的同参数下性能差一些，可能缺少某些调优吧，不过有这个效果要什么自行车！

在线演示地址:https://7164d2142d11.ngrok.app/
博客地址:https://laion.ai/blog/open-flamingo/
----------------------------
Nomic AI发布的gpt4all项目

github地址:https://github.com/nomic-ai/gpt4all

可以跑在笔记本上，使用了800k的gpt3.5 turbo接口生成的合成文本数据集，在自指导等论文形式的帮助下训练出的LLaMA-Lora插件，项目页有Lora，数据集，训练代码等，不过因为LLaMA的学术研究性质，所以并不直接提供对应的7B LLaMA权重，这个得自己准备，性能非常不错
----------------------------
Cerebras systems出品的Cerebras-GPT系列

项目主页说明地址:https://www.cerebras.net/blog/ce ... ge-language-models/

项目意义说明:https://www.businesswire.com/new ... Wafer-Scale-Systems

arXiv论文还是coming soon
不过hugface已经开源权重了，使用了Chinchilla缩放法则高效训练模型，授权许可为Apache 2.0
一共公开了111m参数-13b参数总共7个版本不同的模型权重

hhugface页面https://huggingface.co/cerebras
----------------------------
格林达姆发表于 2023-3-29 17:02
用消费级硬件一键生成小黄文的日子是不是不远了

4chan老哥专门有个皮格马利翁(瞧这名字)项目就是搞这个的，不过没有中文版本，最新版本都堆到6b参数了，目前来说也是开源项目，在hugface上那不是一般的火
https://rentry.org/pygmalion-ai
----------------------------
比较重复造轮子的lit-llama项目了
因为LLaMA代码库的授权许可是GPL，这个项目通过基于nanoGPT的实现构造了一个新的Apache 2.0许可的lit-llama项目，经过这个项目转换后就可以用于商业化等措施了

项目地址:https://github.com/Lightning-AI/lit-llama
----------------------------
LLaMA-Adapter项目

一看到Adapter，大部分人应该就懂了，腾讯人工智能实验室在不久前搞过一个名为T2I-Adapter的用于SD微调的附加模型，原理也来自于Adapter，通过微调附加增量参数的方法高效训练大模型的微调，并创造更多可玩性，这个项目与其是类似的，不过是用于LLM(大语言模型)方向的

可以看到相比alpaca(斯坦福LLaMA)的全量微调，使用的参数减少到了1.2M(120万参数)，Lora大小也减少到了仅仅4.7M

github地址:https://github.com/ZrrSkywalker/LLaMA-Adapter
----------------------------
前面搬了那么多LLM与多模态相关的项目，来个不一样的

CVPR 2023论文:panic3d 单张动漫图像生成3D头部风格模型！

github地址页:https://github.com/ShuhongChen/panic3d-anime-reconstruction

通过使用两个大型新数据集（11.2k Vroid 3D 模型，1k Vtuber 肖像插图）训练出来的根据单张图片(你甚至可以用webui直接生成头像)并转换成3D立体头部模型

提供有全套流程，docker，训练代码等齐全工具和说明，可以配合生成说话动作等(B站应该经常见)
----------------------------
Japanese-Alpaca-LoRA/日语 Alpaca Lora插件
使用日文数据集训练的Alpaca Lora，可以进行日语输出

项目说明页https://note.com/kun1emon/n/n1533345d5d26
github地址:https://github.com/kunishou/Japanese-Alpaca-LoRA
----------------------------
mahoraga 发表于 2023-3-29 18:51
好啊，现在商用开源的项目也多起来了，赶紧加大力度给我干死closeai!(开玩笑的），我也看到几个，一个是dat ...

甚至chatGLM项目本身也有相关微调项目在进行中，综合来看其实模型最重要的还是训练集，但是这方面现在有了openai主动珠玉在前，越来越好起来了，openflamingo最重要的是开源了多模态的c4数据集

https://github.com/mymusise/ChatGLM-Tuning
https://github.com/ssbuild/chatglm_finetuning
----------------------------
开源的中文语言模型骆驼 (Luotuo)，该项目基于 LLaMA、Stanford Alpaca、Alpaca LoRA、Japanese-Alpaca-LoRA 等完成，单卡就能完成训练部署。

这个模型是在 Meta 开源的 LLaMA 基础上，参考 Alpaca 和 Alpaca-LoRA 两个项目，对中文进行了训练。

项目地址:https://github.com/LC1332/Chinese-alpaca-lora
----------------------------
ChatYuan-large-v2，元语chatAI的v2迭代版本，就是之前网上梗图那个微信小程序服务被封的那家的

看描述开启量化之后甚至可以在手机上跑推理，开发者专门写了个gradio的ui方便交互

github项目页:https://github.com/clue-ai/ChatYuan

模型下载与体验地址

https://huggingface.co/ClueAI/ChatYuan-large-v2/

https://modelscope.cn/studios/ClueAI/ChatYuan-large-v2
----------------------------
yswm 发表于 2023-3-29 23:11
有什么办法本地运行让它写代码吗？

写代码国产有些专门的代码LLM大模型，比如CodeGeeX，不过需要申请才能用，而大多数的LLM，其实都有经历过代码预训练的，但这不代表一定写的好代码

https://huggingface.co/spaces/THUDM/CodeGeeX

如果你真的比较需要这方面的生产力，开个20刀的gpt4 plus或者copilot显然是更好的选择，毕竟就算本地真的跑起来了，差距也比较大
----------------------------
https://www.qbitai.com/2023/03/43246.html

量子位的文章，ColossalChat，又一个搭在LLaMA上的AI，有在线demo，不过

甚至中文能力极强，还有完整的RLHF微调过程，太强了

github地址:https://github.com/hpcaitech/Col ... n/applications/Chat

项目说明页:https://medium.com/@yangyou_berk ... peline-5edf08fb538b
----------------------------
Vicuna-13B，微调 LLaMA13B版本，使用ShareGPT 收集的数据集进行训练
项目主页:https://vicuna.lmsys.org/

训练集70k，来源是ShareGPT.com，效果非常不错

注:谷歌的Bard最近也被怀疑使用chatgpt的数据进行训练

更新:Vicuna开源了模型权重，这次不止训练集了

项目地址:https://github.com/lm-sys/FastChat/#vicuna-weights

除了控制台界面还有对应的gradio ui

从项目主页的说明来看，未来还会放出7b版本
----------------------------
chatGLM版的visual-chatgpt，实现原理也比较类似，readme有演示GIF

https://github.com/visual-openllm/visual-openllm
----------------------------
https://github.com/manyoso/haltt4llm

一个近期的LLM对比基准测试

在使用800k的gpt3.5turbo合成数据训练后的gpt4all(LLaMA7b微调项目)在数项测试中超越gpt3.5turbo

没想到RLHF对性能的影响已经严重到了这种程度，以至于在直接拥有微调样本的情况下可以泛化出更强的性能超越原模型

原项目中已经放出量化好的模型
https://github.com/nomic-ai/gpt4all

值得一提的是这里

把所有拒绝回答的微调样本从训练集里删了，AI就不会拒绝回答了
----------------------------
http://mp.weixin.qq.com/s?__biz= ... 771b34d0934ba4facee

ChatGLM出官方微调教程了！不过数据集还是要自己整
----------------------------
OpenChatKit出品的GPT-NeoXT-Chat-Base-20B更新到v0.16了

其实这个模型前不久才出的，数据集用了40M也就是4000万指令微调深度优化了，但当时实测起来效果并不是很好，做NLP任务还可以，对话就有点不行了，但是今天更新之后，他们专门根据对话又进行了微调，对话强了很多，虽然外语还比较差，但也有了一定程度的能力，当然最主要的还是英语能力

数据集是和Laion合作的，另外20b的模型可能看着会比较大，不过自带量化int8和cpu推理模式，也不必太过担心

演示demo:https://huggingface.co/spaces/togethercomputer/OpenChatKit

模型仓库地址:https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B
----------------------------
GPTrillion！
世界上第一个开源的万亿多模态大模型！
仓库地址:https://huggingface.co/banana-dev/GPTrillion

GPTrillion 在包含各种文本、图像和音频数据的海量数据集上进行训练。使用 BPE 算法对数据集进行预处理和标记化，并分别处理每个模态。训练过程涉及监督和无监督学习技术的组合，以自我监督的方式训练模型。

----------------------------
最近中文LLaMA微调项目也多起来了，配合llama.cpp实装的mmap高速推理，非常劲

https://github.com/ymcui/Chinese-LLaMA-Alpaca
----------------------------
新项目Baize(白泽)

demo地址:https://huggingface.co/spaces/project-baize/baize-lora-7B

github地址:https://github.com/project-baize/baize

遗憾的是目前还不怎么会中文
----------------------------

squallx · 发表于 2023-4-6 05:03

马克马克

—— 来自 OnePlus GM1910, Android 12上的 S1Next-鹅版 v2.5.4

二月雨 · 发表于 2023-4-6 07:04

插眼，好多知识盲区，中年人想玩这个得学多久？

wave14 · 发表于 2023-4-6 08:02

是不是自己可以炼一个lora，喂进去一些私有的内容，就可以合成一个自己独有的离线gpt了？

INOSU · 发表于 2023-4-6 08:38

插个眼

燕山雪 · 发表于 2023-4-6 08:59

gpt4all远没有说的那么好，那个https://github.com/manyoso/haltt4llm测试的是模型会不会瞎jb编，跟对话能力毫无关系。novelai应该是个初创公司，主营是atlas，做gpt4all也只是拿别人现成脚本跑一遍，刷注意力而已。

燕山雪 · 发表于 2023-4-6 09:01

眼下论效果，能在本机跑的英文对话还是无脑vicuna 13b，已经有人转好llama.cpp的4bit版本，可以直接下载了

少女终末旅行 · 发表于 2023-4-6 10:29

red2077 发表于 2023-4-5 19:29
—— 来自 S1Fun

群号多少，还能进吗

stanzgy · 发表于 2023-4-6 10:43

本帖最后由 stanzgy 于 2023-4-6 10:48 编辑

中文模型现在试用了几个，感觉baize还不错。国外的确实vicuna最好用，就是在公司没有gpu的服务器上跑，13b用cpu only跑实在太慢了，准备开个colab，自己玩玩应该也用不了多少钱

梦飘零 · 发表于 2023-4-6 16:13

马克下

red2077 · 发表于 2023-4-6 16:41

本帖最后由 red2077 于 2023-4-10 15:12 编辑

少女终末旅行发表于 2023-4-6 10:29
群号多少，还能进吗

772340869

—— 来自 S1Fun

zhmouohz · 发表于 2023-4-6 16:49

用intel的显卡跑本地模型会有坑么？intel的移动端显卡比同价位n卡显存大，想买个跑AI用。

塔奇克马 · 发表于 2023-4-6 16:52

燕山雪发表于 2023-4-6 09:01
眼下论效果，能在本机跑的英文对话还是无脑vicuna 13b，已经有人转好llama.cpp的4bit版本，可以直接下载了 ...

有无脑一键包吗？

ziyuan008 · 发表于 2023-4-6 17:01

lz是干嘛了

燕山雪 · 发表于 2023-4-6 19:37

塔奇克马发表于 2023-4-6 16:52
有无脑一键包吗？

其实很简单的，下载官方llama.cpp然后直接cmake就行。实在不会的话下载附件。然后下载https://huggingface.co/eachadea/ggml-vicuna-13b-4bit的权重（我用的是rev1那个），把这三个文件放到同一目录然后运行main.exe -m ggml-vicuna-13b-4bit.bin -n 256 --repeat_penalty 1.1 --color -i -r "### Human:" -f chat-with-vicuna.txt就可以了

燕山雪 · 发表于 2023-4-6 19:39

注意内存至少16G，老爷机就不用试了

处男鉴黄师 · 发表于 2023-4-6 22:51

燕山雪发表于 2023-4-6 19:37
其实很简单的，下载官方llama.cpp然后直接cmake就行。实在不会的话下载附件。然后下载https://huggin ...

试了下，跑几句就会顿一下是因为算力问题吗？

godzillaqqq · 发表于 2023-4-6 23:01

处男鉴黄师发表于 2023-04-06 22:51:51
试了下，跑几句就会顿一下是因为算力问题吗？

大矿 m40 24g 对跑这些ai模型拉不拉，听说跑图不行

-- 来自有消息提醒的 Stage1官方 Android客户端

herryk159 · 发表于 2023-4-6 23:08

马克

		自动登录	找回密码
密码			立即注册

[科技] 开源类GPT4多模态模型项目-OpenFlamingo-转型开源模型项目集合页

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

评分

评分

本帖子中包含更多资源

大江户战士大江户战士当前离线禁止发言精华 \| 战斗力鹅 \| 帖子注册时间 2014-2-4 头像被屏蔽	86^# 发表于 2023-4-3 04:28 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

傲游傲游当前离线禁止发言精华 \| 战斗力鹅 \| 帖子注册时间 2012-5-23 头像被屏蔽	93^# 发表于 2023-4-5 18:52 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

巨魔型美羽巨魔型美羽当前离线禁止发言精华 \| 战斗力鹅 \| 帖子注册时间 2018-11-26 头像被屏蔽	97^# 发表于 2023-4-5 19:51 来自手机 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

勿徊哉勿徊哉当前离线禁止发言精华 \| 战斗力鹅 \| 帖子注册时间 2022-12-26 头像被屏蔽	99^# 发表于 2023-4-5 20:14 来自手机 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报