【AI相关】这里是A卡用户AI相关技术分享交流贴

夜游宫 · 发表于 2023-3-15 02:30

现在AI绘画和AI对话如火如荼的发展，A卡用户也不能干等啊。
欢迎各位A卡用户在此贴分享A卡相关的绘画对话相关资源。

AI绘画：https://github.com/lshqqytiger/stable-diffusion-webui-directml
Windows平台，支持DX12的显卡应该都能用，就是特别耗显存

中文对话AI开源地址：https://github.com/THUDM/ChatGLM-6B

miraclePTSD · 发表于 2023-3-15 02:34

马一个

RandomDictator · 发表于 2023-3-15 02:37

我的6900终于能不吃灰了吗
看了下rocm还是基本上啥也不支持啊

Launce · 发表于 2023-3-15 03:18

本帖最后由 Launce 于 2023-3-15 03:20 编辑

跑了快1个月了，说下注意事项
启动项必须有--no-half --precision full --opt-sub-quad-attention，这三是优化+出图速度最优解，但--opt-sub-quad-attention可能会出黑图，为了优化是必须要加的
--opt-split-attention或--opt-split-attention-v1自己看情况选择，最好换着各试几次看看哪个速度好点
--disable-nan-check用于炼爆了提示nan错误，会略过错误继续跑图，出来的是纯黑图
--lowvram和--medvram用于8G显存以下
还有别的参数没有试过，看楼友后续测试了

最后因为跑得DML，DML目前对于内存和显存是只进不出的，所以显存会一直100%占用；内存我这边开了缓存在内存模型，跑了一小时后占了快15G的内存

11116等 · 发表于 2023-3-15 04:59

ai人声微调那个a卡应该能跑吧

—— 来自 OnePlus PGKM10, Android 13上的 S1Next-鹅版 v2.5.4

laotoutou · 发表于 2023-3-15 07:09

a卡还是老老实实用cpu吧

脑洞 · 发表于 2023-3-15 07:17

提示: 作者被禁止或删除内容自动屏蔽

Nanachi · 发表于 2023-3-15 07:32

rocm慢了点但是能用啊，跑了几周了，不知道楼上在笑什么。

我用的6600xt所以没加no-half，一样正常

先前泥潭有个教程贴，基本就是按他的内容操作就行。

论坛助手,iPhone

laotoutou · 发表于 2023-3-15 08:13

Nanachi 发表于 2023-3-15 07:32
rocm慢了点但是能用啊，跑了几周了，不知道楼上在笑什么。

我用的6600xt所以没加no-half，一样正常

我看了下确实a卡可以用，也不麻烦。下载好预装了pytorch的容器就行。反正现在几乎也没人直接写底层的cuda

Glaceon丶 · 发表于 2023-3-15 08:35

A卡用户本地部署stable-diffusion的教程：https://bbs.saraba1st.com/2b/thread-2106015-1-1.html

最近准备折腾一下lora

论坛助手,iPhone

夜游宫 · 发表于 2023-3-15 10:31

希望能看到Windows平台傻瓜包。

RandomDictator · 发表于 2023-3-15 10:42

本帖最后由 RandomDictator 于 2023-3-15 10:43 编辑

原来rocm从头到尾都不支持Windows呀…

—— 来自 S1Fun

swallow0808 · 发表于 2023-3-15 12:43

码一下先，我的6800能用起来了

骆宾王 · 发表于 2023-3-15 19:54

马一个，有没有新手包。。。

—— 来自 Xiaomi M2102K1C, Android 13上的 S1Next-鹅版 v2.5.4

Launce · 发表于 2023-3-15 22:25

本帖最后由 Launce 于 2023-3-15 22:44 编辑

说下WINDOWS流程
1.安装Python 3.10.6,https://www.python.org/downloads/windows/，记得勾选Add Python to PATH
2.安装git：https://git-scm.com/download/win
3.1有魔法的或者稳定直连github的直接在你要放WEBUI的地方右键，选git bash here，输入
git clone https://github.com/lshqqytiger/stable-diffusion-webui-directml && cd stable-diffusion-webui-directml && git submodule init && git submodule update
完事后进入文件夹，双击“webui-user.bat”即可自动部署安装
3.2没有魔法的下载我打好的端
链接：https://pan.baidu.com/s/194O2xgZ9RpUkXvRZjbjvmA
提取码：kv5q ，接着修改pip至清华源

在C:\user目录下有个与你登录名同名的目录，比如你登录电脑用xiaoming这个用户，这个目录的路径就是C:\user\xiaoming
在这个目录下新建一个目录pip，他的路径就是C:\user\xiaoming\pip
然后用浏览器打开这个路径，在空白处点击右键--新建--文本文档，新建一个pip.txt
输入一下内容：

[global]

index-url = https://pypi.tuna.tsinghua.edu.cn/simple

[install]

trusted-host = pypi.tuna.tsinghua.edu.cn

最后修改pip.txt的扩展名为pip.ini

修改源后双击“webui-user.bat”即可自动部署安装
4.模型和LORA下载可以去https://civitai.com/模型放在stable-diffusion-webui-directml\models\Stable-diffusion，lora放在stable-diffusion-webui-directml\models\Lora
5.DML有更新的话，可以在stable-diffusion-webui-directml文件内右键git bash here，输入“git pull”就行了

剩下的就是看看有没有正儿八经超能力者整合了，还有就是A卡目前不能跑训练

夜游宫 · 发表于 2023-3-17 21:53

目前看来最直接的办法还是搞个双显卡主板，插个魔改的专业N卡上去。

夜游宫 · 发表于 2023-3-24 17:42

决定等618买N卡了，顺便出去年双十二买的华硕雪豹6700XT。

等待最长情 · 发表于 2023-3-24 17:50

提示: 作者被禁止或删除内容自动屏蔽

等待最长情 · 发表于 2023-3-24 17:50

提示: 作者被禁止或删除内容自动屏蔽

Nanachi · 发表于 2023-8-11 11:30

在AMD GPU上实现高性能LLM推理

TL;DR
MLC-LLM可以使用ROCm在AMD GPU上编译LLM（大语言模型）并部署高性能推理。具体来说，在Llama2-7B/13B上，AMD Radeon™ RX 7900 XTX的推理性能可以达到NVIDIA® GeForce RTX™ 4090速度的80%，NVIDIA® GeForce RTX™ 3090Ti速度的94%。除了ROCm，我们的Vulkan支持还可以将LLM部署推广到其他AMD设备，例如搭载了AMD APU的SteamDeck。

联动：A卡用户本地部署stable-diffusion的教程

百猪夜行 · 发表于 2023-8-11 14:18

Nanachi 发表于 2023-8-11 11:30
在AMD GPU上实现高性能LLM推理

回家试试看，家里的二奶机上还插了块6800

—— 来自 Xiaomi 2304FPN6DC, Android 13上的 S1Next-鹅版 v2.5.4

0WHan0 · 发表于 2023-8-11 14:24

本帖最后由 0WHan0 于 2023-8-11 14:25 编辑

之前AMD发了Windows的ROCm，但AMD的Windows下的ROCm还不完整，我搜了下pytorch那边说Windows版的pytorch要支持ROCm需要等MIOpen移植到Windows上rocm support for windows · Issue #106161 · pytorch/pytorch (github.com)
，然后这是MIOpen Windows的进度enable MIOpen on Windows by apwojcik · Pull Request #2272 · ROCmSoftwarePlatform/MIOpen (github.com)

wwwwn168 · 发表于 2023-8-11 15:20

A卡对应cuda的是啥啊？求问
以前看过opencl 烂的一批，不知道现在咋样呢

赤月知佳 · 发表于 2023-8-11 15:45

618过去了，楼主买到了想要的n卡了吗

—— 来自 OnePlus GM1900, Android 10上的 S1Next-鹅版 v2.5.2-play

サワタリ · 发表于 2023-8-11 16:19

b站有人做a卡linux整合包 https://b23.tv/vVwpsdk
有问题可以加群

—— 来自 Xiaomi M2012K11AC, Android 13上的 S1Next-鹅版 v2.5.2-play

夜游宫 · 发表于 2023-8-11 22:18

赤月知佳发表于 2023-8-11 15:45
618过去了，楼主买到了想要的n卡了吗

—— 来自 OnePlus GM1900, Android 10上的 S1Next-鹅版 v2.5 ...

四千三买了4070

zxc786 · 发表于 2024-2-17 13:09

【【Stable diffusion】windows下A卡AI绘画终于有救了？据测windows/vluda效率堪比linux/rocm。】 https://www.bilibili.com/video/B ... 6e2af1f245c5c17b664

AMD YES了，7900XT在windows/zluda上跑图快能碰瓷4080了。

zdb1115 · 发表于 2024-2-17 17:05

马克一下，不错的资源整理，收集贴，谢谢分享来自: iPhone客户端

mxdmfml · 发表于 2024-2-17 17:29

我想问下ai绘画是不是只吃显卡不吃cpu啊，不吃cpu的话我就不准备换CPU了

—— 来自 S1Fun

右代宫嘉音 · 发表于 2024-2-17 19:31

可是跑大模型还是不行来自: iPhone客户端

处男鉴黄师 · 发表于 2024-2-17 20:11

mxdmfml 发表于 2024-2-17 17:29
我想问下ai绘画是不是只吃显卡不吃cpu啊，不吃cpu的话我就不准备换CPU了

—— 来自 S1Fun ...

几乎没错。但某些插件的某些功能会用CPU运算，一般影响不大

		自动登录	找回密码
密码			立即注册

[科技] 【AI相关】这里是A卡用户AI相关技术分享交流贴

评分

评分

评分

评分

脑洞脑洞当前离线禁止发言精华 \| 战斗力鹅 \| 帖子注册时间 2013-12-13 头像被屏蔽	7^# 发表于 2023-3-15 07:17 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

等待最长情等待最长情当前离线禁止发言精华 \| 战斗力鹅 \| 帖子注册时间 2020-2-7 头像被屏蔽	18^# 发表于 2023-3-24 17:50 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

等待最长情等待最长情当前离线禁止发言精华 \| 战斗力鹅 \| 帖子注册时间 2020-2-7 头像被屏蔽	19^# 发表于 2023-3-24 17:50 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报