英特尔ultra笔记本跑AI绘画如sd的效果如何?有没有评测看?

codecloud

看新闻,说是ultra内置了专门搞ai的模块,能大幅提升AI绘画之类的速度,请问有没有实际的使用评测?

↓↘→AB

不是行业人士，但泼个冷水，期望别太高。一般产出模型的深度学习框架都是同时支持训练和推理。现在各路芯片内建的ai加速器只能推理不能训练，目测支持会长期处于薛定谔状态，基本要靠第三方拿到模型，然后针对ai加速器专门优化。

— from Razer Phone 2, Android 9 of S1 Next Goose v2.5.2-play

孤狼arcueid

反正nai3现在没开源，都一样）

perfaceNext

这个能用的话，性价比就比苹果高了，内存能随便加，穷人也能玩得起ai了

w酱

这玩意和功耗成正比
m1pro/m2pro的AI性能就不怎么样 比20系n卡还菜

qratosones1337

↓↘→AB 发表于 2023-12-18 01:14
不是行业人士，但泼个冷水，期望别太高。一般产出模型的深度学习框架都是同时支持训练和推理。现在各路芯片 ...

在SD和大语言模型当道的今天，起码90%的目标用户是不care训练的，然后工业界本来也不会直接使用pytorch进行线上服务部署

—— 来自 HUAWEI ALN-AL80, Android 12上的 S1Next-鹅版 v2.5.4

codecloud

↓↘→AB 发表于 2023-12-18 01:14
不是行业人士，但泼个冷水，期望别太高。一般产出模型的深度学习框架都是同时支持训练和推理。现在各路芯片 ...

不做训练和炼丹,我只是终端用户,就是用来画图的.
只是想知道画图的效率如何.能不能达到4070的速度?

qratosones1337

codecloud 发表于 2023-12-18 10:10
不做训练和炼丹,我只是终端用户,就是用来画图的.
只是想知道画图的效率如何.能不能达到4070的速度? ...

那一定是不可能的，效率必然比独显差的远。这个主要是让轻薄本也能跑

—— 来自 HUAWEI ALN-AL80, Android 12上的 S1Next-鹅版 v2.5.4

华蝶风雪

codecloud 发表于 2023-12-18 10:10
不做训练和炼丹,我只是终端用户,就是用来画图的.
只是想知道画图的效率如何.能不能达到4070的速度? ...

目前自带npu性能大概是自带核显的一半，还想跟4070比

sirlion

得专门出给ultra优化得模型，cuda跑得快也是有专门的模型，m系列上个月不是也更新了一个新的模型速度提高了快10倍么，这东西刚出，怕不是要等段时间才适配

meltykiss

那么个npu也想和4070比，你是不是想得太多了

Midnight.Coup

差评那边跑过，只能说未来可期的状态

Midnight.Coup

灰流うらら 发表于 2023-12-18 18:40
用任何芯片运行ai模型的过程都不是魔法，是要程序员一个个算子手动开发的，而且它和cpu不一样，代码是不通 ...

单单 SD 确实已经优化了，不过是社区搞的，很早就适配了牙膏厂的加速框架 OpenVINO，从 CPU 到 Arc GPU 再到 MTL 的 NPU，速度依次提升，但目前尚不支持 LoRA 与 ControlNet https://www.bilibili.com/read/cv27671350/

qratosones1337

灰流うらら 发表于 2023-12-18 18:40
用任何芯片运行ai模型的过程都不是魔法，是要程序员一个个算子手动开发的，而且它和cpu不一样，代码是不通 ...

哪怕是工业场景现在也经常用pytorch训练ONNX部署啊，你不会以为大规模线上推理也是用pytorch直接跑的吧？

dffgf

1）NPU只能处理低层级的任务，稍微高一点的任务还是交给GPU和AVX做，就是上面说的openvino；
2）NPU这种垃圾算力【低精度】需要专门做适配才行，模型转换不是单纯量化，有些任务掉点很严重。

qratosones1337

dffgf 发表于 2023-12-18 19:22
1）NPU只能处理低层级的任务，稍微高一点的任务还是交给GPU和AVX做，就是上面说的openvino；
2）NPU这种垃 ...

看Intel的方案，NPU应该就是用来做一些低负载任务的，画图这种至少得调用核显

dffgf

qratosones1337 发表于 2023-12-18 19:31
看Intel的方案，NPU应该就是用来做一些低负载任务的，画图这种至少得调用核显 ...

对啊，你看楼主不是就被糊住了吗

专门搞一个NPU，然后宣传AIPC，然后大众认知的AI应用不能使用NPU

SOC上搞得两个CPU小核&NPU有为了设计而设计的倾向

okey3m

只想知道LR和PS里面AI降噪有不有提速，这个也很常用啊

codecloud

....看来这所谓的ai单元对实际应用没啥卵用么..白期待了.

不过巨硬给amd做了个什么补丁打鸡血,看评测能够把amd的显卡跑sd绘画的效率提升10倍以上,虽然依然比不上4080,但基本可以一战了.所以我还在幻想硬特二也能这么打一次鸡血..

wewai

> 那么你觉得牙膏厂会有人手专门给你优化SD吗

https://www.anandtech.com/show/2 ... ltra-thin-notebooks
那么你觉得有谁会闲得去折腾 GIMP 上的 SD 呢

https://www.pcmag.com/news/the-m ... local-ai-processing
这有个跑分，理论上有提升，但不算特别大

另外指望消费级 CPU 能跟 dGPU 打得我觉得还是算了，目前的情况下光内存带宽就随便被n倍杀

伊克路西安

codecloud 发表于 2023-12-18 20:03
....看来这所谓的ai单元对实际应用没啥卵用么..白期待了.

不过巨硬给amd做了个什么补丁打鸡血,看评测能够 ...

顶多和xformers一战，也战不过。然而N卡画图已经有tensorRT加速插件了
https://www.pugetsystems.com/lab ... rformance-analysis/

佛剑分说

codecloud 发表于 2023-12-18 10:10
不做训练和炼丹,我只是终端用户,就是用来画图的.
只是想知道画图的效率如何.能不能达到4070的速度? ...

想啥呢

starash

M3 Max在最新模型下应该和台式机4070差不多，intel那弱鸡u就别指望了。

win8

不如换个角度思考问题，arm MCU喊npu加速单元多久了，宣发ppt每次吹能力提高多少，真有多少落地应用吗？最后还不是CPU+GPU通用单元

黄油indie

win8 发表于 2023-12-18 22:22
不如换个角度思考问题，arm MCU喊npu加速单元多久了，宣发ppt每次吹能力提高多少，真有多少落地应用吗？最 ...

这个NPU感觉就是个拉着普通用户走量分摊研发成本，战未来的玩意，赌未来chat AI，diffusion之类的应用本地部署到移动端
像当时老黄给游戏卡塞cuda那样，最后真能用来打游戏的dlss出来都是本世代了

诚司

↓↘→AB 发表于 2023-12-18 01:14
不是行业人士，但泼个冷水，期望别太高。一般产出模型的深度学习框架都是同时支持训练和推理。现在各路芯片 ...

这年代训练和推理完全两个需求了

14B的LLM，量化了我没GPU的笔记本都能推理
而训练，我8张40G A100练14B都一直爆显存，只能freeze+deepspeed zero3，没个80G A100都不敢全量训

（全量）训练需要的差不多是十倍于推理的总显存，而且对单卡容量也有很高要求

sunbeach

黄油indie 发表于 2023-12-20 23:43
这个NPU感觉就是个拉着普通用户走量分摊研发成本，战未来的玩意，赌未来chat AI，diffusion之类的应用本 ...

黄卡打游戏用不上的是双精度（后来游戏卡全部砍了只给特斯拉上）和tensor core
而且可以用开发工具看tensor core使用率，就算是2077这种把大力水手 光追脑补啥的全拉满也用不了多少tensor core，不超过30%好像