现在的笔记本宣传ai对普通人来说是噱头吗
intel先提出来的，苹果好像也要跟，我的理解就是加入了单独跑ai的核心，但是大部人的日常使用场景来说应该用不到吧，有人来说说ai笔记本究竟是实用的还是仅仅是噱头呢 本帖最后由 KevinGraham 于 2024-4-20 16:07 编辑苹果m1就有npu了，只是苹果芯片vp之前一直不爽ai这个词不这么吹而已，今年绷不住了要随大流吹ai/llm了
而且实际上目前intel/amd吹的npu都太菜了跑不了本地llm，各家笔记本吹的大模型都还是联网跑的 是噱头，这点算力基本干不了失去 纯噱头，但是这代英特尔 AMD宣传的ai本别的特性都还不错，ultra那几个改进了续航和离电性能，8845及其类似物把bug修了，所以要买还是买新品 估计本质上说集成的GPU性能提高，一定程度提高向量运算水平 统一内存架构+高带宽的Macbook Pro适合llm，新鲜出炉的llama3非常能打，说是AI笔记本毫不夸张。
N卡游戏本也算AI本，跑一般的推理像是SD速度快，DLSS、超分辨率、自动HDR也都是AI应用。
但要说云侧也算AI本那等于没定义，随便一个chromebook也是AI笔记本了。 本地部署个语言大模型写点书面材料什么的好像还不错 这波虽然吹AI，但是连带着核显性能提升了一波，连OUTEL都接着堆料了，总的来说没啥问题 不是太喜欢新笔记本多一个copilot按键 Lunamos 发表于 2024-4-20 16:38
统一内存架构+高带宽的Macbook Pro适合llm，新鲜出炉的llama3非常能打，说是AI笔记本毫不夸张。
N卡游戏本 ...
8B 胡话还是一箩筐，不过 llama3 + nomic-embed-text 让 MBP 跑本地 RAG 有些搞头了（ollama）。
尝试一下用 Obsidian Copilot 索引本地知识库，有一些作用，估计把笔记用英语重写一遍效果会更好。 按照公众认知AI=LLM的情况下，只有Mac能算得上AIPC
然而现在outel和膏通所谓的带NPU的芯片的AI性能还不如NV的3050，也就能剪映里扣个像，视频开会降个噪这种负载很低的工作，像会议摘要，实时翻译还是调外部API实现的。目前AIPC就是纯纯的噱头。 能把软件做好调用外部api也没啥问题
不过目前看能最好的也就能指望下华为吧
其它家根本玩不明白的 就是骗你买电脑的噱头 手机内置npu可以加速计算摄影等“厂商预制的功能”，Windows那个碎片化的软件生态，是不是噱头看硬件厂商是否开房间接口，第三方软件厂商愿不愿意适配。
NPU推理如果搞出openCL类似的统一接口或许有效 除了Mac外其他的非N卡本都是蹭噱头的 本帖最后由 Midnight.Coup 于 2024-4-20 22:19 编辑
MTL 那个 NPU 甚至没有达到 Intel 和 微软定的 AIPC 40T 算力标准
24H2 RTM(26100) 内的 AI Explorer 直接要求高通 X Elite NPU 是的 现在自称AI的cpu其实屁用都没有 杀猪。 ai最牛逼的黄老板都不怎么宣传ai在电脑上的用处
倒是a和i宣传
懂得都懂 电脑的推理用ip core也就做个人脸识别插帧超分吧，关键是还得要生态环境支持，所以我的结论是，除了NVIDIA，别的一毛钱用也没有。还不如把精力放在自动驾驶芯片上，未来这玩意算力需求很大的 我看视频up主们到接了不少intel ai cpu的广告，看的我心痒痒，这个玩意实际使用这么拉垮吗？ perfaceNext 发表于 2024-4-21 15:34
我看视频up主们到接了不少intel ai cpu的广告，看的我心痒痒，这个玩意实际使用这么拉垮吗？ ...
mtl相比前代确实有不错的提升，但ai部分纯噱头 有那个溢价为啥不自己跑GPT4 API或者去买类似的API服务呢，现在的这些AI XX看不出一定要在本地硬件受限情况下跑小模型的意义 perfaceNext 发表于 2024-4-21 15:34
我看视频up主们到接了不少intel ai cpu的广告，看的我心痒痒，这个玩意实际使用这么拉垮吗？ ...
卵用，单纯npu算力可能也就15Tops，整个soc算力才能达到35Tops
应用app也少
—— 来自 Xiaomi 2304FPN6DC, Android 13上的 S1Next-鹅版 v2.5.4 是 本帖最后由 诚司 于 2024-4-21 22:06 编辑
是不是噱头主要取决于你觉得LLM有什么用，甚至都不取决于价格，一般人可能高估了LLM对计算能力的需求，而低估了人类对流式输出的速度的接受能力……
苹果的M3 pro max能做到128G共享内存，且价格也就A6000的水平（3w），这个水平的机器能以人类可以接受的速度跑Qwen1.5-72B、Command-R+、DBRX和llama3-70B，llama3 70B……
8G macbook可能觉得是智商税，128G的这个可真不是……只要你能接受用非产品级的program该出现的问题，那现在的70B+级别的开源模型几乎是实打实的和GPT4打的有来有回的水平……
得益于这几个月开源大模型的成绩，三四万买个能跑GPT4级别大模型的东西不是梦……
当然不是谁都需要GPT4，也不是谁都能接受三四万的电脑，尤其是还可能没法玩游戏……但是主流手机完全可以以完全可以接受的速度跑7B左右的量化大模型，我现在就用Qwen1.5 7B和llama3 8B，每天把日期和各种设定作为prompt输给他，让大模型每天问个好，顺便聊一聊。7B左右的模型闲聊用效果其实很差，一旦多轮之后很容易崩溃，但是单轮做功能性任务其实没有很差，当然一般人可能用不到功能型任务，尤其是很可能大概率需要用lm format enforcer针对性开发才能用的任务。不过这个事几乎是0成本的，哪怕不用大模型的其他功能，这点情绪价值也够了……
不过现在尴尬的是消费级显卡，特别是笔记本上的消费级显卡显存太小了，笔记本的4090也没有台式机的24G显存，只有16G。这个显存只够跑14B大模型，而14B和7B没有什么质的差别，而且反正显存都不够，4090和4060跑大模型甚至都没质的差别……
但是这个事其实也能解决，我现在笔记本2070，8G显存，靠llama.cpp的 GPU offload可以很快地跑14B大模型，而Qwen1.5 32B这样的模型，offload 1/3的层到GPU的话也能跑起来，只不过速度稍微有点不能接受（再快一倍就能接受），最近在鼓捣llama.cpp的投机采样源码，现在靠投机采样可以把平均的token处理速度加快一倍，但是输出不太均匀，但这么干理论是上可行的……
一旦搞的能用点，那我这个破电脑上也能以正常点的速度跑Qwen1.5 32B了……要知道这模型（不考虑量化损失的话），几乎是Claude 2.0的水平，理论上把llama.cpp都改好了，跑Qwen1.5 32B是最优解（因为有Qwen 0.5B和1.8B，能投机采样，command R就不行），而且而且成本能控制在1w以下……1w的笔记本能打游戏，顺便无成本跑AI大模型，有什么噱头的…… 诚司 发表于 2024-4-21 22:01
是不是噱头主要取决于你觉得LLM有什么用，甚至都不取决于价格，一般人可能高估了LLM对计算能力的需求，而低 ...
128G 就能跑GPT4了吗? GPT4不是1.76万亿吗? 目前来说完全是噱头，如论是A还是I，目前NPU的算力都还没赶上核显的算力。。。
Apple就算了，8g内存就是做梦 What is an AI PC? ('Look, Ma! No Cloud!')
An AI PC has a CPU, a GPU and an NPU, each with specific AI acceleration capabilities.
上面是牙膏厂官方新闻的提法, 一说AI PC就只扯NPU如何如何是个明显的误区.
NPU也好, copilot键也好, 背后推手一直是微软. 所以接下来你会看到高通,AMD都会跟着喊一样的口号, 做一样的事情. Intel只是最早跳出来举大旗的那个
Intel自己对AI在PC端的定义可以类比以前推的迅驰. 当年打造迅驰推动了无线联网能力在笔记本上的普及, 今后则通过AI PC来推动AI算力在PC端的普及.
对于当年不上网的人来说, 笔记本随时联网有屁用, 纯纯的噱头而已. AI以此类推即可
换而言之, AI算力会像WIFI联网一样, 成为PC必不可少的底层功能之一. 本帖最后由 泰坦失足 于 2024-4-22 11:22 编辑
诚司 发表于 2024-4-21 22:01
是不是噱头主要取决于你觉得LLM有什么用，甚至都不取决于价格，一般人可能高估了LLM对计算能力的需求，而低 ...
问题是为啥不用云跑呢，现在GPT4价格已经便宜到Input $10.00 / 1M tokens Output $30.00 / 1M tokens了。现有的API如文心一言通义千问的API更便宜，Llama3 300b也号称能训练完后对标GPT4，到时候也会有云端API服务。一定要每次本地显卡满载跑吗。 现有的所谓npu这些只能玩点儿小型的cnn之类的模型
llm 7b尚且跑不起来，就算量化到牙齿，整个模型也要4gb吧，更别7b说跑起来也是一个废物
所以这条路完全走不通，摆设都算不上，除了耗电屁用没有 本帖最后由 诚司 于 2024-4-22 11:31 编辑
泰坦失足 发表于 2024-4-22 11:13
问题是为啥不用云跑呢，现在GPT4价格已经便宜到Input $10.00 / 1M tokens Output $30.00 / 1M tokens了。 ...
llama 3 400b如果开源肯定轮不到个人跑，但70b不一样
如果你有一个打游戏用的主机，那距离跑70b唯一的差距只有一个外置显卡坞和一个2080ti 22g
如果不考虑审查，那api和本地大模型无非是看你想把几千块拿去买api还是拿去买硬件。如果考虑审查，那本地大模型的潜力是无限的，llama qwen 和command R+都有安全对齐，但是对本地大模型来说，可以用generate接口而不是chat接口，generate接口是句子补全，不是chat补全，很容易破解安全对齐。几千块买个资产顺便破解安全对齐我觉得值。苹果128g几万我觉得也还行，但是如果ai pc卖几万结果还跑不了70b那自然算了 就算能跑也不能不考虑latency，2080ti你跑70b，就算int4的量化，一秒钟能跑出5个token么，拿个这种结巴ai有啥用 本帖最后由 chaucerling 于 2024-4-22 17:07 编辑
mimighost 发表于 2024-4-22 16:59
就算能跑也不能不考虑latency，2080ti你跑70b，就算int4的量化，一秒钟能跑出5个token么，拿个这种 ...
本地跑个量化的7b其实速度还行，如果能训练调用各种工具链整合输出结果其实并不需要太多的参数 chaucerling 发表于 2024-4-22 17:05
本地跑个量化的7b其实速度还行，如果能训练调用各种工具链整合输出结果其实并不需要太多的参数 ...
7b是可以，这个我不否认，70b我不觉得有啥用处，就算跑起来，context长了必然慢如龟爬
以后100k的context成了标配，本地的llm是等着老黄把显存达成白菜价么，显然不现实
更别说这玩意儿多耗电了
本地llm可以用来玩儿，7b的用来做点儿轻量的代码补全也堪用，但是和云比，那终究只能是个玩具
页:
[1]
