现在的NPU是个什么概念？聊聊巨硬AIPC

-lilipeipei- · 发表于 2024-5-22 20:28

之前理解的NPU以为也就能跑跑抠图/语音识别什么的简单ML模型，还在想厂商又在瞎吹概念骗钱

结果看这次巨硬发布会吹的AIPC概念以及跑的演示，似乎NPU突然一下就把本地大模型的门槛拉低了?

看那个MC的demo下巴都惊掉了

之前本地大模型对显卡的要求那么高，现在有了NPU似乎一下就笔记本随便跑了？而且感觉还不算弱智？还是说这次高通的NPU跟牙膏和YES的NPU不是一个概念？

虽然演示的肯定是最佳工况，但是这么低的入门门槛加上不低的完成度，感觉以后会有更多更普及的应用场景

不知道以后DIY会不会有类似的NPU组件，毕竟现在用显卡跑本地大模型显存占用极高，同时干点别的什么事都不方便

Rowen233 · 发表于 2024-5-22 20:49

是基于gpt4o的api实现的不是本地运行

-lilipeipei- · 发表于 2024-5-22 20:57

Rowen233 发表于 2024-5-22 20:49
是基于gpt4o的api实现的不是本地运行

倒回去看了下那段还真是GPT4o，那这么说NPU还是只能做一些识图一类的工作

没啥意思啊

Midnight.Coup · 发表于 2024-5-22 21:03

Timeline 以这种方式复活是没想到的

—— 来自 S1Fun

-lilipeipei- · 发表于 2024-5-22 21:20

Midnight.Coup 发表于 2024-5-22 21:03
Timeline 以这种方式复活是没想到的

—— 来自 S1Fun

recall这个还真有点意思，不知道自己的PC能不能装

q8f13 · 发表于 2024-5-22 21:28

用recall这种以后收到诈骗邮件要掂量掂量了

— from Google Pixel 3, Android 12 of S1 Next Goose v2.5.2-play

qazesz · 发表于 2024-5-22 21:37

别的不说，能不能实现高效准确多语言语音识别和翻译

Midnight.Coup · 发表于 2024-5-22 21:41

本帖最后由 Midnight.Coup 于 2024-5-22 22:09 编辑

-lilipeipei- 发表于 2024-5-22 21:20
recall这个还真有点意思，不知道自己的PC能不能装

感觉 recall 是 NPU 要求 40T 的原因之一，纯本地运行，每5秒截图一次

256GB 设备上 Recall 的默认分配为 25GB，可存储大约三个月的快照

快照存储
快照安全地存储在电脑上。 AI 处理也仅在设备上进行。你可以随时转到 “设置 > 隐私 & 安全性 > 召回 & 快照 ”来删除快照。 Windows 设置用于快照的最大存储大小，你可以随时更改该大小。达到该最大值后，将自动删除最早的快照。

Privacy and control over your Recall experience
Copilot+ PC features FAQ
不过我寻思这不是我们 Mac 的 Rewind AI 吗，下次记得标明出处

顺便 Rewind 也要上 Windows 了

这玩意感觉就是隐私地狱，难怪 24H2 的新机子要默认开启 Bitlocker,，微软也知道这泄露风险大↑大↑提升

Junakr · 发表于 2024-5-22 21:55

rewind 录的是短视频，recall 是快照截图，还不太一样（。
说起来我在试用 rewind 后也开始尝试用脚本定时截屏让电脑操作留痕，转成 PDF 本地 OCR 后内嵌提取的文本留作检索。
最后死于单个 PDF 有些大，选择将截屏压缩的话 OCR 识别的成功率就断崖下降，然后就这么搁置了。

千本blur · 发表于 2024-5-23 02:36

大部分都是拿gpu或者arm amx在跑的，lmstudio.com自己跑一下就知道了。NPU作为SoC的一个模块，功耗性能和面积很难平衡，各家暂时都没有非常好的clicktorun思路。

macos · 发表于 2024-5-23 07:37

Midnight.Coup 发表于 2024-5-22 21:41
感觉 recall 是 NPU 要求 40T 的原因之一，纯本地运行，每5秒截图一次

但这种精确还原没有用并行运算的意义吧，又不是重画一遍，原来说的快照还真的只是照片而已啊

cat339 · 发表于 2024-5-23 09:16

在去年的骁龙峰会上，微软向我们介绍到，Copilot 是一个混合模式的 AI 应用，它既有在系统底层的核心框架，也有内置在微软或第三方软件中，负责互通数据的插件，也有在微软服务器中运行，负责提供远端算力的组件。而与用户直接互动的 Copilot 前端，则是这些 Copilot 组件共同的交互窗口。

换句话说，在微软看来，Copilot 其实是一个用来给传统 PC 「赋能」的用例。无论 Windows PC 运行在什么架构下，微软多层级的 Copilot 组件都能深入到对应用层之中：
得益于独立 NPU，Copilot 可以以低功耗的的状态「潜伏」在系统中，利用敏捷的本地小模型对用户的语音唤醒或敏感请求作出响应。
而内置了 Copilot 组件的应用，也可以将各自的关键信息公布到电脑本地的信息池中，供本地 AI 在设定的资料边界内脱敏学习。
当用户请求超出了本地模型的能力边界后，Copilot 也会寻求远端服务器的算力支持，利用已经习得的用户信息进行大型 AI 运算，比如视频生成等高强度 AIGC 应用。

以微软公布的新功能为例，Windows 11 中内置的 Copilot 不仅可以用于大型的 AIGC 项目，同时也可以根据用户的使用习惯，为用户在开始、设置菜单中提供建议、在文件管理器中为用户智能搜索、排序，又或者为用户提供快捷回复。
此外，微软也发布了一个名为「Recall」（回溯）的新功能——基于应用中的 Copilot 组件，微软可以提供一个统一的应用「时间轴」，允许用户对过去的应用和操作进行回顾。很显然，Recall 的中的信息也会被 Copilot 取用，以提供更准确的本地模型

cat339 · 发表于 2024-5-23 09:21

macos 发表于 2024-5-23 07:37
但这种精确还原没有用并行运算的意义吧，又不是重画一遍，原来说的快照还真的只是照片而已啊 ...

截图后当然是Copilot 在后台处理啊, 识别提取图片中的文字等各种信息. 说白了就是AI在看着你做事, 5秒看一眼.
做了啥事AI都帮你记着, 还可以用自然语言随便提问.

说真的, 做为每天都要查阅大量文档, 在不同类型的问题中跳来跳去的打工狗, 我表示十分需要这个功能.

macos · 发表于 2024-5-23 11:54

cat339 发表于 2024-5-23 09:21
截图后当然是Copilot 在后台处理啊, 识别提取图片中的文字等各种信息. 说白了就是AI在看着你做事, 5秒看 ...

计算机的快照有一种意义是运行的回溯点，出事能快速还原到时间点，但你说这个明显没有这个能力，是其他方面的用途

nanonya2 · 发表于 2024-5-23 12:36

微软这个Copilot+好像还不能用GPU代替NPU，哪怕GPU算力更强也不行

win8 · 发表于 2024-5-23 12:58

楼友说的这个回溯怎么感觉像步骤记录器的延生

蛋饼 · 发表于 2024-5-23 13:58

感觉有些地方在故意模糊概念，误导你gpt-4o是在本地运行

friedwind · 发表于 2024-5-23 14:09

要40T的话，那Intel ultra岂不是一出来就淘汰，按现在公布的信息，ultra2没出来就淘汰了

Jumbohard · 发表于 2024-5-23 14:22

friedwind 发表于 2024-5-23 14:09
要40T的话，那Intel ultra岂不是一出来就淘汰，按现在公布的信息，ultra2没出来就淘汰了 ...

查了下，8cx g3 15tops，8845hs 16tops，ultra 11tops，基本上都可以埋了
所以这些所谓的ai pc究竟ai了个什么劲

cat339 · 发表于 2024-5-23 14:22

macos 发表于 2024-5-23 11:54
计算机的快照有一种意义是运行的回溯点，出事能快速还原到时间点，但你说这个明显没有这个能力，是其他方 ...

快照这个词本身并没有这样的固定含义. 你不能因为苹果的时间机器对整个系统做快照, 就默认所有的快照都是以系统为目标.

cat339 · 发表于 2024-5-23 14:26

friedwind 发表于 2024-5-23 14:09
要40T的话，那Intel ultra岂不是一出来就淘汰，按现在公布的信息，ultra2没出来就淘汰了 ...

移动端9月就有LNL, 桌面端等明年ARL-Refresh...

macos · 发表于 2024-5-23 14:28

cat339 发表于 2024-5-23 14:22
快照这个词本身并没有这样的固定含义. 你不能因为苹果的时间机器对整个系统做快照, 就默认所有的快照都是 ...

英文名字就有这方面意思啊，而不是说图像，自然会让人误解

—— 来自 HUAWEI KKG-AN00, Android 10上的 S1Next-鹅版 v3.0.0-alpha

泰坦失足 · 发表于 2024-5-23 14:40

如果纯本地，低功耗用NPU算，算力能支持最基本的7B吗，70b很多时候都不说人话。

Jumbohard · 发表于 2024-5-23 15:17

泰坦失足发表于 2024-5-23 14:40
如果纯本地，低功耗用NPU算，算力能支持最基本的7B吗，70b很多时候都不说人话。 ...

微软的Phi系列小模型表现挺不错的，7b的small模型能在iPhone上面跑起来。

JetBrains · 发表于 2024-5-23 19:20

别想太多了，这东西就是联机的，根本不是在本地跑的

—— 来自 HONOR REA-AN00, Android 14上的 S1Next-鹅版 v3.0.0-alpha

noahhhh · 发表于 2024-5-23 19:24

macos 发表于 2024-5-23 07:37
但这种精确还原没有用并行运算的意义吧，又不是重画一遍，原来说的快照还真的只是照片而已啊 ...

会OCR和语义分割，看演示还会关联本地文件和网页链接

—— 来自 S1Fun

Junakr · 发表于 2024-5-24 00:43

Junakr 发表于 2024-5-22 21:55
rewind 录的是短视频，recall 是快照截图，还不太一样（。
说起来我在试用 rewind 后也开始尝试用脚本定时 ...

因为想到这事于是就试着再优化一下几个月前写的屏幕追溯脚本，Xcode 开了个工程准备试下调用 Apple 原生 OCR 引擎。
然后折腾了一会就去找现成的轮子了，现在用的 ScreenMemory，除了检索功能有些差劲外 OCR 本身是合格的。
我自己主要有个大概的时间线视图可用就行了，大不了凭记忆回溯差不多的时间肉眼 OCR 我自己去找（不是。
这个软件的截屏格式是原图压缩的 JPEG，3600x2388 分辨率的一张图差不多在 400k～1m 左右（我本来是压缩成更小的 WebP），10 秒一张 24 小时的记录大概在 5G 左右？
不过一个问题是这个软件耗电有些多（不知道有没有关联，带动 Spotlight 耗电也上来了，加起来差不多大于一个 Arc 浏览器级别的耗电），再一个就是清理超过设定保留时间的截图是按每天过零点来算，而不是取最新的时间倒推一定范围。
稍微有不少不顺畅的地方凑合用吧，还是希望苹果能跟进一下 Recall 把类似的功能集成到 Mac 的时间机器中就好，我不需要大模型帮我识图，目前来说。

patema · 发表于 2024-5-24 01:03

friedwind 发表于 2024-5-23 14:09
要40T的话，那Intel ultra岂不是一出来就淘汰，按现在公布的信息，ultra2没出来就淘汰了 ...

LNL的npu英特尔说是45+TOPS

66zjy · 发表于 2024-5-24 13:49

一个是断网下还能有什么功能保留，一个是这玩意还考虑落地国内吗？copliot都没声，这看上去更不可能啊

论坛助手,iPhone

-lilipeipei- · 发表于 2024-5-24 16:10

所以现在这个NPU算力TOPS高了到底有什么用呢

schneehertz · 发表于 2024-5-24 17:13

npu跑个clip和embedding模型差不多了，还是有点用处的

—— 来自 Xiaomi 2203121C, Android 14上的 S1Next-鹅版 v3.0.0-alpha

wonderful259 · 发表于 2024-5-25 00:18

-lilipeipei- 发表于 2024-5-24 16:10
所以现在这个NPU算力TOPS高了到底有什么用呢

我觉得可以等这批arm的win pc发售后看看评测咋样。貌似微软本地内置了个小模型

		自动登录	找回密码
密码			立即注册

[硬件] 现在的NPU是个什么概念？聊聊巨硬AIPC