Stage1st

标题: 关于视频转码，我这是不是瓶颈在2.5G网卡要10gb网卡了 [打印本页]

作者: Lookpapa 时间: 2024-3-17 00:31
标题: 关于视频转码，我这是不是瓶颈在2.5G网卡要10gb网卡了
本帖最后由 Lookpapa 于 2024-3-17 01:14 编辑

如题，HANDBRAKE转码的时候时间比较长，
散热大，现在这工作从一号机扔给二号机放角落慢慢干。

转码时分别以：
·二号机通过网线直连一号机，读取一号机M2 SSD盘的数据转码，耗时1小时30分以上
·一号机直接读取本地M2 SSD盘数据转码，耗时1小时14分左右

二号机转码时读取网速、一号机转码时读取本地硬盘对比：
(, 下载次数: 43)

以前一号机用13700K转码时，耗时其实和升级14700K后差距不大，都在1小时14~16分左右。
但二号机即使用了13700K，耗时估计超过1小时30分（转码10分钟后，预估耗时还在不断增加）

请教各位，如果要二号机从一号机读取源文件转码，瓶颈是在2.5G网速上么？
是不是要买2个10GB的万兆网卡直连？

还是要调整其他？

作者: xiaoyaowuming 时间: 2024-3-17 00:37
你研究转码时间之前有没有研究过你这玩意硬盘的读写占用了多少？

作者: 日日夜夜 时间: 2024-3-17 00:40
太长又没个重点懒得看，先说结论，转码不可能是网络瓶颈

作者: Lookpapa 时间: 2024-3-17 00:43

xiaoyaowuming 发表于 2024-3-17 00:37
你研究转码时间之前有没有研究过你这玩意硬盘的读写占用了多少？

看任务管理器的话都很闲啊。
不超过5%吧。

这2台电脑装的无论是系统盘还是转码盘或者存放文件的都是M2硬盘，读速都超过7000mb/s

作者: 糊状物 时间: 2024-3-17 00:45
你自己不能看看网络负载吗？

—— 来自 Xiaomi MI 8, Android 10上的 S1Next-鹅版 v2.5.4

作者: xiaoyaowuming 时间: 2024-3-17 00:47
本帖最后由 xiaoyaowuming 于 2024-3-17 00:49 编辑

所以你觉得这个时间不对有没有可能是你共享协议的问题呢

作者: Lookpapa 时间: 2024-3-17 00:48

糊状物发表于 2024-3-17 00:45
你自己不能看看网络负载吗？

—— 来自 Xiaomi MI 8, Android 10上的 S1Next-鹅版 v2.5.4 ...

顶楼第二张图有网络负载。

周期性满载2gbps

作者: Lookpapa 时间: 2024-3-17 00:51

xiaoyaowuming 发表于 2024-3-17 00:47
所以你觉得这个时间不对有没有可能是你共享协议的问题呢

这个不大懂啊大师！
该怎么确认改善？？

作者: xiaoyaowuming 时间: 2024-3-17 00:52

Lookpapa 发表于 2024-3-17 00:51
这个不大懂啊大师！
该怎么确认改善？？

你这网卡是10g的那光模块是啥的？

作者: Lookpapa 时间: 2024-3-17 00:54

日日夜夜发表于 2024-3-17 00:40
太长又没个重点懒得看，先说结论，转码不可能是网络瓶颈

以前二号机没升级前，千兆网络的时候那个网载负荷一直是100%的天花板没掉过下来。
这次升级CPU和M2硬盘后，2.5G网络是周期性满载，有起有落，所以不知道该不该买个万兆网卡……

作者: Lookpapa 时间: 2024-3-17 00:56

xiaoyaowuming 发表于 2024-3-17 00:52
你这网卡是10g的那光模块是啥的？

10g是我想以后追加的（如果网速确认是瓶颈的话），现在没有10g网卡。
现在的网卡都是2块主板自带的2.5G网卡。

作者: 日日夜夜 时间: 2024-3-17 01:04

Lookpapa 发表于 2024-3-17 00:54
以前二号机没升级前，千兆网络的时候那个网载负荷一直是100%的天花板没掉过下来。
这次升级CPU和M2硬盘后 ...

妈耶，我看了下您这是830GB的源文件，转码可是要一个一个bit读的，你算算830GB/2.5Gbps要多长时间，至少也是44分钟，当然如果有预取的话，因为预读取和转码同时操作了，也不会消耗那么多时间，当然这种情况看网络占用也看不出到底在读取上额外消耗了多少时间，不过或许这里升级10G确实可以剩下一小会时间

作者: wewai 时间: 2024-3-17 01:08
Intel CPU 好办，挂个 VTune 看下。

作者: xiaoyaowuming 时间: 2024-3-17 01:08

Lookpapa 发表于 2024-3-17 00:56
10g是我想以后追加的（如果网速确认是瓶颈的话），现在没有10g网卡。
现在的网卡都是2块主板自带的2.5G网 ...

我琢磨了一下如果你每个文件都是6分钟800g的源文件我估计10g网卡也解决不了这个问题你这源文件太大了

作者: 糊状物 时间: 2024-3-17 01:10

Lookpapa 发表于 2024-3-17 00:56
10g是我想以后追加的（如果网速确认是瓶颈的话），现在没有10g网卡。
现在的网卡都是2块主板自带的2.5G网 ...

躺床了，看了一下Windows的smb自身是可以设置带宽限制的，你本地共享本地读取看看限制带宽有无效果？有效果的话可以试试模拟2gb（你图里的最高就2gb）和10gb的速度。

—— 来自 Xiaomi MI 8, Android 10上的 S1Next-鹅版 v2.5.4

作者: Lookpapa 时间: 2024-3-17 01:11

日日夜夜发表于 2024-3-17 01:04
妈耶，我看了下您这是830GB的源文件，转码可是要一个一个bit读的，你算算830GB/2.5Gbps要多长时间，至少也 ...

受你提示后得到启发，要不试着把文件从一号机传过去二号机，然后让二号机在本地转一次。
对比传输时间和二号机本地转码时间，如果本地转码时间比传输时间快的话，那瓶颈就在网速，可以这么推理么

作者: Lookpapa 时间: 2024-3-17 01:13

日日夜夜发表于 2024-3-17 01:04
妈耶，我看了下您这是830GB的源文件，转码可是要一个一个bit读的，你算算830GB/2.5Gbps要多长时间，至少也 ...

二号机读取一号机文件转码目前还有个问题，就是那个预计完成时间我是估的。
因为转了10分钟后，预计时间是1小时25分而且还在缓慢增加中

作者: 日日夜夜 时间: 2024-3-17 01:14
本帖最后由日日夜夜于 2024-3-17 01:16 编辑

Lookpapa 发表于 2024-3-17 01:11
受你提示后得到启发，要不试着把文件从一号机传过去二号机，然后让二号机在本地转一次。
对比传输时间和 ...

可以这样试一试

你不实践一下很难猜测这种黑盒子实际运行起来是什么情况

但是网络传输也会消耗cpu，这种本来cpu就是高负荷的情况下，上10G不一定能把多消耗的时间变成2.5G的1/4

作者: Lookpapa 时间: 2024-3-17 01:15

糊状物发表于 2024-3-17 01:10
躺床了，看了一下Windows的smb自身是可以设置带宽限制的，你本地共享本地读取看看限制带宽有无效果？有效 ...

这个不大懂，我明天确认一下怎么弄

作者: Lookpapa 时间: 2024-3-17 01:15

wewai 发表于 2024-3-17 01:08
Intel CPU 好办，挂个 VTune 看下。

新名词不大懂，我明天百度一下吧……

作者: Lookpapa 时间: 2024-3-17 01:20

糊状物发表于 2024-3-17 01:10
躺床了，看了一下Windows的smb自身是可以设置带宽限制的，你本地共享本地读取看看限制带宽有无效果？有效 ...

这是最极端的状况，是目前我交付文件最大的一个

一般4K的源文件在70G~80G之间，耗时也就10~20分钟。

但我之前在星寰广场拍的一个8K的夜景也有700多G左右，这8K文件转码太吓人了。

转码时我1号机隔着机箱都觉得热，以为要爆炸了

作者: xiaoyaowuming 时间: 2024-3-17 01:26

Lookpapa 发表于 2024-3-17 01:20
这是最极端的状况，是目前我交付文件最大的一个
一般4K的源文件在70G~80G之间，耗时也就10~20分钟 ...

我给你的个人建议是把70到80g的文件拿来测试一下如果没问题下次800g的文件请直接单机压缩这样省钱又不费劲除非你以后每次搞的文件都是800g 那才有必要考虑升级网络

作者: Lookpapa 时间: 2024-3-17 01:29

日日夜夜发表于 2024-3-17 01:14
可以这样试一试你不实践一下很难猜测这种黑盒子实际运行起来是什么情况
但是网络传输也会消 ...

你真是人才，又提醒我了！！
在转码的时候如果干其他的，预计完成时间会增长

所以我才想用二号机转码啊！不然用一号机转码我就不能干别的事了。
所以异地转码其实cpu在转码同时还要分心管传输，所以拖慢了速度？难怪预计完成时间在缓慢增加…

作者: xiaoyaowuming 时间: 2024-3-17 01:34
我研究了一下…你要真考虑整转码你需要的是7950x3d才对吧…14900k好像也拼不过全大核的u才对啊

作者: Lookpapa 时间: 2024-3-17 01:38

xiaoyaowuming 发表于 2024-3-17 01:26
我给你的个人建议是把70到80g的文件拿来测试一下如果没问题下次800g的文件请直接单机压缩这样省钱又不 ...

一号机是主力机除了编辑视频还能玩游戏上网所以不舍得这么折腾转码

我得研究一下如何多台电脑在达芬奇下协作，
简单讲就是把素材放二号机，一号机完成剪辑回放和渲染，二号机做本地交付和转码。

不知道多台协作的话2.5g网络够不够用就是了。
可能还是要买2个10g网卡直连？

作者: Lookpapa 时间: 2024-3-17 01:46

xiaoyaowuming 发表于 2024-3-17 01:34
我研究了一下…你要真考虑整转码你需要的是7950x3d才对吧…14900k好像也拼不过全大核的u才对啊 ...

我原来主力一号机用的13700k，作用当然不止转码，还要靠核显在达芬奇做h265加速呢。所以改造二号机的时候我把一号机的13700k拆下来了。毕竟后面可以两台一起做协作，都有intel核显的话搭配会灵活一点

作者: wewai 时间: 2024-3-17 01:53
只是直连的话，现在很方便就能搞到更高的带宽
我现在用的是 MCX4121A，两百一张 2x25G，再花不到 100 买个 DAC 线应该就行
不过我没试过，因为我是多台设备所以搞了个交换机，10G 以上的交换机不好买

网络这块推荐个up主 https://space.bilibili.com/366955371 总想搞点奇怪的，我这个 CRS305 貌似还是收的他的 ...

作者: xiaoyaowuming 时间: 2024-3-17 01:55

Lookpapa 发表于 2024-3-17 01:38
一号机是主力机除了编辑视频还能玩游戏上网所以不舍得这么折腾转码

我得研究一下如何多台电脑在 ...

还是那句话你要不整800g就6分钟的玩意万兆网卡咋也够了你要是用2.5G网卡传输80g文件也就5分钟差不多了已经挺快了主要的问题是文件越大传输速度可就越慢你要非整1秒2G的源文件…那估计得上25G或者40G的网卡才能达到秒传的目的了…家用硬盘现在读写最大也就7000M 40G网卡就到顶了朋友

作者: Lookpapa 时间: 2024-3-17 01:57

wewai 发表于 2024-3-17 01:53
只是直连的话，现在很方便就能搞到更高的带宽
我现在用的是 MCX4121A，两百一张 2x25G，再花不到 100 买个 ...

我想买2张万兆通x520-da1的10g网卡直连。他家有配套的光口

作者: xiaoyaowuming 时间: 2024-3-17 02:00

Lookpapa 发表于 2024-3-17 01:57
我想买2张万兆通x520-da1的10g网卡直连。他家有配套的光口

我琢磨你应该参考上面那个朋友不行就买25G的直连虽然10G的能便宜点但是你要总整大文件的话 10G过两天也满足不了你你还得花钱买25G的…

作者: Lookpapa 时间: 2024-3-17 02:05

xiaoyaowuming 发表于 2024-3-17 01:55
还是那句话你要不整800g就6分钟的玩意万兆网卡咋也够了你要是用2.5G网卡传输80g文件也就5分钟差不多 ...

买2张300块的10g网卡直连，这是我能想到最便宜的方法了

作者: Lookpapa 时间: 2024-3-17 02:10

xiaoyaowuming 发表于 2024-3-17 02:00
我琢磨你应该参考上面那个朋友不行就买25G的直连虽然10G的能便宜点但是你要总整大文件的话 10G过两天也 ...

其实吧，得益于大法的压缩，8k25p素材可选200mbps，后期压成同样200mbps的8k文件，存储压力也不是非常大。毕竟一个50p的4k素材也就200mbps，素材和最终压制成片的压力还顶得住。

但这交付的8k无损mov文件就有点恐怖了，是4k的10倍啊！

作者: xiaoyaowuming 时间: 2024-3-17 02:19

Lookpapa 发表于 2024-3-17 02:05
买2张300块的10g网卡直连，这是我能想到最便宜的方法了

可是他说的网卡200一张比你这个300的便宜啊而且还是25G 万兆只有10G

作者: Lookpapa 时间: 2024-3-17 02:24

xiaoyaowuming 发表于 2024-3-17 02:19
可是他说的网卡200一张比你这个300的便宜啊而且还是25G 万兆只有10G

200一张25g网卡，这有点吓人啊

作者: wewai 时间: 2024-3-17 04:05
本帖最后由 wewai 于 2024-3-17 04:11 编辑

更正一下，根据 https://network.nvidia.com/files ... tx-4-lx-en-card.pdf，4121A 现在市面上主要有两个版本，XCAT 是 10G 的，ACAT 是 25G 的。我看的不到 200 块的大概是 XCAT，ACAT 好像大多卖家要 250 以上。
不过总之网卡尤其是服务器货这种东西不要看官价，咸鱼捡垃圾才是正道。还有什么 OCP，FLR 转接之类的玩意，这些上面那个 up 主都有讲。只要 10G 的话一张做到100块以下应该是没问题的
（MCX4121A-XCAT 还能卖 200 是因为稍微新一点，不过我觉得最主要的是可以刷固件刷成 ACAT

）

作者: 少打音游多读书 时间: 2024-3-17 08:38
可以参考一下翼王的那个100T全固态nas的方案

—— 来自 Xiaomi 2211133C, Android 13上的 S1Next-鹅版 v2.5.4

作者: 高卢鸡 时间: 2024-3-17 10:43
看了上面的帖子，提一点，上10g以上网卡，最好设置上rdma，可以减轻网络传输时cpu的负载。但是这玩意win平台需要server系统，或者是linux系统

—— 来自 Xiaomi 2206123SC, Android 14上的 S1Next-鹅版 v2.5.4

作者: Lookpapa 时间: 2024-3-17 11:21

wewai 发表于 2024-3-17 04:05
更正一下，根据 https://network.nvidia.com/files ... tx-4-lx-en-card.pdf，4121A 现在市面上主要有两个 ...

昨晚查了一晚有个华为的双口万兆网卡才60-80不等，说是从服务器拆下来的
那玩意能买么，什么渠道买？

作者: 日日夜夜 时间: 2024-3-17 11:35

Lookpapa 发表于 2024-3-17 11:21
昨晚查了一晚有个华为的双口万兆网卡才60-80不等，说是从服务器拆下来的
那玩意能买么，什么渠道买？ ...

可以买啊，一般就是小黄鱼买吧，x520或者x540吧，反正除了光口/电口都是一样的，这一代是pcie2.0的，至少要pcie x2才能到10Gbps
不支持rdma，记得开巨型帧降低cpu消耗，如果是windows还要记得在设备管理器里把驱动带的各种offload都打开
另外10G卡都要注意散热，至少保证有一定气流经过散热片

作者: adslnet0519 时间: 2024-3-17 11:35
贵的是带原厂保修的，咸鱼捡拆机件就是了，x540和x520都行，光口卡还要额外算上光模块的钱

—— 来自 Sony XQ-DE72, Android 14上的 S1Next-鹅版 v2.5.4

作者: Lookpapa 时间: 2024-3-17 12:32

日日夜夜发表于 2024-3-17 11:35
可以买啊，一般就是小黄鱼买吧，x520或者x540吧，反正除了光口/电口都是一样的，这一代是pcie2.0的，至少 ...

谢谢兄弟啊

作者: Lookpapa 时间: 2024-3-17 12:33

adslnet0519 发表于 2024-3-17 11:35
贵的是带原厂保修的，咸鱼捡拆机件就是了，x540和x520都行，光口卡还要额外算上光模块的钱

—— 来 ...

在看什么DAC AOC啥的
DAC会好些么

作者: 雪影 时间: 2024-3-17 12:44
6分42秒830G，折合每秒3G，这个就算是解码的带宽压力
至于转码，感觉转码速度低于网络带宽才对
2.5G的速度能达到280M/s，你转码的输出速度应该到不了这么高

—— 来自 Xiaomi 2304FPN6DC, Android 13上的 S1Next-鹅版 v2.5.4

作者: 荆凛音 时间: 2024-3-17 12:49

Lookpapa 发表于 2024-3-17 12:33
在看什么DAC AOC啥的
DAC会好些么

万兆电哪有什么DAC,AOC....这种一般都是40G,100G这种QSFP才有的。
每次看你帖子都觉得你做功课，做着做着就歪掉了

首先还是从工作流开始考虑能不能优化。
假设你一个工程80G,平均200MB/S的网速（考虑发热降速），7分钟也能传完，这个时间能不能等？

另外X520这种老东西我觉得是狗看了都要摇头的：年代久远；寨卡多；网卡和交换机发热大

如果同一个地方能拉两条网线，我会建议你优先考虑SMB多通道，用两个2.5G网卡跑5G，时间上缩减一半
两边都是windows时不用做什么额外配置。

然后就是一点个人私货：能不能拉光纤

作者: hein 时间: 2024-3-17 13:08
我反而好奇，你这8k无压缩mov是顶级工业大片素材模式了，怎么素材传输转码管理这么草台……

作者: moondigi 时间: 2024-3-17 13:38
大素材不一般是先转个小的做代理吗，全搞好了后工程扔另外一台专门渲染好了

作者: Lookpapa 时间: 2024-3-17 13:39

雪影发表于 2024-3-17 12:44
6分42秒830G，折合每秒3G，这个就算是解码的带宽压力
至于转码，感觉转码速度低于网络带宽才对
2.5G的速度 ...

你说得对。
一号机转码都要1小时14分钟，约为每秒191MB，这个数字还是比2.5G的每秒320MB要小的。

换个思路，在二号机本地转码。
为了节省步骤，二号机直接交付把一号机剪辑好的素材交付到本地硬盘。
但这里有个问题就是源文件的传输渠道从本地交付变成网络交付，

那么源文件交付到时候就会产生830G的传输量，2.5G网络大概要48分钟。
而我一号机交付只要12分钟(M2硬盘交付)

作者: 循此苦旅 时间: 2024-3-17 13:40
要对比就控制好变量啊，把源素材拷到二号机本地再转一遍试试

作者: 雪影 时间: 2024-3-17 17:23

Lookpapa 发表于 2024-3-17 13:39
你说得对。
一号机转码都要1小时14分钟，约为每秒191MB，这个数字还是比2.5G的每秒320MB要小的。

最简单就是外挂个雷电硬盘盒，剪辑后路径指向硬盘盒
当然，10G硬盘盒也行

作者: jie2000 时间: 2024-3-17 20:44
要不…尝试折腾一下雷电网桥？反正你两边都是intel的芯片

作者: dvd6 时间: 2024-3-17 21:08
可能因为缺少预读机制，虽然转码比网速慢，但如果用到一点才读一点就会多了些等待时间

作者: hippias 时间: 2024-3-17 22:09

jie2000 发表于 2024-3-17 20:44
要不…尝试折腾一下雷电网桥？反正你两边都是intel的芯片

刚想提这个，雷电20g轻轻松松

作者: Lookpapa 时间: 2024-3-17 22:30

jie2000 发表于 2024-3-17 20:44
要不…尝试折腾一下雷电网桥？反正你两边都是intel的芯片

没听懂，啥是雷电网桥？

作者: Lookpapa 时间: 2024-3-17 22:51

jie2000 发表于 2024-3-17 20:44
要不…尝试折腾一下雷电网桥？反正你两边都是intel的芯片

查了一下，2主板的TYPE C都是USB 3.2 Gen 2x2 ，没有闪电标志，那我可以买一根TYPE C数据线互联么

作者: Lookpapa 时间: 2024-3-17 22:51

hippias 发表于 2024-3-17 22:09
刚想提这个，雷电20g轻轻松松

查了一下，2主板的TYPE C都是USB 3.2 Gen 2x2 ，没有闪电标志，那我可以买一根TYPE C数据线互联么

作者: Lookpapa 时间: 2024-3-17 22:54

dvd6 发表于 2024-3-17 21:08
可能因为缺少预读机制，虽然转码比网速慢，但如果用到一点才读一点就会多了些等待时间 ...

我放弃异地转码了。
在尝试一号机剪辑，二号机渲染转码。

然后发现二号机渲染时间是一号机的7~8倍，查了一下资源使用，才发现交付无损MOV用的是CUDA，
4090D和2080TI差距有这么大的吗

没钱加显卡了啊

作者: 脚本水平 时间: 2024-3-18 00:51

Lookpapa 发表于 2024-3-17 22:54
我放弃异地转码了。
在尝试一号机剪辑，二号机渲染转码。

很大涉及cuda的项目不同代的卡差距远大于光栅性能

欢迎光临 Stage1st (https://www.saraba1st.com/2b/)