关于视频转码，我这是不是瓶颈在2.5G网卡要10gb网卡了

Lookpapa · 发表于 2024-3-17 00:31

本帖最后由 Lookpapa 于 2024-3-17 01:14 编辑

如题，HANDBRAKE转码的时候时间比较长，
散热大，现在这工作从一号机扔给二号机放角落慢慢干。

转码时分别以：
·二号机通过网线直连一号机，读取一号机M2 SSD盘的数据转码，耗时1小时30分以上
·一号机直接读取本地M2 SSD盘数据转码，耗时1小时14分左右

二号机转码时读取网速、一号机转码时读取本地硬盘对比：

以前一号机用13700K转码时，耗时其实和升级14700K后差距不大，都在1小时14~16分左右。
但二号机即使用了13700K，耗时估计超过1小时30分（转码10分钟后，预估耗时还在不断增加）

请教各位，如果要二号机从一号机读取源文件转码，瓶颈是在2.5G网速上么？
是不是要买2个10GB的万兆网卡直连？

还是要调整其他？

xiaoyaowuming · 发表于 2024-3-17 00:37

你研究转码时间之前有没有研究过你这玩意硬盘的读写占用了多少？

日日夜夜 · 发表于 2024-3-17 00:40

太长又没个重点懒得看，先说结论，转码不可能是网络瓶颈

Lookpapa · 发表于 2024-3-17 00:43

xiaoyaowuming 发表于 2024-3-17 00:37
你研究转码时间之前有没有研究过你这玩意硬盘的读写占用了多少？

看任务管理器的话都很闲啊。
不超过5%吧。

这2台电脑装的无论是系统盘还是转码盘或者存放文件的都是M2硬盘，读速都超过7000mb/s

糊状物 · 发表于 2024-3-17 00:45

你自己不能看看网络负载吗？

—— 来自 Xiaomi MI 8, Android 10上的 S1Next-鹅版 v2.5.4

xiaoyaowuming · 发表于 2024-3-17 00:47

本帖最后由 xiaoyaowuming 于 2024-3-17 00:49 编辑

所以你觉得这个时间不对有没有可能是你共享协议的问题呢

Lookpapa · 发表于 2024-3-17 00:48

糊状物发表于 2024-3-17 00:45
你自己不能看看网络负载吗？

—— 来自 Xiaomi MI 8, Android 10上的 S1Next-鹅版 v2.5.4 ...

顶楼第二张图有网络负载。

周期性满载2gbps

Lookpapa · 发表于 2024-3-17 00:51

xiaoyaowuming 发表于 2024-3-17 00:47
所以你觉得这个时间不对有没有可能是你共享协议的问题呢

这个不大懂啊大师！
该怎么确认改善？？

xiaoyaowuming · 发表于 2024-3-17 00:52

Lookpapa 发表于 2024-3-17 00:51
这个不大懂啊大师！
该怎么确认改善？？

你这网卡是10g的那光模块是啥的？

Lookpapa · 发表于 2024-3-17 00:54

日日夜夜发表于 2024-3-17 00:40
太长又没个重点懒得看，先说结论，转码不可能是网络瓶颈

以前二号机没升级前，千兆网络的时候那个网载负荷一直是100%的天花板没掉过下来。
这次升级CPU和M2硬盘后，2.5G网络是周期性满载，有起有落，所以不知道该不该买个万兆网卡……

Lookpapa · 发表于 2024-3-17 00:56

xiaoyaowuming 发表于 2024-3-17 00:52
你这网卡是10g的那光模块是啥的？

10g是我想以后追加的（如果网速确认是瓶颈的话），现在没有10g网卡。
现在的网卡都是2块主板自带的2.5G网卡。

日日夜夜 · 发表于 2024-3-17 01:04

Lookpapa 发表于 2024-3-17 00:54
以前二号机没升级前，千兆网络的时候那个网载负荷一直是100%的天花板没掉过下来。
这次升级CPU和M2硬盘后 ...

妈耶，我看了下您这是830GB的源文件，转码可是要一个一个bit读的，你算算830GB/2.5Gbps要多长时间，至少也是44分钟，当然如果有预取的话，因为预读取和转码同时操作了，也不会消耗那么多时间，当然这种情况看网络占用也看不出到底在读取上额外消耗了多少时间，不过或许这里升级10G确实可以剩下一小会时间

wewai · 发表于 2024-3-17 01:08

Intel CPU 好办，挂个 VTune 看下。

xiaoyaowuming · 发表于 2024-3-17 01:08

Lookpapa 发表于 2024-3-17 00:56
10g是我想以后追加的（如果网速确认是瓶颈的话），现在没有10g网卡。
现在的网卡都是2块主板自带的2.5G网 ...

我琢磨了一下如果你每个文件都是6分钟800g的源文件我估计10g网卡也解决不了这个问题你这源文件太大了

糊状物 · 发表于 2024-3-17 01:10

Lookpapa 发表于 2024-3-17 00:56
10g是我想以后追加的（如果网速确认是瓶颈的话），现在没有10g网卡。
现在的网卡都是2块主板自带的2.5G网 ...

躺床了，看了一下Windows的smb自身是可以设置带宽限制的，你本地共享本地读取看看限制带宽有无效果？有效果的话可以试试模拟2gb（你图里的最高就2gb）和10gb的速度。

—— 来自 Xiaomi MI 8, Android 10上的 S1Next-鹅版 v2.5.4

Lookpapa · 发表于 2024-3-17 01:11

日日夜夜发表于 2024-3-17 01:04
妈耶，我看了下您这是830GB的源文件，转码可是要一个一个bit读的，你算算830GB/2.5Gbps要多长时间，至少也 ...

受你提示后得到启发，要不试着把文件从一号机传过去二号机，然后让二号机在本地转一次。
对比传输时间和二号机本地转码时间，如果本地转码时间比传输时间快的话，那瓶颈就在网速，可以这么推理么

Lookpapa · 发表于 2024-3-17 01:13

日日夜夜发表于 2024-3-17 01:04
妈耶，我看了下您这是830GB的源文件，转码可是要一个一个bit读的，你算算830GB/2.5Gbps要多长时间，至少也 ...

二号机读取一号机文件转码目前还有个问题，就是那个预计完成时间我是估的。
因为转了10分钟后，预计时间是1小时25分而且还在缓慢增加中

日日夜夜 · 发表于 2024-3-17 01:14

本帖最后由日日夜夜于 2024-3-17 01:16 编辑

Lookpapa 发表于 2024-3-17 01:11
受你提示后得到启发，要不试着把文件从一号机传过去二号机，然后让二号机在本地转一次。
对比传输时间和 ...

可以这样试一试

你不实践一下很难猜测这种黑盒子实际运行起来是什么情况

但是网络传输也会消耗cpu，这种本来cpu就是高负荷的情况下，上10G不一定能把多消耗的时间变成2.5G的1/4

Lookpapa · 发表于 2024-3-17 01:15

糊状物发表于 2024-3-17 01:10
躺床了，看了一下Windows的smb自身是可以设置带宽限制的，你本地共享本地读取看看限制带宽有无效果？有效 ...

这个不大懂，我明天确认一下怎么弄

Lookpapa · 发表于 2024-3-17 01:15

wewai 发表于 2024-3-17 01:08
Intel CPU 好办，挂个 VTune 看下。

新名词不大懂，我明天百度一下吧……

Lookpapa · 发表于 2024-3-17 01:20

糊状物发表于 2024-3-17 01:10
躺床了，看了一下Windows的smb自身是可以设置带宽限制的，你本地共享本地读取看看限制带宽有无效果？有效 ...

这是最极端的状况，是目前我交付文件最大的一个

一般4K的源文件在70G~80G之间，耗时也就10~20分钟。

但我之前在星寰广场拍的一个8K的夜景也有700多G左右，这8K文件转码太吓人了。

转码时我1号机隔着机箱都觉得热，以为要爆炸了

xiaoyaowuming · 发表于 2024-3-17 01:26

Lookpapa 发表于 2024-3-17 01:20
这是最极端的状况，是目前我交付文件最大的一个
一般4K的源文件在70G~80G之间，耗时也就10~20分钟 ...

我给你的个人建议是把70到80g的文件拿来测试一下如果没问题下次800g的文件请直接单机压缩这样省钱又不费劲除非你以后每次搞的文件都是800g 那才有必要考虑升级网络

Lookpapa · 发表于 2024-3-17 01:29

日日夜夜发表于 2024-3-17 01:14
可以这样试一试你不实践一下很难猜测这种黑盒子实际运行起来是什么情况
但是网络传输也会消 ...

你真是人才，又提醒我了！！
在转码的时候如果干其他的，预计完成时间会增长

所以我才想用二号机转码啊！不然用一号机转码我就不能干别的事了。
所以异地转码其实cpu在转码同时还要分心管传输，所以拖慢了速度？难怪预计完成时间在缓慢增加…

xiaoyaowuming · 发表于 2024-3-17 01:34

我研究了一下…你要真考虑整转码你需要的是7950x3d才对吧…14900k好像也拼不过全大核的u才对啊

Lookpapa · 发表于 2024-3-17 01:38

xiaoyaowuming 发表于 2024-3-17 01:26
我给你的个人建议是把70到80g的文件拿来测试一下如果没问题下次800g的文件请直接单机压缩这样省钱又不 ...

一号机是主力机除了编辑视频还能玩游戏上网所以不舍得这么折腾转码

我得研究一下如何多台电脑在达芬奇下协作，
简单讲就是把素材放二号机，一号机完成剪辑回放和渲染，二号机做本地交付和转码。

不知道多台协作的话2.5g网络够不够用就是了。
可能还是要买2个10g网卡直连？

Lookpapa · 发表于 2024-3-17 01:46

xiaoyaowuming 发表于 2024-3-17 01:34
我研究了一下…你要真考虑整转码你需要的是7950x3d才对吧…14900k好像也拼不过全大核的u才对啊 ...

我原来主力一号机用的13700k，作用当然不止转码，还要靠核显在达芬奇做h265加速呢。所以改造二号机的时候我把一号机的13700k拆下来了。毕竟后面可以两台一起做协作，都有intel核显的话搭配会灵活一点

wewai · 发表于 2024-3-17 01:53

只是直连的话，现在很方便就能搞到更高的带宽
我现在用的是 MCX4121A，两百一张 2x25G，再花不到 100 买个 DAC 线应该就行
不过我没试过，因为我是多台设备所以搞了个交换机，10G 以上的交换机不好买

网络这块推荐个up主 https://space.bilibili.com/366955371 总想搞点奇怪的，我这个 CRS305 貌似还是收的他的 ...

xiaoyaowuming · 发表于 2024-3-17 01:55

Lookpapa 发表于 2024-3-17 01:38
一号机是主力机除了编辑视频还能玩游戏上网所以不舍得这么折腾转码

我得研究一下如何多台电脑在 ...

还是那句话你要不整800g就6分钟的玩意万兆网卡咋也够了你要是用2.5G网卡传输80g文件也就5分钟差不多了已经挺快了主要的问题是文件越大传输速度可就越慢你要非整1秒2G的源文件…那估计得上25G或者40G的网卡才能达到秒传的目的了…家用硬盘现在读写最大也就7000M 40G网卡就到顶了朋友

Lookpapa · 发表于 2024-3-17 01:57

wewai 发表于 2024-3-17 01:53
只是直连的话，现在很方便就能搞到更高的带宽
我现在用的是 MCX4121A，两百一张 2x25G，再花不到 100 买个 ...

我想买2张万兆通x520-da1的10g网卡直连。他家有配套的光口

xiaoyaowuming · 发表于 2024-3-17 02:00

Lookpapa 发表于 2024-3-17 01:57
我想买2张万兆通x520-da1的10g网卡直连。他家有配套的光口

我琢磨你应该参考上面那个朋友不行就买25G的直连虽然10G的能便宜点但是你要总整大文件的话 10G过两天也满足不了你你还得花钱买25G的…

Lookpapa · 发表于 2024-3-17 02:05

xiaoyaowuming 发表于 2024-3-17 01:55
还是那句话你要不整800g就6分钟的玩意万兆网卡咋也够了你要是用2.5G网卡传输80g文件也就5分钟差不多 ...

买2张300块的10g网卡直连，这是我能想到最便宜的方法了

Lookpapa · 发表于 2024-3-17 02:10

xiaoyaowuming 发表于 2024-3-17 02:00
我琢磨你应该参考上面那个朋友不行就买25G的直连虽然10G的能便宜点但是你要总整大文件的话 10G过两天也 ...

其实吧，得益于大法的压缩，8k25p素材可选200mbps，后期压成同样200mbps的8k文件，存储压力也不是非常大。毕竟一个50p的4k素材也就200mbps，素材和最终压制成片的压力还顶得住。

但这交付的8k无损mov文件就有点恐怖了，是4k的10倍啊！

xiaoyaowuming · 发表于 2024-3-17 02:19

Lookpapa 发表于 2024-3-17 02:05
买2张300块的10g网卡直连，这是我能想到最便宜的方法了

可是他说的网卡200一张比你这个300的便宜啊而且还是25G 万兆只有10G

Lookpapa · 发表于 2024-3-17 02:24

xiaoyaowuming 发表于 2024-3-17 02:19
可是他说的网卡200一张比你这个300的便宜啊而且还是25G 万兆只有10G

200一张25g网卡，这有点吓人啊

wewai · 发表于 2024-3-17 04:05

本帖最后由 wewai 于 2024-3-17 04:11 编辑

更正一下，根据 https://network.nvidia.com/files ... tx-4-lx-en-card.pdf，4121A 现在市面上主要有两个版本，XCAT 是 10G 的，ACAT 是 25G 的。我看的不到 200 块的大概是 XCAT，ACAT 好像大多卖家要 250 以上。
不过总之网卡尤其是服务器货这种东西不要看官价，咸鱼捡垃圾才是正道。还有什么 OCP，FLR 转接之类的玩意，这些上面那个 up 主都有讲。只要 10G 的话一张做到100块以下应该是没问题的
（MCX4121A-XCAT 还能卖 200 是因为稍微新一点，不过我觉得最主要的是可以刷固件刷成 ACAT

）

少打音游多读书 · 发表于 2024-3-17 08:38

可以参考一下翼王的那个100T全固态nas的方案

—— 来自 Xiaomi 2211133C, Android 13上的 S1Next-鹅版 v2.5.4

高卢鸡 · 发表于 2024-3-17 10:43

看了上面的帖子，提一点，上10g以上网卡，最好设置上rdma，可以减轻网络传输时cpu的负载。但是这玩意win平台需要server系统，或者是linux系统

—— 来自 Xiaomi 2206123SC, Android 14上的 S1Next-鹅版 v2.5.4

Lookpapa · 发表于 2024-3-17 11:21

wewai 发表于 2024-3-17 04:05
更正一下，根据 https://network.nvidia.com/files ... tx-4-lx-en-card.pdf，4121A 现在市面上主要有两个 ...

昨晚查了一晚有个华为的双口万兆网卡才60-80不等，说是从服务器拆下来的
那玩意能买么，什么渠道买？

日日夜夜 · 发表于 2024-3-17 11:35

Lookpapa 发表于 2024-3-17 11:21
昨晚查了一晚有个华为的双口万兆网卡才60-80不等，说是从服务器拆下来的
那玩意能买么，什么渠道买？ ...

可以买啊，一般就是小黄鱼买吧，x520或者x540吧，反正除了光口/电口都是一样的，这一代是pcie2.0的，至少要pcie x2才能到10Gbps
不支持rdma，记得开巨型帧降低cpu消耗，如果是windows还要记得在设备管理器里把驱动带的各种offload都打开
另外10G卡都要注意散热，至少保证有一定气流经过散热片

adslnet0519 · 发表于 2024-3-17 11:35

贵的是带原厂保修的，咸鱼捡拆机件就是了，x540和x520都行，光口卡还要额外算上光模块的钱

—— 来自 Sony XQ-DE72, Android 14上的 S1Next-鹅版 v2.5.4

		自动登录	找回密码
密码			立即注册

[硬件] 关于视频转码，我这是不是瓶颈在2.5G网卡要10gb网卡了