win10和server2016存储池和dedup小探

osk666neo · 发表于 2016-7-12 04:19

shizitou50 发表于 2016-7-7 13:49
试了下，真的不行耶…之前都没注意到，本来以为肯定也可以写入的

对，但某些硬件raid却能做到ssd写入缓存

shizitou50 · 发表于 2017-2-11 17:10

本帖最后由 shizitou50 于 2017-2-11 17:25 编辑

之后不久就有个哥们也写了篇类似的：http://blog.sina.com.cn/s/blog_6a975f1d0102woe1.html，也挺详细，可以和我的互为补充。
他里面提到的很重要的一点：

1607的存储池不兼容1511，切记，切记。

即win10_1511的存储池可识别且升级为1607的，但1607的不能被1511识别。

之前有一个可以评估开启dedup可节约空间的小软件忘记介绍了：DDPEVAL ，

DDPEVAL D:

评估对D盘Deduplication的效果（开启后能节省多少空间等），方便我们选择是否应该开启Deduplication

另外，我一直觉得3个机械盘组成的奇偶校验的虚拟磁盘连续写入能力太差，经我后续折腾，发现了一个能提升3-5倍连续写入速度（从原先的35MB/s狂涨至165MB/s以上）的方法，代价是约1G内存。方法如下：

不要把物理磁盘直接加入存储池，而是在这些物理磁盘上分别各建一个VHDX文件（一般是和所在物理磁盘容量一样大或稍小一些，动态、静态的随便，我是懒就选的动态，反正速度只差一点），再把这个VHDX挂载、加入存储池。
安装PrimoCache软件，对VHDX文件所在的卷开启256MB以上（推荐1GB及以上）的一级缓存，缓存策略选“仅写”或“读写”（我选读写），延时写入选10秒或更长（我选10秒）；高级设置中写入模式选“均衡”（非常重要！），勾上“写入后释放相应缓存”、“待机时刷入所有缓写数据”。

这样得到的奇偶校验虚拟磁盘，连续写入速度从原先的35MB/s狂涨至165MB/s以上，从SSD拷大文件到奇偶校验盘速度如图

代价就是“第2步中设置的一级缓存+额外的约500MB=起码750MB”内存、一点CPU性能（写入时CPU总使用率升到了38%，静止时是10%，即i5-4590约28%的使用率）以及内存缓写的断电风险（所以前面我只选了10秒延时，这个就不多展开讲了）。
注意，这是真正的连续写入速度，不是仅在内存缓存中写入，因为上面这图里已经拷了10多个G的数据、早已超出我设定的2G内存缓存了，开头那一段高速才是因为写入内存缓存造成的。

shizitou50 · 发表于 2017-2-11 17:29

顺便，server2016出正式版了，然而KMSpico激活无效……求好心人推荐server2016正式版激活（

osk666 · 发表于 2017-2-11 17:45

shizitou50 发表于 2017-2-11 17:10
之后不久就有个哥们也写了篇类似的：http://blog.sina.com.cn/s/blog_6a975f1d0102woe1.html，也挺详细，可 ...

这种方式绝对不推荐，组阵列最重要的是让阵列软件时刻检查硬盘状况，一有问题立刻报错，你这是完全放弃这功能，不让硬盘给阵列软件监控。
跟着是primocache，这个软件的写入缓存只能内存做，但内存很不可靠，一断电就损失严重。这软件读取缓存毕竟可靠。但这软件要钱，过了试用期就无法用。
其实关于读取缓存和写入缓存，储存池本身就有这个功能，不用另外买，而且用的是ssd做缓存，可靠很多。
不过要搭好缓存，都要仔细研究用powershell命令行来操作。
最重要的是这缓存不像primocache和raid卡那样能后来添加，要在整个虚拟硬盘新建的时候就设置好，之后不允许改。

—— 来自 Sony SGP771, Android 6.0

雷超 · 发表于 2017-2-11 17:47

shizitou50 发表于 2017-2-11 17:10
之后不久就有个哥们也写了篇类似的：http://blog.sina.com.cn/s/blog_6a975f1d0102woe1.html，也挺详细，可 ...

你无敌了装2016的原因是什么

shizitou50 · 发表于 2017-2-11 18:25

本帖最后由 shizitou50 于 2017-2-11 19:09 编辑

osk666 发表于 2017-2-11 17:45
这种方式绝对不推荐，组阵列最重要的是让阵列软件时刻检查硬盘状况，一有问题立刻报错，你这是完全放弃这 ...

哎呀我完全没想到还有检查硬盘状况这功能……但是物理磁盘挂了VHDX也会读不出的吧？
内存确实不可靠，所以我只设了10s和2G的缓写，断电的损失应该也不大？而且可以要拷大文件时开启缓存，拷完就关掉，这样就算断电挂了的话反正还有原文件。
存储池本身的写入缓存我试过，不管用不用ssd做缓存，写入量一旦超出缓存，立马降速到35MB/s，硬伤。
这个方法确实是牺牲一定安全性换取速度，但我觉得安全性还是比不做raid要高的……

osk666 · 发表于 2017-2-11 19:08

本帖最后由 osk666 于 2017-2-11 19:13 编辑

shizitou50 发表于 2017-2-11 18:25
哎呀我完全没想到还有检查硬盘状况这功能……但是物理磁盘挂了VHDX也会读不出的吧？
内存确实不可靠，所 ...

你看储存池的控制面板，那个绿色的健康标志就是这用途的。
不一定挂硬盘，很多时候等硬盘挂的时候就太迟了，特别对于raid来说，
受监控的硬盘一旦smart表上出现一点问题，就能被监控出来。例如一个硬盘第一个月有一个坏点，
然后第二个月第二个硬盘出现坏点，
然后这坏点出现在重要的地方，
这时候你才发现有问题，
这时候实际上这储存池已经基本没救了。
断电的损失程度看情况了，
至于ssd做缓存，以现在ssd的大小，其实分一半做写入一半做读取，都很难会出现不够用的情况了。

dongjuanyong · 发表于 2017-2-11 20:12

shizitou50 发表于 2017-2-11 17:29
顺便，server2016出正式版了，然而KMSpico激活无效……求好心人推荐server2016正式版激活（ ...

我还以为server系统从Imagine（原来的DreamSpark）上搞已经在折腾界人尽皆知了

shizitou50 · 发表于 2017-2-11 20:48

本帖最后由 shizitou50 于 2017-2-11 22:19 编辑

osk666 发表于 2017-2-11 19:08
你看储存池的控制面板，那个绿色的健康标志就是这用途的。
不一定挂硬盘，很多时候等硬盘挂的时候就太迟了 ...

试着直接用一块c4“重新分配事件计数”值为5的usb移动硬盘建池，并拷了点文件进去试试。存储池绿色，正常。移动硬盘对应的物理驱动器也是绿色、正常……

刘佐 · 发表于 2017-2-11 21:15

shizitou50 发表于 2017-2-11 20:48
试着直接加了块c4“重新分配事件计数”值为5的usb移动硬盘进池，存储池仍旧只有“容量不足；添加驱动器” ...

空间呢？

chust · 发表于 2017-2-14 01:40

话说添加进存储池的硬盘还能休眠吗？

雷超 · 发表于 2017-2-14 03:19

shizitou50 发表于 2017-2-11 20:48
试着直接用一块c4“重新分配事件计数”值为5的usb移动硬盘建池，并拷了点文件进去试试。存储池绿色，正常 ...

所以结论是什么

—— 来自 HUAWEI M2-A01L, Android 5.1.1上的 S1Next-鹅版

osk666 · 发表于 2017-2-14 07:48

shizitou50 发表于 2017-2-11 20:48
试着直接用一块c4“重新分配事件计数”值为5的usb移动硬盘建池，并拷了点文件进去试试。存储池绿色，正常 ...

那可能是c4还不算严重，
储存池还不理会？
要c5才开始理会？
甚至是05和c6呢？
这些偶就没全测试过了。
不过偶现在是铺了个环境随时检测硬盘状态的。

shizitou50 · 发表于 2017-2-14 11:29

雷超发表于 2017-2-14 03:19
所以结论是什么

—— 来自 HUAWEI M2-A01L, Android 5.1.1上的 S1Next-鹅版

win10的存储池并不会报告硬盘c4警告

shizitou50 · 发表于 2017-2-14 11:30

chust 发表于 2017-2-14 01:40
话说添加进存储池的硬盘还能休眠吗？

怎么看是否在休眠？

osk666neo · 发表于 2017-2-14 11:32

chust 发表于 2017-2-14 01:40
话说添加进存储池的硬盘还能休眠吗？

server12能

— from Sony D6653, Android 6.0.1

shizitou50 · 发表于 2017-2-14 11:32

osk666 发表于 2017-2-14 07:48
那可能是c4还不算严重，
储存池还不理会？
要c5才开始理会？

“铺了个环境随时检测硬盘状态”，能不能分享介绍一下怎么做的？

chust · 发表于 2017-2-14 13:28

shizitou50 发表于 2017-2-14 11:30
怎么看是否在休眠？

直接就能听出来吧？软件检测啥的我还真没试过

chust · 发表于 2017-2-14 13:31

osk666neo 发表于 2017-2-14 11:32
server12能

— from Sony D6653, Android 6.0.1

server16行不行？还想着玩玩16那个 nano server功能来着

osk666 · 发表于 2017-2-14 15:18

chust 发表于 2017-2-14 13:31
server16行不行？还想着玩玩16那个 nano server功能来着

肯定能的，不过偶不肯定win10能否而已，估计也行的

osk666 · 发表于 2017-2-14 15:21

shizitou50 发表于 2017-2-14 11:32
“铺了个环境随时检测硬盘状态”，能不能分享介绍一下怎么做的？

其实偶当时因为不能随意配置缓存，上parity超过3个盘时不能尽量扩大空间，
不能加硬盘就加空间等原因已经转移到raid卡，
然后用hard disk sential这软件来监控，
能一有问题就打报告甚至email。

zmw_831110 · 发表于 2017-2-14 15:35

就想满眼看天书一样，谁能跟我讲讲存储池的好处是啥？

----发送自 STAGE1 App for Android.

雷超 · 发表于 2017-2-14 18:55

zmw_831110 发表于 2017-2-14 15:35
就想满眼看天书一样，谁能跟我讲讲存储池的好处是啥？

----发送自 STAGE1 App for Android. ...

更容易损坏硬盘?我之前用了3个月,硬盘写入命中的数据高的吓人

osk666 · 发表于 2017-2-14 19:03

zmw_831110 发表于 2017-2-14 15:35
就想满眼看天书一样，谁能跟我讲讲存储池的好处是啥？

----发送自 STAGE1 App for Android. ...

为硬盘建立冗余，超大空间硬盘，某种形式下增加速度，提高availability，检测硬盘状况。基本这5点吧。

—— 来自 Sony SGP771, Android 6.0

zmw_831110 · 发表于 2017-2-14 21:05

osk666 发表于 2017-2-14 19:03
为硬盘建立冗余，超大空间硬盘，某种形式下增加速度，提高availability，检测硬盘状况。基本这5点吧。

...

我还有1个硬盘2T是空着的,可以这样操作吧?
代价是不是损失一些存储空间?

osk666 · 发表于 2017-2-14 21:30

zmw_831110 发表于 2017-2-14 21:05
我还有1个硬盘2T是空着的,可以这样操作吧?
代价是不是损失一些存储空间?

不，这个是跟raid差不多的东西，最少都要投入整整两个硬盘。

zmw_831110 · 发表于 2017-2-14 21:50

osk666 发表于 2017-2-14 21:30
不，这个是跟raid差不多的东西，最少都要投入整整两个硬盘。

那还是不折腾了
重要数据还是默认定期用命令行自动映射备份吧

shizitou50 · 发表于 2017-2-14 21:52

zmw_831110 发表于 2017-2-14 21:05
我还有1个硬盘2T是空着的,可以这样操作吧?
代价是不是损失一些存储空间?

存储池大概可以看成比较灵活的软raid。
只有一个闲盘就别折腾了，起码得两个吧……
win10中要加入就会全盘数据都抹掉，注意安全。server可选未分配空间，见主楼存储池部分第3点。或者建个vhdx来入池……

osk666 · 发表于 2017-2-15 07:15

shizitou50 发表于 2017-2-14 21:52
存储池大概可以看成比较灵活的软raid。
只有一个闲盘就别折腾了，起码得两个吧……
win10中要加入就会全 ...

不，其实偶觉得不如lso的raid卡灵活= =

EraserKing · 发表于 2017-2-18 23:07

想起来一个问题，假如先建了池
然后再加SSD进去做分层，可行吗？

shizitou50 · 发表于 2017-2-19 13:27

EraserKing 发表于 2017-2-18 23:07
想起来一个问题，假如先建了池
然后再加SSD进去做分层，可行吗？

可以。但加不进已建好的虚拟磁盘，只有新建虚拟磁盘才能设定分层

EraserKing · 发表于 2017-2-19 17:56

shizitou50 发表于 2017-2-19 13:27
可以。但加不进已建好的虚拟磁盘，只有新建虚拟磁盘才能设定分层

那……比如说我有三块物理硬盘，都加进了池A，组了一个虚拟磁盘B。然后我在B上面建了卷放了数据
之后再想做分层，那对于现有的数据就没法用了，是这个意思？要用的话得另外再组一个虚拟磁盘C？

shizitou50 · 发表于 2017-2-19 20:00

EraserKing 发表于 2017-2-19 17:56
那……比如说我有三块物理硬盘，都加进了池A，组了一个虚拟磁盘B。然后我在B上面建了卷放了数据
之后再想 ...

是的，所以我选择用42楼的奇淫巧技折腾…（有风险有风险有风险，要学需谨慎

osk666 · 发表于 2017-2-19 20:17

shizitou50 发表于 2017-2-19 20:00
是的，所以我选择用42楼的奇淫巧技折腾…（有风险有风险有风险，要学需谨慎 ...

那个软件配上ups的话会大幅度减低风险，买ups吧

—— 来自 Sony SGP771, Android 6.0

lhw369 · 发表于 2017-2-19 21:52

shizitou50 发表于 2017-2-11 17:29
顺便，server2016出正式版了，然而KMSpico激活无效……求好心人推荐server2016正式版激活（ ...

vlmcsd，再去下载一个tap-windows的虚拟网卡软件，安装后会自动生成一个网卡。然后用vlmcsd带参数使用那个虚拟网卡激活。其实就是手动picokms

—— 来自 HUAWEI NXT-AL10, Android 7.0上的 S1Next-鹅版

chust · 发表于 2017-2-20 02:15

lhw369 发表于 2017-2-19 21:52
vlmcsd，再去下载一个tap-windows的虚拟网卡软件，安装后会自动生成一个网卡。然后用vlmcsd带参数使用那 ...

需要虚拟网卡吗？直接用基于vlmcsd 的激活脚本KMS_VL_ALL不可以么？

lhw369 · 发表于 2017-3-11 00:19

chust 发表于 2017-2-20 02:15
需要虚拟网卡吗？直接用基于vlmcsd 的激活脚本KMS_VL_ALL不可以么？

如果只是为了提供服务，可以不装虚拟网卡。如果是为了激活自身，那么必需要用。因为现在微软不允许使用127.0.0.x的IP来激活。

chust · 发表于 2017-3-11 03:41

lhw369 发表于 2017-3-11 00:19
如果只是为了提供服务，可以不装虚拟网卡。如果是为了激活自身，那么必需要用。因为现在微软不允许使用12 ...

多谢解答～
微软也是挺懂的嘛，禁了这个IP段，常用的几个KMS激活工具不修改一下就都用不了了。
还好我的vlmcsd 跑在路由器上

—— 来自 OnePlus ONE A2001, Android 6.0.1上的 S1Next-鹅版

qieyifonger · 发表于 2017-4-15 15:54

osk666 发表于 2017-2-11 17:45
这种方式绝对不推荐，组阵列最重要的是让阵列软件时刻检查硬盘状况，一有问题立刻报错，你这是完全放弃这 ...

分层大小是允许改的，HDD和SSD都可以：
Resize-StorageTier -InputObject (Get-StorageTier -FriendlyName "Fast_SSD_Tier") -Size 20GB

https://technet.microsoft.com/en ... /resize-storagetier

我用的是 Windows Server 2016 正式版

osk666 · 发表于 2017-4-15 16:08

qieyifonger 发表于 2017-4-15 15:54
分层大小是允许改的，HDD和SSD都可以：
Resize-StorageTier -InputObject (Get-StorageTier -FriendlyNam ...

2012不可，之后就没研究了，改了就好

		自动登录	找回密码
密码			立即注册

[软件] win10和server2016存储池和dedup小探