IBM FlashSystem A9000&A9000R点评

上周太忙，几乎没有和大家分享过技术文章。现在放假了，正好补上。虽然我知道小长假发文章阅读量不高，但还是把我的学习心得记录下来，不为别的，就算做个笔记罢了。

上周，IBM发布了三款全闪存阵列产品，FlashSystem A9000和A9000R，还有DS8888。DS8888以前我们就剧透过一些，是DS8880的全闪存版本。不过，奇怪的是，IBM只是把DS8888定位为大型机专用全闪存阵列，因为有了A9000R，其已经成为开放环境的高端AFA的优选。

今天劳动节，我们主要来聊聊FlashSystem A9000和A9000R，看看IBM的包装技术是否又长进了。

要了解A9000和A9000R，首先要了解其架构的起源。话说IBM在2012年收购了TMS，获得了全闪存阵列的技术，最新的产品就是FlashSystem 900。但900采用的是硬件定义闪存的思路，其特点是利用硬件的设计，把不太可靠的cMLC颗粒变成可靠的企业闪存。900的最大特点就是超低时延，100us左右，是所有的非NVMe AFA里面时延最低的AFA之一。但900也有自己最大的硬伤，其数据服务基本没有。因此，IBM把自己的SVC技术和FlashSystem 900组合在一起，包装出了一个FlashSystem V9000。但是，随着IBM的转型，认知计算和云是IBM的主力方向，IBM需要一款扩展性更强，对云架构支持更加理想的AFA产品。但是，TMS刚刚收购不久，不太可能再收购一个Startup公司了。因此，两年前，IBM思前想后，认为XIV的网格软件技术结合FlashSystem的硬件闪存是一个最佳的组合。经过TMS和XIV的跨国合作（XIV是2008年收购的以色列公司），休斯顿和特拉维夫的研发人员飞越大西洋和地中海，紧密合作，终于诞生了A9000这个产品。

网格存储系统，是XIV采用的技术。后来IBM把XIV软件化，叫做Spectrum Accelerate，现在又有了A9000（西瓜哥怀疑A9000的A的命名就是来自Accelerate的首字母）。这三款产品，都是采用网格存储系统的原理，即数据进入系统会切成固定大小的数据块，然后随机分布到所有的节点，避免热点问题。而节点也是AA负载分担。节点和节点之间采用以太网或者Infiniband高速网络互连。节点可以带主机接口，也可以不带主机接口。

大家了解XIV的特点后，其实理解A9000就so easy了。A9000采用了三个网格控制器，然后再加一个后端存储框FlashSystem 900。网格控制器是一个2U的服务器，而900也是2U。因此，A9000就是一个8U的一个设备。

三个网格控制器之间采用Infiniband进行两两互联，由于只有三个设备，因此，可以不用IB交换机。但是，IBM连接闪存框900的时候，没有采用SAS方式，而是采用IB，因此，网格控制器上需要两块IB HCA卡。至于为什么采用IB，西瓜哥分析900它不是一个普通的SAS磁盘框，实际上900就是一个AFA，因此，采用IB连接实现对等通讯肯定是比较合适。而SAS一般只是I/O的交换。IBM的红皮书写节点通讯采用IP over IB技术，但没有说是否采用RDMA。

这种三节点环形直连的方式，大家知道高端存储Infinidat的Infinibox就是这样做的，唯一不同就是其后端磁盘框用SAS连接。由于XIV的团队和Infinidat团队曾经都是高端存储之父Moshe Yanai的人，也都在以色列，相信很多人都认识，互通有无，因此，这个思路就被A9000借鉴过来了。

A9000是固定配置，也就是不能再扩展节点了。如果用户觉得扩展性不够，那么就需要采用A9000R了。A9000R的R指的是Rack的意思，也就是可以扩展到一个机柜。

A9000R其内部的基本组成单元叫网格元素(grid element)，包含两个网格控制器和一个FlashSystem 900闪存柜。

网格模块采用两块HDD来作为系统盘，但采用两个SSD来做保险箱，实现掉电保护功能。

由于采用IB交换机，因此，节点上只需要插一块IB HCA卡。为了支持实时压缩，和XIV一样，采用两块数据压缩加速卡。

系统从两个网格元素可以横向扩展到六个网格元素，刚好装满一个42U的机柜。为什么需要4控起配，是由于其写cache采用了三副本的方式。

机柜里面配置2个56G的IB交换机连接各个节点，包括网格控制器和闪存柜。

而且，A9000/A9000R采用了全新的HyperScale的GUI，而不是原来熟悉的XIV的界面，好像更COOL了一些。当然，A9000也是支持HyperScale的了。

A9000/A9000R最大最大的改进就是补全了FlashSystem一直欠缺的在线重删特性。由于采用网格架构，因此重删也是分布到各个控制器并行处理的。而且，重删是在Cache之后进行。

A9000/A9000R还有一个巨大的改变是写Cache采用三副本的方式，正常情况Cache保存在三个网格控制器，因此可以容忍同时坏2个控制器的情况出现（由于A9000只有3个控制器，因此如果坏2个，系统会自动关机）。

所有的主机写数据被分割为8KB的数据块（这个粒度和XtremIO最新的版本一样，但XtremIO最初用的是4KB），第一步先做模式匹配，然后第二步是重删，然后才是压缩。这个模式匹配指系统预先指定的某些数据类型，在IBM的红皮书里并没有进一步的描述。西瓜哥猜想，应该是一些常见的格式，如全0，全1,全10，全01式的填充。这些格式是程序常用的，如格式化，初始化等。第一步先进行模式匹配，由于元数据少，速度应该是极快的。

重删的数据在cache里采用segment内存结构进行顺序保存，segment内包含数据，也包含指针。数据和指针混在一起，有时序特性，据说这样查找的速度更快。

虽然A9000采用8KB固定块重删，但支持4KB对齐。也就是其Hash是以4KB粒度进行的。

这样会提高重删率，特别是在VDI场景下。IBM提供的数据显示，VDI场景，其重删高达25:1。

重删完成后就是压缩了。压缩的算法是gzip，采用硬件加速。我们把这三个数据缩减流程汇总一下，就是下图。大家注意，一个数据块只要前面匹配成功，后面的流程就不再进行了。

IBM的红皮书并没有说重删是否是无损的，也就是发生指纹匹配是否还要进行bit to bit的检验。

从红皮书里面也没有看到数据缩减是可以关闭，也就是和XtremIO一样，是Always on的方式。IBM说，A9000可以做到250us的时延。

A9000为了保证低时延，数据写到Cache时并没有进行缩减。而是事后在Cache里进行数据的缩减的工作，缩减完成后再回写Cache。这个机制虽然时延较好（I/O负载比较轻的时候），但内存的利用率显然不高，需要专门的空间进行重删压缩，而且重删压缩是异步的，I/O量大的时候不一定处理得过来。不过，IBM的红皮书说90%的cache容量都留给读写I/O，而数据缩减只占用10%的cache空间。

A9000/A9000R的数据在Cache里面做完数据缩减后，最后落盘到闪存框里。我们知道XIV的数据切片是1M分区大小，采用两副本的方式。但A9000/A9000R采用的数据切片是16MB分区大小，但没有再做两副本冗余，而是直接分散到各个闪存柜里。因为闪存柜就是一台FlashSystem 900，里面已经采用IBM的二维RAID进行了数据保护，和XIV不同。不过，A9000只有一个闪存柜，因此物理上也谈不上打散了。但西瓜哥猜想16MB的切片应该是随机归属到三个网格控制器的，因此，从主机视角来看，这些数据切片是随机打散到三个网格控制器上的。

最后，我们看一下A9000的规格。IBM的压缩宣传是2:1，加上这次多了一个重删特性，宣传整体的数据缩减率是5:1，和业界厂商宣传的指标基本一样。不过，我们看到其整机的最大有效容量只有1200TB，IBM说这是设计限制。这个有点像EMC VMAX3，其最大可用容量是固定的4PB，因为元数据都在内存里，内存的容量规格决定了这个值，而不是支持的磁盘数量。A9000估计也是类似情况。

介绍完A9000/A9000R，西瓜哥最后来点评一下IBM的新产品。

先说优点：

1、补上重删特性，闪存效率进一步提升，在关键特性上和业界主流AFA对齐；

2、继承了XIV的丰富特性，特别是对云环境的支持更加完善；

3、虽然时延从FlashSystem 900的100us增加到250us，但任然是主流AFA里面最低时延的产品之一；

4、Cache采用三副本的方式，可以支持同时故障两个控制器，可用性进一步提高。这个特点也是区别于市场其他产品的最大特点之一。

4、A9000三控直连，可靠性高，而且省去了2台IB交换机，性价比突出。

再看不足：

1、A9000不能扩展，而A9000R虽然能够扩展，但是以网格元素为单位，灵活性不足；

2、重删压缩采取异步方式，内存管理复杂，Cache的使用效率不高。加上写Cache采用三副本方式，Cache使用率进一步下降；

3、相比V9000，少了异构虚拟化，也不支持双活。

不管怎样，A9000/A9000R补齐了重删特性，3控起步，加上XIV强大的云环境支持能力，还是大大增强了FlashSystem的竞争力。A9000R也可以理解为XIV的全闪存版本，这样也可以认为是全闪存的高端存储了。而DS8888只支持大型机，开放环境的高端场景应该就是由A9000R来承担了。由于A9000不支持SVC那样的异构虚拟化和双活，因此V9000产品IBM估计还是会保留，满足市场的不同需求，而不是一个替代的关系。但大多数场景，A9000应该是主推的形态，只有A9000无法满足的场景，V9000才会被考虑。

总结一下，西瓜哥画了一个图来总结一下IBM的4款全闪存阵列的定位。

好了，今天就这来。今天的分享，仅代表西瓜哥个人的理解，错误之处，请IBMer在评论里指出，谢谢。

祝福高端存储知识的读者5.1劳动节快乐！

推荐阅读：河工网

（正文已结束）