转：http://stor-age.zdnet.com.cn/stor-age/2006/0523/398715.shtml 

SAS Expander之边缘扩展器

SAS在SATA的串行点对点架构的基础上，通过引入相当于网络中交换机和路由器的Expander（扩展器），从而能够形成一个先进的交换式拓扑架构，伸缩性和灵活性远远超出并行SCSI及FC-AL（光纤通道仲裁环路）。如果要构建一个基于SAS技术的磁盘阵列或更大型的存储系统，Expander必不可少。

与SAS控制芯片、HBA和硬盘驱动器相比，SAS Expander IC虽然端口数量较多，但对外的连接比较简单——需要考虑的标准只有SAS一种。这样带来的好处是可以减少在互操作性上投入的精力，缩短产品开发周期。看看4GFC，交换机推出的时间明显早于其他设备就是类似的原因使然。

SAS扩展器（红圈中的VSC7154）与控制芯片（VSC7250）的关系示意图

不过，SAS Expander毕竟是一种全新的设备。一方面，产品设计没有先例可循，摸索前进在所难免；另一方面，由于SAS Expander具有交换机的性质，吸引了PMC Sierra和Vitesse等具有网络交换机IC开发经验的厂商加入进来，并压倒LSI Logic成为主导力量。

SAS Expander的SAS端口不仅要连接硬盘驱动器等端设备，还要连接主机端设备，因此其数量通常不是2的幂次方（2、4、8、16……），而经常是3的整数倍，例如6、12、18、24、36等。这些端口一般都能自动检测并协商1.5Gbps或3.0Gbps的连接速率，以及支持配置为一个宽端口（x2或x4）。

简单的扩展器应用模型

目前市场上SAS Expaner的提供者主要是LSI Logic、PMC Sierra和Vitesse，各自有4款、6款和9款产品，下面我们将按照端口数量和类型的不同分组介绍。

6端口SAS Expander

PMC Sierra和Vitesse各有一款6端口SAS Expander：

• PM8381 SXP 6x3G是144管脚TQFP封装的20×20mm芯片，具有
  • 可任意分配给主机或目标的6个端口，支持主机到目标（host-target）、主机到主机和目标到目标的连接；
  • 连接主机端的Phy（可理解为单宽度的端口）可组成一个具有通用SAS地址的宽端口；
  • 支持STP，自动检测SATA或SAS硬盘驱动器，容忍扩展时钟频谱（Spread Spectrum Clocking，SSC）降低电磁干扰；
  • 允许SMP访问寄存器。
• VSC7149同样采用144管脚TQFP封装，具有
  • 6个独立的自配置端口，支持任意Phy之间的连接；
  • 通过内部的STP/SATA桥接功能支持SATA驱动器；
  • 支持SMP命令/协议，内嵌用于本地控制和SMP功能的32位RISC CPU（盘柜管理处理器，EMP）。

作为最低端的产品，6端口SAS Expander的多数端口直接连接SAS或SATA硬盘驱动器，其余的端口连接HBA或较为复杂的Fan-out（输出）Expander，其主要应用环境包括企业级服务器存储、内部服务器存储背板、高端桌面或工作站系统、具备外部盘柜支持的DAS、JBOD、低端NAS/SAN系统、磁盘备份/近线/固定内容存储系统等。

12端口SAS Expander

对Expander 而言，12端口比6端口具有更广的适用范围，LSI Logic和Vitesse各有两款产品，PMC Sierra也有一款：

• LSISASx12和LSISASx12A都采用472管脚EPBGA封装，属于带路由表的Edge Expander（边缘扩展器），具有
  • 12个完全独立的SAS或SATA端口；
  • 支持SSP目标和发起者（Target and Initiator）、STP目标和发起者、SMP目标和SATA协议；
  • 能控制SAS/SATA硬盘驱动器旋转启动的顺序，并具备诊断能力。
  • 两者的区别是LSISASx12支持3.0Gbps SAS和1.5Gbps SATA连接，而LSISASx12A支持的SAS和SATA连接均能达到3.0Gbps，并提供了增强的SGPIO支持。由于管脚兼容，原来采用LSISASx12的系统可以升级到LSISASx12A。
• PM8383 SXP 12x3G是228管脚CSBGA封装的23×23mm芯片，采用
  • 任意Phy到任意Phy的交换架构，主机和目标端口均可以配置为宽端口，能支持多个主机连接；
  • 支持STP，嵌入式虚拟SSP端口能够通过SAS网络传送和接收SCSI和SAF-TE命令；
  • 支持SMP链路、端口和应用层，并提供对内部寄存器的访问；
  • 自动检测SATA或SAS硬盘驱动器，提供旋转启动控制，能接受来自SATA硬盘驱动器的SSC。
• VSC7150的各项功能与VSC7149基本相同，只是端口数增加到12个并采用208管脚TQFP封装。VSC7160将内部无阻塞cross-bar矩阵提供的活动端口扩展连接Phy从6个提高至12个，有利于改善性能。VSC7160在Adaptec SANbloc S50 SAS/SATA JBOD中得到了应用。

12端口SAS Expander的主要应用环境涵盖了6端口产品所涉及的范围，还包括RAID存储盘柜。顺便提一句，Vitesse还有一款10端口的SAS Expander芯片VSC7161 

SAS Expander之输出扩展器

SAS的Expander分为两种，即输出扩展器（Fan-out Expander）和边缘扩展器（Edge Expander）：一个SAS域只能有一个输出扩展器，它可以随意连接边缘扩展器；一个边缘扩展器只能连接到一个输出扩展器上（前者将后者当作主机），而在没有输出扩展器的情况下最多仅允许两个边缘扩展器互连；在不超过Phy数目上限的前提下，扩展器可以随意连接发起者/目标设备。如果将边缘扩展器比作以太网或FC SAN中的交换机，那么输出扩展器就是以太网中的路由器或FC SAN中的导向器。

端口数量较少（12个及以下）的Expander通常都属于边缘扩展器，而18个端口以上的Expander则可以配置为输出扩展器，如下面的这几款产品：

• 24端口的PM8388 SXP 24x3G（见上图）和36端口的PM8387 SXP 36x3G均为352管脚CSBGA封装的27×27mm芯片，支持1024个条目的表路由、直接路由和减法路由，
  • 集成无阻塞Cross-bar交换机，允许任意端口到任意端口的连接，可随意配置SAS宽端口；
  • STP桥接功能允许SAS或SATA目标设备挂接到任意端口，接受来自SATA硬盘驱动器的SSC；
  • 集成用于SAS SMP功能和SES支持的RISC处理器。可以认为，两者实际上是同一个东西。
• 24端口的VSC7153、36端口的VSC7154（见下图）和18端口VSC7155，分别采用486管脚31×31mm TSBGA、564管脚35×35mm TSBGA和448管脚23×23mm TEPBGA2封装，均可配置为SAS输出或边缘扩展器。三者均采用
  • 无阻塞交换架构，允许任意Phy到任意Phy的连接，支持宽端口；
  • 嵌入式32位RISC盘柜管理处理器用于本地控制和SES功能。

这些高端口数的扩展器既可以直接连接主机端（HBA）和目标设备（如硬盘驱动器），也可以连接边缘扩展器，其应用范围包括SAS/SATA存储盘柜和SAS输出扩展器。

具分区功能的高端口数Expander

大型的网络都要有针对安全性的措施，例如FC SAN的分区（Zoning）和以太网的VLAN。具有较多端口数的SAS Expander，尤其是在充当输出扩展器的角色而连接有多个边缘扩展器的时候，也要面临同样的考验。于是，在PMC Sierra等厂商的倡议下，负责制订SAS标准的INCITS T10技术委员会把SAS分区（SAS zoning）的提案加入到SAS-2规范的制订中。

简而言之，SAS的分区功能就是指定某些SAS存储设备只能被某些主机所访问，以保证数据的安全性。要做到这点，就需要支持SAS分区功能的扩展器，目前LSI Logic、PMC Sierra和Vitesse都推出了这样的产品：

• 28端口的LSISASx28和36端口的LSISASx36均为672管脚FPBGA封装的27×27mm芯片，采用
  • 基于Phy的分区以保证系统安全。支持SSP、SMP以及STP目标和发起者，当然还有SATA协议；
  • 提供多达1024个SAS地址，通过Crossbar模块提供低延迟连接路由以有效地创建和维护连接；
  • 支持宽和窄端口配置，允许重用路由表资源跨越所有Phy组成一个宽端口，允许任意数量的Phy用于宽端口支持；
  • 能依据每个Phy配置SATA/SAS硬盘驱动器旋转启动顺序；集成的ARM处理器用于SEP功能、驱动器管理和扩展的SAS SMP功能；
  • 内部的8KB ROM可用于引导选项。
• 24端口的PM8399 SXP 24x3GSec和36端口的PM8398 SXP 36x3GSec均为352管脚CSBGA封装的27×27mm芯片，分别与PM8388 SXP 24x3G和PM8387 SXP 36x3G管脚和固件兼容，显见是升级版本。升级的主要内容自然是以“Sec”（安全）代表的分区功能，包括
  • 支持128个组或域（domain）；
  • 按Phy组分配的SMP；支持分区网络监管特权；
  • 对SAS发起者和目标透明；
  • 兼容老的SAS Expander。
• 24端口的VSC7156和36端口的VSC7157，分别采用484管脚31×31mm TBGA和564管脚35×35mm TBGA封装，同样可配置为SAS输出或边缘扩展器，应该是在VSC7153和VSC7154基础上增加了端到端分区功能的结果。

PM8398 SXP 36x3GSec的典型应用，互连和分区（下）都包括在内

具备分区功能的SAS Expander主要应用于刀片式服务器、企业服务器存储和外部网络连接（SAN/NAS）存储。

SAS交换机？

在4月初于美国圣地亚哥举行的2006年春季网络存储世界（SNW）大会上，LSI Logic公司展示了业内第一个“SAS交换机”（SAS switch）的原型。据称，该交换机允许基于SAS的服务器连接到多个SAS存储阵列上。

这个SAS交换机基于LSI Logic的芯片、固件和软件，具有9个x4 SAS端口，通过连接多个交换机，用户可以扩展SAS网络的规模。在分区的支持下，该SAS交换机允许配置多个存储域。在使用铜缆的情况下，该SAS交换机支持最长8米的连接距离，能够用于需要支持多达10台服务器连接到一台或多台SAS存储阵列的工作组或机架安装的服务器和存储环境。

很显然，有了前面的知识基础，我们可以断定这台SAS交换机的核心是一颗LSISASx36 Expander IC。Expander本来面向的是“in-box”（盒子内部）的SAS网络，配上外围电路、端口连接器和外壳之后就变成了外部的交换机应用，这充分体现了SAS的神奇和潜质。

通向系统之路

控制芯片、HBA、RAID、硬盘驱动器和Expander，是SAS生态系统的主要成员。但是，仅有这些还不能形成一个完整的生态系统。

端口连接器、背板和相应的磁盘柜，与上面的那些元素相结合，能够形成各种规模的存储系统。服务器市场固然重要，但只有在存储系统中得到广泛应用，才能说SAS的时代已经到来。

Adaptec Storage Enclosure 335SAS是一种最简单的SAS磁盘柜：4个3.5英寸硬盘槽位，带4个端口连接器的背板，一个x4内部连接器，一根SAS线缆就能搞定，连Expander都不用。类似的产品有很多，包括JMR、AIC等厂商的采用2.5英寸规格硬盘驱动器的4槽位产品（见下图），后者称之为HDD Canister，Canister用在这里比Enclosure要更为合适。

稍微大型一些的磁盘柜，例如2U的JBOD，除了硬盘槽位、背板、电源模块之外，还用上了Expander，譬如Adaptec SANbloc S50 JBOD。更复杂的具有RAID功能，即磁盘阵列，有的外部接口还是FC，即所谓FC-SAS存储系统，如Xyratex F5402E和Infortrend EonStor S12F-R/G1420；有的外部接口也已经是SAS，如戴尔（Dell）的PowerVault MD1000（见下图）。

另外，一些IP存储系统也开始采用SAS，例如Nimbus数据系统公司的Breeze MX4和10G统一IP存储系统就使用了LSI SAS HBA，能同时支持企业级15000RPM SAS硬盘驱动器和经济型高容量SATA硬盘驱动器。

上述存储系统和准系统，涉及的基本上都是高度在2U或3U以内的磁盘柜，能容纳的3.5英寸硬盘驱动器通常不会超过12个或16个，即便是AIC RSA2A2-SA（见下图）这样的使用2.5英寸SAS硬盘驱动器的2U存储设备，也才24个槽位，多用几颗12端口的Expander IC，还是可以搞定的。

中端存储系统就没有那么简单了，如果没有24或36端口的Expander IC，很难构建起一个高效的内部SAS网络。问题就在于这些高端口数的Expander IC还需要实践的检验，估计还要过上半年至一年左右才能比较成熟。但是急于更新产品线以应对竞争的EMC和Engenio可等不了，所以内部驱动器接口选择全FC或FC+SATA的方案也就在情理之中。

由于中端存储系统的产品更新周期一般在18～24个月之间，因自身的生态系统尚未完备而错过这一波的SAS，恐怕得到一两年之后才能在中端存储系统市场上开花结果了。

不过，与其仓促上马，冒着双输的风险，还不如充分利用时间，先获得EMC CLARiiON AX150、浪潮AS500等低端存储系统的后继者采用，逐渐站稳脚跟，在一年之后向中端存储系统发起冲击，力争一举拿下，建立起SAS帝国！

 

Expander與Port Multiplier

其實這邊會說到這個Expander以前，要先談談SATA-IO標準的一些設計-Port Multiplier．Port Multiplier用於透過一個SATA port去擴展更多的SATA port，以解決port不足導致無法連接更多Storage．下面是一張Port Multiplier的示範模型：

可以看到它是利用eSATA輸出到一個PM(Port Multiplier)裝置，透過這個device提供更多的port．基本上，根據SATA-IO組織對於Port Multiplier分為兩種模式：

1.Command-based switching
2.FIS–based switching

這兩種模式的技術所達成的傳輸方式有很大的差異性，先來講講Command-based switching模式的作法．Command-based switching是最高優先權傳輸的一種模式，當SATA HBA發送若干個I/O命令(Command)到數顆硬碟(HD Drive)時，此時，透過PM裝置只能有一顆硬碟被請求，對於其他硬碟的I/O命令請求只能等待，必須直到該I/O命令被完成，HBA才能對其他硬碟進行I/O命令的請求．因此，可以說這是一種效率極差的模式，該模式僅能用作存取少數的Storage．以下是為Command-based switching模式的基本模型圖：

 

在早期Port Multiplier技術發展出來的時候，這個模式是被常用的，尤其Intel的前即款ICHxR晶片，就是提供對這模式的支援．

FIS(Frame Information Structure)–based switching是Port Multiplier所提供的另一種傳輸模式 ．相較於Command-based switching模式，他有更好的傳輸性能，在多重I/O命令併發時，透過PM裝置不會在同時只能有一顆硬碟被存取，意味著，SATA HBA對數顆硬碟發送I/O命令請求時，透過PM裝置能同時傳送至該若干顆硬碟，所以，SATA HBA與PM裝置之間的頻寬能夠被好好有效利用，尤其對於有支援NCQ功能的裝置，更有其優勢．下面是FIS–based switching模式的示意圖：

除了Intel的ICH10R，小弟尚不確定有無支援FIS–based switching模式，其餘目前大多SATA HBA皆支持這個模式的實作．另外，早期3ware提出的StorSwitch架構，也是一種Port Multiplier的設計方式，只是其實作結構當然是不同！

而Expander則是SAS所推行的另一種Port Multiplier設計，其結構完全與SATA Port Multiplier不同，而且更具有優勢性．在業界中被廣泛採用，要說說Expander以前，還是先來談談SAS其中一個特性-wide port，這個特性足以與Expander之間提供足夠的頻寬，由於現階段一個wide port可以提供4條narrow links，並且彼此之間都是獨立的，這意味著，在SAS-2規範下，一個wide port-6Gbps x4=24Gbps=3GB/s x80%=2.4GB/s，便可以提供wide port與Expander之間骨幹頻寬，這與SATA的Port Multiplier相比，優勢性不言而喻了！因為SATA Port Multiplier只有300MB/s，就算是SATA 3.0版本下頂多600MB/s(也要找的到SATA 3.0的Port Multiplier，現階段下Silicon Image根本沒有SATA 3.0的Port Multiplier產品)，而且SATA的實體層部分是半雙工設計的，其效率要打折扣的！

在SAS協定中，Link Layer的SMP協定就是針對Expander這塊而規劃的．根據HP提供的一份文件-Serial Attached SCSI Architecture，Expander典型分成兩種設計：
1.Edge Expander

2.Fanout Expander

在講講這兩種Expander設計以前，我們來看一種可以說是極為少見的Expander設計-Internal Expander Add-on Card．之所以說她非常少見是因為根本沒幾家廠商在生產，這樣講好了，用五根手指頭就可以數出來了，就目前所見到的只有兩家：

1.Chenbro SAS Expander Add-in Card

下面為Chenbro的CK13601的Standard 36-port SAS Expander實體圖：

這張Internal Expander Add-on Card採用LSI的LSISASx36晶片，支援3Gb/s規格，整合ARM的處理器增強傳輸性能，可以看到的是她並不需要靠主機板上的Host Bus來供電，而是另外透過一個大4pins的12v電源接頭來供電，因此整線部分還得費些心思，尤其周邊都是HBA的情況下．紅色線框起來的部份便是Input Drive Connector，可以與RAID HBA的Host Connector與它連接，擴展更多的Drive Connector，提供大量的Storage存取．RAID HBA與Expander之間的骨幹頻寬為3Gb/s x4=12Gb/s=1.5GB/s x80%=1.2GB/s，對於這個36 ports的版本，1.2GB/s頻寬稍微有些不足！

SAS-2版本的Internal Expander Add-on Card，Chenbro哪那邊已經推出，採用的是新的LSI LSISAS2x36晶片，內置150MHz的ARM處理器，產品照片在官方網站並沒有上，不過可以很明白的講，就是把CK13601這款中間那顆晶片換成LSISAS2x36而已，其餘沒有變化．6Gb/s x4=24Gb/s=3GB/s x80%=2.4GB/s(RAID HBA也要支持6Gb/s規格)，RAID HBA與Expander之間的骨幹頻寬與之前SAS-1/1.1 Expander產品相比，由於6Gb/s規格，提高了兩倍，對於連接可以達到36顆硬碟來說，勉強算是足夠！

Chenbro的Internal Expander Add-on Card由於採用LSI晶片，所以與RAID HBA的最佳搭配是LSI的產品，這也是詢問過官方的建議，因此，要注意！要注意！

2.
HP原裝 SAS expander

https://h10057.www1.hp.com/ecomcat/h...visioner/99/46
8406-B21.htm
input 可為 1或2 4x SAS port 可接上 24  pcs HDD
24 Port HDD  最大共享 48 Gbps (4800 MB/s) 頻寬

SAS Expander Chip是PMC Sierra PM8005 .S

這張 SAS  raid card都是做phy 轉換,但是跟Raid 控制卡相容性很有關!

HP說這張卡只能給HP Server跟Raid card 用
實際上沒 只要可以偷到pci-e 電.這張卡就可以工作

Support Raid card:
3Gbps SAS

Areca 1680 series: YES (SES2 要關掉)
3ware 9690SA Series YES
Adaptec 5085: Yes (SATA 可能會被限1.5 Gbps)
Adaptec 5805: Yes* (SATA 可能會被限1.5 Gbps)

6 Gbps SAS
HP P212, P410, P410i, P411, P411i, P712: YES

升級Expander firmware 一定要用官方HP P410 Card