NVMe over Fabrics: FC-NVMe, NVMe/TCP, NVMe/RoCE y su óptica · Sistemas de almacenamiento · Tecnologías · Documentación · CodingBox
CodingBox Documentación

NVMe over Fabrics: FC-NVMe, NVMe/TCP, NVMe/RoCE y su óptica

NVMe sustituyó a SCSI dentro del servidor porque la memoria flash es lo bastante rápida para exponer la sobrecarga del protocolo; NVMe over Fabrics (NVMe-oF) transporta el mismo conjunto de comandos a través de una red para que el almacenamiento compartido pueda seguirle el ritmo. Se ejecuta sobre tres transportes que corresponden a tres tipos de red — y por tanto a tres tipos de óptica y tres conjuntos de reglas de capa física. Esta página los compara y explica qué exige cada uno de los enlaces.

Por qué NVMe-oF

AspectoEra SCSI (FCP, iSCSI)NVMe-oF
Colas de comandosuna cola, ~32–256 comandoshasta 64 k colas × 64 k comandos; paralelo por diseño
Sobrecarga de protocolo por E/Sdecenas de µs de tiempo de CPUunos pocos µs; los transportes RDMA evitan la CPU
Latencia añadida por la fabric100–200 µs típico10–30 µs (RDMA/FC), 30–80 µs (TCP)
Mejor paraHDD y arrays flash tempranosall-flash, almacenamiento desagregado, pipelines de datos de GPU

Los transportes

TransporteRed¿Sin pérdidas?LatenciaNotas
FC-NVMe (FC-NVMe-2)Fibre Channel 16/32/64GFCsí, por créditosmuy bajase ejecuta junto al SCSI FCP en la misma fabric y los mismos SFP; zoning y name server sin cambios (Fundamentos de protocolo de FC)
NVMe/RoCE v2Ethernet 25/100/200/400G con NIC RDMArequiere PFC/ECN (DCQCN)muy bajaverbs RDMA sobre UDP/IP; necesita configuración sin pérdidas de extremo a extremo (Ethernet sin pérdidas)
NVMe/TCPcualquier Ethernet/IPno — TCP gestiona la pérdidabaja–mediasin NIC ni funciones de switch especiales; enrutable; la opción de volumen para empresa
NVMe/IBInfiniBandsí, por créditosmuy bajaalmacenamiento HPC/IA (InfiniBand)

Los cuatro comparten la arquitectura NVMe-oF: un controlador de descubrimiento indica a los hosts qué subsistemas existen; los hosts conectan colas a controladores de E/S; ANA (asymmetric namespace access) gestiona el multipath.

Qué exige cada uno de la capa física

TransporteRequisito de enlaceÓptica
FC-NVMeenlaces FC limpios — CRC/ITW cerca de cero, créditos no agotadosSFP FC 16/32/64GFC, validados por el fabricante (Óptica de FC)
NVMe/RoCEcero pérdidas: FEC activo, PFC en la clase RoCE, sin errores de CRC (cada frame perdido bloquea la cola RDMA con retransmisión go-back-N)SFP28 de 25G / QSFP28 de 100G / 400G; DAC dentro del rack, SR/AOC dentro de la fila, LR/DR entre salas; FEC según el PMD
NVMe/TCPordinario; la pérdida cuesta latencia, no correccióncualquier óptica Ethernet
NVMe/IBcomo en las fabrics InfiniBandcables y óptica IB (Cableado de IB)

RoCE es el sensible: un enlace con una potencia Rx al límite o un conector sucio produce errores de CRC que TCP absorbería en silencio, pero que bloquean las colas RDMA de forma visible. Los picos de latencia de almacenamiento que siguen a los contadores de error de un puerto son la señal (Potencia Rx y presupuesto de enlace, Métricas de VDM y FEC).

Cómo elegir

SituaciónTransporte razonable
SAN FC existente, arrays all-flashFC-NVMe — misma fabric, misma óptica, se habilita por target
Almacenamiento Ethernet de nueva planta, fabricantes mixtos, enrutamiento entre sedesNVMe/TCP
Crítico en latencia, Ethernet de un solo fabricante, experiencia interna en sin pérdidasNVMe/RoCE
Clúster HPC/IA con fabric IBNVMe/IB o sistemas de archivos paralelos sobre IB
Clústeres de GPU con scale-out EthernetNVMe/RoCE o NVMe/TCP en una red de almacenamiento separada (Fabrics de GPU)

Notas operativas

  • Redes separadas para almacenamiento y cómputo cuando sea posible — o al menos clases de tráfico separadas; RoCE necesita su propia clase sin pérdidas.
  • MTU: 9000 en los transportes Ethernet; coherente de extremo a extremo.
  • Multipath: dos fabrics o dos VLAN/leaves; iniciadores compatibles con ANA.
  • Monitorización: contadores de CRC/FEC y de pausa por puerto, además de tendencias de DDM — una óptica que se degrada se manifiesta como latencia de cola mucho antes de fallar (Monitorización).
  • Firmware: las matrices de compatibilidad de firmware de NIC/HBA y del array importan tanto como la compatibilidad de la óptica (Óptica en la SAN).

En CodingBox

La óptica de una fabric NVMe-oF son módulos FC, Ethernet o IB ordinarios; la diferencia es cuán poco error tolera el transporte. Leer la identidad y el DDM de referencia en el banco antes de la instalación (Check transceiver, DDM) y codificar identidades que acepten los fabricantes del array y del switch (Bloqueo de fabricante) son las partes del trabajo que tocan al programador.

Los adaptadores sobre los que se ejecutan estas fabrics — NIC de 100G/200G, sus jaulas, límites de PCIe y políticas de módulo: NIC con puertos ópticos.


Si encuentra una inexactitud o un error en este material, seleccione el fragmento correspondiente y pulse Ctrl+Enter para .