Fundamentos de la fábrica InfiniBand

Un fabric InfiniBand se comporta de forma distinta a una red Ethernet en aspectos que importan al diagnosticar un enlace. Esta página cubre los conceptos que encuentra un ingeniero de óptica: el subnet manager, el control de flujo sin pérdidas, las topologías y cómo se manifiesta un enlace defectuoso.

El subnet manager

Cada subred IB tiene un único Subnet Manager (SM) activo. Descubre todos los puertos y switches, asigna identificadores locales (LID), calcula las tablas de reenvío y las programa en cada switch. Cuando un enlace flapea, el SM vuelve a barrer el fabric — así que una óptica marginal no solo pierde un enlace, sino que dispara eventos de reenrutamiento en todo el fabric que todos notan.

Sin pérdidas mediante créditos

Los enlaces IB nunca descartan paquetes en operación normal: un emisor transmite solo cuando el receptor ha anunciado créditos de búfer. Por tanto, la congestión aplica contrapresión en lugar de descartar, y un enlace degradado (errores de símbolo en aumento, correcciones FEC) ralentiza todo el trabajo que depende de él — el problema del "un enlace lento" en las operaciones colectivas.

Topologías

Fat-tree (Clos) — la estándar: los switches leaf conectan hosts, los switches spine conectan leaves, con suficientes enlaces ascendentes para no ser bloqueantes. La mayoría de los enlaces son óptica leaf-spine.
Las variantes Dragonfly+ y toro aparecen en los sistemas más grandes para ahorrar switches y cables.
Los diseños optimizados por rail para IA colocan la NIC de cada GPU en un "rail" separado del fabric, de modo que las GPU con el mismo rango entre servidores estén a un salto de distancia — véase Topologías de fabric de GPU.

RDMA y GPUDirect

Las aplicaciones usan verbos RDMA para mover datos entre memorias de nodos sin copias de CPU; GPUDirect RDMA extiende esto a la memoria de GPU. El resultado es que un fallo de fabric es visible para las aplicaciones como un bloqueo o un timeout en una operación colectiva, a menudo mucho antes de que un operador vea un puerto caído.

Cómo se ve un enlace defectuoso

Síntoma en el fabric	Causa de capa física que revisar
Errores de símbolo en aumento / bloques corregidos por FEC en un puerto	MPO sucio, potencia Rx marginal, carril degradándose
Enlace atascado en un ancho o velocidad menor	desajuste de FEC, el módulo no anuncia la tasa esperada
Puerto "Not supported", sin enlace	identidad de módulo no reconocida — bloqueo de fabricante
Barridos repetidos del SM	un enlace flapeando en algún punto — encuéntrelo por los contadores de error por puerto

Siga la escalera de diagnóstico habitual: niveles → limpiar → cambiar → cable.

En CodingBox

Lea un módulo IB sospechoso en el banco: Rx/Tx y bias por carril en la pantalla DDM muestran si un carril de un módulo SR4/DR4 está muriendo, y los campos de identidad muestran si el fabric aceptará un reemplazo.

Las capas del protocolo, los queue pairs y las funciones del subnet manager en detalle: Protocolo y transporte IB; cablear el fabric por generación y alcance: Cableado IB.

Si encuentra una inexactitud o un error en este material, seleccione el fragmento correspondiente y pulse Ctrl+Enter para .