Visión general de redes para IA

Entrenar grandes modelos de IA reparte el trabajo entre muchas GPU en muchos servidores. La red entre ellas —no una GPU concreta— es a menudo lo que determina la velocidad de entrenamiento de un clúster, por lo que los fabrics de IA se apoyan en los transceptores ópticos de mayor ancho de banda disponibles.

Por qué la red es crítica

• Operaciones colectivas — las GPU intercambian constantemente gradientes y parámetros en patrones todos-contra-todos, generando un tráfico este-oeste intenso.
• La latencia de cola importa — un paso espera al enlace más lento, así que una latencia baja y constante y una entrega sin pérdidas son esenciales.
• Escala — miles de GPU implican switches densos de alto radix y recuentos enormes de óptica.

Dos estilos de fabric

• InfiniBand — asentado desde hace tiempo en HPC, con RDMA y control de flujo sin pérdidas (vea InfiniBand).
• Ethernet con RoCE — RDMA sobre Ethernet convergente, cada vez más usado para IA a gran escala sobre Ethernet sin pérdidas.

Óptica

Los enlaces de IA son normalmente de 400G y 800G, sobre módulos QSFP-DD y OSFP. Las decisiones concretas de interconexión y óptica se cubren en Interconexiones de IA y óptica.

Se aplican los mismos factores de forma y la misma memoria gestionada — CodingBox lee estos módulos de alta velocidad como cualquier otro.

Para saber más

• Cableado de un clúster de IA — conteos de enlace por GPU, distancias en diseños optimizados por rail, mezcla DAC/AEC/AOC/DR, elección de conector, potencia de la óptica, QA de instalación.
• Fiabilidad del enlace y monitorización en fabrics de IA — por qué un enlace detiene un trabajo, aritmética de FIT, métricas predictivas, arquitectura de monitorización, aislamiento y prevención.