English 
简体中文 
繁體中文 
Русский 
Español 
Deutsch 
Français 
Português 
Italiano 
Türkçe 
Polski 
Nederlands 
日本語 
한국어 
Bahasa Indonesia 
Bahasa Melayu 
العربية 
हिन्दी 
Tiếng Việt 
ภาษาไทย 
বাংলা 
اردو 
Kiswahili 
Oʻzbekcha 
አማርኛ 
فارسی Cableado de un clúster de IA: cantidades, distancias, medio, control de calidad
Un clúster de GPU es sobre todo cableado. Ocho GPU en un nodo suponen ocho enlaces scale-out de 400G (u 800G) más gestión y almacenamiento; mil GPU suponen miles de extremos ópticos repartidos en dos o tres niveles de switch, cada uno un posible punto de interrupción del entrenamiento. Esta página convierte los diseños de fabric de Fabrics de GPU en conteos de cable, clases de alcance, elección de conector y una lista de comprobación de instalación.
Contar enlaces
Para un nodo típico de 8 GPU con una NIC de 400G por GPU, fabric de dos niveles optimizado por rail:
| Elemento | Fórmula | 1 024 GPU (128 nodos) |
|---|---|---|
| Enlaces GPU-a-leaf | GPU × 1 | 1 024 × 400G |
| Enlaces leaf-a-spine (sin bloqueo) | = GPU-a-leaf | 1 024 × 400G |
| Extremos ópticos/de cable (dos por enlace) | enlaces × 2 | 4 096 |
| NIC de almacenamiento + gestión | 2–4 por nodo | 256–512 enlaces más |
| Óptica de repuesto (3–5 %) | — | 150–250 |
Con módulos de switch de doble puerto NDR (2 × 400G por OSFP) el conteo en el lado del switch se reduce a la mitad en módulos, pero no en fibras. Los diseños de tres niveles añaden otros 1 024 enlaces spine-a-core por cada 1 024 GPU. Cada uno de estos extremos es un transceptor o un conector de cable con una identidad y un DDM (Fiabilidad del enlace y monitorización).
Distancias en un diseño optimizado por rail
| Segmento | Distancia típica | Medio |
|---|---|---|
| NIC de GPU → leaf, mismo rack | ≤ 2 m | DAC pasivo (400G ≤ 2 m; 800G ≤ 1–1,5 m) — el más barato, cero potencia, pesado |
| NIC de GPU → leaf, racks adyacentes (los grupos de rail abarcan una fila) | 3–10 m | AEC (≤ 3–5 m) o AOC / transceptores SR sobre MMF |
| Leaf → spine, misma sala | 10–100 m | AOC hasta ~50–100 m; SR4/SR8 / VR sobre OM4 ≤ 50–100 m; DR4/DR8 sobre SMF 500 m — DR se impone a 400G y superiores |
| Spine → core / entre salas | 100 m – 2 km | DR4 / FR4 / 2×FR4 monomodo |
| DCI entre edificios | 2–80 km | LR4, ZR/ZR+ (Coherente y larga distancia) |
El cableado optimizado por rail coloca la GPU i de cada nodo en el leaf i, de modo que los ocho cables de un nodo se reparten hacia ocho leaves distintos — la mayoría de los enlaces GPU-a-leaf salen del rack, y la proporción de DAC es menor que en los diseños ToR clásicos. Detalles: Interior de los cables.
Elección de conector y fibra
| Óptica | Conector | Fibra | Notas |
|---|---|---|---|
| 400G DR4 / 800G DR8 | MPO-12 APC / MPO-16 APC (o 2 × MPO-12) | SMF, Base-8/Base-16 | APC en todo el tramo monomodo paralelo; módulos pinned, latiguillos unpinned |
| 400G/800G SR8 / VR8 | MPO-16 UPC | OM4/OM5 | 50–100 m; óptica más barata, fibra más cara por metro |
| 400G FR4 / 2×FR4 | LC dúplex / 2 × LC | SMF | menos fibras, WDM dentro del módulo |
| OSFP de doble puerto NDR | 2 × MPO-12 APC | SMF | dos puertos lógicos por módulo; cables split 1:2 / 1:4 (Cableado IB) |
| DAC / AEC | ninguno | twinax | identidad en ambos extremos |
Método de polaridad B de extremo a extremo en troncales MPO; troncales Base-8 para óptica de 4 carriles (Breakout y cableado MPO).
Potencia y calor de la óptica por sí sola
| Óptica | Potencia | Por switch de 64 puertos |
|---|---|---|
| 400G DR4 QSFP-DD | 8–12 W | 0,5–0,8 kW |
| 800G DR8 / 2×FR4 OSFP | 14–18 W | 0,9–1,2 kW |
| Extremo AOC 400G | 3–5 W | — |
| Extremo AEC 800G | 4–6 W | — |
| DAC | 0 | — |
Los frentes de los switches necesitan por tanto un flujo de aire de adelante hacia atrás sin obstrucciones; OSFP con aletas en switches, top plano en NIC; los haces de cable no deben bloquear la admisión de aire (Potencia y térmica, Temperatura y voltaje). La óptica lineal (LPO) reduce la potencia del módulo aproximadamente a la mitad donde el host la soporta (Modulación y DSP).
Lista de comprobación de instalación y QA
- Inspección de entrada de cada extremo óptico y de cable: identidad, sumas de comprobación, DDM activo, línea base guardada (Fabricación y pruebas).
- Rodaje (burn-in) de la óptica nueva durante 24–72 h a temperatura de operación antes del despliegue.
- Inspeccionar y limpiar cada MPO (puntas de scope APC para APC) durante la instalación; nunca acoplar un conector sin inspeccionar.
- Etiquetar ambos extremos: nodo/GPU/NIC ↔ leaf/puerto; cables split por rama.
- Radio de curvatura y gestión de peso — bandejas y haces para DAC/AEC, bucles de servicio para fibra.
- Verificación de puesta en marcha: cada enlace a velocidad y ancho completos, FEC activado, Rx por carril dentro de 2 dB de sus vecinos, BER pre-FEC < 10⁻⁷ en reposo (Métricas VDM y FEC).
- Registrar el DDM por carril y las identidades en el gestor de fabric / CMDB como línea base.
- Repuestos por clase de medio y conector; mantenerlos rodados (burned-in).
Fallos de instalación habituales
| Fallo | Firma |
|---|---|
| Latiguillo UPC en DR4 APC | todos los carriles bajos entre 3 y 10 dB, en ambos extremos |
| Troncal con polaridad incorrecta | todos los carriles apagados |
| MPO sucio | uno o dos carriles bajos; BER pre-FEC alto en esos carriles |
| DAC demasiado largo para el host | enlace a velocidad reducida o intermitente |
| Rama de cable split intercambiada | los puertos enlazan con los pares equivocados; discrepancia de topología en el gestor de fabric |
| OSFP con aletas en jaula plana (o viceversa) | no asienta / se sobrecalienta |
En CodingBox
La inspección de entrada a esta escala es un flujo de trabajo, no un muestreo puntual: CodingBox lee cada módulo o extremo de cable, verifica identidad y sumas de comprobación, registra el DDM por carril en vivo como línea base y lo guarda junto al número de serie en la base de datos de códigos, de modo que un módulo retirado más tarde de un puerto intermitente pueda compararse con su estado del primer día.