Cabeamento IB por geração: DAC, AOC, transceptores, cabos split
Um cluster de InfiniBand é cabeado por classe de alcance: cobre onde o switch está ao alcance do braço, cobre ativo um pouco mais longe, cabos ópticos ativos até a próxima fileira, transceptores com fibra estruturada para o restante. Cada geração moveu esses limites para dentro e mudou o conector, e o NDR acrescentou módulos de porta dupla e cabos divididos que confundem instaladores de primeira viagem. Esta página é a referência de cabeamento — alcances, conectores, configurações de divisão, regras mecânicas e de identidade.
Conectores por geração
| Geração | Taxa por lane | Porta 4x | Conector | Notas |
|---|---|---|---|---|
| SDR / DDR | 2,5 / 5 Gb/s | 10 / 20 Gb/s | CX4 (cobre), depois QSFP | legado |
| QDR | 10 Gb/s | 40 Gb/s | QSFP | gestão SFF-8436 |
| FDR | 14,06 Gb/s | 56 Gb/s | QSFP+ (classificado para FDR) | 64B/66B; FEC opcional |
| EDR | 25,78 Gb/s | 100 Gb/s | QSFP28 | mesma óptica do Ethernet de 100G, codificação diferente |
| HDR | 53,1 Gb/s PAM4 | 200 Gb/s | QSFP56 | splitters 1:2 para HDR100 |
| NDR | 106 Gb/s PAM4 | 400 Gb/s | OSFP de porta dupla (2 × 400G por módulo) em switches; OSFP ou QSFP112 em HCAs | 800G por gaiola (cage) de switch |
| XDR | 212 Gb/s PAM4 | 800 Gb/s | OSFP / OSFP-XD | 1,6T por gaiola (cage) de switch |
Detalhes de fator de forma: QSFP28, QSFP56, OSFP, QSFP112.
Classes de alcance
| Meio | QDR | FDR | EDR | HDR | NDR | Notas |
|---|---|---|---|---|---|---|
| DAC passivo | ≤ 7 m | ≤ 3–5 m | ≤ 3 m | ≤ 2 m | ≤ 1,5–2 m | o alcance encolhe a cada geração; bitola mais grossa para percursos mais longos |
| Cobre ativo (ACC/AEC) | — | ≤ 5 m | ≤ 5 m | ≤ 3–4 m | ≤ 3 m | plugues alimentados; AEC com retimers para NDR |
| AOC | ≤ 100 m (alguns 300) | ≤ 100 m | ≤ 100 m | ≤ 100 m | ≤ 30–50 m típico | VCSEL de 850 nm, ribbon MMF por dentro |
| Transceptor classe SR (MMF) | ≤ 300 m | ≤ 100–150 m | ≤ 70–100 m | ≤ 70–100 m | ≤ 50 m (VR) / 100 m (SR) | OM3/OM4, MPO |
| Transceptor classe DR/FR (SMF) | — | — | 500 m – 2 km (PSM4, CWDM4) | 500 m – 2 km | 500 m (DR4) / 2 km (FR4) | MPO-12 APC (DR4), LC duplex (FR4) |
O que há dentro de cada tipo de cabo: Interior dos cabos.
Cabos NDR de porta dupla e divididos
Uma gaiola (cage) de switch NDR abriga um módulo OSFP de porta dupla = duas portas independentes de 400G atrás de dois receptáculos MPO-12/APC (ou dois LC duplex). Opções de cabeamento a partir de um módulo:
| Configuração | Cabo | Ponta remota |
|---|---|---|
| 2 × 400G direto | dois troncos MPO-12 APC | duas portas de HCA NDR de 400G (OSFP ou QSFP112) ou outro switch |
| Divisão 1:2 (800G → 2 × 400G) | cabo Y, uma ponta OSFP, duas pontas OSFP/QSFP112 | duas HCAs — a conexão de servidor padrão |
| Divisão 1:4 (800G → 4 × 200G) | uma ponta OSFP, quatro pontas QSFP56/QSFP112 | HCAs em velocidade HDR (NDR200) |
| AOC de porta dupla | uma ponta OSFP de porta dupla, duas pontas OSFP/QSFP112 | até ~30–50 m |
| DAC de porta dupla | uma ponta OSFP, duas pontas | ≤ 1,5–2 m; pesado — somente dentro do rack |
Cada perna da divisão é um enlace separado com sua própria negociação; o switch enxerga duas (ou quatro) portas. A codificação de identidade precisa descrever o conjunto inteiro de forma consistente em cada ponta (Interior dos cabos).
OSFP com aletas vs. plano
- OSFP com aletas no topo — dissipador de calor integrado para gaiolas (cage) de switch com fluxo de ar aberto acima do módulo. Não encaixa em uma gaiola (cage) plana.
- OSFP com topo plano — para HCAs e gaiolas (cage) com um dissipador de calor avulso. Encaixa em qualquer uma das gaiolas (cage), mas em uma gaiola (cage) de switch aberta pode esquentar demais.
- O QSFP112 em HCAs compartilha a interface elétrica do NDR a 4 × 106 Gb/s em um footprint de QSFP; uma porta de HCA QSFP112 combina com um cabo dividido a partir de um switch OSFP.
Consequências térmicas: Potência e térmica.
Regras mecânicas
| Regra | Por quê |
|---|---|
| Respeite o raio de curvatura (DAC ≥ 10× o diâmetro; AOC/fibra ≥ 30 mm) | twinax esmagado → erros de lane; fibra dobrada → perda de Rx |
| Sustente o peso do cabo — DACs de porta dupla são pesados | traciona a gaiola (cage), contato intermitente, placas paddle rachadas |
| Com pino/sem pino e APC em cada MPO | Breakout e cabeamento MPO |
| Limpe e inspecione cada MPO antes da inserção | uma partícula custa 1–3 dB a uma lane |
| Mantenha as tampas antipoeira em gaiolas (cage) e conectores não usados | contaminação é a principal causa de falhas de lane |
| Direcione o cabo para longe de exaustão quente | os motores ópticos dos AOCs e os plugues dos AECs envelhecem com a temperatura |
Identidade e política do fabricante
Switches e HCAs de InfiniBand do fabricante dominante validam cabos e transceptores contra uma lista de compatibilidade e leem suas informações de cabo (fabricante, PN, SN, comprimento, tecnologia) para dentro do fabric manager. Um cabo não validado pode estabelecer enlace em velocidade reduzida ou ser sinalizado; um cabo codificado com o comprimento ou a classe de taxa errados pode falhar na negociação. Os bytes de identidade são os campos padrão do SFF-8636/CMIS, mais as declarações de taxa do InfiniBand (Códigos de compatibilidade, Bloqueio do fabricante).
Prática de inventário
- Etiquete as duas pontas com o enlace (switch/porta ↔ host/porta); cabos divididos precisam de etiquetas por perna.
- Registre fabricante, PN, SN e comprimento por cabo no fabric manager ou no CMDB; extraia os dados do
mlxcablesou do CodingBox na inspeção de entrada. - Mantenha sobressalentes por classe de alcance e conector; as variantes de porta dupla e divididas do NDR não são intercambiáveis com 400G simples.
- Faça burn-in da óptica nova antes da implantação (Confiabilidade e monitoramento de enlace).
No CodingBox
Pontas de cabo e transceptores são lidos como qualquer módulo: identidade com comprimento do cabo, tecnologia e classe de taxa, DDM por lane para AOC e óptica, estado CMIS para módulos NDR (Check transceiver, DDM). Ler cada perna de um cabo dividido antes da instalação detecta a ponta incompatível que, de outra forma, estabeleceria enlace na velocidade errada.
Como HCAs e drivers de NIC validam esses cabos, e as ferramentas que mostram o resultado a partir do host: Compatibilidade de transceptores em NICs, Ferramentas e diagnóstico de NIC.