Portas de NIC, velocidades e largura de banda PCIe

O painel frontal de uma NIC promete “2 × 100G”; se o servidor consegue de fato mover 200 Gb/s depende do slot PCIe por trás da placa, e se um determinado módulo funciona depende das gaiolas (cage) e do mapa de lanes do controlador, exatamente como num switch, mas com menos portas e um barramento fácil de subdimensionar. Esta página lista as gaiolas (cage) e velocidades encontradas em NICs, as regras para portas de taxa dupla e cabos breakout, a aritmética do PCIe, o fator de forma OCP 3.0, e os limites de energia e refrigeração que importam para ópticas em placas.

Gaiolas (cage) e velocidades em NICs

As regras de compatibilidade de gaiola (cage) são as mesmas do switch (Tipos de porta e gaiolas (cage)).

Portas de taxa dupla e grupos de velocidade

• A maioria das NICs de 25G roda cada porta de forma independente em 10G ou 25G (sem agrupamento em quad), mas alguns controladores de porta dupla compartilham um grupo de SerDes e forçam a mesma velocidade nas duas portas.
• Placas de 100G costumam suportar módulos de 40G; placas de 200G/400G suportam módulos de 100G; descer mais de uma geração (1G num SFP28, 10G num QSFP56 via QSA) raramente é suportado.
• A velocidade costuma ser automática a partir dos códigos de conformidade do módulo; forçar (ethtool -s … speed) é necessário quando o módulo é de taxa dupla ou não reconhecido (Ferramentas).

Breakout em NICs

PCIe: a velocidade real da porta

O throughput utilizável é 85–90 % do bruto, depois da codificação e do overhead de pacotes. Combine portas com lanes:

Uma placa 2 × 100G num slot Gen 3 x8 estabelece enlace em 100G nas duas portas e entrega ~60 Gb/s no total: as ópticas estão bem, o barramento não. Verifique o lspci -vv para a largura e a velocidade de enlace negociadas (LnkSta), e as configurações de bifurcação da BIOS.

OCP NIC 3.0

Placas OCP ficam na traseira do servidor com seu próprio canal de ventilação; a refrigeração do módulo costuma ser melhor do que numa placa PCIe enterrada entre GPUs.

Energia e refrigeração para ópticas em placas

Multi-host e socket direct

Placas de ponta podem se apresentar a dois soquetes de CPU (dois enlaces x8 ou x16) ou a vários hosts. O lado óptico não muda; a divisão é no PCIe. Relevante para 400G em plataformas Gen 4 e para servidores de GPU, onde a NIC de cada GPU precisa ficar na sua própria raiz PCIe.

Checklist antes de comprar uma NIC para ópticas

1. Tipo de gaiola (cage) e as velocidades que o controlador suporta naquela gaiola (cage).
2. Geração e lanes do PCIe no slot de destino vs. largura de banda total das portas.
3. Precisa de breakout? O controlador precisa suportar port split.
4. Política de módulos do driver (Compatibilidade de ópticas em NICs).
5. Orçamento de energia da gaiola (cage) vs. módulos planejados; presença de conector de energia auxiliar.
6. Ventilação na posição do chassi; considerar o OCP 3.0 para melhor refrigeração.
7. Suporte do SO/driver para modos de FEC e forçamento de velocidade.

No CodingBox

Os códigos de conformidade e a classe de potência do módulo dizem se ele consegue atender à gaiola (cage) e à velocidade da NIC; o CodingBox os lê antes de o módulo ser instalado, e as questões de port split e PCIe são resolvidas do lado do servidor (Check transceiver).