Порты NIC, скорости и пропускная способность PCIe

Передняя панель сетевой карты обещает «2 × 100G»; сможет ли сервер реально прокачать 200 Гбит/с, зависит от слота PCIe за картой, а заработает ли конкретный модуль — от клеток и карты каналов контроллера, ровно как на коммутаторе, но с меньшим числом портов и шиной, которую легко недозаложить. Здесь перечислены клетки и скорости на NIC, правила двухскоростных портов и кабелей breakout, арифметика PCIe, форм-фактор OCP 3.0, а также пределы питания и охлаждения, важные для оптики на картах.

Клетки и скорости на NIC

Клетка	Скорости на NIC	Типичные контроллеры	Примечания
SFP+	10G (на части 1G)	Intel X520/X710, Broadcom 5741x	поддержка 1G различается; смотрите спецификацию карты
SFP28	25G, 10G (1G редко)	Intel XXV710/E810-XXV, ConnectX-4 Lx/-6 Lx, Broadcom P225	25G требует согласования FEC (FEC и AN)
SFP56	50G, 25G, 10G	ConnectX-6 Lx/Dx (часть)	каналы PAM4
QSFP28	100G, 4 × 25G, 2 × 50G, 40G, 4 × 10G	Intel E810-CQDA2, ConnectX-5/6, Broadcom P2100	breakout кабелем только где контроллер позволяет
QSFP56	200G, 100G, 2 × 100G	ConnectX-6 Dx/-7, Broadcom P2200, Pensando	—
QSFP112	400G, 200G, 100G, 4 × 100G	ConnectX-7, Broadcom P1400GD	100G на канал; принимает QSFP28/56
QSFP-DD	400G, 2 × 200G, 4 × 100G	Broadcom BCM57608	—
OSFP (двухпортовый)	2 × 400G, 800G	ConnectX-7/-8, BlueField-3	одна клетка, два логических порта в двухпортовых конструкциях Nvidia
RJ45	1G / 10GBASE-T / mGig	X550, X710-T, BCM57416	без модуля, PHY на карте

Правила совместимости клеток — те же, что у коммутаторов (Типы портов и клеток).

Двухскоростные порты и группы скоростей

Большинство NIC 25G ведут каждый порт независимо на 10G или 25G — без группировки по четыре, — но некоторые двухпортовые контроллеры делят группу SerDes и требуют одной скорости на обоих портах.
Карты 100G часто поддерживают модули 40G; карты 200G/400G поддерживают модули 100G; спуск более чем на одно поколение (1G в SFP28, 10G в QSFP56 через QSA) поддерживается редко.
Скорость обычно берётся автоматически из кодов соответствия модуля; принуждение (ethtool -s … speed) нужно, когда модуль двухскоростной или не распознан (Инструменты).

Breakout на NIC

Случай	Работает?
Порт QSFP28 NIC 100G → 4 × 25G к коммутатору (DAC-разветвитель)	только если контроллер поддерживает режим «port split 4 × 25G» (многие карты Nvidia и Broadcom — да, большинство Intel — нет); карта тогда показывает 4 сетевых интерфейса
Порт коммутатора 100G → 4 × 25G к четырём портам SFP28 на NIC	да — это обычное направление; split настраивается на коммутаторе (Breakout и MPO)
Двухпортовый OSFP 400G → 2 × 400G или 4 × 200G / 8 × 100G	двухпортовые карты Nvidia: 2 логических порта на клетку; дальнейшее деление зависит от прошивки
2 × 50G из порта QSFP28	часть контроллеров

PCIe: реальная скорость портов

Поколение PCIe	На канал (сырое)	x8 полезное (≈)	x16 полезное (≈)
Gen 3	8 GT/s	56–63 Гбит/с	112–126 Гбит/с
Gen 4	16 GT/s	112–126 Гбит/с	225–252 Гбит/с
Gen 5	32 GT/s	225–252 Гбит/с	450–504 Гбит/с
Gen 6	64 GT/s	~450–500 Гбит/с	~900–1 000 Гбит/с

Полезная пропускная способность — 85–90 % сырой после кодирования и накладных расходов пакетов. Сопоставляйте порты с каналами:

Карта	Порты	Нужно
2 × 25G	50 Гбит/с	Gen 3 x8
2 × 100G	200 Гбит/с	Gen 4 x16 (Gen 3 x16 упирается в ~126)
1 × 200G / 2 × 100G Gen 4	200 Гбит/с	Gen 4 x16
2 × 200G	400 Гбит/с	Gen 5 x16
1 × 400G	400 Гбит/с	Gen 5 x16 (или два x16 через «socket direct»/multi-host)
2 × 400G	800 Гбит/с	Gen 6 x16 или два Gen 5 x16

Карта 2 × 100G в слоте Gen 3 x8 линкуется на 100G по обоим портам и отдаёт ~60 Гбит/с суммарно — оптика в порядке, шина нет. Проверяйте lspci -vv на согласованную ширину и скорость линка (LnkSta) и настройки бифуркации в BIOS.

OCP NIC 3.0

Позиция	SFF (малый форм-фактор)	LFF (большой)
Размер	76 × 115 мм	139 × 115 мм
PCIe	до x16	до x32 (два x16)
Мощность	до 80 Вт	до 150 Вт
Порты	2–4 × SFP28/QSFP28/QSFP56/QSFP112	2 × QSFP-DD/OSFP и больше
Доступ к оптике	с торца модуля, без инструмента	так же

Карты OCP стоят в задней части сервера со своим воздушным каналом; охлаждение модулей обычно лучше, чем на карте PCIe, зажатой между GPU.

Питание и охлаждение оптики на картах

Позиция	Предел / правило
Мощность слота PCIe	25 Вт (x1…x8 низкопрофильные), 75 Вт (x16); карты 400G используют 8-контактный дополнительный разъём
Бюджет на клетку на NIC	SFP28: 1,5 Вт (уровень II); QSFP28: 3,5–4,5 Вт; QSFP56/112: 5–8 Вт; QSFP-DD/OSFP: 12–20 Вт — указано в даташите карты (Мощность и потребление)
Обдув	200–300 LFM через карту; оптика на карте в сервере 1U рядом с выхлопом процессора работает горячей — температура DDM выше 60 °C обычна
Тепловое ограничение	часть контроллеров переводит модуль в низкую мощность или выключает порт, когда модуль сообщает о высокой температуре
Когерент / ZR на NIC	на стандартных NIC не поддерживается — класс 8 превышает бюджет клетки

Multi-host и socket direct

Топовые карты могут представляться двум процессорным сокетам (два линка x8 или x16) или нескольким хостам. Оптическая сторона не меняется; деление — в PCIe. Актуально для 400G на платформах Gen 4 и для GPU-серверов, где NIC каждого GPU должна сидеть на своём корне PCIe.

Чек-лист перед покупкой NIC под оптику

Тип клетки и скорости, которые контроллер поддерживает в этой клетке.
Поколение и каналы PCIe в целевом слоте против суммарной полосы портов.
Нужен breakout? Контроллер должен поддерживать port split.
Политика драйвера к модулям (Совместимость оптики на NIC).
Бюджет мощности клетки против планируемых модулей; наличие дополнительного разъёма питания.
Обдув в позиции шасси; рассмотрите OCP 3.0 для лучшего охлаждения.
Поддержка режимов FEC и принуждения скорости в ОС/драйвере.

В CodingBox

Коды соответствия и класс мощности модуля говорят, подходит ли он клетке и скорости NIC; CodingBox читает их до установки модуля, а вопросы port split и PCIe решаются на стороне сервера (Check transceiver).