Сетевые карты с оптическими портами: обзор

На другом конце каждого серверного линка — сетевая карта (NIC), и она играет в ту же игру, что и коммутатор: клетки, каналы SerDes, шина управления к модулю, политика о том, какие модули принимать, — с двумя различиями: политика живёт в драйвере, а не в сетевой ОС, а узкое место часто — шина PCIe, а не порт. Этот подраздел — о сетевых картах с клетками класса SFP/QSFP: семейства и вендоры, как порты соотносятся с PCIe, совместимость трансиверов и её обходы на уровне драйвера, инструменты чтения модуля со стороны сервера и программируемые адаптеры (SmartNIC, DPU), размывающие границу между картой и коммутатором.

Что такое NIC в терминах оптики

Элемент	На коммутаторе	На сетевой карте
Клетки	24–64 на коробку	1–4 на карту (типично 1–2)
SerDes	коммутирующий ASIC	ASIC контроллера (Intel E810, Broadcom BCM57508, Nvidia ConnectX-7…)
Управление модулем	NOS через мультиплексор I²C и CPLD	драйвер/прошивка через I²C контроллера
Политика	белый список NOS (Как каждая NOS проверяет модуль)	белый список драйвера/прошивки (Совместимость оптики на NIC)
Настройка скорости/FEC	CLI	`ethtool`, вендорские утилиты, BIOS/UEFI, диспетчер устройств (Инструменты)
Магистраль	ASIC фабрики	каналы PCIe к процессору (Порты и PCIe)
Питание	3,3 В на клетку от шасси	слот PCIe (25–75 Вт) плюс дополнительный разъём на топовых картах

Форм-факторы карты

Тип карты	Где	Порты
Карта расширения PCIe (половинной высоты и длины, полной высоты)	любой слот сервера	1–2 × SFP28/QSFP28, 1–2 × QSFP56/QSFP112/QSFP-DD/OSFP
OCP NIC 3.0 (мезонин SFF / LFF)	слот OCP в задней части сервера	те же клетки, доступ с торца, горячая замена на части шасси
LOM / встроенная	на материнской плате	обычно RJ45; SFP+ на части
Мезонин / блейд	блейд-серверы	подключается к коммутатору блейд-шасси, без клеток
SmartNIC / DPU	PCIe или OCP	2 × 100/200/400G, собственные ядра Arm (SmartNIC и DPU)

Семейства и вендоры

Вендор	Семейства (модели с оптическими портами)	Скорости	Клетки	Драйвер (Linux)
Intel	X520 / X710 / XXV710 / E810 / E830	10G / 10G / 25G / 25–100G / 200G	SFP+, SFP28, QSFP28, QSFP56	ixgbe, i40e, ice, idpf
Nvidia (Mellanox)	ConnectX-4 Lx / -5 / -6 Dx / -6 Lx / -7 / -8 SuperNIC	25G / 100G / 100–200G / 25–50G / 200–400G / 800G	SFP28, QSFP28, QSFP56, QSFP112, OSFP	mlx5_core
Broadcom	NetXtreme-E BCM5741x / 5750x (P225, P425, P2100, P1400GD)	25G / 100–200G / 400G	SFP28, QSFP56, QSFP-DD	bnxt_en
Marvell (QLogic)	FastLinQ 41000 / 45000	10–25G / 100G	SFP28, QSFP28	qede
AMD (Solarflare, Pensando)	X2522 / X3522; Pensando DSC	10–25G; 100–200G	SFP28; QSFP56	sfc; ionic
Chelsio	T6	10–100G	SFP28, QSFP28	cxgb4
Прочие	Silicom, Napatech (FPGA), Xilinx/AMD Alveo, Netronome	10–100G	смешанные	—

Скорости модели карты заданы контроллером и клетками; «25G capable» означает 10G и 25G, редко 1G (Порты и PCIe).

Что сетевой карте нужно от модуля

Коды соответствия скорости, которую контроллер поддерживает в этой клетке.
Идентификация, принимаемая драйвером — строгие здесь семейства Intel (Совместимость оптики на NIC).
Поведение FEC/AN, которое драйвер может согласовать: DAC на 25G+ требует AN Clause 73 на обоих концах; оптике нужны принудительная скорость и совпадающий FEC (FEC и AN).
Класс мощности в пределах бюджета клетки карты — большинство NIC допускают QSFP28 класса 4 (3,5 Вт) и QSFP-DD до 12–15 Вт; проверяйте для ZR/перестраиваемых модулей (Мощность и потребление).
Охлаждение: поток воздуха сервера идёт спереди назад через карту; модули на картах с выходом назад сидят в выхлопном воздухе (Температурные исполнения).

Типичные роли и их оптика

Роль	NIC	Линк
Хост виртуализации общего назначения	2 × 25G SFP28	DAC к ToR (Роли и топологии)
Хранение / NVMe-oF	2 × 100G QSFP28	DAC/AOC, RoCE с PFC (Lossless Ethernet)
GPU-сервер	4–8 × 400G OSFP/QSFP112 (по одному на GPU)	AOC/DR4 к rail-leaf (Кабелирование AI-кластера)
HPC	HCA InfiniBand 1–2 × NDR/XDR	DAC/AOC (Кабели IB)
Периферия / филиал	2 × 10G SFP+	LR к кампусному ядру
Менеджмент / OOB	1G RJ45 или SFP	—

Дальнейшее чтение

Порты NIC, скорости и пропускная способность PCIe — клетки на NIC, двухскоростные порты, кабели breakout, поколение PCIe × каналы против суммы портов, OCP 3.0, питание и охлаждение.
Совместимость трансиверов на NIC — белые списки драйверов по вендорам, Intel allow_unsupported_sfp, поведение Windows/ESXi, FEC/AN с DAC и оптикой, что кодировать.
Инструменты и диагностика NIC — ethtool -m, mlxlink, bnxtnvm, утилиты Intel, команды Windows и ESXi, чтение DDM и счётчиков FEC с сервера.
SmartNIC и DPU — BlueField, Pensando, IPU: порты и оптика программируемых адаптеров.

В CodingBox

Модуль, который отвергает сетевая карта, диагностируется так же, как отвергнутый коммутатором: прочитать идентификацию и коды соответствия на столе, сравнить со списком драйвера, закодировать, если политика требует (Check transceiver, Вендор-лок).