Оптика и кабели InfiniBand

InfiniBand использует те же сменные корпуса, что и высокоскоростной Ethernet, но выбор между кабелем и трансивером — и терпимость к сторонним модулям — следует своим правилам, сформированным HPC- и ИИ-кластерами.

Кабель или трансивер — по поколениям

Поколение	Порт	Медный DAC	Активный оптический кабель	Трансивер + волокно
EDR 100G	QSFP28	до ~3–5 м	до 100 м	SR4 (MPO-12 MMF), LR4
HDR 200G	QSFP56	до ~2 м	до 100 м	SR4/DR4
NDR 400G	OSFP (twin-port 2×400G)	~1–2 м	ограниченно	DR4/DR8 по MPO-12 APC одномод

Закономерность: с ростом скорости дальность пассивной меди рушится, и фабрики уходят на оптику. На NDR норма — одномодовая DR-оптика с разъёмами MPO-12 APC: угловая полировка обязательна, а смешение APC с плоскими UPC — частая ошибка монтажа.

Twin-port OSFP

Порты коммутаторов NDR обычно twin-port OSFP: один модуль OSFP несёт два независимых линка 400G (2×DR4), удваивая плотность лицевой панели. Оребрённый встроенный радиатор справляется с мощностью. См. OSFP.

Сигнализация и FEC

EDR: каналы NRZ 25G; HDR: PAM4 50G; NDR: PAM4 100G.
RS-FEC обязателен начиная с HDR. Несовпадение FEC или модуль, не объявляющий

ожидаемый FEC, — частая причина «линк никогда не обучается».

Политика вендора

В фабриках InfiniBand доминирует один вендор коммутаторов/NIC, и его платформы валидируют кабели и оптику по идентификации. Неопознанный модуль может читаться корректно, но не поднимать линк со статусом вроде «speed and type: Not supported» — см. Вендор-лок. Поэтому операторы держат квалифицированную оптику, а сторонние модули, где они используются, кодируют под ожидаемую идентификацию.

Эксплуатация на масштабе

Тысячи модулей на кластер: даже небольшая годовая доля отказов означает постоянный

поток замен. Следите за поканальным DDM, чтобы поймать умирающий канал до того, как он замедлит коллективную операцию.

Чистота торцов MPO — главная причина флапов; специфика 400G — в

Проблемах CMIS.

В CodingBox

CodingBox читает модули EDR/HDR по SFF-8636, а NDR OSFP/QSFP-DD — по CMIS: идентификация, состояние модуля, поканальный DDM и поля идентификации, от которых зависит, примет ли фабрика модуль.