CodingBox Документация

Трансиверы в кластерах ИИ

Кластеры обучения ИИ — крупнейшие потребители высокоскоростной оптики в истории, и они доводят модули до предела по скорости, мощности и количеству. Важна не столько инженерия отдельного линка, сколько надёжная эксплуатация десятков тысяч линков.

Какая оптика

РольМодульТиповой PMDРазъём
GPU-сервер ↔ leaf (scale-out, IB NDR)OSFP twin-port 2×400GDR4 ×22 × MPO-12 APC
GPU-сервер ↔ leaf (Ethernet)QSFP-DD / OSFP 400G–800GDR4, DR8, 2×FR4MPO-12/16 APC, сдвоенный LC
Leaf ↔ spine800G OSFP / QSFP-DD800DR8, 2×FR4MPO-16 APC, сдвоенный LC
Короткие хопы в стойкеDAC / AOC, где хватает дальности

Доминирует одномодовая DR-оптика: 500 м хватает на любой зал, и она масштабируется с 400G до 800G на той же кабельной базе. Обязательны угловые разъёмы APC.

Мощность и тепло

Модуль 800G потребляет порядка 14–18 Вт; лицевая панель 64-портового коммутатора держит киловатт оптики. Встроенный радиатор OSFP — причина его предпочтения для самых горячих модулей; QSFP-DD полагается на охлаждение хоста. Тепловой троттлинг — модуль сбрасывает режим при перегреве — реальная причина прерывистых флапов 400G/800G (Проблемы CMIS).

Линейная оптика (LPO, linear-drive pluggable optics) убирает из модуля DSP ради мощности и задержки, перенося эквализацию в ASIC коммутатора; она появляется на коротких DR-линках, где хост её поддерживает.

Надёжность на масштабе

Арифметика меняет всё: при 100 000 модулей годовая доля отказов даже 0,5% означает десять замен в неделю. Следствия:

  • Поканальный мониторинг DDM по всему парку с трендом, чтобы заменить

деградирующий модуль до того, как он остановит шаг обучения (Отказы).

  • Запас по партиям и входной контроль — отказы кластеризуются по производственным лотам.
  • Дисциплина чистоты MPO — 16 волокон в разъёме, и одна пылинка роняет канал

(Флап линка).

  • Один медленный канал замедляет всю коллективную операцию: метрика — хвостовая задержка.

Идентификация и совместимость

Крупные кластеры стандартизуются на коротком списке квалифицированных модулей, а платформы коммутаторов валидируют идентификацию. Сторонняя оптика 400G/800G применяется, где платформа её терпит, и кодируется под ожидаемую идентификацию, где нет, — те же правила вендор-лока, что и везде, при гораздо большей стоимости единицы.

Что дальше

Порты 1,6T (OSFP-XD, 16 каналов) и электрические интерфейсы 200G на канал — следующий шаг; co-packaged optics переносят трансивер в корпус коммутатора для крупнейших систем.

В CodingBox

CodingBox читает модули 400G/800G OSFP и QSFP-DD через CMIS: состояние модуля, объявление приложений, идентификация и поканальные Tx/Rx/ток смещения на экране DDM — данные, нужные оператору для квалификации входящих партий, снятия базы новых линков и выявления одного отказавшего канала из восьми.