Обзор сетей для ИИ

Обучение больших ИИ-моделей распределяет работу по множеству GPU на множестве серверов. Скорость обучения кластера часто задаёт сеть между ними, а не отдельный GPU — поэтому ИИ-фабрики опираются на оптические трансиверы с максимальной пропускной способностью.

Почему сеть критична

• Коллективные операции — GPU постоянно обмениваются градиентами и параметрами по схеме all-to-all, создавая тяжёлый трафик восток–запад.
• Важна хвостовая задержка — шаг ждёт самый медленный линк, поэтому нужны стабильно низкая задержка и доставка без потерь.
• Масштаб — тысячи GPU означают коммутаторы с высокой плотностью портов и огромное число оптики.

Два стиля фабрики

• InfiniBand — давно принят в HPC, с RDMA и управлением потоком без потерь (см. InfiniBand).
• Ethernet с RoCE — RDMA over Converged Ethernet, всё чаще применяется для ИИ на масштабе поверх Ethernet без потерь.

Оптика

Линки ИИ обычно 400G и 800G, на модулях QSFP-DD и OSFP. Конкретный выбор интерконнекта и оптики — в материале Интерконнекты ИИ и оптика.

Действуют те же форм-факторы и управляющая память — CodingBox читает эти высокоскоростные модули, как и любые другие.

Дальнейшее чтение

• Кабелирование AI-кластера — счёт линков на GPU, расстояния в rail-оптимизированных раскладках, состав DAC/AEC/AOC/DR, выбор разъёмов, мощность оптики, приёмка.
• Надёжность линков и мониторинг в AI-фабриках — почему один линк останавливает задачу, арифметика FIT, предсказывающие метрики, архитектура мониторинга, изоляция и профилактика.