Кабелирование AI-кластера: счёт, расстояния, среда, приёмка

GPU-кластер — это в основном кабели. Восемь GPU в узле означают восемь линков scale-out 400G (или 800G) плюс управление и хранение; тысяча GPU означает тысячи оптических концов на двух-трёх ярусах коммутаторов, каждый — потенциальная остановка обучения. Здесь проекты фабрик из GPU-фабрик превращаются в счёт кабелей, классы дальности, выбор разъёмов и чек-лист установки.

Счёт линков

Для типичного узла на 8 GPU с одной NIC 400G на GPU, rail-оптимизированная двухярусная фабрика:

Позиция	Формула	1 024 GPU (128 узлов)
Линки GPU → leaf	GPU × 1	1 024 × 400G
Линки leaf → spine (неблокирующие)	= GPU → leaf	1 024 × 400G
Оптические/кабельные концы (по два на линк)	линки × 2	4 096
NIC хранения + управления	2–4 на узел	ещё 256–512 линков
Запасная оптика (3–5 %)	—	150–250

С двухпортовыми модулями коммутаторов NDR (2 × 400G на OSFP) счёт на стороне коммутатора вдвое меньше в модулях, но не в волокнах. Трёхярусные проекты добавляют ещё 1 024 линка spine → core на 1 024 GPU. Каждый из этих концов — трансивер или вилка кабеля с идентификацией и DDM (Надёжность линков и мониторинг).

Расстояния в rail-оптимизированной раскладке

Сегмент	Типичное расстояние	Среда
NIC GPU → leaf, та же стойка	≤ 2 м	пассивный DAC (400G ≤ 2 м; 800G ≤ 1–1,5 м) — дешевле всего, ноль мощности, тяжёлый
NIC GPU → leaf, соседние стойки (rail-группы тянутся по ряду)	3–10 м	AEC (≤ 3–5 м) или AOC / SR-трансиверы по MMF
Leaf → spine, тот же зал	10–100 м	AOC до ~50–100 м; SR4/SR8 / VR на OM4 ≤ 50–100 м; DR4/DR8 на SMF 500 м — DR выигрывает на 400G+
Spine → core / между залами	100 м – 2 км	DR4 / FR4 / 2×FR4 одномод
DCI между зданиями	2–80 км	LR4, ZR/ZR+ (Когерент и дальняя связь)

Rail-оптимизированное кабелирование ставит GPU i каждого узла на leaf i, так что восемь кабелей узла расходятся к восьми разным leaf — большинство линков GPU → leaf покидают стойку, и доля DAC меньше, чем в классических ToR. Детали: Внутри кабелей.

Выбор разъёмов и волокна

Оптика	Разъём	Волокно	Примечания
400G DR4 / 800G DR8	MPO-12 APC / MPO-16 APC (или 2 × MPO-12)	SMF, Base-8/Base-16	APC везде на одномодовой параллельной; модули со штифтами, патч-корды без
400G/800G SR8 / VR8	MPO-16 UPC	OM4/OM5	50–100 м; дешевле оптика, дороже волокно за метр
400G FR4 / 2×FR4	дуплекс LC / 2 × LC	SMF	меньше волокон, WDM внутри модуля
Двухпортовый OSFP NDR	2 × MPO-12 APC	SMF	два логических порта на модуль; сплит-кабели 1:2 / 1:4 (Кабелирование IB)
DAC / AEC	нет	twinax	идентификация на обоих концах

Полярность метода B от конца до конца для транков MPO; транки Base-8 для 4-канальной оптики (Breakout и кабелирование MPO).

Мощность и тепло одной только оптики

Оптика	Мощность	На 64-портовый коммутатор
400G DR4 QSFP-DD	8–12 Вт	0,5–0,8 кВт
800G DR8 / 2×FR4 OSFP	14–18 Вт	0,9–1,2 кВт
Конец AOC 400G	3–5 Вт	—
Конец AEC 800G	4–6 Вт	—
DAC	0	—

Поэтому панелям коммутаторов нужен обдув спереди-назад без препятствий; OSFP с рёбрами в коммутаторах, плоские в NIC; жгуты кабелей не должны перекрывать забор воздуха (Питание и тепло, Температура и напряжение). Линейная оптика (LPO) режет мощность модуля примерно вдвое там, где хост её поддерживает (Модуляция и DSP).

Чек-лист установки и приёмки

Входной контроль каждой оптики и конца кабеля: идентификация, суммы, живой DDM, сохранённая база (Производство и тестирование).
Прогон новой оптики 24–72 ч при рабочей температуре до внедрения.
Осмотр и чистка каждого MPO (наконечники микроскопа APC для APC) при установке; никогда не стыковать неосмотренный разъём.
Маркировка обоих концов: узел/GPU/NIC ↔ leaf/порт; сплит-кабели по веткам.
Радиус изгиба и разгрузка веса — лотки и жгуты для DAC/AEC, сервисные петли для волокна.
Проверка при запуске: каждый линк на полной скорости и ширине, FEC включён, поканальный Rx в пределах 2 дБ от соседей, BER до FEC < 10⁻⁷ в простое (VDM и метрики FEC).
Запись поканального DDM и идентификаций в менеджер фабрики / CMDB как базы.
Запас по классам среды и разъёмам; держать прогнанным.

Частые ошибки установки

Ошибка	Признак
Патч UPC на DR4 с APC	все каналы ниже на 3–10 дБ, оба конца
Транк неверной полярности	все каналы тёмные
Грязный MPO	один-два канала ниже; высокий BER до FEC на них
DAC слишком длинный для хоста	линк на пониженной скорости или флапает
Перепутаны ветки сплит-кабеля	порты линкуются с чужими партнёрами; несовпадение топологии в менеджере фабрики
OSFP с рёбрами в плоской клетке (или наоборот)	не садится / перегревается

В CodingBox

Входной контроль в таком масштабе — процесс, а не выборочная проверка: CodingBox читает каждый модуль или конец кабеля, проверяет идентификацию и суммы, записывает живой поканальный DDM как базу и хранит его по серийнику в базе кодов, так что модуль, позже снятый с флапающего порта, можно сравнить с его состоянием в первый день.