Роли коммутаторов и топологии: куда попадает оптика
Один и тот же модуль 100G — дешёвый DAC в одной стойке, SR4 через зал, LR4 между зданиями и канал DWDM между городами. Какой из них достанется порту, решает роль коммутатора в сети и топология вокруг него. Здесь классические кампусные уровни и дата-центровый leaf–spine сопоставлены с оптикой, расстояниями и количествами — чтобы спецификацию оборудования можно было прочитать по проекту.
Кампус: доступ, распределение, ядро
| Уровень | Роль | Типичные порты | Даунлинки | Аплинки и оптика |
|---|---|---|---|---|
| Доступ | подключает оконечные устройства | 24–48 × RJ45 (1G/mGig, PoE) + 2–4 аплинка SFP+/SFP28 | медь | SR 10G/25G (MMF внутри здания), LR (между зданиями), иногда LX 1G |
| Распределение / агрегация | агрегирует коммутаторы доступа по зданию или группе этажей | 24–48 × SFP+/SFP28, 4–8 × QSFP28 | SR/LR 10G/25G | SR4/LR4 40G/100G к ядру; CWDM/DWDM при дефиците волокна |
| Ядро | соединяет распределение, маршрутизирует | QSFP28/QSFP-DD | 100G/400G | LR4/FR4/ER4 между площадками; CWDM или DWDM по арендованному волокну |
| Свёрнутое ядро | малые площадки: распределение + ядро в одном | смешанные | — | — |
Кампусные расстояния — метры и единицы километров: SR на OM3/OM4 внутри зданий, LR/LX по одномоду между ними; классы дальности — в Справочнике PMD.
Дата-центр: leaf–spine (Clos)
| Роль | Также называют | Порты | Даунлинки | Аплинки |
|---|---|---|---|---|
| Leaf | ToR (top of rack), доступ | 48 × SFP28/SFP56 + 8 × QSFP28/QSFP-DD или 32 × QSFP-DD | серверы: 25G/50G/100G — DAC в стойке (≤ 3 м), AOC/SR в соседние стойки | к каждому spine: SR4/DR4/AOC 100G/400G (≤ 100 м) |
| Spine | агрегация, фабрика | 32–64 × QSFP28/QSFP-DD/OSFP | leaf | к super-spine или border: DR4/FR4 (500 м–2 км) |
| Super-spine / ядро | соединение подов | высокая радиксность 400G/800G | spine | DR/FR внутри кампуса; ZR/ZR+ для DCI (Когерент) |
| Border leaf | край к WAN/интернету | смешанные | — | LR/ER/CWDM/DWDM к операторам |
| Менеджмент | внеполосный | 1G RJ45/SFP | BMC, консоли | LR 1G/10G к ядру OOB |
Правила: линки leaf–spine все одной скорости и с одним FEC; переподписка (ёмкость даунлинков ÷ ёмкость аплинков) 3:1 обычна для общих вычислений, 1:1 для AI и хранения (GPU-фабрики).
Rail-оптимизированные AI-фабрики
Узлы GPU подключают каждую NIC к своему leaf, поэтому большинство серверных линков покидают стойку — AOC и оптика вместо DAC, — а число кабелей на GPU равно одному на ярус (Кабелирование AI-кластера).
Хранение и SAN
Коммутаторы Fibre Channel образуют собственную фабрику (edge–core или core–edge–core) с оптикой SW 16/32/64GFC в зале и LW между залами; Ethernet-хранение едет по leaf–spine с классами без потерь (Дизайн SAN, Lossless Ethernet).
Расстояние → оптика
| Сегмент | Расстояние | Среда | Оптика |
|---|---|---|---|
| Сервер — ToR | ≤ 3 м | медь | DAC (Внутри кабелей) |
| Сервер — leaf в конце ряда | 3–30 м | AOC или MMF | AOC, SR |
| Leaf — spine, тот же зал | 10–100 м | OM4 или SMF | SR4/SR8, DR4/DR8 |
| Между залами / зданиями | 100 м – 2 км | SMF | DR, FR4, LR/LX |
| Кампус / метро | 2–40 км | SMF | LR, ER, CWDM, 4WDM |
| Региональный DCI | 40–120 км | SMF с усилением | ZR/ZR+, транспондеры DWDM |
| Дальняя связь | > 120 км | SMF с усилением | линейные системы DWDM (Дизайн сети и OTN) |
Пути с дефицитом волокна используют CWDM или DWDM, умножая ёмкость жилы; одноволоконный BiDi — где жила одна.
Счёт оптики по проекту
Пример: один под из 16 стоек, 32 сервера на стойку, 2 × 25G на сервер, 4 spine.
| Позиция | Количество |
|---|---|
| Серверные линки (2 × 25G × 32 × 16) | 1 024 DAC |
| Аплинки leaf (16 leaf × 4 spine × 2 × 100G) | 128 линков → 256 QSFP28 SR4/DR4 + 128 транков MPO |
| Spine — super-spine (4 spine × 8 × 100G) | 32 линка → 64 модуля |
| Border + OOB | 8–16 модулей LR, 48 × 1G |
| Запас (5 %) | ~20 |
Умножьте на два для второй фабрики, если проект двухплоскостной.
Роли и политика
Роль также решает, насколько строга платформа к оптике: операторское и SAN-оборудование склонно требовать OEM-брендинг; дата-центровый leaf–spine на массовом кремнии часто терпим; кампусный доступ зависит от вендора (Как каждая NOS проверяет модуль, Вендор-лок).
В CodingBox
Спецификация по ролям — это список PMD и партномеров; CodingBox сверяет каждый поставленный модуль с ней (тип, дальность, длина волны, PN) и кодирует идентификацию там, где проект требует OEM-совместимых модулей (Check transceiver, База кодов).