Внутри коммутатора: ASIC, SerDes, группы портов, управление

Порт коммутатора — последняя остановка перед трансивером, и большая часть того, что модулю разрешено — какие скорости, работает ли breakout, сколько портов могут идти на 25G одновременно, как часто опрашивается DDM, — решается кремнием и прошивкой за этим портом. Здесь открывается коробка: коммутирующий ASIC и его SerDes, как каналы группируются в порты, что процессор плоскости управления делает с двухпроводной шиной и откуда берутся питание и тепло для оптики.

Три плоскости

Плоскость данных быстрая и глупая; плоскость управления медленная и принимает решения. Поэтому модуль может быть электрически идеален и всё же «unsupported»: процессор сказал нет (Что делает хост).

SerDes и каналы

Каждый порт — пучок каналов SerDes от ASIC. Их скорость на канал — свойство поколения чипа:

Модулю нужна скорость канала, которую SerDes умеет выдавать. Порт с SerDes 25G ведёт модуль 10G, только если SerDes поддерживает и меньшую скорость (большинство умеют); канал 50G PAM4 на части чипов нельзя замедлить до 25G NRZ — отсюда «этот порт не поддерживает 25G» (Поколения Ethernet).

Группы портов и ограничения скорости

SerDes организованы в квады (группы по четыре канала с общим тактом/PLL). Следствия:

• Группы скоростей — на многих платформах 25G четыре порта SFP28 одного квада должны все работать на 10G или все на 25G; смесь отвергается или тихо понижается (Скорость и режимы).
• Breakout — четыре канала порта QSFP становятся четырьмя портами, только если ASIC и отображение PHY порта это позволяют; часто breakout умеют только некоторые порты (или каждый второй), а его включение отключает соседа (Breakout и кабелирование MPO).
• FEC на группу портов — режим FEC иногда общий для группы.
• Переподписанные аплинки — некоторые конструкции мультиплексируют больше каналов передней панели, чем есть у ASIC, так что не все порты идут на полной скорости одновременно.

Аппаратное руководство платформы перечисляет эти правила по портам; в модуле они не видны.

PHY, ретаймеры и гирбоксы на плате

Между ASIC и клеткой может стоять PHY (для портов RJ45), ретаймер (чистить длинные дорожки платы на коробках высокой радиксности), гирбокс (например, 2 × 50G каналов ASIC ↔ 4 × 25G каналов модуля в части конструкций 100G) или движок MACsec. Каждый добавляет задержку и свои ограничения по скорости/FEC, и каждый — ещё одно место, где канал может быть настроен неверно. «Прямое подключение к ASIC» важно для оптики LPO, которой нужен собственный эквалайзер ASIC до модуля (Модуляция и DSP).

Плоскость управления и двухпроводная шина

• Процессор достаёт EEPROM модулей через мультиплексоры I²C (шина на порт или на группу), часто через CPLD/FPGA, которая также обслуживает пины присутствия, LPMode, сброса и прерывания (Двухпроводной интерфейс).
• Запуск — программная последовательность: обнаружить → прочитать идентификацию → валидировать → запитать → настроить каналы → включить Tx → опрашивать DDM; релизы NOS различаются полнотой реализации CMIS (Проблемы CMIS).
• Опрос DDM планирует процессор — обычно раз в несколько секунд — минуту; сотни портов делят один управляющий процессор, так что тяжёлый опрос по SNMP может его замедлить (Снятие DDM инструментами).
• Политика (белые списки, errdisable, разрешение сторонних) — чистый код плоскости управления (Как каждая NOS проверяет модуль).

Питание и охлаждение оптики

Буферы, коммутация и при чём тут оптика

Почти ни при чём — кроме того, что функции перегрузки (PFC, ECN) взаимодействуют с ошибками линка: порт, теряющий кадры по CRC, для хранения и RDMA выглядит как перегрузка (Lossless Ethernet). Ёмкость коммутации (Тбит/с), размер буферов и таблиц решают роль коммутатора (Роли и топологии), а не его оптику.

Массовый или собственный кремний, открытая или закрытая NOS

Ландшафт NOS и их поведение с оптикой: Сетевые операционные системы.

В CodingBox

Решения коммутатора принимаются по байтам идентификации модуля, а именно их CodingBox показывает и правит: коды скорости и применения, которые должен уметь SerDes, класс мощности против клетки, разъём и технология для пути PHY порта (Check transceiver, Редактор EEPROM).

Пучки каналов, которые SerDes отдаёт клетке — SFI, 25GAUI, CAUI-4, 400GAUI-8, 800GAUI-8 — с точками соответствия C2M и отображением каналов: XGMII, XAUI и семейство AUI; вся лестница от MII до AUI: Медиа-независимые интерфейсы.

Как эти части упакованы — фиксированные, шасси с линейными картами и фабрикой, стекируемые, промышленные, white-box — с направлением обдува и резервированием: Классы и форм-факторы коммутаторов; как называются порты, когда коробка в стойке: Именование портов и светодиоды.