Huawei CloudEngine 6800: обзор и опыт использования

Центральным звеном любой ИТ-инфраструктуры, коммерческой организации, гос.компании или облачного хостинг-провайдера является сетевая инфраструктура. Основными TOR коммутаторами в нашей инфраструктуре являются коммутаторы Huawei CloudEngine 6800.

Команда проекта mClouds.ru имеет достаточно серьёзный опыт в технологиях, тем не менее, именно их практическое применение, в качестве конечного эксплуататора, имеет свои особенности. Поэтому, накопив опыт, спустя год мы запустили свой блог на Хабре, дабы делиться своим опытом и практиками в процессе работы.

Запуская проект по предоставлению в аренду виртуальных ресурсов, мы применяли актуальные дизайн гайды от различных вендоров, включая Huawei NDG (Network-Design Guide) и CVD (Cisco Validated Design Program), которые являются руководством по построению оптимальных и защищённых сетей уровня дата-центр.

Краткая информация о CloudEngine

Минутка маркетинга: В 2012 компанией Huawei была представлена линейка коммутаторов CloudEngine (далее CE), которая разработана для центров обработки данных и высокопроизводительных кампусных сетей. Флагманом в этой линейке является CE 12800 с одной из самой высокой в мире производительностью

ЛинейкаМаксимальная пропускная способностьТип портаКоличество портов
CE 12800до 1032 Тбит/с100GEдо 36 портов на карту
40GEдо 36 портов на карту
10GEдо 48 портов на карту
1GEдо 84 портов на карту
CE 8800до 6.4 Тбит/с100GEдо 32 портов
40GEдо 64 портов
25/10GEдо 128 портов
CE 7800до 2.56 Тбит/с40GE32 порта
CE 6800до 1.6 Тбит/с100GEдо 8 портов
40GEдо 8 портов
25/10GEдо 48 портов
1/10GEдо 48 портов
CE 5800до 336 Гбит/с40GEдо 2 портов
10GEдо 4 портов
1GEдо 48 порта

Краткая информация по портам в линейке CE

Ключевой компонент в линейке, это решения для ЦОД Huawei Cloud Fabric Solutions. Это платформа для построения SDN (software-defined networking) DC (datacenter) с возможностью интеграции со средой VMware по протоколу OVSDB (Open vSwitch Database, RFC 7047). Данная интеграция позволяет сократить эксплуатационные расходы и трудозатраты, связанные с управлением и развертыванием услуг и сервисов на платформе виртуализации VMware. Подробнее про Cloud Fabric вы можете прочитать в блоге Huawei на Хабре.

Облачный движок

В качестве коммутаторов доступа мы используем Huawei CloudEngine 6800 (CE6810-48S4Q-LI), которые обеспечивают высокую плотность портов 10GE (48 x 10 GE SFP+) с возможностью стекирования и подключения к ядру сети с помощью портов 40GE (4 x 40 GE QSFP+).

ПараметрХарактеристика
SFP+48
QSFP+4
Матрица коммутации1.28 ТБит/c
Скорость обработки960 Mpps
Виртуализация устройстаiStack
Super Virtual Fabric
Сетевая виртуализацияM-LAG
Network ConvergenceFCOE
DCBX, PFC, ETS
МаршрутизацияIPv4 routing protocols, such as RIP, OSPF, BGP, and IS-IS

Краткие характеристики CE6810

Краткая информация о различиях версиях коммутаторов EI и LI.

 EILI
TRILL+
ECMP+
FCF+
NPV+
GRE+
IPv6+
Multicast (за исключением IGMP Snooping)+
DHCP Server+
VLANIF1K64
ARP4K1.5K
VRF1282
IPv4 FIB16K1.5K

Подробные характеристики доступны по следующей ссылке: huawei.com

iStack

В качестве примера, хотели бы продемонстрировать конфигурацию iStack на базе Huawei CE6810. При использовании iStack возможно объединение в стек до 16 коммутаторов (поддерживаемые прошивки V100R003C10 и позднее) c помощью портов 10GE, 40GE и 100GE. Дополнительное лицензирование iStack не требуется.

Преимущества технологии iStack

1. Упрощенное управление и конфигурирование: устройства в стеке являются одним логическим устройством. Управление коммутаторами возможно с любого участника стека.

2. Резервирование Control Plane: каждый коммутатор оснащён двумя MPU, где master обрабатывает запросы, а standby работает, как резервная копия master, и постоянно выполняет синхронизацию с ним. В случае выхода из строя master, standby становится основным и продолжает обрабатывать сервисные пакеты. Технология iStack реализует избыточность 1:1. В стеке один главный коммутатор обрабатывает сервисные пакеты, а один standby коммутатор функционирует как резервная копия master коммутатора и синхронизирует информацию с ним. Другие коммутаторы в стеке являются slave, когда master выходит из строя, standby становится master, а из slave выбирается новый standby коммутатор. Данная схема с slave коммутаторами позволяет дополнительно повысить надёжность системы.


Путь трафика через до и после смены Master

3. Резервирование uplink и downlink

4. Резервирование линков и интерфейсов: в кольцевой топологии при падении линка топология становится последовательной, а агрегация нескольких интерфейсов позволяет повысить отказоустойчивость и увеличить общую пропускную способность интерфейсов.


Отказоустойчивость стек-портов и интерфейсов

Основные понятия

Роли коммутаторов – коммутаторы в стеке классифицируются следующими ролями:
— Master – главный коммутатор в стеке. Один на стек.
— Standby – резервный коммутатор. В стеке может быть только один standby.
— Slave – подчинённый коммутатор, максимальное количество: N-2, где N – максимальное количество коммутаторов в стеке.
Stack domain – область в которой коммутаторы объединены в одно логическое устройство. Несколько доменов могут быть объединены.

Stack ID – идентификатор для определения коммуаторов, иначе member ID, данные ID являются уникальными в стеке.
Stack priority – приоритет коммутатора, один из параметров на основе которого производится выбор ролей коммуатора.
Physical member interface – физические порты, которые задействуются в стеке между коммутаторами.
Stack interface – логический интерфейс, который объединяет физические порты в виртуальный интерфейс, именуются как stack-port N/1, stack-port N/2.

Топологии

Стекирование возможно с помощью двух топологий: последовательное (chain) и кольцо (ring).


Топология chain

Преимущества последовательного соединения это стекирование коммутаторов на больших расстояниях (до 16 коммутаторов). Из минусов можно отметить недостаточную надёжность и низкую эффективность использования полосы пропускания.


Топология ring

Плюсы топологии кольца — это высокая надежность и высокая пропускная способность стека.

Определение master коммутатора

Выбор мастера происходит по следующему сценарию:

1. Running status: первый коммутатор, который был запущен и добавлен в iStack становится Master
2. Stack priority: коммутатор с наивысшим приоритетом становится Master
3. Software version: коммутатор с новейшей прошивкой становится Master
4. Mac: коммутатор с наименьшим MAC-адресом становится Master

Добавление и удаление коммутатора из стека

Добавление нового коммутатора в стек:

1. Если коммутатор не задействован в каком-либо другом стеке (нет уникальной метки stack ID), то он становится slave.
2. Если коммутатор ранее был в стеке A, то master выбирается из двух коммутаторов с ролями master в стеках A и B. Коммутатор получивший роль master, например, из стека B, синхронизирует коммутаторы из стека A (выполняется перезагрузка и синхронизация данных с новым стеком), остальные роли остаются неизменны.

Отключение коммутатора:

1. Если master коммутатор отключается, то standby становится master. Обновляется топология и выбирается новый standby
2. Если standby коммутатор отключается, происходит обновление топологии и выбирается новый standby
3. Если slave коммутатор отключается, то обновляется стек топология
4. Если master и slave коммутаторы отключаются, то все коммутаторы перезагружаются и образуют новый стек

Конфигурирование

Настройка стека происходит в несколько этапов:

0. Проверка совместимости ПО и коммутаторов
1. Предварительная настройка участников стека
2. Настройка портов входящих в стек интерфейс
3. Проверка конфигурации
4. Сохранение конфигурации и перезагрузка
5. Подключение физических кабелей
6. Включение коммутаторов

Для демонстрации технологии iStack на тестовом стенде мы используем два коммутатора линейки CE6810.

0. Перед конфигурированием рекомендуем обратиться к iStack Assistant для получения информации по требуемым версиям прошивок и возможностям стекирования.

Примечание: в случае, если master имеет новую версию прошивки, то slave коммутаторы автоматически синхронизируют версию ПО, выполнят перезагрузку и после будут добавлены в стек.

1. Установка параметров стека на коммутаторах
a. Конфигурация коммутатора SW01

> system-view
[~HUAWEI] sysname SW01
[*HUAWEI] commit
[~SW01] stack
[~SW01-stack] stack member 1 priority 150
[*SW01-stack] stack member 1 domain 100
[*SW01-stack] quit
[*SW01] commit

b. Конфигурация коммутатора SW02

> system-view
[~HUAWEI] sysname SW02
[*HUAWEI] commit
[~SW02] stack
[~SW02-stack] stack member 1 renumber 2 inherit-config
Warning: The stack configuration of member ID 1 will be inherited to member ID 2 after the device resets. Continue? [Y/N]: y
[*SW02-stack] stack member 1 domain 100
[*SW02-stack] quit
[*SW02] commit

После стекирования устройств потребуется перезагрузка. Описание команд:

system-view — переход в привилегированный режим
sysname — указание hostname коммутатора
commit — применение внесенных изменений
stack — переход в режим конфигурации стека
stack member priority <1-255>- установка приоритета для коммутатора
stack member domain <1-65535>- установка domain_ID
stack member renumber inherit-config — добавление коммутатора с уникальным member_ID. Указание inherit-config наследует исходную конфигурацию стека после рестарта, иначе будет скачана конфигурация с Master коммутатор.

Примечание: если коммутатор с ролью slave будет иметь одинаковый ID с master, то master назначит коммутатору уникальный ID.

2. Конфигурация стек-портов

a. Конфигурация портов на коммутаторе SW01

[SW01]interface stack-port 1/1
[SW01-stack-port1/1]port member-groupinterface40GE 1/0/1to40GE 1/0/2

b. Конфигурация портов на коммутаторе SW02

[SW02]interface stack-port 1/1
[SW02-stack-port1/1]port member-groupinterface40GE 1/0/1to40GE 1/0/2

Описание команд:

interface stack-port /<1-2> — создание группы стек-портов
port member-group interface 40GE to 40GE — добавление портов коммутатора в стек-порт

3. Проверка конфигурации

[SW01]display stack config
Oper          : Operation
Conf          : Configuration
*             : Offline configuration
Attribute Configuration:
-----------------------------------------
MemberID      Domain         Priority
Oper(Conf)   Oper(Conf)      Oper(Conf)
-----------------------------------------1(1)         --(100)           100(150)
-----------------------------------------Stack-Port Configuration:
------------------------------------------Stack-Port      Member Ports
------------------------------------------Stack-Port1/1   40GE1/0/1           40GE/1/0/2
-----------------------------------------

4. Сохранение конфигурации и перезагрузка устройств

> save
Warning: The current configuration will be written to the device. Continue? [Y/N]: y
> reboot
Warning: The system will reboot. Continue? [Y/N]: y

5. Физическое подключение кабелей стекирования
Так как в нашей конфигурации мы используем два коммутатора, выполняем подключение согласно топологии Chain.

6. Проверка конфигурации

> display stack
--------------------------------------------------------------------------------MemberID Role MAC Priority DeviceType Description
--------------------------------------------------------------------------------
+1 Master 0004-yyyy-yyyy 150 CE6810-48S4Q-LI
2 Standby 0004-xxxx-xxxx 100 CE6810-48S4Q-LI
--------------------------------------------------------------------------------
+ indicates the device through which the user logs in.

Кошководам

Для создания окружения а-ля «IOS like» предусмотрена возможность создания алиасов (псеводним). С помощью псевдонимов возможно сделать удобное окружение, сэкономить на времени ввода команды для часто используемых команд.

Формат команды alias
alias [ parameter ] command ""

  • name — название алиаса
  • parameter — список параметров
  • command — указание команды для алиаса

Список используемых нами алиасов

] commandalias
-cmdalias] alias show command"display"
-cmdalias] alias exit command"quit"
-cmdalias] alias no command"undo"
-cmdalias] aliaswritecommand"save"
-cmdalias] alias config command"system-view"

Просмотр созданных алиасов:

] display command alias

Удаление неиспользуемых алиасов:

] command alias
-cmdalias] undo alias %alias

Сравнение с Cisco

Один из самых интересных пунктов выбора, а какие отличие от других? С помощью Analyze Product Advantages от Huawei мы можем узнать, что коммутатор CE6810 компания Huawei может сравнивать со следующими моделями:

  • Cisco Nexus 2K (N2K-C2348UPQ)
  • Cisco Nexus (NEXUS 2248PQ)

К сожалению данные модели являются Fabric Extenders, которыми возможно управлять с Cisco Nexus 5K и 7K, поэтому не брать рассматривать, а возьмём в расчёт Nexus 3K (Nexus 3172PQ), который является аналогом Huawei CE6851-48S6Q-HI.

ПараметрNexus 3172PQHuawei CE6851-48S6Q-HI
Switching Capacity1.4 Тбит/с2.56 Тбит/с
Forwarding Performanceдо 1000 Mpps1080 Mpps
10GE48 + 24 (QSFP+ to SFP+)48
40GE66
L3++
MAC288K288K
VLAN4K4k
IPv4 FIB16K/16K16K/128K
IPv6 FIB++
FCoE+
VXLAN+
Стоимостьот $20 000 GPLот $16 000 RPL

Заключение

За продолжительное время работы у инженерного подразделения команды VPS и IaaS провайдера mCloduds.ru сложилось положительное мнение о линейке Huawei CloudEngine:

многофункциональность, оперативная работа службы технической поддержки, подразделение которой присутствует на территории России, простота управления и многое другое. Это позволяет обеспечивать высокую доступность к вычислительной среде наших клиентов.

Для получения дополнительной информации по линейке Huawei CloudEngine и другим решениям, вы можете обратиться к нам по электронной почте info[at]mclouds.ru, будем рады вам помочь :)