SystemArchitect

В коммерческом варианте (офис, небольшое производство, магазин, автосалон) используют кабель 6 категории (до 1гбит/с или до 10гбит/с на коротких расстояниях или кабель 6а (до 10гбит/с) на расстоянии до 100м.

Конечно есть ещё кабель 7 и 8 категории, но, честно говоря я нигде его не встречал, возможно кто-то добавит в комментариях кейс, где это использовалось.

Про категории немного упомянул, остановимся на скоростях и запомним их 100мбит/1000мбит/10гбит.

Теперь немного про оптический кабель:

Существует 2 типа кабеля, это одномодовый и многомодовый кабель. Не вдаваясь далеко в подробности про световую волну, "стандарты" кабелей и т.д., различия между ними будут по длине передачи сигнала, пропускной способности и задержке сигнала.

Одномодовый кабель позволяет передавать сигнал на дальние расстояния (максимальное расстояние до 200км), имеет более высокую пропускную способность, более низкую задержку сигнала и меньшую скорость передачи данных. Чаще всего используется для магистральных соединений, как пример, между ЦОД площадками, городами.

Так же одномодовый кабель из-за более низкой задержки сигнала может использоваться там, где важен более быстрый отклик, например в серверах приложений.

Многомодовый кабель позволяет передавать сигнал на более короткие расстояния (до 500м), но делать это с более высокой скоростью. Чаще всего этот вид кабеля используется для "локальных" соединений оборудования.

Перейдём к скорости оптического соединения:

Как правило, скорость соединений по оптическому кабелю начинается от 10гбит/c и доходит до 800гбит/с.

Мы не будем обсуждать технологии, говорить про 1гбит/с, а просто возьмём "стандарты" скоростей, которые сейчас используются повсеместно и это 10/25/40/100гбит/c.

Т.к. от скорости соединения зависит отраслевой стандарт оборудования, то распишем их:

SFP+ - 10гбит/с

SFP28 - 25гбит/c

QSFP+ - 40гбит/c

QSFP28 - 100гбит/c

Возможны и другие варианты, но базово рассмотрим эти.

Мы определились про виды кабелей, чем они отличаются, поговорили про скорость, теперь перейдём к выбору сетевой карты.

У нас есть коммутатор (или планируется к покупке), мы находим его спецификацию, там есть информация про порты (медный кабель 100/1000/10гбит или подключение по оптике SFP+, SFP28, QSFP+,QSFP28) и исходя из этого мы подбираем сетевую карту.

Исходя из опыта инженеров, которые тестировали сетевые адаптеры в лабораториях и поделились информацией, лучшими решениями оказались mellanox и broadcom (скорость, пропускная способность).

Я намерено не включил сюда информацию про FC, т.к. хочу немного больше поговорить об этом, поэтому будет отдельный пост или внесу информацию в часть про СХД.

В данном посте я постарался базово объяснить различия медного и оптического кабеля, какие стандарты-виды бывают, примерные сценарии использования.

Если кому-то пригодилась информация, то поставьте лайк и подпишитесь на паблик, это лучшая мотивация делиться знаниями и опытом.

Корпус: Есть несколько параметров (стандартов) которые использует каждый производитель.

Высота (измеряется в юнитах: 1-2-3-4-6-10U), монтажная ширина 19 дюймов (99% серверов, будем всегда использовать её) и 21 дюйм (специализированные или кастомные решения), глубина (зависит от серверной стойки, которая у вас есть в наличии).

Дисковая корзина: Диски бывают 2.5" и 3.5" (у них разная длина, высота, ширина), интерфейс подключения SATA, SAS, U.2(3). Исходя из этих параметров, подбирается корзина. Ну выбрали мы диски, допустим SAS, а как подключить?

Тут есть 2 варианта, прямое подключение (1 кабель - 4 или 8 дисков) или через дополнительный элемент, который называется бэкплейн (это плата, которая обеспечивает физическое подключение дисков и соединяет их с дисковым контроллером).

А как быть, если на дисковом контроллере не хватает портов? То выбор будет идти в пользу бэкплейна с экспандером (отдельный чип, который позволяет подключить всю дисковую корзину с бэкплейном одним кабелем к дисковому контроллеру).

Блок питания: Не будем сильно углубляться в КПД (стандарты platinum, gold, plus), а остановимся на самом важном параметре, это - количество блоков питания и их мощность. Сервер является ядром организации (программа, база данных) и простой может стоить денег или времени. Поэтому в нём установлено 2 блока питания.

Один работает, второй ожидает в резерве. Эта схема называется N+1, где N - это количество блоков, а +1, это тот самый блок, который ожидает в резерве. Теперь про мощность, она подбирается исходя из общего количества компонентов (процессоры (их потребление), оперативная память, вентиляторы, видеокарты, сетевые карты и т.д.).

Тот самый пресейл инженер исходя из общего количества компонентов и выбирает блок питания. Я в своей практике всегда руководствуюсь +30%, чтобы при подключении доп. устройств (которые не были учтены при проектировании), у заказчика не случился коллапс.

Вентиляторный модуль: В зависимости от высоты корпуса используется разное количество вентиляторов. Не будем глубоко лезть в эту тему, но тут важно знать, что они горячей замены (допустим, один вентилятор вышел из строя, мы просто достаём неисправный и на его место опускаем новый).

Надеюсь этот блок я объяснил понятно, а если нет, то напишите в комментарии, постараюсь ответить (всякие душнили и токсики мимо)

Переходим ко второй важной части, тут будет посложнее.

Материнская плата и основные параметры: 1. Бывает разных форм-факторов, но не будем уходить глубоко, т.к. в теме серверов это не имеет никакого смысла (кроме конкурсных процерур, где важно количество портов для соответствия) поэтому оставим просто, материнская плата)).

2. Количество сокетов для процессоров. Бывают платы с 1-2-4 сокетами (самое частое серверное решение, это 2 сокета). 3. Количество слотов под оперативную память, бывают решения на 8-16-24-32 слотов для модулей RAM. 4. Тип поддерживаемой оперативной памяти DDR4 или DDR5 (бывают динозавры с DDR3, но с ними в "нормальной" практите уже вряд ли столкнётесь).

Тут важно добавить, что серверная память всегда идёт с коррекцией ошибок (ECC). 5. Частота работы оперативной памяти, она измеряется в МГц. Для серверов "свежего поколения", данный параметр будет 2933 или 3200 МГц (для типа DD4) и от 4400 МГц (для типа DDR5). 6. Стандарт PCIe. Бывает 3.0, 4.0 и самый новый 5.0. От поколения этого параметра, зависит скорость данного порта.

Процессор: Можно выделить несколько главных особенностей, это количество ядер - потоков, базовая тактовая частота и в режиме TURBO Boost, кэш память L3, TDP.

Данные параметры определяет системный архитектор исходя из задач, которые будет решать сервер, а в проектирование вычислительных комплексов нам ещё рано, оставим это просто как параметры сервера.

Радиатор на процессор: Этот пункт комплектующих подбирается исходя из процессора, а точнее его параметра TDP. Чем мощнее процессор, тем выше у него TDP и тем производительней нам нужен радиатор. Они бывают пассивные, а бывают активные (с вентилятором).

При подборе, смотрим на TDP процессора, затем выбираем модель радиатора исходя из её характеристик.

Оперативная память: Ещё раз повторюсь, тип памяти (ddr4-ddr5), частота в МГц, ECC.

Порты на материнской плате: Мы подошли к завершающему пункту в этом блоке. Я напишу про порты, которые используются на современных материнских платах. Про всякие power-reset, даже не буду писать, остановимся на портах для подключения доп. оборудования.

OCP 3.0 - это порт PCIe x16, только другого форм-фактора и с возможностью горячей замены оборудования. Как правило, в него подключают OCP - сетевые адаптеры.

SFF8643 - это разъём для подключения SAS/SATA дисков, RAID-контроллера, бэкплейна. Данный разъём так же способен проводить 4 линии PCIe 3.0. С помощью специального провода, позволяет подключить 1 диск стандарта NVMe.

SFF8654-8i - это разъём для подключения SAS/SATA/NVMe дисков. Он обладает 8-ю линиями PCIe и 1 кабель может подключить 2 накопителя формата U.2, либо 8 SATA/SAS 12g

SFF8654-4i - это в половину урезанный порт, тут 4 линии PCIe. Можно подключить 1 диск U.2 или 4 SATA/SAS 12g.

MCIO x8 - это порт с высокой пропускной способностью, 8 линий PCIe 5.0 - 6.0. С помощью него уже можно подключать видеокарты, высокоскоростные диски NVMe или любое оборудование, где требуется шина PCIe.

MCIO x4 - это в половину урезанный порт, тут 4 линии PCIe 5.0 - 6.0. Он также позволяет подключить видеокарты, высокоскоростные диски NVMe или PCIe устройства.

OCuLink x8 - высокоскоростной порт который проводит 8 линий PCIe 4.0. Позволяет подключать U.2 и M.2 диски. Встречается очень редко.

OCuLink x4 - это высокоскоростной порт способный проводить 4 линии PCIe 4.0. Позволяет подключать U.2 и M.2 диски. Достаточно распространённый порт в серверах.

PCIe x16, x8, x4 - чаще всего на материнских платах есть 2 порта PCIe x32, из которых с помощью специальных райзеров (переходников) делают 1 порт x16 и 2 порта x8. В некоторых серверах, где материнская плата квадратного форм фактора, данные разъёмы имеют привычный вид. То есть, не требуется переходник.

Хоть и кратко, но я постарался описать и систематизировать информацию про такое сложное устройство как сервер.

P.S. В следующем посте я буду давать информацию про сетевые карты, raid и hba контроллеры, средства доверенной загрузки.

P.S.S. потом будут схд, коммутаторы, небольшой обзор рынка и много чего ещё, подписывайтесь, чтобы не пропустить.

Если кому-то пригодилась информация, то поставьте лайк и подпишитесь на паблик.

Третьим пунктом у нас идёт две взаимосвязанные вещи, это вычислительная мощность и место размещения. Допустим требуется много ядер-памяти, а помещение ограничено, следовательно что? Правильно, делаем подбор конфигурации по этим параметрам. Конечно, процессоры линейки silver будут гораздо дешевле в цене, но когда у нас ограничено пространство и место в стойке, то тут уже без вариантов, придётся платить за процессоры линейки gold или даже platinum, для того, чтобы получить требуемое количество вычислительной мощности и забить стойку оборудованием.

Четвертый пункт и заключительный в данной статье будет про что? Вот мы разобрались с электричеством, включили охлаждение помещения, сервера загудели - пошла работа... Но тут, что-то произошло на электроподстанции и всё отключилось. Тут речь про источник резервного питания. Это обязательный элемент в любой вычислительной инсталляции, будь то один или много серверов. Как понять сколько или какое ИБП нужно? Всё очень просто, мы берём номинальную мощность блока питания, складываем эти показатели на всех серверах и получаем количество кВт. Исходя из полученного количества, мы и подбираем ИБП по мощности.

Пожалуй, на этом проектирование инженерной части заканчивается.

Краткий итог:

1. Уточняем количество мощности подаваемого в помещение (сколько заходит кВт), на сколько ампер автоматы и сечение провода до них;

2. Всегда планируем охлаждение и его дублирование;

3. Составляем ТЗ на количество вычислительной мощности, исходя из размера помещения (количества стоек и места в них), планируем количество серверов.

4. Рассчитываем мощность ИБП по блокам питания всех серверов (если в сервере стоит 2 блока питания, то помним, что второй для отказоустойчивости и его номинал не считаем)

Я намерено пропустил такие темы, как пожаротушение, безопасность (доступ в помещение определённых лиц), СКС. Это всё отдельные темы, что и без того бы увеличило размер статьи.

В следующей статье мы перейдём к оборудованию. Зачем нужен сервер, какие они бывают, чем отличаются.

P.S. Прошу строго не судить, опыта в написании статей нет, но конструктивную критику обязательно приму к сведениям.

P.S.S. Если потребуется помощь в проектировании, подборе оборудования, поставке по конкурсной процедуре, то напишите в личку, постараюсь помочь.

Всем добра и до новых встреч!

Я создал телеграмм канал, чтобы давать там больше информации: https://t.me/+2MZIBMEBfcMxZmIy