Продолжаю делиться знаниями и т.к. сейчас моя работа связана с поставками серверов из реестра минпромторга, то будем говорить про них.
Информация будет полезна системным администраторам из госсектора(и не только), менеджерам по продажам такого рода оборудования.
В каждом вендоре, интеграторе или поставщике серверного оборудования есть позиция, которая называется "Технический пресейл инженер".
Этот человек занимается подбором оборудования по критериям (дайте сервер на 12 дисков, дайте сервер чтобы было 40 ядер или 512гб RAM и т.д) или техническому заданию от заказчика (Количество ядер каждого установленного процессора, Базовая частота каждого установленного процессора (без учета технологии динамического изменения частоты) и т.д.).
Чтобы начать разбираться в этом, нужно сначала хотя бы собрать сервер (виртуально), чем мы и займёмся.
Т.к. нас не интересует физическая сборка, а только проектирование будующей системы, то идём связанными "блоками":
Корпус - дисковая корзина - блок питания - вентиляторный модуль
Материнская плата - процессор - радиатор на процессор - оперативная память - порты на материнской плате
Вуяла, наш сервер готов (естественно нет). Есть огромное количество нюансов, которые я постараюсь описать про каждую составляющую нашего сервера.
Корпус: Есть несколько параметров (стандартов) которые использует каждый производитель.
Высота (измеряется в юнитах: 1-2-3-4-6-10U), монтажная ширина 19 дюймов (99% серверов, будем всегда использовать её) и 21 дюйм (специализированные или кастомные решения), глубина (зависит от серверной стойки, которая у вас есть в наличии).
Дисковая корзина: Диски бывают 2.5" и 3.5" (у них разная длина, высота, ширина), интерфейс подключения SATA, SAS, U.2(3). Исходя из этих параметров, подбирается корзина. Ну выбрали мы диски, допустим SAS, а как подключить?
Тут есть 2 варианта, прямое подключение (1 кабель - 4 или 8 дисков) или через дополнительный элемент, который называется бэкплейн (это плата, которая обеспечивает физическое подключение дисков и соединяет их с дисковым контроллером).
А как быть, если на дисковом контроллере не хватает портов? То выбор будет идти в пользу бэкплейна с экспандером (отдельный чип, который позволяет подключить всю дисковую корзину с бэкплейном одним кабелем к дисковому контроллеру).
Блок питания: Не будем сильно углубляться в КПД (стандарты platinum, gold, plus), а остановимся на самом важном параметре, это - количество блоков питания и их мощность. Сервер является ядром организации (программа, база данных) и простой может стоить денег или времени. Поэтому в нём установлено 2 блока питания.
Один работает, второй ожидает в резерве. Эта схема называется N+1, где N - это количество блоков, а +1, это тот самый блок, который ожидает в резерве. Теперь про мощность, она подбирается исходя из общего количества компонентов (процессоры (их потребление), оперативная память, вентиляторы, видеокарты, сетевые карты и т.д.).
Тот самый пресейл инженер исходя из общего количества компонентов и выбирает блок питания. Я в своей практике всегда руководствуюсь +30%, чтобы при подключении доп. устройств (которые не были учтены при проектировании), у заказчика не случился коллапс.
Вентиляторный модуль: В зависимости от высоты корпуса используется разное количество вентиляторов. Не будем глубоко лезть в эту тему, но тут важно знать, что они горячей замены (допустим, один вентилятор вышел из строя, мы просто достаём неисправный и на его место опускаем новый).
Надеюсь этот блок я объяснил понятно, а если нет, то напишите в комментарии, постараюсь ответить (всякие душнили и токсики мимо)
Переходим ко второй важной части, тут будет посложнее.
Материнская плата и основные параметры: 1. Бывает разных форм-факторов, но не будем уходить глубоко, т.к. в теме серверов это не имеет никакого смысла (кроме конкурсных процерур, где важно количество портов для соответствия) поэтому оставим просто, материнская плата)).
2. Количество сокетов для процессоров. Бывают платы с 1-2-4 сокетами (самое частое серверное решение, это 2 сокета). 3. Количество слотов под оперативную память, бывают решения на 8-16-24-32 слотов для модулей RAM. 4. Тип поддерживаемой оперативной памяти DDR4 или DDR5 (бывают динозавры с DDR3, но с ними в "нормальной" практите уже вряд ли столкнётесь).
Тут важно добавить, что серверная память всегда идёт с коррекцией ошибок (ECC). 5. Частота работы оперативной памяти, она измеряется в МГц. Для серверов "свежего поколения", данный параметр будет 2933 или 3200 МГц (для типа DD4) и от 4400 МГц (для типа DDR5). 6. Стандарт PCIe. Бывает 3.0, 4.0 и самый новый 5.0. От поколения этого параметра, зависит скорость данного порта.
Процессор: Можно выделить несколько главных особенностей, это количество ядер - потоков, базовая тактовая частота и в режиме TURBO Boost, кэш память L3, TDP.
Данные параметры определяет системный архитектор исходя из задач, которые будет решать сервер, а в проектирование вычислительных комплексов нам ещё рано, оставим это просто как параметры сервера.
Радиатор на процессор: Этот пункт комплектующих подбирается исходя из процессора, а точнее его параметра TDP. Чем мощнее процессор, тем выше у него TDP и тем производительней нам нужен радиатор. Они бывают пассивные, а бывают активные (с вентилятором).
При подборе, смотрим на TDP процессора, затем выбираем модель радиатора исходя из её характеристик.
Оперативная память: Ещё раз повторюсь, тип памяти (ddr4-ddr5), частота в МГц, ECC.
Порты на материнской плате: Мы подошли к завершающему пункту в этом блоке. Я напишу про порты, которые используются на современных материнских платах. Про всякие power-reset, даже не буду писать, остановимся на портах для подключения доп. оборудования.
OCP 3.0 - это порт PCIe x16, только другого форм-фактора и с возможностью горячей замены оборудования. Как правило, в него подключают OCP - сетевые адаптеры.
SFF8643 - это разъём для подключения SAS/SATA дисков, RAID-контроллера, бэкплейна. Данный разъём так же способен проводить 4 линии PCIe 3.0. С помощью специального провода, позволяет подключить 1 диск стандарта NVMe.
SFF8654-8i - это разъём для подключения SAS/SATA/NVMe дисков. Он обладает 8-ю линиями PCIe и 1 кабель может подключить 2 накопителя формата U.2, либо 8 SATA/SAS 12g
SFF8654-4i - это в половину урезанный порт, тут 4 линии PCIe. Можно подключить 1 диск U.2 или 4 SATA/SAS 12g.
MCIO x8 - это порт с высокой пропускной способностью, 8 линий PCIe 5.0 - 6.0. С помощью него уже можно подключать видеокарты, высокоскоростные диски NVMe или любое оборудование, где требуется шина PCIe.
MCIO x4 - это в половину урезанный порт, тут 4 линии PCIe 5.0 - 6.0. Он также позволяет подключить видеокарты, высокоскоростные диски NVMe или PCIe устройства.
OCuLink x8 - высокоскоростной порт который проводит 8 линий PCIe 4.0. Позволяет подключать U.2 и M.2 диски. Встречается очень редко.
OCuLink x4 - это высокоскоростной порт способный проводить 4 линии PCIe 4.0. Позволяет подключать U.2 и M.2 диски. Достаточно распространённый порт в серверах.
PCIe x16, x8, x4 - чаще всего на материнских платах есть 2 порта PCIe x32, из которых с помощью специальных райзеров (переходников) делают 1 порт x16 и 2 порта x8. В некоторых серверах, где материнская плата квадратного форм фактора, данные разъёмы имеют привычный вид. То есть, не требуется переходник.
Хоть и кратко, но я постарался описать и систематизировать информацию про такое сложное устройство как сервер.
P.S. В следующем посте я буду давать информацию про сетевые карты, raid и hba контроллеры, средства доверенной загрузки.
P.S.S. потом будут схд, коммутаторы, небольшой обзор рынка и много чего ещё, подписывайтесь, чтобы не пропустить.
Если кому-то пригодилась информация, то поставьте лайк и подпишитесь на паблик.
