Обзор сервера высокой плотности формата 2U: 4 ноды, 8 процессоров AMD, 512 Гб памяти в одном корпусе

Сегодня основная тенденция в серверном оборудовании - повышение вычислительной плотности оборудования, и причины тому весьма банальны - желание заказчика экономить на обслуживании своей инфраструктуры. С одной стороны, производители процессоров, корпорации Intel и AMD уже давно переключились с гонки гигагерц на гонку количества ядер в одном физическом корпусе процессора. С другой стороны, производители серверного оборудования готовы предложить заказчикам сверхплотные решения, используя как уже обкатанную технологию Blade-серверов, так и относительно новую - размещения нескольких серверных узлов в одном корпусе.

Пока что для тех, кому не хватает денег на Blade-серверы или кому просто не нужна мощность Blade-структуры, промышленность предлагает установку двух физических серверов на 1U высоты корпуса. Соответственно, в 2U корпусе можно разместить 4 физических сервера, причём достаточно мощных - двухпроцессорных, с 16-ю слотами памяти, и даже одним слотом расширения. То есть, по сути, увеличивая плотность в два (для 1U) или четыре (для 2U) раза, заказчик почти ничего не теряет.

Сегодня мы рассмотрим сервер, собранный компанией Server Unit для математических расчётов и программ физического моделирования. Эта машина собрана на процессорах AMD Opteron 6174, каждый из которых имеет 12 физических ядер, установленных на 4-нодовую платформу Supermicro 2022TG-HIBQR высотой 2U. Таким образом, вычислительная плотность составляет 48 ядер на 1U! Эта 56-килограммовая машинка стоимостью в миллион рублей посетила наш тестовый стенд, и я вам скажу - здесь есть, чему удивляться. Но прежде, чем мы продолжим, позвольте небольшое техническое отступление.

ОБЛАСТЬ ПРИМЕНЕНИЯ СЕРВЕРОВ ВЫСОКОЙ ПЛОТНОСТИ

В подобных серверах достигается возможность размещения большего количества вычислительных ядер и памяти на серверную стойку, а следовательно, и на серверную полку 1U. При этом, возможности по хранению данных такие же, или хуже, чем у традиционных серверов. Ведь если в 2U корпус можно установить 12 жестких дисков формата 3.5 дюйма, то в случае серверов высокой плотности эти диски жестко поделены между модулями. И если каждому физическому узлу доступны по 3 диска, то RAID 6 на них уже не соберёшь. Хотя, RAID 5 на винчестерах большого объёма вполне достаточно для операционной системы и хранения каких-то данных, даже небольших БД. Частично проблема решается использованием SFF винчестеров и внешних СХД.

Кстати, подключение жестких дисков, скорее всего, возможно только к материнской плате модуля, а использование RAID контроллеров для внутренних дисков невозможно. В некоторых моделях может существовать возможность использования Zero Channel контроллеров.

Еще одна проблема серверов высокой плотности - это платы расширения. В лучшем случае, вам будет доступен один слот половинной длины и полной либо половинной высоты. Поэтому производитель старается интегрировать на плату то, что потребуется пользователю. Например, контроллеры интерфейса InfiniBand, использующиеся для MPI в вычислительных кластерах и суперкомпьютерах.

По сравнению с традиционной конструкцией, сервер высокой плотности заранее проигрывает в производительности дисковой подсистемы, а так же в возможностях по расширению. Последнее может стать серьёзной проблемой на пути интеграции в HPC, где все чаще используются GPU платы типа nVidia Tesla. А при использовании таких плат, модульные серверы уже теряют свои преимущества.

Если сравнивать с Blade-серверами, то сервер с несколькими узлами недалеко ушел от своего традиционного аналога. Он не имеет встроенных коммутаторов и KVM консолей, едва ли будет иметь расширенное управление модулями, т.к. в нем отсутствует само понятие «умной полки», как в Blade серверах. Да и по вычислительной плотности Blade-серверы не имеют альтернатив.

Серверы повышенной плотности позволяют покупателю неплохо сэкономить на покупке оборудования (4-модульный сервер будет стоить дешевле 4-х традиционных серверов с той же конфигурацией и от того же производителя) и на эксплуатации. Даже стоимость потребляемой энергии будет ниже, ведь как и в случае с Blade-серверами, здесь используются общие блоки питания и вентиляторы охлаждения. Сопоставьте затраты - 4 традиционных сервера будут иметь от 4-х до 8-ми блоков питания и от 16 системных вентиляторов. А в одном 2U сервере высокой плотности, состоящем из 4-х модулей, будет всего 2 блока питания и 4 системных вентилятора.

Естественно, если вы арендуете места под сервер в дата-центре или просто ограничены в используемом пространстве, то ваша экономия - на лицо.

Сервера высокой плотности не годятся для использования в качестве систем хранения данных, а для баз данных или сервера баз данных потребуется внешняя СХД. Сейчас есть модели с поддержкой GPU плат типа Tesla, но это скорее дань моде, потому что в 2U корпус помещается лишь два модуля с GPU платами, при том, что уже сегодня существуют корпуса формата 1U, поддерживающие установку двух плат типа Tesla. Однако, для задач виртуализации, для веб-хостинга или для математических расчётов на уровне CPU это - идеальный вариант. Они дают серьёзную экономию как на этапе покупки, так и на этапе владения оборудованием, при этом, не уступают в производительности традиционным серверам.

4-МОДУЛЬНАЯ СЕРВЕРНАЯ ПЛАТФОРМА

Рассматриваемая нами модель сервера собрана на платформе SuperMicro 2022TG-HIBQR, которая создавалась для нового поколения процессоров AMD Opteron 6-й серии. На сегодняшний день это единственные x86 процессоры, имеющие 12 физических ядер. Соответственно, это лучшее решение для задач по параллельным расчетам, ведь вы можете достичь плотности в 48 ядер на 1 полку 1U при использовании относительно недорогих 2-процессорных конфигураций. Платформа SuperMicro 2022TG-HIBQR имеет четыре двухпроцессорных модуля, 12 отсеков для SATA дисков формата 3.5 дюйма, отказоустойчивый блок питания мощностью 1400 Вт. Каждый модуль имеет интегрированный контроллер QDR InfiniBand с пропускной способностью 40 Гбит/с, что очень пригодится для соединения узлов кластера будущего HPC. К тому же, каждый узел имеет слот расширения PCI Express 16x для плат длиной до 15 сантиметров. Каждый узел может содержать до 256 Гб оперативной памяти. То есть, практически этот сервер ничто не может остановить :)

Чтобы понять, какие задачи пришлось решать производителю, достаточно внимательно посмотреть на сервер. Прежде всего, перед нами редкий тип корпуса формата 2U, в котором нашлось место для 12 дисков - по одному столбику из трёх дисков на каждый узел.

В результате на корпусе не осталось места не то, чтобы для USB портов, а даже для кнопок - выключатели и кнопки включения идентификации вынесены на «ушки» крепления в стойку. Правда, надписи на кнопках и индикация без микроскопа не видны.

Если вся лицевая панель занята лотками для HDD, то мы просто обязаны посмотреть на них повнимательнее.

Конструкция лотков напоминает аналогичную у серверов Hewlett Packard, с той разницей, что здесь лоток не имеет решетки для защиты электроники диска, а фронтальная часть представляет собой решетку с низким сопротивлением воздушному потоку. И хотя защелка пластиковая, она очень удобная и создает впечатление надежности.

Посмотрим на сервер сзади - именно отсюда вынимаются узлы и модули блока питания. Для извлечения каждого узла, его предварительно надо отключить, но на работу других узлов это не влияет.

Каждый из узлов щедро наделен средствами для общения с миром: два USB 2.0 порта, VGA порт, выглядящий смешно RS232 порт, три RJ45 и один порт InfiniBand. Из трёх сетевых портов два представляют собой Gigabit Ethernet, а третий, который расположен над USB портами служит для удаленного мониторинга. Если вам этого мало, вы можете установить плату расширения с недостающими интерфейсами. Хотя, что сюда можно установить - трудно представить.

Машина питается от блока питания мощностью 1400 Вт, имеющего сертификат 80Plus Gold. Обычно, серверные блоки питания итак имеют потрясающую эффективность и не нуждаются в сертификатах. По результатам измерений производителя, КПД блока питания колеблется от 84.4% до 92.31% - отличные показатели.

Охлаждающий воздух поступает в сервер не только через фронтальную часть с дисками, но так же через боковые стенки и верхнюю крышку. На охлаждение каждой пары модулей работают по два 80-мм вентилятора мощностью по 17 Вт каждый. Причем, если включены правые два модуля, то пара вентиляторов слева не работают ради экономии электроэнергии.

Меняются вентиляторы парой, и делать это очень неудобно.

Давайте посмотрим, как выглядит отдельный узел кластера. Он имеет странную форму, с длинным «хвостом», которым является плата для соединения с backplane. Интересно выглядит контактная группа на этом «хвосте»: сверху - интерфейсные контакты, снизу - большие силовые. Судя по маркировке, это плата для подключения к SATA бекплейну, а значит есть вариант и с интерфейсом SAS. Но удивительно другое, что питание на всю электронику модуля подается лишь по двум силовым контактам.

Гнезда процессоров и модули памяти установлены в шахматном порядке, по 8 слотов DIMM на каждое CPU гнездо. С тыльной стороны корпуса модуля размещаются чипсет материнской платы, контроллер InfiniBand, а так же единственный слот расширения. Как вы можете видеть, места для установки платы расширения здесь не много - для платы половинной высоты и длиной до 15 см. Для дополнительной сетевой карты может хватить. Места для SD карт здесь не осталось, но есть USB порт, в который можно установить флэшку с операционной системой или ключами доступа. Так же на материнской плате есть разъёмы для подключения планки с портами USB 2.0 и RS232.

В общем-то, несмотря на компактность материнской платы, на ней сохранена типичная серверная компоновка, вам доступны даже дополнительные интерфейсные порты и один слот расширения. Теперь осталось посмотреть, как этот узел работает.

УДАЛЕННЫЙ МОНИТОРИНГ

Любой современный сервер такого класса обязан иметь функциональную систему мониторинга, и платформы SuperMicro - не исключение. Пользователю доступно несколько вариантов аппаратного мониторинга, в том числе SNMP, но более интересен мониторинг через интернет.

Для этого надо установить утилиту SuperODoctor под Windows, после чего вы получите доступ через Web-интерфейс к серверу. Вам будет доступна KVM консоль, виртуальный диск, а так же данные аппаратного мониторинга в реальном времени.

Однако, видеолога процесса запуска, как у серверов Dell или HP, не имеется. Да и программное обеспечение доступно только под Windows, а под Linux существует лишь сильно урезанная его часть. Однако, если вы не хотите зависеть от операционной системы, то можете подключиться непосредственно к специальному сетевому порту узла и работать уже через HTTP протокол, без дополнительных программ. Правда, централизованное управление узлами недоступно: хотите управлять всеми четырьмя узлами - подключайтесь четырьмя кабелями и открывайте четыре браузера. А если таких узлов 256? В любом случае, такое решение лучше, чем ничего.

ТЕСТИРОВАНИЕ

Протестируем производительность одного узла сервера высокой плотности, чтобы выяснить производительность, которую он может дать при работе с вычислениями. Начнем с десктопного теста SiSoft Sandra. Мы еще не тестировали серверы на процессорах AMD, поэтому сравним результаты с данными серверов Dell на процессорах Xeon серии Nehalem и HarperTown. Эти серверы тестировались с 12 Гб памяти, так что на 100% наш тест не будет точным, ведь в одном узле нашего испытуемого - 128 Гб памяти. Но тем не менее, результаты будут интересны.

Из-за различия дисковых систем, тесты файловой скорости проводить не будем.

В принципе, есть о чем подумать - большее количество ядер дает огромное преимущество в тестах процессорной производительности. Арихитектура AMD дает прорыв и в пропускной способности памяти, хотя и уступает в латентности. Учитывая данные этой синтетики, можно предполагать огромное преимущество AMD-ной платформы в следующих тестах.

MCS BENCHMARK

Этот синтетический тест показывает в том числе и многоядерную производительность.

И первый же тест для нас приносит разочарование - слишком маленькая производительность, сравнимая с процессорами Intel предыдущего поколения. Но может быть, дело в самом коде теста... Перейдем к тестам группы SPEC.

SPEC VIEWPERF X64

Странно предполагать, что на подобных системах кто-то будет использовать однопоточные приложения для рендеринга. Однако, чем админ не шутит - наш традиционный тест SPEC ViewPerf мы проводим как в многопоточном, так и в однопоточном режимах.

В этом тесте платформа AMD просто не имеет шансов перед даже довольно старым поколением процессоров Intel. Конечно, частота и архитектура конвейеров Xeon дает им преимущества. Включаем многозадачность...

Понимайте как хотите, но большее количество физических ядер на узел здесь играет в пользу архитектуры AMD. Не думаю, что имеет значение объем памяти, так как даже 12 Гб хватало для теста с избытком. Обратите внимание - этот тест использует всего 4 потока. В следующем тесте от SPEC мы проверим работу JAVA.

SPECJVM2008

Этот тест может параллелиться на количество ветвей, равных количеству ядер в системе.

Конечно, платформа AMD выигрывает в большинстве тестов, но преимущество какое-то неуверенное. Например, в сложных тестах Derby и Crypto совершенно разная ситуация. Пожалуй, глядя на Scimark.small и Scimark.large, становится понятно, что скорость определяется в большей части не количеством ядер и объемом кеша, а оптимизацией приложения, но в целом потенциал у процессоров Magny-Cours огромный.

ЦЕНА ВОПРОСА

Давайте сравним экономическую выгоду от использования сервера на несколько узлов по сравнению с покупкой нескольких серверов той же конфигурации. Мы уберем из сравнения жесткие диски, чтобы легче было оценить конфигурацию и не привязываться к системе хранения данных.

Как видите, стоимость покупки ниже при выборе сервера на 4 узла, ведь в этом случае вы экономите еще и на infiniband контроллерах, но если они не нужны, то стоимость примерно сопоставима. Самое главное, что такие серверы высокой плотности не стоят ощутимо дороже обычных, но в два раза экономят место в стойке.

ВЫВОДЫ

Наша статья во многом объясняет, почему сервер высокой плотности выгоднее, чем обычный 1-юнитовый сервер, особенно, когда вы строите кластер для математических расчётов. Более того, для этой цели предпочтительнее использовать процессоры с максимальным количеством физических ядер, что наглядно демонстрирует архитектура AMD Magny-Cours.

К недостаткам платформы можно отнести то, что к каждому узлу жестко привязаны по 3 жестких диска с интерфейсом SATA, и у пользователя нет возможности никак менять конфигурацию собственной системы хранения сервера. Но для случаев, когда необходимо для хранения данных использовать собственные ресурсы серверов, можно присмотреться к вариантам с 2.5-дюймовыми жесткими дисками. Да и пока что вариантов для апгрейда вычислительных узлов не предусмотрено.

Серверная платформа Supermicro 2022TG-HIBQR оказывается выгоднее, чем четыре аналогичных платформы формата 1U при использовании интерфейса InfiniBand, как при покупке, так и при эксплуатации. Высокая эффективность энергопотребления и плотность вычисления - 48 ядер на 1U делают ее идеальным решением для построения HPC (High Performance Computer) или кластера для расчетов. И по сравнению с blade-серверами, здесь вы не привязаны к производителю оборудования, и можете со временем заменить один сервер на другой, что так же повышает гибкость вашей инфраструктуры.

Мы благодарим компанию Server Unit за предоставленный сервер.

Источник: http://www.hwp.ru/

назад