Серверные решения HP и IBM для Web 2.0

Введение

Если вы являетесь ИТ-администратором банка и хотите создать систему серверов для сети банкоматов (ATM), то вы делаете так, чтобы ваша система была отказоустойчивой и избыточной, дублируя всё: от блоков питания до сетевых карт. Если же речь идёт о службе Web 2.0, то вы используете самые дешёвые материнские платы, и если что-то выйдет из строя, то вы просто это выбрасываете и подключаете новое. Дело не в том, что web-сайт может позволить себе "лежать" дольше, чем ATM-сеть. Всё дело в том, что программное обеспечение, отвечающее за сайты, такие, как Google, распределено по такому большому количеству различных машин в информационном центре (data center), что потеря одной или двух из них ни на что не повлияет. Поскольку всё больше и больше компаний и служб используют распределённые приложения, HP и IBM уверены, что подход на основе множества однотипных серверов себя оправдывает.

Однотипные серверы: ломаются рано или поздно

В самом начале своего существования компания Google буквально собирала свои серверы вручную, делая стойки из фанеры и монтируя системные платы на процессорах Pentium II на пробковые пластины. Сегодня Google по-прежнему покупает потребительские серверы x86, потому что они дешёвые, хотя и оснащает их специальными блоками питания с 90% эффективностью (КПД). За последние 18 месяцев компания Google построила по всему миру 10 информационных центров стоимостью по полмиллиарда долларов каждый. По данным аналитиков WinterGreen Research, Google собрала 45% всех серверов Web 2.0.

Множество "стартапов" пошли по тем же стопам, но в меньшем масштабе, поскольку цены за энергию растут, то host-провайдеры взимают оплату уже не только за занимаемое место, но и за потребляемую энергию. Blade-серверы гораздо эффективнее в отношении занимаемого пространства, но у них гораздо выше плотность рассеиваемой энергии, и им требуется больше охлаждения, чем монтируемым в стойку серверам форматов 1U и 2U.

Стив Фишер (Steve Fisher), старший вице-президент компании Salesforce.com, считает, что их стойки опустели бы наполовину, если им пришлось бы для работы службы использовать blade-серверы, потому что энергопотребление было бы очень высоким. Фишер считает, что blade-серверы - это технология прошлого поколения.

Компания Salesforce.com использует серверы Sun Solaris, поскольку, когда компания начинала работу в 1999 году, другого выбора у них не было, однако Фишер в своём информационном центре недавно воспользовался первым кластером Dell Linux и собирается купить больше серверов Dell. Однотипные серверы популярны из-за своей низкой стоимости, зато придётся потратить время на их конфигурацию. Такие компании-поставщики, как Rackable Systems, Verari и Silicon Mechanics, уже какое-то время предлагают серверы, разработанные для распределённой нагрузки Web 2.0. Они могут поставить серверы в стойке, предварительно сконфигурированные и с кабелями, если нужно. Second Life работает на серверах Silicon Mechanics, как и LiveJournal, WikiMedia и многие другие службы Web 2.0.

Web 2.0-подход компании IBM заключается в том, чтобы развернуть серверы на 90 градусов и использовать для стойки водяное охлаждение, чтобы можно было обойтись совсем без кондиционирования воздуха. HP предлагает петабайты дискового пространства по очень низкой, по сравнению с обычной, цене. Обе компании считают, что когда есть вероятность выхода из строя оборудования, стоит выбирать системы, которые легче и дешевле справляются с такими сбоями.

IBM разворачивает серверы

Хотя, по словам Грега МакНайта (Gregg McKnight), технического директора отдела модульных систем компании IBM, серверам формата 1U не требуется такого сильного охлаждения, как blade-серверам, им всё равно нужно охлаждение, а их дизайн очень неэффективный. Производители ПК "впихивают" всё больше и больше компонентов внутрь шасси, а так как высота и ширина зафиксированы, корпуса становятся всё глубже и глубже. Таким образом, проблема охлаждения всё более усугубляется.

Вентиляторы расположены сзади и вытягивают воздух наружу, но к тому моменту, когда воздух туда попадает, он уже забирает тепло у компонентов, расположенных спереди.

По словам МакНайта, компоненты, которые находятся в задней части стойки, получают самый горячий воздух, и как раз там расположены термодатчики, определяющие, с какой скоростью должны вращаться вентиляторы, чтобы охладить стойку.

Чем горячее воздух, тем быстрее вращаются вентиляторы, потребляющие до 80 Вт энергии. "Энергия, используемая вентилятором, пропорциональна кубу скорости его вращения, и если вы хотите удвоить скорость вращения вентилятора, то придётся потратить в восемь раз больше энергии", - говорит МакНайт.

Если сервер развернуть боком, то это поможет сэкономить много энергии, так как воздуху придётся пройти до вентиляторов всего 38 см вместо 63. Вентиляторы в новых стоечных серверах iDataPlex потребляют всего 6 Вт, а среднее энергопотребление системы охлаждения всей стойки составляет 100 Вт, в то время как конкурирующие решения потребляют, в среднем, 1,2 кВт. IBM измерила сопротивление воздуха в новой системе, и оказалось, что оно почти на 40% меньше, то есть на прохождение воздуха по компонентам тратится меньше энергии.

Кроме того, МакНайт утверждает, что такой подход более эффективен, чем при прохождении воздушного потока по стойке вверх или вниз, даже несмотря на то, что нагретый воздух естественным образом поднимается вверх.

По словам МакНайта, нижние серверы подогревают воздух для серверов, расположенных в центре, а от них ещё более нагретый воздух поступает к верхним серверам. Чтобы всё это охладить, нужно прогнать через стойку, а это почти двухметровая камера, в которой воздух уже нагрет, несоразмерно большое количество воздуха. В итоге сервер, который находится наверху, перегревается, и срок его службы сильно сокращается, по сравнению с нижними серверами.

МакНайт заявляет, что iDataPlex примерно на 25% - 40% эффективнее, чем аналогичная стойка из 1U-серверов, и ей требуется на 40% меньше кондиционирования воздуха. Частично эти улучшения можно отнести к более эффективному охлаждению, но, кроме этого, IBM ещё и ограничила выбор компонентов более эффективными с точки зрения энергопотребления. Блок питания обладает более низкой мощностью в ваттах по сравнению с большинством серверных блоков питания, чью мощность МакНайт считает чрезмерной.

"1U системы разрабатываются так, что блок питания может использоваться для самых мощных конфигураций: самые горячие процессоры, самая мощная память, максимальные опции PCI. Но в пространстве Web 2.0 потребителей больше интересует эффективность с точки зрения энергопотребления, - говорит МакНайт. - Они выбирают 50-Вт CPU вместо 80 или 130 Вт, восьмичиповые модули памяти вместо четырёхчиповых, чтобы в два раза меньше компонентов потребляло энергии, и расширенные буферы памяти, сокращающие энергопотребление". Таким образом, 350-Вт блок питания - это пустая трата денег; даже 200-Вт блок питания может работать с нагрузкой всего 40-50 Вт, а значит, он работает неэффективно. Около 30-40 Вт теряются просто на преобразование напряжений.

В свою очередь, IBM использует блок питания с эффективностью 93%, общий для двух материнских плат, чтобы сбалансировать рабочую мощность и эффективность, причём в стойки 42U iDataPlex удаётся установить до 84U серверов.

"Мы перестали поддерживать 230-Вт процессоры и самые "горячие" конфигурации. Мы охотно согласились с тем, что вместо оптимизации для "верхушки айсберга", нужно ориентироваться на массы, - говорит МакНайт. - Это нужно очень немногим пользователям, но зато все остальные расплачиваются по счетам за энергопотребление и тратятся на блоки питания". Совместное использование блока питания уменьшает количество необходимых кабелей и подводов электричества. Меньше компонентов будет выходить из строя; и хотя один сломавшийся блок питания потянет за собой сразу две системные платы, приложения Web 2.0 всё равно умеют справляться с такими ситуациями.

Энергопотребление и его эффективность - одна из самых горячо обсуждаемых тем в ИТ-сообществе за последний год. Энергопотребление указывает на количество энергии, которое потребляет то или иное устройство в текущем состоянии, однако эффективность энергопотребления - величина более значимая, поскольку она соотносит производительность и энергопотребление. Чаще всего указывают значение производительности на ватт, где производительность может измеряться различными способами. Индустрия поняла, что рынок уже готов к восприятию темы энергопотребления, поэтому она предлагает продукты, нацеленные на соответствующую аудиторию. Некоторые продукты действительно себя оправдывают, но многие - нет, и, как выходит сегодня, здравый смысл является самым мощным инструментом для оптимизации энергопотребления.

Водяное охлаждение для Web 2.0

Использование блоков питания меньшей мощности означает, что серверам iDataPlex требуется меньше охлаждения - опять же на 40%. Учитывая дополнительный водяной теплообменник для задней панели, можно обойтись вообще без кондиционирования воздуха. Он устанавливается на заднюю часть стойки, потому что самая длинная сторона (119 см) обеспечивает большую протяжённость для теплообмена, и к тому же, это гораздо эффективнее, чем кондиционирование воздуха.

"В информационном центре кондиционер находится на расстоянии 15 метров, поэтому ему приходится продувать воздух, теряя энергию на все препятствия, - говорит МакНайт. - Это всё равно, что рисовать, выплеснув в воздух ведро краски".

Теплообменник получает охлаждённую воду или хладагент, который уже содержится в системе кондиционирования, через шланг прямо в стойку, экономя при этом от 20% до 60% затрат на охлаждение. МакНайт в своей лаборатории установил стойку iDataPlex, где каждый сервер потреблял около 390 Вт, рассеивая в общей сложности 32 кВт. Температура составила 22 градуса Цельсия перед стойкой и 54,4 градуса за стойкой.

"Мы включили водяное охлаждение теплообменника, и через 20 секунд температура у задней стенки стойки упала до 15,5 градуса, а значит, теплообменник эффективно охлаждает пространство вокруг него, - утверждает МакНайт. - У нас было 10 752 сервера, которые охлаждались только за счёт теплообменников, и если общее энергопотребление стойки поддерживается на уровне 32 кВт или ниже, то можно обойтись без кондиционирования воздуха. Сравните это со стоечной системой формата 1U с тем же количеством серверов с энергопотреблением в 52 кВт, где вы можете поставить 14 кондиционеров по цене в $100 000 за каждый, и всё равно не сможете охладить свои серверы".

Охлаждение серверной стойки отличается от водяного охлаждения настольного или игрового ПК, где у вас есть замкнутый цикл жидкости, которая через радиатор забирает тепло после контакта с горячим элементом. В этом случае всё равно нужны вентиляторы для охлаждения таких компонентов, как память и жёсткие диски, и нужно охлаждать воздух, который вентиляторы прогоняют через компоненты; водяное охлаждение призвано лишь компенсировать непропорциональное количество тепла, выделяемого разогнанным процессором (его больше, чем могут справиться вентиляторы). Охлаждение каждого отдельного сервера iDataPlex не имеет смысла; протягивание трубки к каждому серверу и CPU обошлось бы дороже и не намного эффективнее.

Если водяное охлаждение такое эффективное, почему же тогда оно не так часто используется в серверах? По словам МакНайта, самая большая проблема кроется в психологии. Люди утверждают, что они не хотят, чтобы в их информационном центре была вода, но вода всё равно уже есть рядом: для кондиционера или в системе пожарной безопасности. Те, кто уже сталкивался с ущербом от воды, боятся использовать водяные системы охлаждения.

Противни для выпечки

Поскольку задняя стенка стойки iDataPlex зарезервирована под теплообменник, вся работа с серверами должна осуществляться спереди: блоки питания и вентиляторы крепятся прямо на шасси стойки, а серверы выдвигаются и задвигаются, как противни в печку, и закрепляются двумя винтами. На Западе серверы формата 1U часто называют "pizza boxes" (коробки для пиццы), сотрудники IBM прозвали iDataPlex "cookie sheets" (противни для выпечки). Вентиляторы сгруппированы по четыре с одним разъёмом питания и защёлкой. Вентиляторы в обычных 1U-серверах размещаются, как правило, по одному: у каждого свой разъём питания и свой механизм крепления.

"Если вы покупаете 10 000 серверов, где на каждый 1U-сервер приходится до восьми вентиляторов, то вы авансом тратите много денег на возможность замены каждого вентилятора по отдельности, - говорит МакНайт. - Без дополнительных разъёмов питания серверы становятся дешевле, что компенсирует необходимость замены всех четырёх вентиляторов при выходе из строя одного из них. Когда пороговое количество серверов и вентиляторов выйдет из строя, можно вернуть их в сервисный центр IBM и заменить".

На лотках iDataPlex умещается материнская плата, накопители и PCI-разъёмы для подключения карт. Материнские платы имеют форм-фактор SSI, поэтому, хотя IBM на сегодняшний день предлагает только четырёхъядерные процессоры Intel, если вернётся спрос на чипы AMD, такие, как Barcelona, то IBM может предложить и их. В качестве накопителей могут быть 3,5" SAS, 3,5" SATA или сдвоенные 2,5" SAS жёсткие диски, поддерживающие "горячую" замену и программный или аппаратный RAID. Жёсткие диски крепятся непосредственно к серверам: до восьми винчестеров к каждому серверу, а со стойки обеспечиваются подключения Ethernet, InfiniBand или iSCSI. Стойка iDataPlex имеет вертикальное пространство для коммутаторов 16U между колоннами с серверами, так что вам не придётся жертвовать серверным пространством.

Клиент может выбирать 22 различные конфигурации для iDataPlex. IBM предварительно собирает системы, что значительно экономит затраты на конфигурацию и установку серверов в стойки, в добавок к тому, что стоимость и так на 25% ниже, чем у аналогичной системы, построенной на 1U-серверах. "Система поставляется сконфигурированной и предварительно собранной, - сообщает МакНайт. - Вам не нужно тратить время на распаковывание серверов и установку их в стойки, вооружившись отвёртками, и не придётся прокладывать кабели, устраняя впоследствии ошибки и расплачиваясь за них".

HP ставит на петабайты

Когда мы поинтересовались у сотрудников HP насчёт их серверного решения для Web 2.0 и сравнения его с iDataPlex, они отложили беседу о сервере на потом, но рассказали нам о другом аспекте Web 2.0 - о хранилище данных.

Первоначальное определение Web 2.0 описывало службы, которые улучшают описание пользовательских данных, например, тэги фотографий на Flickr и рейтинг на eBay. Сами теги и рейтинги не занимают много места, а вот фотографии и лоты, к которым они привязаны, "весят" много. Собственный сервис HP Snapfish содержит более 5 миллиардов изображений, что занимает 4,5 петабайта дискового пространства и ещё есть место; к 2010 году фотографии, возможно, будут занимать уже 20 петабайт. Однако всего два человека присматривают за сотнями дисков в хранилище. Майкл Каллахан (Michael Callahan), главный технолог подразделения StorageWorks NAS компании HP и соучредитель People, говорит, что всё это благодаря программе "PolyServe", встроенной в новую систему HP Extreme Data Storage System, и простоте поддержки. Система ExDS9100 появится в продаже в конце этого года, но сервис Snapfish уже использует прототип этой системы.

Когда речь заходит о хранении, компания HP не сразу приходит на ум. Однако в последнем квартале 2007 года HP продала 46% всех жёстких дисков, произведённых по всему миру, предоставив пользователям до 123 000 терабайт дискового пространства. Многие из этих жёстких дисков используются в настольных ПК и ноутбуках, но многие компании, от крупнейших банков до некоторых известных сайтов, предоставляющих фотографии, уже применяют программное обеспечение HP "PolyServe" для управления своими накопителями. На данный момент это значит, что каждый сайт должен разработать и интегрировать хранилище на основе системы "PolyServe", работающей на сервере Linux; но ExDS9100 - это стойка, которую клиенты могут купить, подключить и сразу же начать использовать.

Кластерное программное обеспечение "PolyServe" системы ExDS9100 работает на четырёх blade-серверах BL460; они находятся в шасси 10U BladeSystem c7000, которое может вмещать до 16 blade-серверов, обеспечивая до 12,8 ядра на U и 3,2 Гбайт/с чистой производительности.

Отличие от любых других массивов хранения, в частности, от NAS-хранилища, которое используется в домашней сети, заключается в масштабе. Базовая конфигурация ExDS9100 состоит из четверти петабайт в трёх блоках 7U из 82 отдельных 3,5" SATA 1-Тбайт жёстких дисков. Вы можете добавить до семи 82-Тбайт блоков, и всего получится 820 Тбайт ёмкости в двух соединённых стойках; четыре блока ставятся в одну стойку вместе с блейд-серверами, и шесть блоков в другую сойку. По заявлениям Каллахана, в среднем, получается по 12 Тбайт на U, что в два раза больше, чем у Google (6 Тбайт/U). Для создания "мультипетабайтной" системы можно соединить несколько систем Extreme Data Storage.

Из 82 жёстких дисков каждого блока хранения 12 дисков крепятся в секцию с избыточными RAID-контроллерами, а остальные 70 винчестеров плотно пакуются на двух выдвижных полках. Жёсткие диски крепятся горизонтально, а не вертикально. Так они не занимают больше места, зато не придётся нести лестницу в информационный центр, чтобы заменить верхние винчестеры. Для замены неисправного диска нужно выдвинуть полку с 35 дисками, а остальные винчестеры в это время будут продолжать работать.

Программа "PolyServe" обеспечивает непосредственный доступ к каждому жёсткому диску и к каждому файлу от каждого blade-сервера. Кроме того, можно получить доступ к данным от других систем через NFS, HTTP и "PolyServe" Direct IO. Если соединить вместе несколько систем Extreme Data Storage, то можно получить доступ непосредственно ко всему дисковому пространству системы. Поскольку blade-серверы в ExDS9100 работают под управлением операционной системы Linux, вы можете запускать свои собственные приложения, а если вам захочется улучшить производительность данных приложений, то можете добавить дополнительные blade-серверы. Вы сами можете выбирать, что добавлять: blade-серверы или отдельные накопители; для работы с 820 Тбайт дискового пространства вам не понадобится больше четырёх стандартных blade-серверов.

По мнению Каллахана, этот подход сильно отличается от обычных методов построения больших систем хранения. "Раньше многие подходы предполагали наличие сервера с напрямую подключёнными жёсткими дисками. А это значило, что для полноценной связи между сервером и жёсткими дисками, требовался волоконно-оптический канал", - заметил Каллахан.

Каллахан говорит, что конкуренты принимают классический подход Google, предлагая отдельные серверы с напрямую подключаемыми дисками, так что вы получаете порядка десяти дисков на каждом сервере. Для ёмкости в 820 Тбайт это значит, что у вас должны быть десятки серверов, которые вы снабжаете энергией и платите за неё. Принимая во внимание слова МакКинси о том, что к 2020 году информационные центры могут понести ещё большую ответственность за экологию (CO2), чем авиаиндустрия, представление о том, что имеет смысл добавлять по серверу на каждый десяток накопителей, совершенно несостоятельно, если тому есть альтернативы.

 
В одной стойке HP ExDS9100 содержится полпетабайта информации.

Избыточность и RAID 6

Жёсткие диски подключены к двум SAS-контроллерам с защитой данных RAID 6. С RAID 5 вы можете восстановить данные, повторно построив RAID-массив после выхода из строя одного диска. Но если в этот момент поломается ещё один жёсткий диск, или если вы случайно удалите не тот диск, то можете потерять данные. В RAID 6 добавляются вторичные блоки информации избыточности по всем элементам массива, что обеспечивает дополнительную степень надёжности. Один жёсткий диск в массиве RAID может выйти из строя, однако гораздо менее вероятно, что "умрут" сразу два диска; а когда ломается один жёсткий диск, данные всё равно находятся под защитой, даже во время повторного построения массива.

Кроме того, есть двойной канал связи (с избыточностью) между blade-серверами и хранилищем, хотя Каллахан не стал пока углубляться в технологию. "К каждому жёсткому диску есть два канала, причём каждый из них ведёт к своему контроллеру, есть два канала от каждого контроллера к blade-серверам, два коммутатора в шасси blade-сервера и два подключения от коммутаторов к blade-серверу", - сказал Каллахан.

Интегрированный коммутатор SAS в ExDS9100 означает, что вам не нужны внешние коммутаторы, подключения или дополнительные кабели внутри информационного центра. Отказ от волоконно-оптического канала помогает снизить общую стоимость системы, кроме того, компания HP использует свои объёмы закупок для снижения стоимости накопителей. Текущие расходы предприятий на хранение составляют около $15 за гигабайт, а HP обещает, что ExDS9100 будет "разительно дешевле", чем другие её хранилища: менее $2 за гигабайт. Но это всё равно составляет около $500 000 за стандартную 246-Тбайт комплектацию или $1,64 млн. за 820 Тбайт.

Каллахан прогнозирует продолжение падения стоимости, которая к 2011 году составит до 11 центов за гигабайт для жёстких дисков с вращающимися пластинами и менее $1 за гигабайт для твёрдотельных накопителей. Каллахан также добавил, что компания HP работает над множеством интересных идей, о которых он пока не может говорить.

Но когда речь идёт о стоимости петабайтной системы, то значение имеет не только покупная цена, но и стоимость поддержки такой системы. Петабайты информации подразумевают тысячи вращающихся дисков, многие из которых будут выходить из строя. Распределённое программное обеспечение и RAID защитят данные в случае поломки диска, однако вам всё равно придётся заменять вышедшие из строя компоненты. Разработка системы, которая позволяет легко и быстро заменять испорченные диски, поможет сократить затраты, поскольку вам не придётся содержать большой штат персонала для поддержки системы.

Если выйдет из строя жёсткий диск или вентилятор, то программа "PolyServe" подскажет, какой именно компонент "умер", где он находится, и выдаст шифр компонента для заказа замены. При добавлении нового blade-сервера или замене сломавшегося вам не придётся устанавливать ПО вручную. Когда система определяет новый blade-сервер, она автоматически его конфигурирует: устанавливает на него операционную систему Linux, программу "PolyServe" и любые выбранные для ExDS приложения; загружает новый blade-сервер и добавляет его в кластер. Всё это делается автоматически. Автоматическое понижение системы, когда не нужна такая высокая производительность, как во время сильной нагрузки, или маркировка данных, которые используются не часто, также помогают сократить издержки.

HP упаковывает накопители плотнее, чем в большинстве хранилищ, управляет ими с помощью программы "PolyServe", чтобы снизить издержки на поддержание массива, а также использует свои объёмы закупок для уменьшения стоимости отдельных накопителей. Требования к энергопотреблению и охлаждению остаются в пределах, допустимых для современных информационных центров, но, по шутливому признанию Каллахана, HP создала "отличный нагреватель".

Одной из опций для снижения расходов на энергопотребление и охлаждение является технология MAID - большие массивы неактивных дисков, которые простаивают большую часть времени. Первое поколение ExDS использует MAID, однако Каллахан говорит, что HP рассматривает альтернативы. Если в окружении много накопителей, то было бы неплохо, если всем им не пришлось бы вращаться всё время, однако, как признался Каллахан, в первом релизе системы все диски вращаются постоянно.

назад