Прецизионное кондиционирование в центрах обработки данных

В современных центрах обработки данных (ЦОД) одновременно работает большое количество мощных серверов, которые обеспечивают централизованную обработку, сбор, хранение и передачу информации. Для компьютерного оборудования, которое функционирует в ЦОД, должна быть обеспечена достаточная площадь для его размещения и оптимальный режим отвода выделяемого тепла с целью экономии энергоресурсов. Перегрев компьютеров, системы питания или проводки служит причиной до 20% всех аварий в ЦОД. Выделение тепла при недостаточном охлаждении оборачивается снижением производительности. Таким образом, охлаждение — важнейший фактор успеха при эксплуатации серверных комнат: главное — не удерживать тепло там, где оно образуется, а эффективно и полностью его отводить. Для этой цели существуют специальные технологии и оборудование, которые и рассматриваются в данной статье.

Как известно, сверхтонкие модульные серверы (blade-серверы) предназначены для тех предприятий, которые испытывают дефицит производственных площадей. Модульная архитектура обеспечивает высокую плотность серверов на единицу площади, быстрое развертывание и техобслуживание. В сравнении с обычными серверами, предназначенными для размещения в стойках, модульные серверы могут повысить плотность размещения оборудования на 100 – 800% в зависимости от используемой конструкции стойки.
Но есть и обратная сторона медали. При проектировании ЦОДов встают непростые задачи организации инженерных систем, в первую очередь по бесперебойному электропитанию оборудования, отводу от него тепла, обеспечению необходимого уровня влажности. При установке телекоммуникационного оборудования с высокой плотностью монтажа (например, тех же blade-серверов) нередко приходится размещать в одной стойке оборудование с общей мощностью более 10 кВт. Это значительно выше, чем в среднем по промышленности, где на одну стойку в среднем приходится 2 кВт. Отсюда возникают серьезные проблемы охлаждения. Традиционные методы кондиционирования помещений с использованием фальшполов данную проблему решить не в состоянии. Это обстоятельство требует принципиально новых решений для обеспечения надлежащих климатических параметров в помещении центров данных.

При планировании ЦОД полезно рассмотреть ряд критериев, чтобы финансовые вложения будущего пользователя были использованы как можно более эффективно. Ожидаемая производительность ЦОД определяется множеством параметров и — не в последнюю очередь — микроклиматом.
Известен ряд стандартов и норм проектирования, содержащих в той или иной степени требования по габаритам, оборудованию и условиям окружающей среды к техническим помещениям серверных и ЦОДОв, например:

- ANSI/EIA/TIA-942. Telecommunications Infrastructure Standart for Data Centers. 2005 (стандарт на телекоммуникационную инфраструктуру ЦОДа).
- ANSI/EIA/TIA-569 Commercial Building Standard for Telecommunications Pathways and Spaces (стандарт телекоммуникационных трасс и помещений коммерческих зданий);
- СН 512-78 Инструкция по проектированию зданий и помещений для электронно-вычислительных машин;

На сегодняшний день, многим компаниям уже не хватает общепринятых систем кондиционирования для того, чтобы обеспечить эффективную работу оборудования, которое функционирует в ЦОД. Применение все более компактного оборудования, и связанное с этим увеличение тепловыделения на единицу стойки диктуют новые условия, когда нужно обеспечить контроль температуры на уровне не только помещения, а стойки и даже отдельного устройства. Производители процессоров и серверов постоянно работают над улучшением показателя производительности на каждый потребленный ватт энергии, а тем временем на рынке появляются новые модульные системы охлаждения. Современные решения по охлаждению являются двухступенчатыми: охлаждение производится на уровне самих устройств (внутренне охлаждение), и на уровне всей системы в целом (внешнее охлаждение). Давайте рассмотрим пять путей построения стоек с большой рассеиваемой мощностью и представляет примеры практических решений для вновь создаваемых и уже существующих информационных центров.

Первый путь предполагает, что питание и охлаждение всего помещения рассчитывается на некоторое среднее значение мощности, которое ниже максимального значения для шкафной системы. Если мощность какой-то стойки окажется выше принятого среднего значения, то находящееся в нем оборудование распределяется по другим стойкам.
Это решение, как правило, является предпочтительным тогда, когда информационные центры должны оснащаться дополнительным сильно уплотненным оборудованием. В этом случае выгодно устанавливать серверы 1U и blade-серверы не в одном и том же корпусе, а распределять их по нескольким стойкам. Так можно достичь того, чтобы ни в одной из стоек не было превышения проектных значений мощности, и мощности охлаждения было достаточно.

Однако следует заметить, что при этом способе в стойках может оставаться много неиспользованного места. Чтобы циркуляция воздуха в стойках не нарушалась, пустые места заполняются специальными панелями-заглушками. В результате их применения можно достичь следующих результатов:

• в реальных условиях благодаря использованию панелей-заглушек можно уменьшить рабочую температуру ИТ-оборудования до 10°C.
• использование панелей-заглушек позволяет уменьшить степень перегрева и отчасти решить проблемы, связанные с “горячими точками” в центрах обработки данных и помещениях для сетевого оборудования.
• при добавлении панелей-заглушек можно обеспечить одинаковую температуру воздуха, который попадает в сервер. Это происходит благодаря более стабильной температуре воздуха, нагнетаемого кондиционером. Соответственно уменьшается влагопоглощение и повышается производительность системы кондиционирования воздуха.

Распределяться по нескольким стойкам оборудование может и по другим причинам. Так, иногда трудно или совершенно невозможно обеспечить полностью занятую стойку электроэнергией или подводом данных. Например, в случае серверов 1U множество кабелей в задней части корпуса может препятствовать воздушному потоку и даже мешать закрыванию задней крышки.

В этом случае помещение в целом рассчитывается по энергоснабжению и охлаждению на некоторую среднюю мощность, которая ниже максимальной для одного корпуса. По специальным правилам задействуется неиспользованная холодильная мощность менее загруженных соседних стоек.
Это решение не требует дополнительных расходов и практикуется довольно часто, но документируется редко. Некоторый выигрыш можно получить, даже руководствуясь простым правилом «не располагать непосредственно рядом друг с другом стойки с высокой плотностью мощности». Но можно сформулировать еще более точные правила, с использованием которых охлаждение будет обеспечено и тогда, когда мощность рассеивания более чем в два раза превышает проектное среднее значение. Такие правила нужно не только задать, но и проверять их соблюдение, контролируя мощности отдельных стоек. Эту задачу можно автоматизировать, например, с помощью системы управления ISX-Manager фирмы APC. Автоматизация станет совершенно необходимой, если будет внедрено новое оборудование с меняющимся во времени потреблением мощности.

Третий подход также предполагает, что помещение в целом рассчитывается по электропитанию и охлаждению на среднее значение мощности одного корпуса. Стойки, потребность которых в охлаждении превышает принятое среднее значение, оснащаются дополнительными охлаждающими устройствами. Причем это обычно предусматривается с самого начала. Сами же варианты дополнительных мер по охлаждению могут быть различными:

• Улучшение снабжения охлаждающим воздухом определенного корпуса с помощью встроенных в днище вентиляционных решеток или установленных там вентиляторов.
• Улучшение отвода нагретого воздуха из корпуса и его подача к системе кондиционирования по специальным каналам.
• Установка специальных стоек или монтируемых в стойках охлаждающих устройств, которые обеспечивают требуемое охлаждение непосредственно на месте.

Преимущество всех этих вариантов в их гибкости. Приобретаются и устанавливаются они лишь в случае действительной потребности в них.

При подходе, связанном с созданием специальных зон, помещение в целом рассчитывается по электропитанию и охлаждению на среднее значение мощности одного корпуса. Затем внутри этого помещения создается специальная зона с повышенной охлаждающей способностью. Оборудование с повышенной плотностью мощности устанавливается исключительно в этой зоне. Количество таких стоек должно быть известно заранее и должна иметься возможность разместить их в отдельной зоне. Правда, количество корпусов на практике заранее известно лишь в редких случаях, так что этот подход будет приемлем далеко не для всех.

Главной проблемой стоек с мощностью более 10 кВт является непредсказуемость воздушного потока. Решить проблему стараются, в основном, сокращением пути, который должен проходить воздух между охлаждающей системой и стойкой.

Стойки этой системы имеют каналы для подвода и отвода воздуха. Принципиально здесь то, что нагретый воздух собирается в замкнутом канале и тут же подается к модульному кондиционеру. Сбор нагретого воздуха и короткие пути, проходимые воздухом, обеспечивают высокую охлаждающую способность и эффективность, которая к тому же совершенно не зависит от места установки системы. Устанавливать ее можно даже в помещениях без кондиционера, фальшпол также не требуется. Решения, базирующиеся на пакетном размещении стоек с высокой плотностью мощности предпочтительны во всех случаях, когда требуется пространственное объединение таких стоек. Во всех остальных случаях в той или иной мере требуется распределение частей оборудования с высокой мощностью.

Самое простое по идее решение заключается в том, что помещение рассчитывается с запасом на то, чтобы каждая отдельная стойка могла быть использована с максимальной ожидаемой мощностью.

Этот вариант на практике не реализуется никогда, потому что в информационных центрах мощность стоек всегда сильно отличается. Расчет на «наиболее неблагоприятный вариант»делает проект неоправданно дорогим. Кроме того, проектирование охлаждения стоек мощностью более 6 кВт очень сложно. Поэтому этот образ действий целесообразен лишь в экстремальных ситуациях.

В области информационных технологий никто никогда не терял счет деньгам.

Сегодня не возникает сомнений, что за счет применения оборудования охлаждения серверных стоек в ЦОД, компании могут получить немалую экономическую выгоду. Это утверждение справедливо как для крупных центров обработки данных, так и для серверных помещений на предприятиях среднего размера. Неважно, идет ли речь о создании с нуля, переезде, модернизации или расширении существующих систем — на отечественном рынке имеется достаточное количество компаний и производителей, предлагающих современные технологии и решения, направленные на сохранение прохлады и оптимизации расходов энергоресурсов при эксплуатации ЦОДов.
Так какое же оборудование предлагается на отечественном рынке?

Корпорация Liebert-HIROSS, которая является отделением американской корпорации Emerson, предлагает решения Liebert X-treme, состоящие из двух классов систем — Liebert XD и Liebert XDFN.

Liebert XD позволяют организовать охлаждение отдельных участков или всей площади ЦОД. При тепловыделении до 5 кВт на стойку специалисты Emerson предлагают использовать классические прецизионные кондиционеры Liebert-Hiross, которые размещаются между стойками с оборудованием, формируя “горячие” и “холодные” коридоры, а также обеспечивая охлаждение через фальш-пол.
При тепловой нагрузке от 5 до 16 кВт традиционная схема кондиционирования в архитектуре Liebert X-treme дополняется кондиционерами-доводчиками и модулями охлаждения серии Liebert XD. Дополнительные модули охлаждения монтируются к потолку (модуль XDO) или непосредственно на стойку (XDV), не занимая рабочего пространства. В качестве хладоносителя они используют фреон (а не охлажденную воду), поэтому безопасность оборудования обеспечивается даже в случае возникновения течи или повреждения труб.
При использовании оборудования с высоким тепловыделением до 24 кВт на стойку применяется технология замкнутого охлаждения внутри стойки Liebert XDFN, при котором осуществляется охлаждение непосредственно серверов, а не рабочего помещения. Фактически XDFN – это “ЦОД в шкафу”. Более того, у компании также есть специальные решения, которые обеспечивают теплоотвод до 35кВт на стойку (без прямого охлаждения водой).

Для установки компьютерного оборудования с высокой плотностью мощности в обычных условиях имеется много вариантов решений. Исполнение всего информационного центра с расчетом на максимальную плотность мощности по-прежнему не практикуется. Как альтернативу можно рассматривать обустройство ограниченных зон для оборудования повышенной мощности с дополнительными охлаждающими устройствами, привлечение охлаждающей способности соседних стоек по определенным правилам и, наконец, распределение такого оборудования по различным стойкам.

Когда в системе доля корпусов с высокой мощностью велика, и о распределении оборудования не может быть речи, остается единственная возможность проектировать систему на максимальную мощность. Здесь нужны специальные системы охлаждения для отдельных стоек, ячеек или кластеров.

Сложность проектирования, значительные затраты и трудность сочетания плотности мощности от 3,2 до 6,5 кВт/м2с высокой степенью готовности оборудования мешает широкому распространению таких систем. Наиболее распространенным является оборудование в диапазоне плотности мощностей от 0,4 кВт/м2 до 1,1 кВт/м2, или в среднем от 1,2 до 3 кВт на стойку. В этом случае сохраняется возможность справиться с отдельными концентрациями мощности вплоть до тройного превышения расчетного среднего значения.