Контейнерные ЦОДы как инструмент развития бизнеса

Опубликовано в Вестнике Ассоциации 2020-2021

Рубрика: Точка зрения

Контейнерные ЦОДы — решение не для массового рынка. Но в ряде случаев такие системы имеют существенное преимущество перед классическими дата-центрами, а иногда они попросту незаменимы. К тому же по ряду объективных причин спрос на КЦОДы последние годы заметно растет.

Концепция создания компактного, защищенного и относительно мобильного вычислительного комплекса появилась из насущных потребностей. В первую очередь военных. Еще в 60—70-х годах и в США, и в СССР были разработаны специальные передвижные пункты управления ПВО, выполненные в формате специальных контейнеров с установленной внутри аппаратурой. Такие комплексы могли быть как обитаемыми, так и полностью автоматизированными. Нередко их устанавливали на колесную базу для большей мобильности. Учитывая, что контейнеры были оснащены сложной электроникой и инженерными системами для ее жизнеобеспечения, подобные решения можно смело назвать прообразом современных КЦОДов.

Гораздо позже, в начале 2000-х, оказалось, что относительно небольшие дата-центры, которые можно было бы быстро вводить в эксплуатацию, а при необходимости перевозить на новое место, востребованы и в коммерческой сфере. Отвечая на запросы рынка, но в то же время стараясь сохранить цену решения на приемлемом уровне, некоторые производители разработали коммерческие контейнерные ЦОДы, корпусом для которых служили стандартные морские ISO-контейнеры. Идея была воспринята рынком положительно, появился устойчивый спрос, который растет по сей день, а современные контейнеры уже избавились от недостатков первых поколений КЦОД.

КЦОД и МЦОД — в чем разница?

Прежде чем углубиться в детали, разберемся с основными терминами, поскольку на рынке и в СМИ нередко наблюдается некоторая путаница в определениях. Главным образом смешивают понятия контейнерного (КЦОД) и модульного (МЦОД) дата-центров. В статье мы будем рассматривать только первый вариант. КЦОД представляет собой комплексную инженерную инфраструктуру (монтажные шкафы, система электропитания и охлаждения, инструменты мониторинга и управления и т. д.) на базе стандартных компонентов, размещенную в одном или в нескольких контейнерах. Как и в случае с обычным дата-центром, КЦОД предназначен для установки серверов, СХД и другого ИТ-оборудования. Важной особенностью контейнерного ЦОДа, которая отличает его от модульного дата-центра, является потенциальная возможность транспортировки с места на место без необходимости полного демонтажа. Как правило, после относительно несложной подготовки КЦОД можно установить на полуприцеп-контейнеровоз и перевезти на новую локацию. В то же время модульные дата-центры в общем случае устанавливаются на объекте раз и навсегда (в этом отношении они ближе к стационарным ЦОДам).

Такой подход изначально оказался очень востребованным у компаний, чьи объекты расположены в отдаленных и труднодоступных регионах или там, где отсутствуют телекоммуникации. Типичный пример — морские нефтедобывающие платформы и горнорудные предприятия. В России КЦОДы очень востребованы в условиях Крайнего Севера и там, где строительство стационарного ЦОДа невозможно либо экономически нецелесообразно, а таких регионов немало. Ну и конечно, не забыли про КЦОД военные, но они традиционно предъявляют особые требования.

Вторая распространенная причина, из-за которой заказчики предпочитают КЦОД, — это отсутствие подходящего помещения. Классический стационарный дата-центр можно построить далеко не везде. Иногда из-за ветхости капитального строения либо недостаточной нагрузочной способности перекрытий в имеющемся помещении невозможно установить тяжелое оборудование: шкафы с серверами и системами хранения, ИБП, аккумуляторные батареи и т. д. Или, скажем, здание имеет культурную/историческую ценность, и строительные работы в нем проводить никто не даст. В то же время КЦОД занимает мало места, может быть установлен на улице и к тому же полностью собирается на заводе производителя. Заказчик получает полностью готовую, протестированную систему, которую достаточно установить на подготовленную площадку, подключить внешние коммуникации — и все, полноценный ЦОД в вашем распоряжении.

Привлекают и сроки ввода в эксплуатацию: ввиду отсутствия строительных работ по подготовке помещения времени на создание КЦОД уходит в разы меньше, чем в случае капитального дата-центра. Чаще всего контейнерный ЦОД начинает работать у заказчика через 3-5 месяцев после начала проектирования, в отличие от классического дата-центра, на создание которого уходит обычно не менее года. Последний момент нередко является решающим для заказчика, поскольку сегодня скорость запуска объекта является одним из конкурентных преимуществ.

Контейнеры бывают разными

На первом этапе своего появления в коммерческом секторе КЦОДы выполнялись в корпусах стандартных ISO-контейнеров, которые обычно используются для морских перевозок, длиной 20, 40, 45 футов. Конечно, недостаточно просто взять такой контейнер и поместить туда инженерную инфраструктуру. Помещение необходимо подготовить: усилить каркас, обеспечить тепло- и гидроизоляцию, исключить точки промерзания («мостики холода») и т. д. Иногда требуется обеспечить пожароустойчивость в соответствии с нормативными требованиями и даже взломозащиту. При этом, как правило, внутри одного контейнера помещается от 2-4 до 10-12 монтажных шкафов (для 20- и 45-футовой моделей соответственно), но места внутри все равно мало. Поэтому чаще всего применяются ИТ-стойки глубиной 1000-1100 мм.

Если нужны более глубокие модели, например, на 1200 мм, или требуется больше самих стоек, есть несколько вариантов решения этого вопроса. Можно, например, состыковать несколько контейнеров, убрав боковые стенки, — это позволит создать общий зал из 2-3 КЦОД. Но в таком случаем будет потерян фактор мобильности. Второй распространенный сегодня вариант состоит в том, что производители отказываются от привязки к формфакторам ISO, вместо этого разрабатывая собственные контейнеры «нестандартных» габаритов, более удобных с точки зрения монтажа и обслуживания оборудования. Сегодня как мировые, так и российские компании успешно используют оба подхода.

Также стоит отметить, что КЦОДы могут быть двух основных типов — «все в одном» и на базе сборных блоков (модулей). В первом случае контейнер является полностью законченной самостоятельной системой с полным набором инженерного оборудования внутри (см. Врезку). Сборная конструкция использует другой принцип: здесь есть несколько типов модулей с различной функциональностью, которые компонуются по принципу конструктора. Это обеспечивает большую гибкость и вариативность при создании конфигураций дата-центра. Такие блоки могут быть четырех типов.

1. Энергетический модуль. Содержит все необходимые элементы для создания подсистемы электропитания: распределительное оборудование, автоматические системы ввода резерва (АВР), источники бесперебойного питания (ИБП), аккумуляторные батареи (АКБ), трансформаторы панели управления. Дополнительно энергетический модуль может комплектоваться дизельными электрогенераторами (на отдельной площадке), которые выступают как основные или резервные источники питания ЦОДа.
2. Климатический модуль. Здесь размещаются все элементы системы охлаждения и поддержки микроклимата, кроме внутренних блоков кондиционеров. В зависимости от мощности объекта охлаждение может быть как водяным, так и воздушным. Также могут быть добавлены дополнительные элементы для обеспечения испарительного охлаждения, прямого и непрямого фрикулинга и т.д.
3. ИТ-модуль. Здесь установлены непосредственно шкафы для ИТ-оборудования, внутренние блоки кондиционеров, системы распределения электропитания, кабельная инфраструктура и т. д.
4. Модуль диспетчеризации. Предназначен для размещения дежурного технического персонала, а также систем мониторинга и управления ЦОДом. Сюда сводится вся телеметрия от оборудования дата-центра. Здесь же принимаются оперативные решения, связанные с обеспечением функционирования всего комплекса.

Комбинируя перечисленные модули, заказчик может сформировать дата-центр необходимой мощности, емкости и конфигурации.

КЦОД типа «все в одном» удобен своей универсальностью и компактностью, но небольшой объем внутреннего пространства не позволяет установить там более 10-12 стоек, а общая мощность оборудования ограничена 150 кВт (обычно она гораздо меньше). В то же время ничто не мешает наращивать возможности дата-центра за счет установки нескольких типовых контейнеров. Но в общем случае, если требуется больше нескольких десятков стоек, рациональнее использовать блочный подход, возможности которого шире. Например, мощность одного ИТ-модуля может теоретически достигать 200-250 кВт, а энергетического модуля — 500 кВт, и установить таких блоков можно столько, сколько требуется заказчику. В итоге, если нужен универсальный компактный и относительно мобильный дата-центр общей мощностью до 100-200 кВт и до 10-20 стоек, вполне достаточно одного-двух КЦОДов типа «все в одном». Для более мощных объектов уже потребуется контейнерный ЦОД на основе функциональных блоков (модулей).

Вне зависимости от того, какой тип решения выбран, контейнеры всегда собираются и тестируются на заводе-изготовителе. Заказчик получает уже готовое решение, которое остается только смонтировать на месте эксплуатации, на что обычно уходит не более нескольких дней. Также стоит отметить, что по желанию заказчика КЦОД может быть спроектирован и построен в соответствии с рекомендациями по отказоустойчивости TIA 942 и Uptime Institute.

Врезка. КЦОД внутри Контейнерный дата-центр, как правило, состоит из целого ряда конструктивных элементов и инженерных подсистем, в числе которых:

• укрепленный, утепленный и гидроизолированный стальной контейнер на основе сварного каркаса с внутренней и внешней отделкой;
• необходимое количество монтажных шкафов как для ИТ-оборудования, так и для телекоммуникационного оборудования;
• система прецизионного кондиционирования и вентиляции;
• система резервного электропитания (ИБП, АКП);
• система ввода и распределения электропитания (электрощиты, АВР, кабели, электрические шины, PDU);
• система распределения кабелей;
• система газового пожаротушения;
• система мониторинга;
• система контроля доступа;
• основное и аварийное освещение.

Опционально КЦОД может быть выполнен в огнестойком корпусе, оснащаться внутренней и/или внешней системой охранного видеонаблюдения, комплектоваться одним или двумя ДГУ.

Несколько слов о мобильности

Одним из важных преимуществ контейнерного ЦОДа является возможность относительно простого его перемещения с места на место. Есть изначально мобильные решения, когда КЦОД сразу установлен на полуприцеп седельного тягача и представляет собой единую подвижную систему, которая может быть оперативно развернута в любом месте, где есть качественные автомобильные дороги (ИТ-оборудование не демонтируется при переезде). Несмотря на то, что подобные разработки впервые были показаны полтора десятилетия назад, большой популярности они не имели, поскольку мобильные ЦОДы высокой готовности оказались очень сложными и дорогими как в изготовлении, так и в эксплуатации. Сегодня такие разработки интересуют в основном военных, для которых экономическая целесообразность вторична.

Наиболее популярны КЦОДы, которые устанавливаются на подготовленной площадке заказчика. Если такой контейнер требуется переместить на новое место, то все ИТ-обрудование в большинстве случаев демонтируется и перевозится отдельно в специальной упаковке. Реже его оставляют внутри, переводя в положение для транспортировки. Также требуется демонтаж внешних компонентов КЦОДа: ступеньки, козырьки, антенны, наружные блоки системы кондиционирования и т. д. Кроме того, если дата-центр состоит из двух контейнеров, то их также придется размонтировать. Все элементы устанавливаются с помощью погрузчика на полуприцепах, закрепляются и доставляются к новому месту эксплуатации, где их снова надо смонтировать, протестировать и запустить. Обычно на все манипуляции требуется не более одного-двух рабочих дней, не считая времени в пути.

Преимущества контейнерных дата-центров

Итак, подведем промежуточный итог. Чем же КЦОД привлекают сегодня заказчиков? Во-первых, это более быстрый ввод в эксплуатацию по сравнению с капитальными решениями. Кроме того, сборка и тестирование в заводских условиях значительно повышают качество и надежность дата-центра. Благодаря компактным размерам для установки КЦОДа не требуется много места. Добавляется фактор мобильности: дата-центр можно перевезти на новое место, и это вполне штатная функция — транспортировка не влияет на целостность и функциональность инженерных систем. Контейнерный дата-центр можно развернуть в труднодоступных регионах, например, на севере: специальные модели способны нормально работать при температурах окружающей среды от -60 C° (такие объекты реализованы в России) до +45 C° (подобные разработки есть на Ближнем Востоке). Контейнеры позволяют гибко масштабировать инфраструктуру ЦОД любой организации, в том числе за счет комбинации контейнеров со стационарным дата-центром. При наличии возможности КЦОД можно разместить рядом с дешевыми источниками электроэнергии.

Еще одним неочевидным преимуществом является цена. На первый взгляд, КЦОД может показаться дороже традиционного дата-центра, но это лишь в том случае, если не учитывать стоимость помещения, где требуется разместить оборудование. Обычный ЦОД требует строительства или как минимум подготовки капитального здания. Если внести такие работы в общую смету, то КЦОД, как правило, оказывается дешевле даже с учетом подготовки площадки для его установки на объекте. Кроме того, КЦОД в среднем обладает лучшим показателем PUE по сравнению с традиционными дата-центрами, поскольку инфраструктура в контейнере максимально оптимизирована. Более низкий PUE означает меньшие затраты на содержание. В итоге КЦОД позволяет снизить капитальные (CapEx) и операционные (OpEx) расходы заказчика с одновременным повышением масштабируемости и операционной надежности инфраструктуры.

Но, есть и недостатки

Факторы, которые обычно причисляют к недостаткам КЦОД, являются прямым следствием преимуществ подобных систем и обусловлены конструктивными особенностями. Так, компактность контейнерного дата-центра неизбежно ведет к тому, что внутренне пространство будет весьма ограниченным и всегда придется искать сложный компромисс в вопросе оптимизации помещений машинного зала. Особенно остро этот вопрос стоит в КЦОД типа «все в одном». Нехватка свободного места накладывает более жесткие требования на систему охлаждения — в случае выхода ее из строя, естественного резерва холодного коридора не хватит для поддержки, сколько ни будь продолжительной работы серверов, которые начнут быстро перегреваться. Кроме того, высота потолков, которая у контейнера составляет максимум 2,4–2,7 м. (а в случае утепления еще меньше), фактически исключает использование фальшпола и стоек выше 42U, сужает возможности прокладки кабелей и прочих внутренних коммуникаций.

Определенную сложность представляет и процедура монтажа/обслуживания ИТ-оборудования в КЦОД. Ввиду ограниченности внутреннего пространства, свободного места между стойками и стенами остается не так много и это в свою очередь требует определенных технических компромиссов. Например, при наиболее распространенном сегодня продольном расположении стоек (в один ряд вдоль длинной стены), шкафы с оборудованием необходимо устанавливать на специальные салазки, позволяющие временно сдвигать их вперед или назад, расширяя тем самым зону обслуживания. Встречается также вариант компоновки, при котором шкафы с оборудованием размещают поперек контейнера в несколько рядов. Это позволяет увеличить размеры холодного/горячего коридоров и, соответственно, зоны обслуживания. Сдвигать стойки не требуется. Однако, учитывая ширину контейнера, в один ряд можно становить всего 2-3 шкафа и при этом не останется места для прохода персонала. Это значит, что напротив каждого коридора понадобится делать отдельную дверь. Если обслуживание потребуется оборудованию, размещенному в разных рядах, сотруднику придется постоянно переходить по улице от одного коридора к другому.

И это не только вопрос удобства, чем чаще открываются двери, чем сильнее страдает внутренний микроклимат КЦОД, а значит, перед каждой дверью требуется создать специальный тамбур (либо одно общее шлюзовое помещение, охватывающее все двери сразу). При продольном расположении стоек установка внешнего тамбура тоже желательна, но, во-первых, он потребуется только в единственном числе, а во-вторых, многие модели КЦОД допускают создание небольшого шлюзового отсека прямо внутри контейнера, без необходимости увеличения внешних габаритов (в случае поперечного расположения стоек, реализовать такой вариант невозможно). В итоге компактность является одновременно как достоинством, так и недостатком контейнерного дата-центра.

Рынок КЦОД в мире и в России

Несмотря на то, что первые коммерческие модели контейнерных дата-центров появились пятнадцать лет назад, мировой рынок подобных решений все еще относительно невелик. По данным аналитической компании Mordor Intelligence, его объем в 2020 году составил $7,5 млрд. Тем не менее прогнозируется, что в ближайшие пять лет сегмент вырастет почти вчетверо — до $29,3 млрд. Ожидаемый среднегодовой темп роста в 2021-2026 годах составит 25,5%, что весьма немало. На данный момент в мире уже установлены тысячи КЦОДов, большая часть из которых работает в США. Основным мировыми производителями подобных решений являются компании Cisco, Dell EMC, Delta Electronics, Eaton, IBM, Hitachi, Hewlett Packard Enterprise Huawei, Legrand, Panduit, Rittal, Shcneider Electric, Stulz, Vertiv, ZTE и некоторые другие.

Как полагают эксперты, период резкого роста спроса на КЦОД начался как раз в 2019-2020 годах и продолжится он не менее пяти лет. Это связано с распространением облачных технологий и увеличением объема данных, что в свою очередь вызвало увеличение потребности в услугах дата-центров, которые теперь требуется вводить в эксплуатацию быстрее, чем когда-либо прежде. Как отмечено в недавнем отчете Mordor Intelligence, для более чем 40% организаций масштабируемость ЦОД является одной из главных проблем, ограничивающих развитие ИТ-инфраструктуры компании. Многие компании готовы решить вопрос наращивания мощности своего дата-центра за счет установки одного или нескольких контейнеров. Также КЦОД часто используется в качестве резервной площадки, повышающей отказоустойчивость ИТ-инфраструктуры предприятия. Конечно, для этих целей можно использовать облака, но не всем подходит подобный вариант — спрос на собственные (on-premise) дата-центры остается неизменно высоким.

Еще одним фактором, который поддержит позитивную динамику рынка КЦОД в ближайшем будущем, можно назвать рост спроса на периферийные вычисления (Edge Computing), который в свою очередь провоцирует распространение сетей мобильной связи 5G. Аналитический отчет State of the Edge, подготовленный Schneider Electric и вышедший в прошлом году, предсказывает, что суммарный объем инвестиций, направленный в сферу периферийных вычислений в течение ближайших десяти лет достигнет $700 млрд. Для размещения периферийных серверов, СХД и сетевого оборудования понадобится огромное количество микро- и миниЦОД, включая в виде контейнеров. Большие перспективы сегодня видятся в области развития глобальных систем спутникового интернета, развитием которых занимаются SpaceX, Blue Origin, OneWeb. Для них также требуется развитая наземная инфраструктура, в том числе небольшие дата-центры в труднодоступных местах планеты. Здесь контейнерные ЦОДы, очевидно, будут незаменимы.

В России рынок КЦОД достаточно зрелый. Первые контейнеры местного производства появились в 2008 году — примерно через год после того, как на внутренний рынок попала система Sun Black Box (с нее в 2006-м началась современная история КЦОДов во всем мире). С тех пор российским организациям, по различным оценкам, было поставлено от 150 до 200 контейнеров, которые разрабатывают и выпускают около десятка локальных производителей. Основными заказчиками выступают компании добывающего сектора, тяжелая промышленность, банки, операторы связи, образовательные учреждения, крупные торговые сети, телерадиокомпании и т. д. В числе известных заказчиков КЦОДов в России можно назвать структуры Газпрома, «Башнефть», МТС, «Вымпелком», ВГТРК, Высшую школу экономики, Объединенную авиастроительную корпорацию, «Роствертол», «Русгидро» и других. Детальный анализ российского рынка КЦОД не проводился, но, по оценкам участников сегмента, его ежегодный объем в последние годы не превышал 250 млн руб. В то же время ожидается, что в ближайшие пять лет спрос на контейнерные решения будет расти в полном соответствии с мировыми тенденциями.

Если вернуться к глобальным тенденциям, то стоит отметить, что развивается не только рынок, но и технологии КЦОД: повышается надежность и энергоэффективность решений. Самые последние разработки связаны с использованием иммерсионных (погружных) систем охлаждения, благодаря которым единичные контейнеры могут отводить сотни киловатт тепла от ИТ-оборудования. Такие решения уже доступны на рынке. Так, компания TMGcore предлагает контейнерную систему OTTO, позволяющую разместить в одном модуле оборудование мощностью до 600 кВт. Также недавно производитель Submer вывел на рынок решение MegaPod, иммерсионная система охлаждения которого позволяет отвести до 100 кВт тепла от одной стойки. Есть и другие разработки в этом направлении, правда, все они являются результатом изысканий зарубежных производителей. Помимо выдающихся показателей теплоотвода, иммерсионные системы также способны обеспечить очень низкий PUE (в некоторых случаях менее 1,1), обеспечивая новый уровень энергоэффективности.

Из примечательных российских изделий в контексте КЦОДов можно упомянуть новую модель мобильного дата-центра, созданного госкорпорацией «Росатом». Комплекс представляет собой универсальный защищенный контейнер, штатно установленный на шасси КамАЗа. Внутри контейнера — разнообразное ИТ-оборудование общей производительностью не менее 50 терафлопс, климатический и агрегатный отсеки, ИБП, дизельный генератор, система охлаждения, предусмотрено место для оператора. Дата-центр допускает штатную эксплуатацию при температурах окружающей среды от -45 до +35 °C. Несколько таких ЦОДов на колесах можно объединять в общую вычислительную систему.

Учитывая позитивные рыночные тенденции в мире, новые технологии КЦОД имеют все шансы попасть на благодатную почву, обеспечив заказчикам дополнительные преимущества в вопросах скорости развертывания, масштабируемости, энергоэффективности и надежности дата-центров. Похоже, в истории развития контейнерных решений начинается очередной этап, в ходе которого КЦОД окончательно перейдут из разряда нишевых решений в число привычных инструментов развития бизнеса.