PCWeek/UE Review #2 (206) 2010

ВСТУПЛЕНИЕ

На наш взгляд, широкие перспективы открываются перед коммерческими ЦОД, рынок которых в Украине начал формироваться относительно недавно. Совершенно оче-видно, что кризисные изменения, побуждающие компа-нии корректировать ИТ и бизнес-стратегии, пойдут этому молодому направлению на пользу, поскольку именно аут-

сорсинг позволит сократить затраты, связанные с развертыванием ИТ-инфраструктуры, и эффективно контролировать расходы по ее эксплуатации.

Строительство и эксплуатация современного датацентра является чрез-вычайно сложным техническим и инвестиционным проектом, требующим значительных финансовых затрат. Именно по этой причине в той или иной степени к аутсорсингу ЦОД прибегают компании практически всех секторов экономики, в частности, организации, работающие в сфере банковского и те-лекоммуникационного бизнеса.

Значительное влияние на развитие рынка ЦОД оказывают «облачные вы-числения», которые обеспечивают доступ к максимально гибким вычисли-тельным ресурсам и позволяют оптимизировать затраты на их использование. Концепция «облачных вычислений» зиждется на трех китах: SaaS (Software as a service – ПО как услуга), Paas (Platform as a Service – платформа как услуга) и IaaS (Infrastructure as a Service – инфраструктура как услуга).

«Облачные вычисления» обеспечивают целый ряд бесспорных преиму-ществ для современного бизнеса, а именно: широкие возможности вирту-ализации ресурсов, легкость администрирования программных активов, масштабируемость и пр.

Наряду с этим, ключевой тенденцией развития корпоративных инфор-мационных систем стала централизация вычислительных ресурсов, кото-рая во многом обусловила столь динамичное развитие рынка центров об-работки данных.

Во многом именно сложные экономические условия послужили до-полнительным стимулом для заказчиков к созданию собственных ЦОД. Быстрая реакция на запросы бизнеса, высокие темпы внедрения необ-ходимых систем, обеспечение непрерывности бизнес-процессов, макси-мальная доступность ИТ-сервисов, прозрачность и безопасность дан-ных – вот основные характеристики эффективной ИТ-среды.

Как выбрать из всего многообразия то решение или услугу, которые подходят именно вам? В данном спецвыпуске редакция PC Week/UE со-вместно с ведущими украинскими и мировыми экспертами попыталась найти ответы на этот сложный и нетривиальный вопрос.

PCWEEK Review 2 (107), 2010 3

Время – это посредник между возможным и действительным

Наталья Проценко, издатель PC Week/UE

СОДЕРЖАНИЕ

PCWEEK Review 2 ( 107 ), 20104

Центры обработки данных PCWeek Review СОДЕРЖАНИЕ

PCWEEK Review 2 ( 107 ), 20104

8

18

20

22

26

30

34

12

16

Учредитель и издатель: ООО «СК Украина»

Директор: Наталья Проценко

Заместитель директора: Тамара Соловей

РЕДАКЦИЯГлавный редактор: Олег Пилипенко

Тел./факс: (380-44) 361-70-57E-mail: [email protected]

ОТДЕЛ РЕКЛАМЫ

Тел./факс: (380-44) 361-70-57 E-mail: [email protected]

РАСПРОСТРАНЕНИЕ

© СК Украина, 2010 04050, Украина, Киев, ул. Глубочицкая, 17,

оф. 206

Издание печатается по лицензионному со-глашению с компанией Ziff Davis Publishing Inc. Перепечатка материалов допускается только с разрешения редакции. За содержание рекламных объявлений редакция ответствен-ности не несет.

Editorial items appearing in PC Week/UE that were originally published in the U.S. edition of PC Week are the copyright property of Ziff Davis Publishing Inc. Copyright 2010 Ziff Davis Inc. All rights reserved. PC Week is a trademark of Ziff Davis Publishing Holding Inc.

Приложение зарегистрировано Министерством юстиции Украины. Свидетельство о регистрации № 13442-2326Р от 03.12.07

PC Week Review выходит шесть раз в год

Модернизация корпоративного центра обработки данных ОАО «Укртелеком»

Динамический подход к построению датацентра

Сетевая инфраструктура ЦОД. Cisco Nexus: использовать или нет?

Безопасность центров обработки данных

Серверные многоборцы

Преимущества конвергентной инфраструктуры

Контейнерный ЦОД с конвейера

«И еще раз об энерго-эффективности»

ЦОД государственной важности

Центры обработки данных PCWeek Review

СОДЕРЖАНИЕ

PCWEEK Review 2 ( 107 ), 20106 7PCWEEK Review 3 ( 6 ), 2010

36

38

41

44

48

50

56

«ЦОД-матрица» от НР

Заметки о датацентрах

«Бензин ваш – идеи наши»

Контроль за энергопотреблением и охлаждением ЦОД

ЦОД в ПУМБ: путь к централизации управления

ЦОД: тенденции рынка, актуальные проблемы и подходы

Конвергентный Ethernet –Converged Enhanced Ethernet (CEE)

50

PCWeek Review Центры обработки данных Центры обработки данных PCWeek Review

PCWEEK Review 2 (107), 20108 9

В области построения центров обработки данных АРС by Schneider Electric давно и прочно удерживает пальму первенства. PC Week/UE беседует с Владимиром Дохлен-ко, вице-президентом подразделения IT- бизнес в Украине и Молдове компании АРС by Schneider Electric, о синергии, инновациях, мировом и украинском опыте создания ЦОД.

PC WEEk/UE: Завершился ли полностью процесс интеграции АРС в состав концерна Schneider Electric? Каким образом теперь строятся взаимоотношения между представительством APC by Schneider Electric и ЗАО «Шнейдер Электрик»?

ВЛАДИМИР ДОхЛЕНКО: Фактически интегра-ция завершилась в на-чале нынешнего года, после которой мы уже являемся частью Schneider Elecrtic. Хотя сотрудники скорее вос-приняли это как некую формальность, посколь-ку уже более трех лет наши ком-пании находятся в одном офисе. Поэтому сам факт перехода был номинальным – мы уже давно работали как часть большой ко-манды.

Мы не только успешно инте-грировались вместе с компани-ей Schneider Elecrtic, но и смогли провести интеграцию ресурсов, увеличить наш потенциал для решения сложнейших задач ав-томатизации, ЦОД построения и передать его нашим партнерам. Речь идет не о простой синергии, которую все пытаются обычно ис-кать в подобных случаях, на мой вгляд, это качественно новый под-ход в отрасли, который в скором времени станет стандартом.

В настоящее время действует программа One Schneider, кото-

рая была принята на 2009-2011 год. Суть программы в том, что-бы представлять все подразде-

ления Schneider Elecrtic для на-ших партнеров и заказчиков как единую точку входа. Это по-зволит им обе-спечить доступ к объединен-ной экспертизе компании и ре-шить широкий круг задач – от автоматизации у п р а в л е н и я

до создания ЦОД, построения мощных систем распределения, включая трансформаторные под-станции и другие компоненты.

Я хочу отметить, что уже есть ряд крупных проектов, где за-действована экспертиза и реше-ния всех подразделений, кото-рые входят в компанию Schneider Elecrtic. Один из примеров таких проектов – создание инженерной инфраструктуры для суперком-пьютера «Ломоносов» МГУ.

PC WEEk/UE: Насколько, на ваш взгляд, после объединения компаний расширились возможности кросс-продаж, и удалось ли АРС проникнуть на новые рынки?

В. Д.: APC является вертикально организованным бизнес-подраз-делением, со Schneider Elecrtic

у нас равноправный союз и мы интеллектуально обогащаем и дополняем друг друга как с пози-ций бизнеса, так и в технологиче-ском плане. Благодаря Schneider Elecrtic APC стали позитивно воспринимать в целом ряде рынков, на которых мы прежде не присутствовали, например, это рынок средств автоматиза-ци. И наоборот, благодаря APC Schneider Elecrtic получил доступ к клиентам на ИТ-рынке.

Кроме того, синергия прояв-ляется и в том, что мы активно используем партнерскую сеть Schneider Elecrtic для того, чтобы продвигать наши решения. Поя-вилось много совместных проек-тов, где компании, которые исто-рически работали со Schneider Elecrtic, используют оборудова-ние APC. С другой стороны, мно-гие наши партнеры также полу-чили статус партнеров Schneider Elecrtic, это позволило им начать работу в новых сегментах рынка.

PC WEEk/UE: Какие технологии и решения были наиболее востребованными в послед-нее время?

В. Д.: В области создания ЦОД по-прежнему пользуются спросом технологии, которые обеспечи-вают высокую доступность и отказоустойчивость. Их крае-угольным камнем является мо-дульность. И если раньше нам приходилось объяснять заказ-

Владимир Дохленко

«И еще раз об энергоэффективности»


PCWEEK Review 2 (107), 201010 11

чикам преимущества модуль-ного подхода, то сейчас он вос-принимается как стандартный. Другие технологии связаны с из-менениями серверного, сетевого оборудования, ростом плотности вычислений и возрастающими требованиями к охлаждению. Востребованность систем вну-трирядного кондиционирова-ния связана с новыми задачами функционирования современно-го серверного оборудования.

Наряду с этим, сейчас очень много внимания уделяется к вопросам энергоэффектив-ности, поэтому нашей концеп-ция EcoStruXure являетася тем решением, которое отвечает со-временным задачам бизнеса и требованиям заказчиков. Отме-чу, что проекты, связанные с по-вышением энергоэффективности возможно реализовать только с помощью комплексного подхода, который и предлагает Schneider Elecrtic, включая эффективное использование ресурсов всех подразделений.

PC WEEk/UE: В каких вертикалях реали-зуются крупные проекты ЦОД?

В. Д.: Строительство ЦОД всегда было сегментом быстрого роста, спрос на них не особенно сни-жался даже на фоне общего эко-номического спада. Сейчас мы отмечаем оживление в различных вертикалях: в первую очередь нужно отметить финансовый сек-тор, объекты Евро-2012, все про-екты, связанные с построением инфраструктуры. Но наибольшая динамика прослеживается в об-ласти построения коммерческих центров обработки данных. В на-стоящее время в Украине есть це-лый ряд уже реализованных про-ектов и тех, которые очень близки к завершению. Многие инвесторы

рассматривают коммерческие ЦОД как альтернативный способ вложения денег.

PC WEEk/UE: Многие заказчики высоко оценивают уровень экспертизы сотрудни-ков APC by Schneider Electric. Повыша-ете ли вы компетенцию партнеров APC by Schneider Elecrtic в работе со сложными проектами ЦОД или намерены оставлять это экспертное звено за собой?

В. Д.: Задача менеджера АРС – быть экспертом для наших заказ-чиков, если требуется, глубоко вникать в технические детали, поскольку невозможно реали-зовывать сложные решения без понимания всех задач. Специ-алисты АРС знают особенности нашего оборудования, но в то же время они явля-ются неплохими а н а л и т и к а м и по отношению к смежным систе-мам ЦОД, ока-зывая консуль-т а ц и о н н у ю поддержку. И, безусловно, де-тальная прора-ботка, реали-зация проекта в ы п о л н я е т с я нашими систем-ными интеграторами.

У нас также существует специ-альное подразделение Datacenter Solutions Team, базирующееся в Росии. Ресурсы и опыт этой команды позволяют разраба-тывать сложнейшие проекты, в том числе, интегрировать любые компоненты, которые необходи-мы заказчику, любые подсисте-мы, включая те, которые не вы-пускаются компанией Schneider Elecrtic, получая экспертизу высокого уровня. В России Datacenter Solution Team участву-

ет в реализации крупнейших проектов. Datacenter Solution Team, не конкурируя, допол-няет недостающие компетен-ции партнеров при разработ-ке масштабных проектов. У отечественных интеграторов пока еще нет опыта строитель-ства ЦОД уровня США или Западной Европы на десятки мегаватт, тысячи стоек, но это не означает, что из-за это-го наши партнеры не должны заниматься реализацией по-добных проектов, отдавая все зарубежным системным инте-граторам. И здесь наша экс-пертиза позволит украинским интеграторам повышать свою компетенцию и реализовывать проекты мирового уровня.

PC WEEk/UE: Как вы считаете, какую долю рынка занимает АРС в сегменте ЦОД в Украине?

В. Д.: Рынок ЦОД очень сложно оце-нить, потому что имеется очень много подсистем и компонентов, совершенно не-равнозначных по

стоимости. По моим субъек-тивным оценкам, около 70-80% ЦОДов в Украине построено с использованием решений APC. ЦОД — это не полигон для экс-периментов, и заказчики пре-красно понимают, что у APC накоплен значительный опыт, большая инсталлированная база, мы обеспечиваем высо-кокачественную сервисную поддержку. На мой взгляд, длительный опыт эксплуа-тации, позитивные отзывы наших заказчиков — это луч-

ший показатель качества и надежности, лучшая реклама наших решений.

PC WEEk/UE: Расскажите о флагманских технологиях для ЦОД, которые были раз-работаны APC за последний год.

В. Д.: Стоит отметить энергоэф-фективные ЦОД, хотя я бы назвал это не технологией, а подходом к их созданию. APC первой начала поднимать вопрос энергоэффек-тивности, о коэффициенте PUE (Power Usage Efficiency), об этом никто раньше не задумывался. В то же время тезисы о важности энергоэффективно-го подхода, эконо-мии, ресурсов стали актуальны период рецессии. Концеп-ция EcoStruXure, предложенная АРС, предполагает ис-пользование сбалан-сированных с точки зрения использова-ния электроэнергии компонентов, кото-рые базируются на модульных решени-ях. Это Symmetra PX, внутрирядные системы охлаж-дения, использование энергоэф-фективных подходов Schneider Elecrtic. Наш целостный подход позволяет комплексно взглянуть на задачу заказчика и предло-жить наиболее оптимальное ре-шение. В России уже есть проек-ты, где заказчик требует жесткого достижения коэффициента PUE при реализации проектов, вклю-чая данные расчеты в свой бизнес план по окупаемости ЦОД.

Из новых решений, позволя-ющих существенно улучшить показатель PUE ЦОД, хочу от-метить Symmetra PX 250/500 kW. Данный ИБП является вершиной

инженерных разработок в отрас-ли. КПД 96% в диапазоне нагру-зок свыше 30% без использования каких-либо экорежимов – это рекордный показатель, позволя-ющий сократить операционные затраты ЦОД на десятки тысяч гривен в квартал. Ведь даже если номинальное потребление совре-менных серверов будет прибли-жаться к 90% мощности ИБП, не стоит забывать, что большинство современных приложений при-водит к неравномерной нагрузке ИТ-оборудования на протяжении суток и, следовательно, неравно-мерному энергопотреблению.

Также отмечу, что 500 кВт Symmetra PX с батареями и системой распределе-ния питания з а н и м а е т площадь все-го 1,6х1,07м. Очень су-щ е с т в е н н о то, что если у заказчика растет сер-верный парк,

помещение остается прежним. Являясь полностью модульным решением, Symmetra PX поддер-живает масштабирование по мощ-ности (до 2МВт) и обслуживание при подключенной ИТ нагрузке.

PC WEEk/UE: В мировом масштабе APC сотрудничает с правительственными струк-турами для того, чтобы внедрять новые стандарты и пропагандировать экологиче-ские подходы к использованию энергии. Если ли перспективы для такой деятельно-сти в Украине, где многие считают, что это отмывание денег и напрасная болтовня?

В. Д.: В Украине законодательной поддержки энергоэффективно-

сти на государственном уровне нет. За рубежом государство до-плачивает операторам, которые используют альтернативные виды энергии. Тем не менее, про-екты по альтернативной энер-гетике в Украине реализуют-ся. Schneider Electric завершает первый этап большого проекта по созданию фермы солнечных батарей в Крыму, общей мощно-стью 7,5МВт. Это очень масштаб-ный и финансово емкий проект, в эксплуатацию введена первая очередь мощностью 2,5МВт. Сейчас альтернативная энерге-тика держатся на энтузиастах и на инвесторах, которые видят их перспективу в будущем.

С другой стороны наши ре-шения для промышленных предприятий, регулирующие коэффициент мощности, не нуж-даются в какой-либо поддержке. Ведь подобное внедрение позво-ляет за счет полученного эко-номического эффекта окупить затраченные предприятием на данную систему средства менее чем за один год.

PC WEEk/UE: Назовите наиболее мас-штабные и интересные проекты, реализо-ванные за последний год в Украине

В. Д.: Одним из наиболее яр-ких является проект созда-ния коммерческого ЦОД ком-пании DeNovo. Можно смело утверждать, что для нашей страны это беспрецедентный по масштабу проект, я думаю, ничего подобного в Украине в ближайшей перспективе не появится.

Мы очень гордимся тем, что в результате конкурентной борьбы нам удалось доказать эффективность решений APC, которые были выбраны для ре-ализации этого проекта. PC

ПО МОИМ СУБъЕКТИВ-

НыМ ОЦЕНКАМ, ОКОЛО

70-80% ЦОДОВ В УКРАИНЕ

ПОСТРОЕНО С ИСПОЛьЗО-

ВАНИЕМ РЕШЕ-НИй APC.

НАИБОЛьШАЯ ДИНАМИКА ПРОСЛЕжИ-

ВАЕТСЯ В ОБЛАСТИ

ПОСТРОЕНИЯ КОММЕРчЕ-

СКИХ ЦЕНТРОВ ОБРАБОТКИ

ДАННыХ.


PCWEEK Review 2 (107), 201012 13

Год назад для Министерства финансов на ул. Межигорская в Киеве, был запущен новый мощ-ный центр обработки данных, состоящий из двух залов по 78 кв.м. Об уникальных особенно-стях этого датацентра рассказывает Сергей Михайлович Коваль, заместитель начальника отдела информационного обеспечения Государственной налоговой администрации Украины.

ЦОД государственной важности

PC WEEk/UE: Почему возник-ла задача построения центра-лизованого центра обработки данных для Министерства фи-нансов?

СЕРГЕй КОВАЛь: Ранее в основу организации вычислительных про-цессов Минфина была заложена концепция распределенных ма-лых вычислительных центров обработки данных. Такая органи-зация процессов имела как преимущества, так и недо-статки, причем последних было больше. Кампусная сеть Мин-фина состоит из четырех зда-ний, расположенных в разных районах Киева, объединенных оптоволокном. В каж-дом из этих зданий в коммутационных комнатах были уста-новлены серверы, ко-торые обеспечивали поддержку принятия решений работников министерства. К со-жалению, коммутаци-онные комнаты сами по себе очень малень-кие, поэтому возмож-ность наращивать вычислительные мощности в соответствии с растущими за-дачами управления госфинан-

сами Украи-ны невелики. Кроме того, эти помеще-ния строи-лись из расче-та небольшого электропотре-бления и те-пловыделения, ведь в срав-нении с сер-верами ком-мутационное оборудование не является

настолько энергопотребляющим. Более того, для теплоотвода из комутационных комнат исполь-зовались обычные бытовые кон-диционеры, недостатки которых всем известны.

Как только появилась возмож-ность создания ЦОД в здании Минфина на улице Межигор-

ской, 11, в котором как раз про-водилась реконструкция, мы пересмотрели основные концеп-туальные подходы в организа-ции вычислительных процессов. Таким образом, мы перешли от распределенной к централизо-ваной системе. Дело в том, что во время реконструкции можно было правильно спланировать и проложить всю необходимую инженерную инфраструктуру, без которой невозможна работа датацентра.

PC WEEk/UE: В чем особенность данного ЦОДа?

С. К.: Одна из его изюминок состо-ит в том, что мы взяли под свой полный контроль систему энер-гообеспечения – от ввода в зда-

ние до конечного потребителя. Опыт показал, что до 90% всех сбоев в работе датацентра про-исходило из-за некачественно-го электропитания.

При решении этой зада-чи мы взяли на вооружение комплексный подход. В соот-ветствии с рекомендациями стандарта TIА 942 были про-ложены два фидера от разных подстанций и установлен цен-трализованный ИБП на 1 МВт марки APC Symmetra. (рис.1)В качестве резервного ис-

точника электроэнергии мы запланировали использова-

ние дизель-генератора мощ-ностью 1,5 МВт, который спо-собен обеспечивать питанием все здание в течение 3 часов. Этот аппа-рат потребляет около 300 литров дизель-ного топлива в час и оснащен топливным резервуаром на 1000 литров. (рис.2)

Полный контроль системы энергообеспе-чения осуществляется не только по отноше-нию к вычислитель-ному оборудованию в ЦОД, но и на уровне ко-нечных потребителей.

Дело в том, что когда планиру-ется размещение пользователей нового здания, мы под каждое помещение рассчитываем силовую нагрузку. Но, как показывает опыт, в реаль-ной жизни пользователи не придерживаются наших плановых расчетов потре-бления электроэнергии, и в результате происходит так называемый «перекос» фаз. Без специального обо-рудования выявить место, где происходит перекос, невозможно. Это обуслов-лено тем, что очень трудно заранее спланировать, где будет находится принтер, копир и другая техника, которая потребляет нема-ло электроэнергии. Приме-нение устройства распределения питания от АРС в качестве элек-трощитовых с автоматами, ко-торые можно отслеживать по IP, позволило нам видеть состояние и оперативно изменять нагрузки по фазам. (рис.3)

Мне кажется, что такое ре-шение по распределению пи-тания среди пользователей,

примененное в данном проек-те, уникально для Украины в целом.

PC WEEk/UE: К помощи каких системных интеграторов вы прибегали в процессе ре-ализации проекта?

С. К.: Разработку и внедрение дан-ного проекта взяла на себя ком-пания ProNET. Основную часть консультаций и контроль за ис-полнением проекта осуществля-ла компания АРС by Schneider Elecrtic.

PC WEEk/UE: Как построена система ох-лаждения датацентра?

С. К.: Для обеспечения эфективно-го охлаждения ЦОД мы примени-ли технологию АРС изолирова-

ного коридора горячего воздуха, поскольку это наиболее оптимальное и экономически выгод-ное решение.

Одним из самых интересных моментов проекта является соз-дание единой системы теплоотвода. Для это-го на чердаке здания были установлены семь крупных чиллеров, ко-торые обеспечивают охлаждение всего зда-ния на Межигорской,

11. Один специально выделенный чиллер работает только на охлаж-дение центра обработки данных,

но поскольку используется общий коллектор, то он мо-жет функционировать со-вместно с соседними чил-лерами. Иными словами, в случае выхода его из строя или профилактического ремонта для охлаждения ЦОД могут быть задейство-ваны другие чиллеры.

PC WEEk/UE: Как производит-ся управление вычислительным центром?

С. К.: Управление ЦОД мы вынесли за пределы сер-верных залов. Присут-

ствие человека в помещении датацентра требуется только при установке и монтаже оборудова-ния. Все остальные операции, та-кие как включение и выключение устройства, конфигурирование BIOS, существляются удаленно.

В качестве основы для соз-дания удаленного системного терминала мы использовали си-стему Raritan. Весь мониторинг

Рис. 1 ИБП на 1 МВт марки APC Symmetra

Рис. 2 Дизель-генератор мощностью 1,5 МВт

КОВАЛь Сергей Михайлович

Рис. 3 Устройства распределения питания от фирмы АРС.


PCWEEK Review 2 (107), 201014 15

и управление администратор выполняет в отдельном помеще-нии, отслеживая информацию на больших экранах.

PC WEEk/UE: Сколько человек задей-ствованы в управлении вы-числительным центром?

С. К.: В свое время мы специально создали отдел поддержки поль-зователей, там порядка восьми человек. При-чем они занимаются не только ЦОДом, но и обеспечивают под-держку пользователей.

PC WEEk/UE: Сколько вре-мени заняла реализация про-екта, согласование, расчеты?

С. К.: Согласования, расчеты и до-казательства правильности вы-бранных решений заняли около 2-3 лет. Приблизительно год я защищал технические решения, которые были положены в осно-

ву строительства ЦОД. Самые жаркие споры велись по выбору централизованного обеспечения гарантированного питания.

Расчеты показали, что именно решение от АРС оказалось наи-более выгодным с точки зрения КПД и экономии электроэнергии.

Высокий КПД UPS имеет огром-ное значение при больших энерго-затратах. Те 2-3% преимущества в КПД, которыми обладает APC Symmetra по сравнению с други-ми решениями на больших мощ-

ностях позволяет экономить на электроэнергии до сотен тысяч гривен в год. Кроме того, UPS от АРС, построенные на базе дельта-преобразования, выдерживают пиковые нагрузки до 200%.

Еще одно очень большое пре-имущество решений APC со-

стоит в том, что мониторинг и контроль всей инженерной ин-фраст ру к т у ры производится с единой консоли управления.

PC WEEk/UE: На-сколько маштабируе-мым является новое решение?

С. К.: Потенциал для наращива-ния вычислительной мощности огромен: два зала по 12 сервер-ных шкафов. В каждом шкафу возможно установить оборудо-вания до 20 кВт, а также устано-вить около 15 двухъюнитовых серверов. Полагаю, что в течение

5-10 лет мы можем без проблем наращивать вычислительные мощности для удовлетворения растущих задач Министерства финансов Украины.

PC WEEk/UE: Какие задачи сегодня выполняет построенный ЦОД?

С. К.: Наиболее важное при-ложение, которое работает на базе вышеописанного дата-центра, — это «АІС Держбюд-жет», которое позволяет нам создавать государственный бюджет, следить за доходами бюджета и за его исполнением как на уровне сведеного бюд-жета, так и на уровне местных бюджетов. .

Рис. 4 Рабочее место центра мониторинга ЦОД

Рис. 5 Схема проекта построения ЦОД в Министерстве финансов.

PC

Центры обработки данных PCWeek Review PCWeek Review Центры обработки данных

16 PCWEEK Review 2 (107), 2010 17

Модернизация корпоративного центра обработки данных ОАО «Укртелеком»

При проведении модернизации ИТ-сервисов ЦОД одним из ключевых факторов успеха явля-ется ответственность и выполнение части работ заказчиком за счет собственных ресурсов.

ОАО «Укртелеком» – со-временное предприятие с развитой инфраструк-турой, которое занимает лидирующие позиции на

украинском рынке услуг фик-сированной связи и Интернет.

Введенный в эксплуатацию в 2007 году территориально-рас-пределённый ЦОД позволил ре-ализовать новый технический стандарт ИТ-сервисов, обеспе-чивающий деятельность в раз-резе «Управления корпорацией» телекоммуникационного опера-тора национального масштаба.

ИТ-сервисы функциониру-ют согласно спроектированной модели системной архитектуры, базирующейся на эталонных моделях компаний мировых ли-деров: Microsoft, EMC, Oracle, Cisco, Hewlett-Packard, и обра-зуют высокопроизводительные платформы консолидации вы-числительных ресурсов, хране-ния и защиты данных, управ-ления. Общий объём хранения транзакционных данных состав-ляет более 70 ТБ, количество серверов приложений более 200, серверов баз данных – 40 (8-и, 4-х, 2-х узловые кластеры), коли-чество обслуживаемых корпора-тивных пользователей – 45 тыс.

Стратегически опережая темпы конкурентов в развитии предоставляемых услуг, «Укр-телеком» в 2009 году присту-пил к реализации второго этапа

эволюции ЦОД – модернизации платформ автоматизированных систем уровня бизнес- и опера-ционной поддержки.

Основными критериями вы-ступали:

• обработка увеличенного объ-ёма данных, порождаемых новы-ми услугами и клиентами;

• скорость проведения тран-закций;

• скорость ввода новых услуг; • защита данных и уровень

контроля функционирования.Модернизация требовала обе-

спечения непрерывности функ-ционирования существующих ИТ-сервисов и систем автомати-зации.

Работы полного технологиче-ского цикла модернизации кор-поративного ЦОД «Укртелеко-ма» в рамках поставленных задач выполняла компания «ЭС ЭНД ТИ УКРАИНА». Были выполне-ны проектирование, разработка, модернизация существующих и внедрение новых решений со-гласно существующему в «Укр-телекоме» стандарту развития и функционирования ЦОД – «Перспективной cистемной ар-хитектуры».

Модернизация охватила 6 основных, не учитывая взаи-мосвязанных, ИТ-сервисов.

• Системы обработки данных. Уровень развития: увеличение вычислительной мощности, вир-туализация серверных ресурсов,

минимизация инженерной ин-фраструктуры.

• Системы хранения данных. Уровень развития: увеличение пропускной способности ввода-вывода, увеличение объёмов и оптимизация уровней хранения данных.

• Резервное копирование и восстановление. Уровень разви-тия: увеличение объёмов гаран-тированно восстанавливаемых данных, оптимизация систем хранения резервных копий.

• Системы управления базами данных. Уровень развития: обе-спечение высокопроизводитель-ной и масштабируемой платфор-мы для систем автоматизации.

• Интеграция. Уровень раз-вития: обеспечение высокопро-изводительной и масштабируе-мой платформы корпоративной Сервисной шины интеграции приложений и систем автомати-зации.

• Управление ИТ. Уровень раз-вития: обеспечение масштабного покрытия централизованным управлением компонентов и ресурсов информационной ин-фраструктуры, а также введение модели управления, делегирова-ния прав и функций и контроля эксплуатационной деятельно-сти.

Обеспечивая режим непре-рывности модернизации суще-ствующих ИТ-сервисов, инте-гратор разработал и применил

процессный подход практики ITIL «Управления выпусками». Была согласована и сформиро-вана тестовая среда апробации изменений версий программно-аппаратных компонентов, разра-батываемых до уровня промыш-ленной эксплуатации. В данном подходе наиболее критическими являются задачи обеспечения плана миграции данных и вос-становления. Ввод в промышлен-ную эксплуатацию модернизи-рованного ИТ-сервиса означает переключение в реальном мас-штабе времени транзакций и функций обслуживания запро-сов без права остановки или ис-кажения логики и оперативно-сти функционирования того или иного программно-аппаратного комплекса обеспечения жизнеде-ятельности заказчика.

В таких сложных и требова-тельных к интегратору техноло-гических условиях эксперты «ЭС ЭНД ТИ УКРАИНА» совместно с квалифицированным эксплуа-тационным штатом сотрудников «Укртелеком» разработали и про-вели расширенные программы тестирования готовности новых ИТ-сервисов. При проведении работ по вводу в эксплуатацию проводилось планирование с со-гласованием задействуемых ре-сурсов и «технологических окон» проведения работ. Решение по применению плана работ при-нималось при детальном рассмо-трении плана возврата в случае возникновения непредвиденных обстоятельств, приводящих к критичному удлинению работ или к остановке работающих си-стем в промышленной эксплуата-ции.

Специфика данной деятель-ности требовала комплемен-тарности при взаимодействии специалистов «ЭС ЭНД ТИ УКРАИНА» и «Укртелеком».

При проведении модернизации ИТ-сервисов ЦОД, одним из ключевых факторов успеха яв-ляется ответственность и выпол-нение части работ заказчиком собственными ресурсами. Для этого заказчику необходимо под-держивать требуемый уровень квалификации, а деятельность в ИТ должна строиться в соответ-ствии с принятым техническим стандартом развития и эксплуа-тации ЦОД.

«Укртелеком» обладает и тем и другим, без чего, учитывая со-вокупную сложность процессов модернизации, на успех было бы сложно рассчитывать. Сама воз-можность проведения успешной модернизации стала ярким по-казателем правильности реали-зации сформированной в начале стратегии развития и эксплуа-тации ЦОД: «Укртелеком», вос-пользовавшись услугами ИТ-консалтинга компаний «ЭС ЭНД ТИ УКРАИНА» и «Майкрософт Украина» при построении кор-поративного ЦОД, успешно на протяжении ряда лет применял в своей деятельности адаптиро-ванные знания и полученные ре-зультаты.

При модернизации серви-са «Систем хранения данных» в эксплуатацию была введена дисковая система корпоративно-го уровня высшего класса ЕМС Symmetrix V-MAX. Архитектура данной системы позволяет защи-щать и эффективно управлять объемами данных, превышаю-щими 1 ПБ. Интеллектуальная система управления вводом-вы-водом Symmetrix V-MAX по-зволила сбалансировать при-меняемую платформу сервиса «Системы обработки данных» с учётом перспективного её раз-вития. Стало возможным прове-сти дальнейшее распределение данных между существующими

системами хранения корпора-тивного ЦОД для продолжения процесса консолидации серви-сов и приложений, с повышением уровня их гарантированного вос-становления.

Для реализации уровня гаран-тированной защиты и восстанов-ления данных, в рамках сервиса «Резервное копирование и вос-становление» были введены до-полнительные компоненты, обе-спечивающие реализацию схемы резервного копирования «диск-диск-лента». Данное расширение функционала кроме покрытия основной задачи – сбалансиро-вать возросший объем хранимых данных – позволило сократить время потенциального восста-новления данных систем автома-тизации, а так же обеспечило до-полнительный уровень гибкости интеграции взаимосвязанных систем при использовании одно-го набора данных.

Модернизация сервиса «Уп-равление ИТ» была нацелена на покрытие появившихся новых компонент ресурсов корпора-тивного ЦОД. Необходимо было достичь уровня контроля (сбора статистики) и управления (про-ведения конфигураций и нако-пления базы знаний) программ-но-аппаратными компонентами ЦОД. Расширение получили так-же функции автоматизации по распространению стандартных пакетов программного обеспе-чения и операционных систем. При разработке административ-ной модели сопровождения были сформированы и зафиксированы «паспортами сервисов» основные показатели функционирования ИТ-сервисов. По контролю этих показателей была реализована отчётность и система оповеще-ний сервиса «Управление ИТ» с применением алгоритмов поиска корневых причин. PC


PCWEEK Review 2 (107), 201018 19

Динамический подход к построению датацентра

Как внедрение технической виртуализации повлияет на технологию и стратегию постро-ения центров обработки данных в ближайшем будущем? Об этом мы говорили с Дмитри-ем Тиховичем, руководителем предпродажной поддержки в странах СНГ компании VMware.

PC WEEk/UE: Как вы оцениваете уровень техно-логической зрелости за-казчиков в области ЦОД в странах СНГ?ДМИТРИй ТИхОВИч: По-лагаю, что типичный заказчик находится на самой первой ста-дии этого пути. В ком-пании VMware уро-вень технологической зрелости заказчика делят на три стадии.

Первая стадия на-зывается IT-production и подразумевает, что предприятие широко использует технологию виртуализации, все продуктив-ные системы виртуализированы, за исключением критически важ-ных для бизнеса приложений.

Вторая стадия, которую мы называем business-production, подразумевает виртуализацию и критически важных приложе-ний. На данной стадии перед заказчиком встают вопросы от-слеживания производительно-сти приложений в виртуальных машинах, вопросы тонкой на-стройки инфраструктуры, ката-строфоустойчивости и т. д. Не-обходимость решать эти задачи подталкивает заказчиков к ис-пользованию специализирован-ных инструментов.

VMware предлагает такие ин-струменты. Это семейство про-

дуктов vCenter и входящие в него vCenter App Speed, Site Recovery Mana-ger, Capacity IQ, Heartbeat и про-чие. На этой ста-дии уже не толь-ко ИТ-служба, но и бизнес-подраз-деления органи-зации начинают видеть преиму-щества от ново-го подхода к ИТ:

ресурсы выделяются быстро и с требуемыми параметрами, от-слеживать их потребление и не-обходимые метрики можно на любом этапе жизненного цикла сервиса. Например, если в кон-це месяца требуется какая-то массовая почтовая рассылка и почтовый сервис должен вы-держивать большие нагрузки, то в виртуальной среде можно практически мгновенно обеспе-чить требуемую резервацию ре-сурсов с нужными параметрами времени отклика.

Третья стадия характеризует-ся возможностью сдавать в арен-ду полученные вычислительные ресурсы внутренним либо внеш-ним потребителям. Последние же, в свою очередь, потребляют эти ресурсы подобно тому, как дома человек потребляет воду

или электроэнергию. Это так называемая модель «комму-нальных вычислений», или, как недавно стали называть ее спе-циалисты, IT-as-a-Service.

PC WEEk/UE: Как подсчитывается стои-мость подобных «коммунальных вычисле-ний»?Д. Т.: При использовании вир-туальной инфраструктуры это нетривиальная задача. Ведь в случае применения физических серверов стоимость, например, почтового сервиса вычисляется сравнительно просто: затраты на оборудование плюс цена ПО и стоимость поддержки.

В виртуальном мире все не так просто. На одном физическом сервере может находиться мно-жество ВМ, однако стоимость сервиса, запущенного в ВМ, не определяется простым делением общей стоимости на количество виртуальных машин. Виртуа-лизированная инфраструктура динамична – для осуществле-ния балансировки нагрузки на физические узлы, ВМ постоянно перезжают с узла на узел, ВМ мо-гут динамически «увеличивать-ся» – забирать дополнительные ресурсы из пула, или «сжимать-ся» — отдавать ресурсы в пул, когда они не требуются. Это нужно учитывать в расчетах.

Кроме того, необходимо обра-тить внимание на еще один мо-

мент. Предположим, что к концу года в организации планируют массивную e-mail-кампанию. чтобы обеспечить достаточный запас мощности для вышеука-занной задачи, ИТ-служба пере-мещает виртуальную машину с почтовым сервисом на более мощный сервер и в хранилище с более высокой полосой про-пускания для поддержания уве-личивающегося объема тран-закций. В результате стоимость единицы ресурса будет выше, т.к. сервис будет исполняться на более дорогом сервере и СХД. В таком динамическом датацен-тре очень непросто посчитать стоимость предоставляемых ресурсов. Если заказчик хочет потреблять вычислительные ресурсы по квантам, то как по-считать стоимость кванта?

VMware предлагает реше-ние подобной задачи. Спе-циализированный продукт VMware vCenter Chargeback, базируясь на статистике использования ресурсов в виртуализированной инфра-структуре VMware vSphree осуществляет расчет их потре-бления и предоставляет под-робные финансовые отчеты.

Начав применять вышеупо-мянутые технологии, компании смогут сделать шаг навстре-чу принципу «коммунальных вычислений» в рамках взаи-модействия их бизнес- и ИТ-подразделений.

Руководство организации, располагающей подобной вир-туализированной, полностью настроенной и отлаженной ИТ-инфраструктурой, начинает за-думываться о том, почему бы не предоставлять вычислительные ресурсы внутренним или внеш-ним потребителям. Например, крупная корпорация может вы-

делить свое ИТ-подразделение в центр по предоставлению ИТ-услуг для всего холдинга. Есть и другой вариант: оператор фик-сированной или мобильной свя-зи, у которого имеется мощный ЦОД, сможет дополнетельно предоставлять своим заказчи-кам услугу «ресурсы по требо-ванию».

PC WEEk/UE: Кто будет среди потреби-телей таких услуг?Д. Т.: Представим себе такую си-туацию: небольшая компания испытывает определенную по-требность в ИТ-сервисах, но при этом не имеет достаточных фи-

нансовых ресурсов для покупки оборудования и лицензий ПО, наем персонала и т. д. Тогда она может обратиться к поставщику ИТ-ресурсов, аналогичному вы-шеописанному оператору.

Однако для внедрения по-добных моделей нужно сломать в наших головах существующие стереотипы. Мы относим по-добный уровень зрелости ИТ заказчика к третьей, самой вы-сокой стадии, однако практика показывает, что большинство заказчиков в странах СНГ на-ходятся на самой первой стадии консолидации и виртуализации ИТ-ресурсов, поскольку ими движет обходимость сокраще-ния издержек.

Сегодня многие компании внедряют виртуализацию в сво-

их датацентрах, но лишь неболь-шая часть заказчиков делает это для критически важных при-ложений. В то же время в МТС, например, все приложения бил-линговой системы работают в виртуальных машинах VMware.

Полагаю, что для остальных компаний нужен некий им-пульс, который подтолкнет их к использованию виртуальных систем. Либо должно пройти какое-то время, пока заказчики убедятся, что виртуальная плат-форма работает так же надежно, как физическая.

PC WEEk/UE: Расскажите о видении VMware облачных вычислений.Д. Т.: Сейчас с уверенностью можно заявить, что основа об-лачных вычислений – это плат-форма виртуализации. Но если мы хотим объединять в «об-лака» множество собственных территориально распределен-ных ЦОДов или же формиро-вать гибридное «облако», со-

стоящее из пула собственных вычислительных ресурсов ком-пании и ресурсов внешнего про-вайдера, то в этом случае нужен некий механизм который будет в состоянии эту задачу решать.

Наша новая разработка VMware vCloud Director — это программный пакет, который и позволяет реализовать по-добный сервис. В состав про-дукта также входит компонент VMware vShield Edge, обеспе-чивающий безопасность облач-ной инфраструктуры, а также VMware vCenter Chargeback – модуль позволяющий «подсчи-тывать» потребляемые ресурсы. Данный продукт уже доступен и тестируется рядом наших за-казчиков. Да и вобще рынок про-являет значительный интерес к новинке.

«В ТАКОМ ДИНАМИчЕСКОМ ДАТАЦЕН-

ТРЕ ВИРТУАЛьНыЕ МАШИНы ПО-

СТОЯННО «ПЕРЕЕЗжАюТ» С ОДНОГО

ФИЗИчЕСКОГО СЕРВЕРА НА ДРУГОй,

ПОЭТОМУ НАМНОГО СЛОжНЕЕ ПОСчИ-

ТАТь СТОИМОСТь ПРЕДОСТАВЛЯЕМыХ

СЕРВИСОВ.»

PC

Дмитрий Тихович


20 PCWEEK Review 2 (107), 2010 21

Сетевая инфраструктура ЦОД. Cisco Nexus: использовать или нет?

Вадим ЗАПАРОВАНый, ведущий инженер-консультант Департамента сетевых технололгий компании «Инком»

Появление возможности виртуализации сер-висных ресурсов в свое время стало огромным прорывом в техноло-гиях построения ЦОД.

Ведь она позволила уйти от привязки приложений к определенному серверу и его расположению. На фоне общеизвестных сложностей, о которых так много пишут в последнее время, возни-кающих при построении и в процессе эксплуатации ЦОДа, весьма логично то, что сетевая инфраструкту-ра развивается по тому же пути. Появляются реше-ния виртуализации и в этой сфере или иными словами строятся унифицированные сетевые фабрики.

Преимущества построе-ния ЦОД с использованием унифицированной сетевой инфраструктуры в целом очевидны. Повышается КПД использования ресурсов, стандартизируются процес-сы и задачи, минимизиру-ется влияние человеческого фактора, что в совокупности приводит к сокращению сро-ков окупаемости проекта, повышению эффективности и качества предоставляемых сервисов.

Достигается этот результат за счет ряда функциональ-ных особенностей, присут-

ствующих в новых моделях коммутаторов поддерживаю-щих унифицированный фор-мат. А также вследствие из-менения самой архитектуры решений.

Несмотря на то, что техно-логии развиваются достаточно быстро, мы успеваем привыкать к определенным стандартам, в частности к стандартам в по-строении ЦОД. Так, мы при-выкли к необходимости разде-ления сетевой инфраструктуры на инфраструктуру передачи данных и хранения. Ключевой составляющей в ней являются серверы, которые имеют интер-фейсы подключения к каждой из этих подсистем. Такое разделе-ние ведет за собой повышенное энергопотребление, увеличение

кабельной инфраструктуры, из чего следует, что нам требуются большие объемы помещений.

Что представляет собой унифицированная сетевая инфраструктура?

Одним предложением мож-но сказать, что это совокуп-ность семейства новых ком-мутаторов Nexus и нового сетевого адаптера с поддерж-кой протокола Fibre Channel over Ethernet.

Новое семейство коммута-торов Nexus, которые пришли на смену всем хорошо извест-ным коммутаторам Catalyst 6500, 4900, 3750, состоит из не-скольких моделей.

NEXUS 7000 – флагман линейки, который позици-онируется как коммутатор ядра ЦОД, имеет производи-

тельность 15 Тбит/с, полностью виртуализированную архитек-туру, оптимизация под 10/40/100 Гбит/с.

NEXUS 5000 – коммутаторы уровня консолидации на уровне ЦОД. Имеют порты 10 GE, FC, FCoE, DCE.

NEXUS 2000 – является по сути выносным модулем Nexus 5000.

Ну и наконец, программный коммутатор встраиваемый в среду VMWare – NEXUS 1000, который позволяет вслед за миграцией прило-

жения с одной виртуальной машины на другую, осуще-ствить миграцию сетевых по-литик, прописанным на пор-ту доступа.

CONVERGED NETWORk ADAPTER (CNA) – это новый сетевой адаптер 10GE с под-держкой Fibre Channel over Ethernet. Данный адаптер по-зволяет заменить несколько сетевых адаптеров на сервере на один, консолидирует 10GE и FC на едином интерфейсе.

Использование вместе дан-ных элементов позволяет со-кратить фактическое коли-чество коммутаторов в сети, уменьшается количество плат в серверах, уменьшить ка-бельную инфраструктуру. В целом в два раза сокращается энергопотребление, затраты на охлаж дение и занимаемая пло-щадь ЦОДа в том числе.

Преимущества использова-ния унифицированной сетевой инфраструктуры действитель-но прозрачны и достижимы. Почему же компании все еще задаются вопросом: «Исполь-зовать Cisco Nexus или нет?»

На переговорах мне очень часто задают вопрос...

«Ребята, вы же сами строили для нас ЦОД, строили фундамен-тально и на века»... Конечно, при использовании нового подхода мы сэкономим на энергопотребле-нии, площадях и т.д. Но что при-кажете делать с тем оборудовани-ем, кабельной инфраструктурой, уже купленными и внедренными, которые, по всей видимости, про-сто придется выкинуть? Сейчас выпускаются новые серверы со встроенн ыми консолидированны-ми адаптерами, но у нас-то стоят не менее дорогие, но без адаптера…

Вопрос финансовой эффектив-ности, безусловно, в данном слу-чае, требует особой внимательно-сти. Вот что можно посоветовать.

Если у вас уже есть ЦОД

1. Считайте ROI. Даже если у вас уже полностью построен ЦОД, затраты на его модерни-зацию окупаются. Учитывай-те затраты на электроэнергию, каналы связи и фонд заработ-ной платы.

2. Внедрение можно производить по-этапно. Начать с замены сетевой инфраструктуры в пользу Nexus, к которым подключать имеющи-еся системы хранения данных и серверы. После чего постепенно переходить на новые модели сер-веров со встроенным адаптером.

3. Учитывайте новые функциональные возможности Nexus. Так, в частности, Nexus 7000 обладает новым сер-висом TrustSec. Он решает нетри-виальную задачу шифрования на уровне L2, при скоростях 10 Гбит/с и выше, столь необходимую при передаче данных между двумя раз-несенными ЦОДами. Кроме этого, в новых Nexus с помощью функци-онала OTV решается задача пред-упреждения миграции ошибок приложений по магистральной сети между территориально рас-предиленными ЦОДами. Иными словами, локализация L2 доменов. Каждая из площадок в этом слу-чае, несмотря на то, что ЦОДы свя-заны между собой по L2, рассма-тривается как отдельный домен. Поэтому ошибка, возникающая в приложении на одном ЦОДе, здесь же локализируется и решается в рамках только этой площадки, а не «бегает» по магистрали, загружая сеть.

Если вы собираетесь стро-ить новый ЦОД

Для вас использование унифи-цированной инфраструктуры – в целом беспроигрышный вариант. При этом расчет ROI никто не от-менял. По-хорошему, он должен предшествовать внедрению лю-бой системы.

Особо хочу остановиться на случаях компаний, пережива-ющих процессы слияний и по-глощений. Как правило, сделки M&A ведут к практически полной перестройке всей вычислитель-ной инфраструктуры. Это так-

«ПОВыШАЕТСЯ КПД

ИСПОЛьЗОВАНИЯ РЕСУРСОВ,

СТАНДАРТИЗИРУюТСЯ ПРО-

ЦЕССы И ЗАДАчИ, чТО В СО-

ВОКУПНОСТИ ПРИВОДИТ

К СОКРАщЕНИю СРОКОВ

ОКУПАЕМОСТИ ПРОЕКТА, ПО-

ВыШЕНИю ЭФФЕКТИВНО-

СТИ И КАчЕСТВА ПРЕДОСТАВ-

ЛЯЕМыХ СЕРВИСОВ»

Продолжение на стр 29


22 PCWEEK Review 2 (107), 2010 23

Безопасность центров обработки данных

В традиционных ЦОДах сегментация сети осуществляется с помощью межсетевых экранов и LAN, в виртуализированных же датацентрах невозможно с помощью обычных межсетевых экранов обеспечить эффективную сегментацию сетей и изоляцию виртуальных машин, что потен-циально делает возможными и необнаруживаемыми атаки с одних виртуальных машин на другие.

Задачу за-щиты да-т а ц е н т р о в нельзя рас-см ат ри в ат ь в отрыве от

современных ИТ-тенденций и новых парадигм исполь-зования вычисли-тельных ресурсов. На способы по-строения совре-менных центров обработки данных огромное влияние оказывает смещение акцентов во всей ИТ-отрасли от традиционных вычислений в сторону технологий виртуа-лизации и облачных вычислений. Если предвестниками но-вой эры была консо-лидация серверов для достижения эффек-тивной загрузки фи-зических ресурсов, то теперь на повестке дня CIO-такие задачи, как динамическое распре-деление мощностей, централизованное управление и бесперебойное обслужива-ние; именно в этих областях облачные вычисления пред-лагают эффективные инстру-менты. По мере приближения

к повсеместному и с п о л ь з о в а н и ю технологий вир-туализации, ком-пании проходят путь от традици-онных датацен-тров к «частным» облакам, гибрид-ной архитектуре и, в конечном ито-ге, придут к стира-нию границ меж-ду «публичными»

облаками и своими собствен-ными ресурсами – облаками «частными».

На каждом этапе эволюции датацентров возникают все но-

вые проблемы и задачи инфор-мационной безопасности, кото-рые могут серьезно затормозить переход к следующим ступеням.

Давайте рассмотрим текущие проблемы защиты центров обра-

ботки данных, а также пробле-мы, которые будут актуальны в ближайшем будущем.

Эксплуатация уязвимостей внутренним или внешним зло-умышленником. Все прило-жения и операционные систе-мы, как традиционные так и облачные, содержат уязвимости. Успешное использование уяз-вимостей может дать злоумыш-леннику возможность украсть данные, остановить обслужива-ние и вообще получить полный контроль над скомпрометиро-ванной системой. Как правило, обновления от производителя, закрывающие уязвимости, вы-ходят с определенной задержкой

(например, «вторники об-новлений» от Microsoft), также необходимо время для тестирования об-новлений на совмести-мость с используемыми приложениями, что уве-личивает время для осу-ществления атаки злоу-мышленниками.

Сетевая сегментация. В традиционных ЦОДах

сегментация сети осуществля-ется с помощью межсетевых экранов и LAN, виртуализиро-ванных же датацентрах невоз-можно с помощью обычных межсетевых экранов обеспечить

эффективную сегментацию се-тей и изоляцию виртуальных машин, что потенциально дела-ет возможными и необнаружи-ваемыми атаки с одних вирту-альных машин на другие.• Безопасность вновь создан-

ных виртуальных машин. Лег-кость и скорость, с которой в вир-туализированном ЦОДе могут появляться новые виртуальные машины, иногда влечет за собой несоблюдение корпоративных политик в области информа-ционной безопасности – ведь если для инсталляции фи-зического сервера требуется множество усилий, согласо-ваний и слаженной работы различных подразделений, то создать виртуальную ма-шину сможет любой пользо-ватель, обладающий необхо-димыми правами, при этом этот пользователь может не озаботиться установкой антивирусного ПО, средств защиты и настройкой обнов-лений для вновь созданной операционной системы. • Проблема «спящих» ма-

шин. Представьте, что в ЦОДе работают виртуальные серверы или рабочие станции (виртуаль-ные рабочие столы – VDI – мож-но считать следующим витком виртуализации), например, это тестовая среда, используемая только для проверки работоспо-собность новых версий корпора-тивного ПО. На сервере установ-лены все необходимые средства защиты, антивирусное ПО, на-строено регулярное обновление ОС и сопутствующих приложе-ний. В интервале между выхо-дом новых версий тестируемого ПО, виртуальные машины вы-ключаются, при этом автомати-чески устаревают антивирусные сигнатуры, выявляются новые «дырки». При следующем вклю-

чении машины с гораздо боль-шей вероятностью могут подвер-гнуться заражению.• Увеличение рисков, связан-

ных с «облачными» провайде-рами услуг. По мере стирания границ между «частными» и «публичными» облаками все большее значение будут играть SLA между компаниями-кли-ентами и поставщиками облач-ных сервисов, а также по-новому встанет вопрос доверия к персо-налу и инфраструктуре провай-

деров. • Расходование ресурсов на

безопасность. Как известно, аб-солютная безопасность, даже в случае ее достижения, приве-дет к полной неработоспособно-сти системы, то есть компаниям всегда приходится идти на ком-промисс между оптимальным уровнем защищенности и при-годностью системы к исполь-зованию персоналом. Самые распространенные средства защиты – антивирусное ПО – определенным образом сказы-ваются на производительности серверов и рабочих станций, но в будущих виртуализирован-ных датацентрах традиционные антивирусы будут просто не-

состоятельны. Например, если все антивирусные клиенты вну-три виртуальных машин нач-нут одновременно выполнять запланированную по расписа-нию проверку, то суммарная нагрузка на хостовую машину-гипервизор приведет к полной неработоспособности всех вир-туальных машин, работающих в рамках одного гипервизора.

Какие средства защиты бу-дут эффективны в условиях

ЦОД завтрашнего дня?

В силу изменения под-ходов к построению ЦОД эффективность традицион-ных средств защиты, таких как аппаратные межсетевые экраны, сетевые средства обнаружения и предотвра-щения атак и стандартное антивирусное ПО, неуклонно снижается. В новых услови-ях эффективные средства за-щиты должны:• учитывать технологии

виртуа лизации и специфич-ные риски, с ними связанные;• интегрироваться как

можно теснее с гипервизорами;• перемещаться вместе с

защищаемыми ресурсами меж-ду «частными» и «публичными» облаками;• одинаково хорошо защи-

щать множество операционных систем на различных платфор-мах, функционирующих в ЦОД.

Примером такого средства защиты, специально спроекти-рованного для защиты физиче-ских, виртуальных и облачных датацентров, является продукт Trend Micro Deep Security. Про-дукт сочетает в себе традици-онную архитектуру на базе агентов с применением специ-ализированных средств для защиты виртуализации. Deep

«НА КАжДОМ

ЭТАПЕ ЭВОЛюЦИИ

ДАТАЦЕНТРОВ ВОЗ-

НИКАюТ ВСЕ НОВыЕ

ПРОБЛЕМы И ЗАДАчИ

ИНФОРМАЦИОННОй

БЕЗОПАСНОСТИ»

Денис бЕЗКОРОВАйНый, технический консультант Trend Micro

Денис беЗкоровайный


24 PCWEEK Review 2 (107), 2010 25

Security Virtual Appliance пред-назначен для работы в среде VMware Infrastructure и исполь-зует программные интерфейсы, такие как VMsafe API и Seraph, для реали-зации без-а г е н т с к о й з а щ и т ы в и р т у а л ь -ных машин от извест-ных атак и атак «нуле-вого дня», обнаружения и предотвращения вторжений и загрузки вредонос-ного ПО, такого как вирусы, тро-яны и шпионские программы.

В состав Trend Micro Deep Security входят следующие за-щитные модули, помогающие решить основные задачи ин-формационной безопасности в ЦОД:• межсетевой экран, реализу-

ющий изоляцию виртуальных машин;• глубокий анализ пакетов,

реализующий функции «вир-туального патчинга», обнаруже-ния вторжений (IPS) и защиты веб-приложений;• контроль целостности фай-

лов и реестра, позволяющий выявлять подозрительную ак-тивность внутри виртуальных машин;• анализ журналов, позволяю-

щий администратору безопас-ности своевременно получать уведомления о важных события, относящихся к безопасности;• безагентская антивирус-

ная защита.• Deep Security применяет согла-

сованный подход при совместной работе агентской защиты и моду-ля Deep Security Virtual Appliance – система отслеживает, каким

именно образом защищена та или иная виртуальная машина, и, в случае обнаружения агента не ис-пользует модуль Virtual Appliance,

избегая дублирования операций. Однако, если система обнару-живает остановку агента внутри гостевой машины, то функции за-щиты берет на себя Deep Security Virtual Appliance. В случае пере-

мещения виртуальной машины в «публичное» облако или иную, менее контролируемую среду, то все настройки безопасности, уста-новленные для конкретной вир-туальной машины на основе ее роли, продолжают действовать и защищать машину в новой среде, реализуя принцип перемещения средств защиты вместе с защища-емыми ресурсами.• Архитектура Deep Security

позволяет избежать рисков, спец-ифичных для виртуальных сред:• включение ранее оста-

новленных виртуальных ма-шин, на которых устарели средства антивирусной защи-ты и отстутствуют необходи-

мые критические обновления ОС и приложений;• создание новых

машин, не соответ-ствующих корпора-тивной политике безопасности, на-пример, без средств антивирусной защи-ты – новые машины автоматически за-щищены с помощью

Deep Security Virtual Appliance.Trend Micro Deep Security за-

щищает практически все ос-новные операционные машины, применяемые в современных ЦОД – это большинство вер-

сий Windows, Solaris, Linux, также отдельные защитные мо-дули поддерживаются для ОС HP-UX и AIX.

Получить консультацию по функциональным воз-можностям продуктов Trend Micro, их стоимости и спо-собам приобретения вы мо-жете у официального дис-трибутора Trend Micro на территории Украины – ком-пании «Аксофт» - по адресу [email protected] или по теле-фону +380 (44) 201-03-03. PC

же хороший повод перейти на унифицированную инфраструк-туру и получить все преимущества.

Особенности внедрения

Как и внедрение любой другой системы, реализация проектов по построению унифицированной сетевой инфраструктуры имеет ряд особенностей.

Во-первых, нужно помнить о том, что эта архитектура карди-нально отличается от используе-мой ранее. Я бы даже сказал, это совершенно другая идеология. Поэтому наличие опыта у под-рядчика, который реализует для вас такой проект, является как никогда критичным. В проекте для «Кредобанка» мы убедились в этом на собственном примере.

Во-вторых, для того чтобы си-стему запустить необходимо про-

вести тщательный аудит текущего состояния. И, конечно же, лучше чтобы это делали профессионалы. В случае с молодыми компаниями, ситуация проще, здесь чаще всего используются бизнес-приложе-ния от мировых производителей, прозрачные и понятные с точки зрения взаимодействия со всей ин-фраструктурой. Сложнее с боль-шими, опытными компаниями, в которых параллельно работает иногда несколько сотен прило-жений. Более того, многие из них являются самописными, и подчас сложно найти разработчика или хотя бы человека, который четко может описать, как оно работает. А ведь для того, чтобы корректно сконфигурировать сетевую ин-фраструктуру в унифицирован-ной среде необходимо четко про-писать: как работает приложение, какие задержки для него являются

критичными, какие пакеты дан-ных распространяются, по какому протоколу это приложение рабо-тает, кто к нему имеет доступ, а кто не должен иметь доступ, с какими приложениями оно еще взаимо-действуют и как. Полученные пра-вила ложатся в основу архитекту-ры и переносятся на оборудование.

Ну и, в-третьих, помните о том, что в этом проекте работы прово-дятся на стыке нескольких подси-стем, различных технологических направлений. По каждому из них работают разные специалисты, которые должны обладать оди-наковым уровнем компетенции с одной стороны, но уметь находить общий язык с другой. Не всегда разные подрядчики могут обе-спечить единый уровень качества и согласованность по разным под-системам, гораздо удобнее полу-чать решение из «одних рук». PC

начало на стр 24


26 27PCWEEK Review 2 (107), 2010

Олимпийское пятиборье в Древней Греции было не спортом в нынешнем понимании, а способом подготовки атлета как бойца: оценивался комплексный функционал системы. Именно о таких системах-«многоборцах» вообще и Cisco Unified Computing System в част-ности, пойдет речь в этой статье.

Развитие серверных тех-нологий в зеркале обзо-ров и пресс-релизов про-изводителей напоминает пересказ олимпийского девиза «Выше, быстрее,

сильнее»: все больше процес-соров и ядер, все больше объ-емы оперативной памяти, все выше производительность; и spec.org, и tpc.org регистриру-ют все новые рекорды. Подоб-ная картина наблюдается и с системами хранения данных: с публикацией обзоров новых систем в стиле «еще больше и еще быстрее» и пополнением списка рекордсменов на Storage Performance Council. Вместе с тем, в последние пять лет в IT-индустрии шли интересные, хоть и не слишком заметные технологические процессы.

Результатом этих процессов стало появление систем, кото-рые, если продолжать олимпий-ско-спортивные аналогии, пре-тендуют на рекорды не в узких дисциплинах вроде производи-тельности или объема оператив-ной памяти на юнит, а в своего рода комплексном многоборье. Напомним, что олимпийское пя-тиборье в Древней Греции было не спортом в нынешнем понима-нии, а способом подготовки ат-лета как бойца. Именно о таких системах-«многоборцах» вообще

и Cisco Unified Computing System в частности пойдет речь в этой статье.

Блейд-системы и «виртуа-лизация-1»

Первоначальным мотивом создания серверных блейд-систем стала концентрация вычислительной мощности в единице объема: задача весьма актуальная для центров обра-ботки данных, где цена объема или юнита в стойке весьма вы-сока. Экономика в этом случае очень проста: стоимость ЦОДа включая затраты на оборудова-ние помещения и инженерную инфраструктуру, является сво-его рода налогом на вычисли-тельное ядро и чем больше сер-веров в единице объема ЦОДа, тем меньше удельные инфра-структурные затраты. Этот фак-тор был особенно существен-ным при модернизации ЦОДов; потребности в вычислительных мощностях растут, свободного пространства в стойках ста-новится все меньше, и замена старых серверов на новые, хоть и более производительные, но в том же форм-факторе далеко не всегда решала проблему.

Решение в виде выноса в блейд-шасси систем питания и охлаждения отдельных серверов

и принесение в жертву возмож-ностей расширения серверов-лезвий по количеству устанав-ливаемых дисков и разъемов расширения (впрочем, такое по-жертвование расширяемостью обернулось на самом деле пре-имуществом); использование внешних дисковых массивов, подключаемых по протоколу Fibre Channel, позволило увели-чить надежность систем за счет выноса данных с локальных жестких дисков и резервирова-ния по схеме N+1.

В результате блейд-система стала своего рода однокорпус-ной мини-стойкой серверов со встроенными резервированны-ми Ethernet и Fibre Channel ком-мутаторами, системой монито-ринга и IP-kVM’ом, улучшенной ремонтопригодностью и, заодно, минимизацией количества ка-бельных подключений в шкафу.

Параллельно с увеличени-ем количества процессоров в единице объема блейд-систем развивались технологии вирту-ализации. В 2003 году VMware выпустила Virtual Center и VMotion, а Microsoft приобрела компанию Connectix с ее продук-тами Virtual PC и Vitual Server. И, наконец, в 2005 года Intel и AMD выпустили первые дей-ствительно двухъядерные одно-кристальные серверные про-

цессоры: гонку тактовых частот CPU сменила «ядерная» гонка. Эти три составляющих – блейд-систеы высокой плотности, мно-гоядерные процессоры и вирту-ализации, как оказалось, крайне удачно дополнили друг друга, образовав си-стемную платформу для консолидации при-ложений.

Повышение мощно-сти серверов в вирту-альной среде позволило осуществить экономи-чески оправданный пе-реход к сценарию «одно приложение в одном экземпляре ОС», суще-ственно упрощающий программные и систем-ные зависимости, изба-виться, наконец, от про-блем программно-аппаратной совместимости за счет того, что операционные системы в вирту-ализированной среде «видят» одинаковые виртуализирован-ные ресурсы, а гипервизор ра-ботает на стандартизированных серверах-лезвиях, что сократило трудоемкость администрирова-ния; работа нескольких ОС со своими приложениями позво-лила повысить утилизацию ап-паратных ресурсов за счет вре-менного усреднения нагрузки. Последнее оказалось особенно эффективным в случае унасле-дованных приложений, напи-санных без учета паралеллизма и не способных использовать возможности многоядерных систем. И, наконец, за счет тех-нологий перемещения виртуаль-ных машин между различными физическими серверами (Vmware Vmotion и Microsoft Hyper-V Live Migraion) появилась возмож-ность перераспределения на-грузки.

Однако такая консолидация оказалась все же неидеальной: пусть и виртуализованные, блейд-системы остались стой-ками серверов в миниатюре с сетями Ethernet и FC, объеди-

няемыми встроенными ком-мутаторами. И с дополнитель-ным уровнем коммутации: между виртуальными Ethernet-адаптерами, которые «видят» виртуализованные операци-онные системы, и физическим Ethernet-адаптером сервера на-ходится виртуальный Ethernet-коммутатор гипервизора.

В результате, по сравнению с классическими сетями сервер-ного ядра, появилось еще два уровня коммутации: виртуаль-ные коммутаторы гипервизоров каждого сервера и встроенные коммутаторы в блейд-шасси. И зачастую все эти коммутаторы оказываются от различных про-изводителей и, соответственно, управляются программными пакетами, что не упрощает зада-чу администрирования.

Пожалуй, единственным «монолитным» исключением на сегодняшний день являются блейд-системы c виртуальны-ми коммутаторами Cisco Nexus

1000V под Vmware vSphere. Од-нако и в этом случае остается проблема администрирования двух (Ethernet и FC) сетей в та-ких системах.

«Виртуализация-2»

О д н о в р е м е н н о с к о р п о р а т и в н ы м и серверными система-ми в академическом мире развивались тех-нологии высокопроиз-водительных вычисле-ний (High Performance Computing , HPC). Осо-бенностью высокопро-изводительных вычис-лительных кластеров была необходимось интенсивного межпро-цессного обмена между

вычислительными узлами – фактически, пересылки между областями оперативной памяти в стиле ccNUMA, которые тре-бовали выделенной сети с гаран-тированной доставкой и крайне малыми задержками.

Ответом на это требование стала технология Infiniband, первая версия, спецификация которой была опубликована ITA в 2000 году. Эта технология с базовой скоростью 2.5 Гбит/с оказалась настолько хороша, что вскоре стала отраслевым стандартом универсального транспорта в в области HPC – от обеспечения межпроцессного взаимодействия, включая уда-ленный доступ к памяти (IPC/RDMA) и межузлового транс-порта IP до доступа к дисковым SCSI-устройствами с использо-ванием RDMA.

К 2005 году на рынке появи-лись компании, которые пред-лагали высокопроизводитель-ные Infiniband-коммутаторы

Рис. 1 Лишние коммутаторы в витруализованной блейд-системе: виртуальные гипервизора и физические блейд-сшасси (3 и 4, справа)

Серверные многоборцы

Владимир КУРГ, руководитель группы технического развития «Инком»


28 29PCWEEK Review 2 (107), 2010

с унифицированным вво-дом-выводом: в серверы до-статочно было установить 10 Гбит Infiniband-адаптеры (Host Channel Adapter, HCA) и подсое-динить эти серверы к Infiniband-коммутатору с модулями-шлюзами в Ethernet LAN и Fibre Channel SAN, что-бы получить систему с универсальным конвер-гентным транспортом и великолепной управля-емостью: на физическом HCA можно было конфи-гурировать виртуальные Ethernet, Fibre Channel и IB/IPC адаптеры с воз-можностью оперативного переконфигурирования и управления распределе-нием полос пропускания. В таких системах радикально упрощалась архитектура: если в классических системах, в том числе и блейд-серверах, требова-лись три адаптера трех различ-ных сетей – LAN/Ethernet, SAN/FC и IPC, и соответственно, три порта трёх коммутаторов, то в Infiniband-варианте на один кон-вергентный адаптер приходился один порт универсального ком-мутатора: cкорость в 10 Гбит, обе-спечиваемой Infiniband, c запасом перекрывала суммарную поло-су 1 Гбит Ethernet и 4 Гбит Fibre Chanel адаптеров того времени.

Неудивительно, что в том же 2005 году лидирующая в сетевых технологиях Cisco приобрела компанию Topspin, выпускав-шую универсальные Infiniband-коммутаторы со шлюзами Fibre Channel и Ethernet и, что нема-ловажно, систему управления VFrame, то есть целостную систе-му виртуализации ввода-вывода для серверных ферм, включив ее в свою продуктовую линейку. Казалось бы, Infiniband был хо-

рош всем, однако у него был один, но весьма существенный недо-статок: это был не Ethernet.

Infiniband воспринимался как нишевая технология – в то вре-мя как Ethernet был технологией

массовой, имел колоссальную инсталлированную базу и, что оказалось самым главным, был знаком огромному числу специ-алистов, как разработчикам, так и пользователям, тем более, что к этому времени уже появились протоколы доступа к системам хранения данных в Ethernet-сетях – iSCSI, iFCP и FCIP. Од-нако эти протоколы имели одну существенную проблему – они все работали поверх TCP/IP-стека, работающего в операцион-ной системе сервера и требовали строгой приоритизации трафика обмена с дисковыми устройства-ми, что в случае высоких скоро-стей оборачивалось существен-ными затратами процессорных ресурсов. Для того, чтобы изба-виться от этой проблемы, во все том же 2005 году в комитет по стандартам IEEE 802 компани-ями Intel, Cisco и IBM было по-дано предложение Proposal for Traffic Differentiation in Ethernet Networks приоритизации трафи-ка и обеспечению гарантирован-

но доставки пакетов на каналь-ный уровень, т.е. фактически, по переносу свойств Infiniband, обеспечивающих виртуализа-цию ввода-вывода, в Ethernet.

Итогом дальнейших уси-лий по развитию это-го предложения стала разработка протокола группы стандартов, из-вестных сейчас под со-бирательным названием IEEE 802.1 Data Center Bridging (Data Center Ethernet – DCE в вариан-те Cisco либо Converged Enhanced Ethernet – CEE по версии IBM) и протокола Fibre Channel over Ethernet. Среди компаний – стартапов, работающих в этой об-

ласти, одной из первых, пред-ставивших работающие прото-типы комбинированных DCB Ethernet / FCoE коммутаторов, стала Nuova Systems, приобре-тенная в 2006 году Cisco.

Cisco UCS: пока вершина эволюции?

Опыт, знания и специалисты, полученные в результате при-обретения Topspin и Nuova, в сочетании с наработками Cisco сделали свое дело. Хотя в насто-ящее время у многих произво-дителей в продуктовых линей-ках присутствуют DCB Ethernet и DCB/FC-коммутаторы, Cisco оказалась первой компанией, которая вывела на рынок закон-ченное и максимально полное на сегодняшний день серверное решение c виртуализацией вво-да-вывода – Unified Computing System (Cisco UCS) – серверную систему с единой конвергентной 10 Гбит DCB-сетью, объединяю-щей LAN и SAN сети и сквозной

системой управления. Следует отметить, что Unified Computing System не является исключи-тельно блейд-системой: она включает в себя Top-of-Rack ком-мутаторы UCS 6100 Series и в ее состав могут входить и сервера UCS C-Series в Rack-Mount ис-полнении.

На настоящий момент состав Cisco UCS выглядит следующим образом:

• UCS 6100 Series Fabric Interconnects: DCB Ethernet комму-таторы, доступные в двух вариантах: 20-порто вый UCS 6120XP и 40-порто-вый UCS 6140XP.

• UCS 5100 Series Blade Server Chassis: 6 RU шасси, в которое можно установить до восьми серверов-лез-вий и два сетевых мо-дуля fabric extenders.

• UCS 2100 Series Fabric Extenders: сетевые модули, со-единяющие сервера-лезвия с UCS 6100 Fabric Interconnects, 4х10 Гбит DCB соединения на каждый.

• Сервера-лезвия B-Series се-рий B200, B230, B250 (до 384 GB RAM) B440 (до 4-х 8-ядерных процессоров серии Intel Xeon 7500).

• Rack-Mount сервера UCS. • Конвергентне сетевые адап-

теры UCS B-Series и C-Series. • UCS Manager: система управ-

ления.И самыми интересными в

этом списке являются послед-ние две строки.

Среди конвергентных сете-вых адаптеров, которые исполь-зуются в UCS, технологически наиболее необычным является двухпортовый 10 Гбит M81kR

Virtual Interface Card (VIC) для серверов-лезвий B-Series, раз-работанный для использования в стредах с массовой виртуали-зацией. В такой ситуации, как правило, сетевые интерфейсы виртуальных машин работают с физическим интерфейсом через виртуальный коммутатор ги-первизора, и пр этом возникают две проблемы: во-первых, ком-

мутатор потребляет системные ресурсы сервера и, во-вторых, повышается сложность систе-мы возникает еще один уровень коммутации и, соответственно, объект управления.

В M81kR VIC эта проблема решена необычным образом: адаптер представляется гипер-визору в BIOS сервера как 128 независимых PCIe устройств, которые могут быть динамиче-ски сконфигурированы в каче-стве и Ethernet, и Fibre Channel адаптеров, с собственными MAC и WWN адресами. Далее для таких «физически-вирту-альных» адаптеров в гиперви-зоре могут быть сконфигури-рованы прямые подключения виртуальных машин без за-действования виртуального коммутатора. Создание, моди-фикация и управление такими

адаптерами производится из UCS Manager прозрачно и неза-метно для гипервизора, задачи по сетевой конфигурации пол-ностью переносятся из гипер-визора в UCS Manager.

Такой подход дает еще один эффект: в UCS Manager можно создавать множество виртуаль-ных аппаратных конфигураций системы, оформляя их в виде

сервис-профилей под различные задачи и опе-ративно переключаясь между ними. Например, с дневного обслужива-ния виртуальной desktop-среды (VDI) на аналити-ческие задачи в рабочее время, т.е. есть предо-ставлять вычислитель-ную инфраструктуру как сервис (IaaS).

И в заключение.В 2009 году в Network

World появилась заметка с названием «Cisco UCS:

it’s an architecture, stupid!» (Cisco UCS: это архитектура, тормоз!). Это действительно так: сервер-ные системы с конвергентным вводом-выводом, в сочетании с массовой виртуализацией и сквозным управлением дей-ствительно представляют собой новую архитектуру, идеально вписывающуюся в парадигму Cloud Computing, и Cisco UCS на сегодняшний день, похоже, яв-ляется вершиной эволюции та-ких систем.

чего ожидать в будущем? По-явления систем хранения дан-ных, подключаемых по DCB Ethernet, которые устранят необ-ходимость в FC SAN сегментах и момента, когда 40 Гбит DCB Ethernet станет таким же до-ступным, как доступен сейчас 40 Гбит Infiniband.

Рис. 2 Виртуализация ввода-вывода.

Рис. 3 Архитектура Cisco UCS

PC

PCWeek Review Центры обработки данных

30 PCWEEK Review 2 (107), 2010


31

Специалисты компании HP тесно работают с заказчиками и хорошо понимают проблемы, возникающие с «ручным» администрированием ИТ и следованием разрозненным политикам для разных приложений.

ПРЕИМУщЕСТВА КОНВЕРГЕНТНОй ИНфРАСТРУКТУРЫ

Константин ГРИГОРЦОВ, технический консультант «HP Украина»

Во многих компаниях ИТ-инфраструктура долгие годы развивалась сти-хийно, поэтому истори-чески сложилось так, что серверы, системы хране-

ния и сетевые устройства поку-пались и интегрировались без единой стратегии. В результа-те сегодня довольно часто на-блюдается следующая ситуа-ция: вычислительные системы и хранилища «замкнуты» на обслуживание определенных единичных приложений, пред-ставляя собой своеобразные технологические «ловушки». Вследствие этого, серверные системы почти всегда загру-жены лишь частично, кроме того, такими ресурсами сложно управлять.

Все это увеличивает стоимость ИТ для организации, при этом до 70% ИТ-бюджета расходуется на операционные расходы, а на вне-дрение стратегических иннова-ций остается лишь 30%, чего явно недостаточно. А ведь именно ин-новации делают компании более конкурентоспособными на рын-ке. По мере роста сложности ЦОД увеличивается его стоимость, а скорость внедрения бизнес-приложений замедляется.

Несомненно, что такая модель развития центров обработки дан-

ных (ЦОД) неперспективна, и ее надо менять. В основу бизне-са завтрашнего дня должна лечь конвергентная инфраструктура (КИ).

Только благодаря фундамен-тальным изменениям удастся превратить технологические «ло-вушки» в пул виртуальных ресур-сов, которые можно использовать для различных приложений и сервисов.

Конвергентная инфраструк-тура должна быть виртуализиро-ванной, модульной и надежной. Если КИ будет базироваться на пулах виртуальных серверов, си-стем хранения и сетевой инфра-структуры, то перераспределение единого пула ресурсов поможет решить проблемы производи-тельности и емкости различных приложений. Виртуализация означает гибкость, поэтому ИТ сможет быстрее реагировать на запросы бизнеса.

Ресурсы для приложений должны автоматически выде-ляться в соответствии с заранее определенными политиками. Автоматизация также управляет резервным копированием и вос-становлением, она должна уметь справляться со сбоями питания и активно управлять охлаждением.

КИ должна строиться по мо-дульному принципу и на основе

стандартных промышленных технологий. Это упрощает модер-низацию и наращивание мощно-сти. Кроме того, гарантирует — то, что вы используете сегодня, будет работать с новыми поколениями оборудования завтра.

Архитектура конвергентной инфраструктуры

По версии HP, архитектура КИ состоит из следующих ком-понентов.

• Инфраструктурное операци-онное окружение. Отвечает за автоматизацию выделения ресур-сов и возвращение их в пул. Под-разумевается, что эта среда опти-мизирована и знает, как работать с отдельными приложениями.

• Flex Fabric. Унифицированная сеть и сеть хранения, которая об-ладает достаточной гибкостью, чтобы соответствовать изменяю-щейся рабочей нагрузке и пере-распределению LAN/SAN при переходе на резервный центр об-работки данных.

• Пулы виртуальных ресур-сов. Обеспечивают возможность извлечения внутренних вычис-лительных ресурсов и исполь-зование внешних для динами-ческой сборки конфигураций, которые требуются для бизнес-приложений.

• Smart Energy Grid. Реализу-ет возможность масштабиро-вать и оптимизировать «ком-мунальную» инфраструктуру для соответствия требованиям приложений, рабочей нагруз-ки, энергопотребления, произ-водительности и т. д.

Рассмотрим каждый из этих компо-нентов более подробно.

Пулы вирту-альных ре-сурсов HP

Ф а к т и ч е -ски это набор практик для обеспечени я сквозной вир-т у а л и з а ц и и всех ресурсов ЦОД. Пул увеличивает утилиза-цию благодаря высвобождению и повторному использованию вычислительных ресурсов и ем-кости дисков, отвечающих за кон-кретную задачу. Кроме того, пул обеспечивает надеж-ность и гибкость для под-держки всевозможных при-ложений и любых ресурсов.

Пулы должны уметь сле-дующее.

• Объединять и распреде-лять ресурсы серверов, си-стем хранения и сети.

• Ускорять процесс изме-нения конфигурации бла-годаря виртуальным со-единениям, которые могут масштабироваться как гори-зонтально, так и вертикаль-но по мере необходимости.

• Обеспечивать виртуали-зацию емкости, процессорной мощности, соединений и уни-кальных характеристик (WWN,

MAC и т. д.) для гибкости и мак-симальной скорости изменений.

• Генерировать отчеты о произ-водительности и других характе-ристиках.

• Каждый компонент должен уметь «рассказывать» о место-положении, энергопотреблении,

производительности, работоспо-собности и взаимодействовать с операционной средой для приня-тия автоматических решений для оптимизации работы.

• Для упрощения интеграции с имеющимся оборудованием, будущей модернизации и мас-штабируемости используется

модульный дизайн и открытые стандарты.

Инфраструктурное операцион-ное окружение

Специалисты компании HP тесно работают с заказчиками и

хорошо понимают проблемы, возникающие с «ручным» администрированием ИТ и следованием разрозненным политикам для разных при-ложений. HP видит решение этих проблем в использо-вании инфраструктурного операционного окружения (Infrastructure Operational Environment, IOE).

IOE является мозговым центром конвергентной инфра-структуры, причем центром совместного пользования, позволяющим справиться с основными проблемами в об-

ласти управления. HP IOE выде-ляет ресурсы и адаптирует инфра-структуру «на лету», гарантируя, что реакция программно-техни-ческих средств на изменение биз-

нес-требований будет быстрой и предсказуемой.

С помощью HP IOE пред-приятия смогут контролировать и одновременно оптимизировать все элементы инфраструкту-ры, необходи-мые для запуска сервиса, вклю-чая серверы, системы хране-

ния, сетевые со-единения и другие корпоративные ресурсы. Данная среда объединяет инструменты управления жизнен-ным циклом инфраструктуры в

Архитектура конвергентной инфраструктуры

Инфраструктурное операционное окружение




33

единый командный центр, предо-ставляя новые сервисы в течение нескольких минут (ранее этот процесс занимал недели), а нали-чие последовательной политики поддержания высокой готовно-сти и восстановления после сбоев призвано гарантировать высокое качество обслуживания.

Ядром HP IOE выступает ПО HP Insight Software, с момента выпуска которого было продано уже более миллиона лицензий. Благодаря преимуществам ПО HP Insight Software, таким как ав-томатическое выделение инфра-структурных ресурсов и управле-ние их жизненным циклом, среда HP IOE создаст все не-обходимые условия для повышения продуктив-ности работы персо-нала. При помощи ПО HP Business Technology Optimization клиенты смогут осуществлять автоматизацию, защиту и проверку всех сво-их гетерогенных тех-нологических и при-кладных сред, а также управлять ими.

Компания HP усо-вершенствовала Insight Software, сделав его более простым. ПО HP Insight Dynamics обеспечивает расширенное управ ле ние инфраструктурой и способно на 40% сократить затра-ты на рутинные работы в ЦОД.

Операционная среда инфра-структуры НР имеет новые функ-ции, позволяющие предприятиям следующее.

• Легко и без особых затрат внедрять автоматизированные средства выделения ресурсов и восстановления после сбоев путем добавления модулей для управления и восстановления инфраструктуры;

• Восстанавливать физические серверы HP ProLiant на вирту-альных машинах в течение пяти минут, чтобы улучшить произ-водительность и гарантировать экономичное восстановление по-сле сбоев. Непрерывность бизнес-процессов повышается благодаря автоматическому восстановле-нию и возможности оперативного переноса нагрузки на физические или виртуальные серверы в зави-симости от доступных в данный момент ресурсов.

• Выбирать наиболее эффектив-ное, по совокупности факторов, место для размещения восстанав-ливаемых после сбоя ресурсов.

• Повышать производитель-ность труда администратора и сокращать время, необходи-мое для координации рутин-ных задач путем совместного развертывания инфраструк-туры и приложений с помо-щью ПО HP Server Automation, которое при необходимости можно сделать составной ча-стью процедуры выделения ресурсов для операционной системы и приложений.

• Тратить на предоставление инфраструктурных ресурсов не-сколько минут вместо несколь-ких месяцев. Эта функция теперь

распространяется и на бизнес-критичные блейд-серверы HP Integrity.

HP FlexFabric

Динамическая сеть HP Flex-Fabric объединяет тысячи серверов и систем хранения в виртуализи-рованную высокопроизводитель-ную сеть. Виртуальная сетевая структура формируется из вы-числительных систем, сетевых ре-шений и систем хранения данных, физическое подключение которых к системе осуществляется лишь один раз и впоследствии не меня-ется. Такой подход дает центрам

обработки данных способ-ность масштабироваться в большую или меньшую сторону в соответствии с быстро меняющимися потребностями бизнеса.

В рамках HP FlexFabric сочетаются технологии, инструменты управления и экосистемы решений HP ProCurve и HP Virtual Connect (VC). Такое объ-единение создает условия для переноса интеллекту-альных сетевых функций из ядра ближе к серверным

подключениям, что способ-ствует повышению производи-тельности, гибкости и интенсив-ности использования. Впервые сетевые соединения и полоса про-пускания могут быть полностью виртуализированы — от сервера до ядра сети. В итоге, предпри-ятия получают решение «сеть как сервис», позволяющее обращать-ся к ресурсам «на лету».

По мере расширения вирту-альной архитектуры организа-циям необходима все более тесная координация между сетевыми администраторами и администраторами серверов, что

Еще один аспект проблем современных датацентров



34 PCWEEK Review 2 (107), 2010 35

Традиционная инфраструктура ЦОД не рассчитана на максимальную плотность размеще-ния оборудования. Все это приводит к насущной необходимости уменьшения капиталь-ных затрат. Hewlett Packard предложила собственный вариант решения под названием HP Performance Optimized Datacenter (POD).

КОНТЕйНЕРНЫй ЦОД С КОНВЕйЕРА

Какой датацентр выбрать – традиционный стационар-ный или мобильный кон-тейнерный? Для ответа на этот вопрос необходимо рассмотреть пре-

имущества и недостат-ки первого и второго решения.

Как известно, тради-ционные ЦОДы, которые сегодня распространены чаще всего, обладают множеством ограниче-ний. Например, потен-циал наращивания вы-числительных ресурсов датацентра ограничен возможностями энерго-снабжения, охлаждения и физической площади. Кроме того, расширение существующе-го ЦОДа, как правило, привязано ко времени строительства.

Поскольку требуется большая энергоэффективность, то растут затраты на оплату электроэнер-гии и подключение дополнитель-ной мощности. Кроме того, тради-ционная инфраструктура ЦОД не рассчитана на максимальную плотность размещения оборудо-вания. Все это приводит к насущ-ной необходимости уменьшения капитальных затрат.

Есть ли доступное решение вышеуказанных проблем? Спе-циалисты компании Hewlett Packard предложили собствен-

ный вариант решения под назва-нием HP Performance Optimized Datacenter (POD). Это постро-енный на базе обычного транс-портного контейнера мобиль-

ный ЦОД, позволяющий быстро наращивать емкость и обеспечи-вающий наивысшую эффектив-ность.

Преимущества в сравнении с традиционным ЦОД

Основной плюс HP POD заключается в мобильно-сти данного датацентра даже при полной набивке ИТ-оборудованием. Не менее значимым преимуществом является малое время развер-тывания — фактически заказ-чик может получить готовый ЦОД через 6 недель после зака-за. Кроме того, такой ЦОД оп-

тимален для высоких плотно-стей, когда энергопотребление доходит до 34 кВт на стойку.

характеристики 12-метрово-го POD

• 22 стандартных 19” стойки высотой 50U, глу-биной 1000 мм.

• Высокая плотность, в среднем 27 КВт на стойку (до 35 КВт максимально).

• Быстрое развертывание • Энергоэффективность,

коэффициент PUE =1.25.• Пакет инфраструктур-

ных сервисов.

характеристики 6-метро-вого (20-футового) POD

• Десять стоек 50U в комплекте.• Резервированные вентиля-

торы и теплообменники. • Максимальный вес (без на-

бивки): 5897кг. • Два независимых ввода пита-

ния по 145 КВт. До 290 КВт без резервирования.

• Рабочие температуры: от -32°С (с укрытием) до + 40°С.

• Можно перевозить в полно-стью собранном виде (включая ИТ-оборудование).

• Монтаж оборудования, за-купленного вместе с POD, осу-ществляется на фабрике НР.

• По шкале надежности ЦОД относится к Tier2.

Вычислительный центр HP POD обеспечивает отказоустой-чивый и неотказоустойчивый ре-жимы работы. Стандартно центр поставляется с 22-мя стойками по 50U, то есть общее про-странство составляет 1100 юнитов. Трехфазная систе-ма распределения питания (Starline) и встроенная си-стема мониторинга BMS с датчиками/сигнализацией (пожар, давление, протечка и т.д.) плюс физическая за-щита (механическая замки) обеспечивают надежный уровень безопасности.

Особенности использования POD

Контейнерный ЦОД не явля-ется полностью самодостаточной системой, он нуждается во внеш-них коммуникациях: энергопитание (маги-стральное, ИБП и/или дизель-генератор) и холодная вода (чиллер) для отвода тепла. Для развертывания POD также должна быть подготовлена подходя-щая площадка.

HP POD стандар-тно работает при тем-пературе от 0°C до 40°C, но при правиль-ном планировании способен работать и в более суровых ус-ловиях. Для работы при низких температурах HP предлагает рассмотреть добавление гли-коля в воду для предотвраще-ния замерзания (при наружной температуре до -38°C). Но не-обходимо учесть, что гликоль уменьшает теплопроводность и может снизить мощность POD на 30%. При еще более экстре-мальных температурах или условиях рекомендуется уста-навливать датацентр внутри

укрытия для дополнительной защиты.

В настоящее время HP рас-полагает собственным сбороч-ным производством HP Factory

Express, которое в круглогодич-ном режиме способно собирать до 7 шасси одновременно. В минимальную комплектацию готового шасси входит полная

инфраструктура датацентра без серверов: сам контейнер, элек-трическая часть, система водяно-го охлаждения, теплообменники с вентиляторами, инструменты администрирования системы (управление питанием, автомат аварийного отключения, детек-тор задымления и т.д.) и стойки-«корзины».

Возможна полная комплекта-ция HP POD по индивидуально-му заказу на фабрике НР, с инте-грацией всего ИТ-оборудования и дополнительных систем в ре-

шение, готовое «под ключ». POD, полностью собранный на фабри-ке, подвергается перед отгрузкой тщательному тестированию.

Стоимость 40-футовой версии без серверной начинки соста-вит порядка $1,5 млн. По под-счетам специалистов HP, это в среднем на 88% дешевле стои-мости строительства традици-онного помещения под центр обработки данных. Необхо-димо также учесть, что строи-тельство такого помещения с нуля занимает многие месяцы, а новая сборочная линия по-зволяет поставить POD заказ-чику через 6 недель с момента

получения заказа.Еще большую экономию обе-

щает величина энергоэффектив-ности (PUE) POD. Для датацен-тра в развернутом состоянии

PUE составляет 1,25, что является очень хо-рошим показателем.

Инфраструктурные сервисы HP POD

Компания НР пред-лагает обслуживание в течение всего жиз-ненного цикла реше-ния POD. Планирова-ние вычислительного центра и интеграция

обеспечивается подразделением HP Critical Facilities. Возможна комплектация POD по индиви-дуальному заказу, построение, интеграция, тестирование и от-грузка.

Шеф-монтаж, который заклю-чается в развертывании, запуске, тестировании на месте, выполня-ется по месту эксплуатации. При желании заказчика возможны проактивные и бизнес-критич-ные варианты сервисных кон-трактов, с выделенной группой технической поддержки.

Внутреннее пространство пустого POD

Механическая диаграмма POD

Матрица вариантов поставки POD

PC


36 37PCWEEK Review 2 (107), 2010

По мнению экспертов HP, центр обработки дан-ных должен представ-лять собой один большой комплекс, состоящий из пула вычислений, пула

сетевых операций и пула хра-нения. При этом он должен ра-ботать в рамках очень простой и удобной управляющей обо-лочки.

Развитие идеоло гии адаптивной инфра -струк ту ры HP (Adap tive Infra struc ture), предло-женной несколько лет назад, получило свое продолжение в инте-грированной инфра-структуре Blade System Matrix, которая объ-единяет аппаратные и программные компо-ненты в одну систему, формируя тем самым интегрированный пул ресурсов, функцио-нирующих и физической, и в виртуальной средах. Мощный инструментарий управления, в свою очередь, позволяет компа-ниям, специализирующимся на ИТ, быстро проектировать, раз-вертывать и оптимизировать при-ложения.

Новая платформа предлагает совершенно другие временные рамки для развертывания и вне-дрения решений. На ее иници-

ализацию необходимо не более 10 мин, время готовности самой инфраструктуры составляет 38 мин, 60 мин потребуется для установки и настройки бизнес-приложений. Таким образом, за 108 мин один подготовленный специалист в состоянии проде-лать работу (внедрение сервера приложений Web Logic на базе

СУБД Oracle RAC), на которую по классической схеме ушло бы более месяца (33 дня), причем по-надобились бы усилия несколь-ких команд ИТ-сотрудников. Эксперты HP полагают, что переход на Matrix позволит ком-паниям сэкономить до 80% опе-рационных расходов и вернуть вложения в течение 8 месяцев.

Базовым конструктивным элементом начального ком-

плекта системы – Starter kit – служит шасси Blade Systemc7000, обеспечивающее питание, ох-лаждение, инфраструктуру вво-да-вывода и межсоединение для установки обычных серверных лезвий или специализированных лезвий-накопителей. Одно шасси HP Blade Systemc7000 высотой 10U вмещает до 16 модулей по-

ловинной высоты или восемь лезвий пол-ной высоты, со всей необходимой инфра-структурой питания и охлаждения, плюс восемь коммутацион-ных модулей (комму-таторов Fibre Channel, Ethernet, Infiniband).

Сейчас система комплектуется сер-верами HP ProLiant BL460cG6 на четы-рехъядерных про-цессорах IntelXeon серии 5500 или

AMD Opteron (кодовое название Shanghai). В перспективе будет возможен переход на модули с Itanium, в том числе и на основе бу-дущих двухъядерных микросхем Itanium 9100. Многие эксперты полагают, что эти блейд-серверы устанавливают новый стандарт для дата-центров. Оснащенный двумя процессорами, двумя жест-кими дисками с возможностью горячей замены, памятью объ-

емом до 96 Гбайт и двухпортовым адаптером 10 Gigabit Ethernet, блейд-сервер половинной вы-соты BL460c предоставляет ИТ-менеджерам необходимый уровень производительности и возможность расширения для ресурсоемких приложений.

Для коммутации использу-ются модули, поддерживаю-щие соединения 10 Gb Ethernet и Fibre Channel с пропускной способностью 8 Гбит/c; допуска-ется использование высоконад-ежной системы коммутации HP NonStop и нескольких вариантов системы питания. С помощью технологий виртуализации сете-вых соединений VirtualConnect ресурсы блейд-серверов матри-цы, их дисков, а также полоса про-пускания внутренних сетевых каналов 10-гигабитного Ethernet и 8-гигабитного Fibre Channel объединяются в пул и из него распределяются между разными приложениями в зависимости от их потребностей.

Напомним, что одна из главных особенностей блейд-серверов Blade Systemsc-Class –это технология Virtual Connect, которую можно использовать как опцию для подключения полки с лезвиями к сети вместо обычного неуправляемого или управляемого коммутатора. В частности, технология Virtual Connect Flex-10 обеспечивает виртуализацию ввода-вывода на уровне сетевой карты NIC (Network Interface Card) каждого сервера. Она позволяет добить-ся максимальной эффектив-ности использования сетевых ресурсов за счет распределения полосы пропускания одного ка-нала 10 Gigabit Ethernet между четырьмя NIC, которые в терми-нологии VirtualConnectFlex-10 называются FlexNIC.

Гипервизор виртуальных ма-шин «видит» Flex NIC как обыч-ные физические NIC. Посколь-ку до четырех Flex NIC могут совместно использовать один 10-гигабитный канал, то им ну-жен только один соединитель-ный модуль VirtualConnect, в то время как при использовании первой версии этой техноло-гии HP для каждого NIC тре-бовался свой соединительный модуль. Очевидно, что Virtual Connect Flex-10 сокращает рас-ходы на сетевое оборудование и его поддержку, обеспечивая 64 соединения (вместо стан-дартных 16) Flex NIC в преде-лах шасси Blade Systemsc7000. Virtual Connect Flex-10 позво-ляет настроить полосу пропу-скания для каждого FlexNIC – начиная от 100 Мбит/с и до 10 Гбит/с (с шагом по 100 Мбит/с).

Для управления систе-мой предназначен пакет HP Insight Dynamics – Virtual Server Environment (VSE), реализую-щий функции администрирова-ния физической и виртуальной серверной инфраструктуры. Это ПО позволяет проводить посто-янный анализ и оптимизацию всей адаптивной инфраструкту-ры. Как известно, основное на-значение Insight Dynamics – VSE состоит в том, чтобы помочь кли-ентам добиться максимального эффекта от внедрения виртуа-лизации на серверах HP и свести к минимуму риски, связанные с этим процессом. В этом реше-нии применен новый тип аб-стракции серверных ресурсов – логические серверы, с помощью которых администраторы могут управлять как физическими серверами, так и виртуальными машинами, применяя одни и те же механизмы администрирова-ния. Логический сервер можно

создать из отдельного физиче-ского сервера, из пула физиче-ских ресурсов или из виртуаль-ной машины.

Наиболее эффективно приме-нение Insight Dynamics – VSE на платформе Blade Systemc-Class с технологией VirtualConnect, ко-торая позволяет объединить раз-вернутые на лезвиях нескольких шасси логические серверы в пул ресурсов (домен). Сейчас домен Virtual Connect масштабируется до 1000 шасси Blade Systems 7000, а в будущем такой пул можно бу-дет построить в масштабе всего датацентра и даже нескольких площадок, реализовав таким об-разом катастрофоустойчивое ре-шение.

Стоит отметить, что само распределение ресурсов выпол-няется с помощью новой ути-литы с графическим интер-фейсом Matrix Orchestration Envi-ronment, которая постав-ляется вместе с готовыми ша-блонами конфигураций под приложения Microsoft, Oracle и SAP лезвий, систем хранения, виртуальных машин и соедине-ний между этими компонентами матрицы.

В качестве рекомендуемой систе мы хранения вместе с Blade System Matrix предлагает-ся модульный дисковый массив Storage Works EVA (Enterprise Virtual Array) 4400, где про-блемы сложности администри-рования и высокая стоимость дискового пространства успеш-но решаются с помощью тех-нологий виртуализации. ПО Storage Works Continuous Access EVA работает на уровне кон-троллеров массива и реализует технологию удаленной репли-кации данных, предусматривая защиту хранимой информации от катастроф.

Развитие идеологии адаптивной инфраструктуры HP (Adaptive Infrastructure), предложенной не-сколько лет назад, получило свое продолжение в интегрированной инфраструктуре Blade System Matrix, которая объединяет аппаратные и программные компоненты в одну систему, формируя тем самым интегрированный пул ресурсов, функционирующих в физической и в виртуальной средах.

«ЦОД-матрица» от НР

PC

Рис. 1 Matrix Solution Brief


38 39PCWEEK Review 2 (107), 2010

Делая неоднократные сравнения, специалисты пришли к выводу что датацентры строят для оптмизации затрат и повышения беспрерывной, бесперебойной работы всех его компонентов.

Почему строят датацентры?

Неоднократные сравне-ния привели к выводу, что датацентры стро-ят для оптимизации затрат и повышения беспрерывной, бес-

перебойной работы всех его компонентов.

Сделаем несколько сравнений.что лучше:

• 20 серверных комнат или одна?

• 30 кондиционеров или 2?• 60 системных администрато-

ров или 5?• 30 систем гарантированного

питания с ДГУ или 2?• Иметь единое ядро дата-

центра и его инфраструктуру или разрозненную архитектуру сервисов.

Предполагаем, что все отве-ты будут склоняться в меньшую сторону, возможно, за некото-рым и исключениями.

При построении заказчики датацентра руководствуются ос-новными целями:

• обезопасить бизнес;• оптимизировать инвестици-

онные затраты;• обеспечить непрерывность

бизне са (минимизация просто-ев) и безопасность его построе-ния и обслуживания;

• минимизировать человече-ский фактор – минимальное ко-личество высококвалифициро-ванного персонала.

Мобильный или не мобильный датацентр?

В последние годы на рынке появилось немало решений мо-бильных датацентров:

• Mobile Emergency Datacenter от NAAT;

• Mobile Data Center (MDC) от SunGard;

• InfraStruXure Express и Data-pod от АРС;

• Модули Portable Modular Data Center (PMDC), Enterprise Modu-lar Data Center (EMDC), High Density Zone (HDZ) от IBM;

• Performance Optimized Data-center (POD) от Hewlett Packard;

• ICE Cube от Rackable Systems;• Sun BlackBox от Sun Micro-

system и многие, многие другие.Предложенные решения по-

зволяют предоставить дата-центры от самых малых, как Mobile Emergency Datacenter (MED) компании NAAT, (ком-па нии удалось втиснуть стой-ки с ИТ-оборудованием внутрь фургона, смонтированного на базе легкого грузовика), вплоть до конструкторов Portable Modular Dataсenter (PMDC), Enterprise Modular Data Center (EMDC), High Density Zone (HDZ) как у IBM и Datapod у АРС.

Немного поразмыслив, можно прийти к выводу, что главный плюс мобильного датацентра – это реализация проекта в крат-чайшие сроки.

Второй плюс в самом поня-тии «мобильный», особенно понятие мобильности стано-вится очень актуальным в слу-чае, если у клиента арендован-ное помещение. Ведь ни для кого не секрет, что в случае смены владельца помещения есть риск прекращения дого-вора аренды, в итоге мобиль-ность датацентра позволит перенести его в другое, более удобное место в кратчайшие строки.

Стоимость одной стойки мо-бильного датацентра в 1,5 раза больше чем обычного, стацио-нарного датацентра. Также стоит понимать, что «мобильный» –понятие растяжимое, все-таки внешние электросети и линии связи к такому датацентру в лю-бом случае необходимо прокла-дывать.

А за счет ограничений по пло-щади (40 футовый контейнер) и нагрузки (до 50 кВатт) поч-ти не позволяет его расширить, расширение приравнивается к покупке еще одного модуля или контейнера.

Дополнительный минус – это сервис, т. е. при поломке одной из систем (да, датацентр перехо-дит на использование резервной системы!) из-за ограничений по площади очень проблематично ее восстановление, что тем са-мым снижается уровень надеж-ности датацентра на время ре-монта.

Учитывая вышеизложенные факторы, при выборе той или иной технологи построения датацентра всегда необходи-мо очень точно взвешивать все плюсы и минусы.

Где строить датацентр?

При выборе помещения для датацентра нужно понимать, что это сооружение будет рас-полагаться в этом месте мини-мум 5-10 лет, и что за эти 5-10 лет оно, скорее всего, увеличит по т р е б л яе м у ю мощность, по-требует увели-чения пропуск-ной способности внешних линий связи и, как следствие, уве-личится объем обслуживаемого о б о р у д о в а н и я (серверы, ком-мутаторы), так и обслуживаю-щего оборудования (кондицио-неры, ДГУ).

99% датацентров располагают в черте города, в здании с 1-го и выше этажа, ссылаясь на требо-вания стандарта.

Хотя, с другой стороны, поче-му бы не разместить датацентр в подвале:

• аренда помещений дешевле; • укреплять несущую кон-

струкцию практически нет нужды;

• охранять проще и дешевле;• доставка и установка обо-

рудования мене трудоемкая (опускать – легче, чем подни-мать).

Действительно, есть тре-бование по затопляемости, но в любом случае хоть и при стро-

ительстве датацентра на этаже придется проводить общестрои-тельные работы, довольно часто и по гидроизоляции.

Не смущает же никого дата-центр Iron Mountain, располо-женный на глубине 67 метров в бывшей шахте, высполненный по надежности TIA-IV, или по-строение датацентра в Хельсин-ки в пещере под Успенским со-бором с точно таким же уровнем надежности.

И почему именно в городе? Почему не за городом? Получить дополнительную мощ ность про-ще (меньше согласований), арен-да или приобретение помещений меньше на порядок, охранять проще и дешевле, установить ДГУ – не является проблемой, проблема одна – это внешние линии связи, их все равно необ-ходимо прокладывать из города.

Правильность проектирования и внедрения ЦОД

Датацентр – это помещение, в котором зачем-то устанавливают много коммутационного и сервер-ного оборудования, на котором в свою очередь устанавливают раз-нообразное программное обеспе-чение, а также необходимое обо-

рудование для его охлаждения и бесперебойного электропитания.

Устанавливают все это с одной целью, чтобы обеспечить бизнес-процессы компании, для которой он строится.

Поэтому проектировать да-тацентр необходимо с верхнего уровня, начиная с изучения биз-нес-процессов компаний; от бизнес-процессов перейти к программно-му обеспечению обслуживающему эти бизнес-процессы; от программ-

ного обеспечения к серверам; от серверов к коммутационному оборудованию; от ком-мутационного обору-дования к мощности, линиям связи и зани-маемой площади.

Изучив в такой последовательности, мы сможем получить проект датацентра, который будет опи-сывать сверху вниз.

1. Бизнес прило-жения и сервисы ком-

пании;2. Инфраструктуру систем

хранения и обработки данных.3. Телекоммуникационную

инфраструктуру.4. Инженерной инфраструк-

туры.Проект для всех указанных

разделов обязательно должен описывать пути расширения и если необходимо поэтапное стро-ительство датацентра.

Строиться датацентр в любом случае будет с нижнего уровня.

4. Инженерная инфраструк-тура.

3. Телекоммуникационная инфраструктура.

2. Инфраструктура систем хранения и обработки данных.

1. Бизнес-приложения и сер-висы компании.

Заметки о датацентрах

Виталий ОКСютЕНКО, начальник отдела поддержки продаж компании Инком Василий МАтВЕЕВ, начальник отдела построения датацентров компании Инком


40 41PCWEEK Review 2 (107), 2010

Один?

Датацентр – комплексное ре-шение и построение его должно основываться на комплексном походе. Посудите сами, только по инженерной инфраструкту-ре необходимо спроектировать и построить, и обеспечить сле-дующее.

1. Экранирование.2. Фальшпол.3. Вентиляция и газоудале-

ние.4. Кондиционирование.5. Энергообеспечение.6. Источник бесперебойного

питания.7. ДГУ.8. Пожаротушение и пожар-

ная сигнализация.9. Безопасность (система ви-

деоконтроля, система контроля доступа, система охранной сиг-нализации).

10. Освещение и аварийное освещение.

11. Структурированная ка-бельная система.

12. Заземление и выравнива-ние потенциалов.

13. Мониторинг и админи-стрирование.

14. Внешние линии связи и энергообеспечение.

15. Шкафы и стойки.И это без учета строитель-

ных работ, еще добавляем сер-веры и коммутационное обо-рудование и пытаемся всё это разместить в помещении 500 куб. метров.

Трудно получается, а если все это будет монтировать не одна компания а, например, 10? Сколько времени займет согла-сование оборудования между смежниками, и как у них полу-чится строить датацентр?

То, что один (в данном случае имеется ввиду одна компания)

будет реализовывать 3-4 ме-сяца (это не оптимистическая оценка), группой компаний будет реализовываться в 2-3 раза дольше, и срок увеличит-ся только за счет согласований между собой*.

При реализации проекта по построению датацентра ответственный должен быть один, который отвечает и за проектирование, и за постав-ку оборудование, и за мон-тажные работы, и за согласо-вание с государственными и ведомственными органами, а также за поставку комму-тационного оборудования, серверов, программного обе-спечения, и главное – за пол-ную работоспособность дата-центра.

«Инком».

Повторимся: датацентр – комплексное решение, и по-строение его должно основы-ваться на комплексном походе. К этой фразе добавим, что дата-центр должен еще и обслужи-ваться 24 часа в сутки 7 дней в неделю, 365 дней в году.

Компания «Инком» пред-лагает то, что необходимо для комплексного построения да-тацентра и его эксплуатацион-ного обслуживания.

• Аудиты и анализ различно-го уровня.

• Разработка концепций.• Разработка проектной доку-

ментации.• Поставка полного комплек-

са оборудования и программ-ного обеспечения.

• Монтажные работы. • Услуги сопровождения, а

так же гарантии и сервис.Для достижения цели мы

применяем комплексный под-

ход, включающий следующие этапы:

• аудит и анализ;• разработка оптимальной ар-

хитектуры решения;• планирование этапности на-

ращивания;• разработка проектной до-

кументации с последующим ее согласованием в государствен-ных учреждениях;

• планирование работ;• внедрение;• сдача в эксплуатацию.

Результатом нашей дея-тельности является закон-ченное техническое решение обеспеченное сервисными и гарантийными обязательства-ми, позволяющее спланиро-вать инвестиции и оценить возможные риски.

«Инком» имеет огромный опыт построения разного рода ИТ-ориентированых систем и структур. Мы построили и внедрили в общей сложности 19 тысяч разнообразных по сложности и наполнению си-стем, из них более 100 дата-центров с разными уровнями надежности.

Это стало возможным бла-годаря большому штату спе-циализированных инженеров и значительному количеству монтажного ресурса необходи-мого для внедрения и реализа-ции систем в разных городах Украины.

Их знания и опыт засви-детельствованы сертифика-тами производителей, бла-годарственными письмами заказчиков, а также возмож-ностью напрямую получить информацию о квалифика-ции из первых уст.

*Данные взяты для датацентра с полезной мощность 300 КВатт

PC

О самых востребованных ИТ-решениях, об уникальных завершенных проектах, об уроках экономического кризиса и новых идеях PC Week/UE беседует с Юрием Михайловичем Ли-сецким, генеральным директором «ЭС ЭНД ТИ УКРАИНА».

PC WEEk/UE: По-следние полтора года существенное количество пу-бликаций в прессе было посвящено кризису: пробле-мам, урокам, по-следствиям. Как вы думаете, эти обсуждения уже потеряли практиче-ский смысл или еще остаются вопросы?

ЮРИй ЛИСЕЦКИй: Кризис стал привычной частью жизни, и сейчас нет смысла его активно обсуждать: быть ново-стью он уже перестал, а историей еще не стал. То есть, о пробле-мах кризиса говорить поздно, о последствиях – рано, а вот раз-мышлять об уроках, наверное, уже можно.

По моему мнению, кризис преподал только один урок, не ставший откровением: выжи-вает сильнейший и лучше под-готовленный. Сейчас это так же актуально, как и в начале кризиса: пока не устранен ни один из факторов, приведших к кризису – ни на глобальном, ни на национальном уровнях. Поэтому новую волну кризиса нельзя исключить, а, значит, и об окончании кризиса в ИT го-ворить не приходится...

PC WEEk/UE: Какие кри-терии послужили бы для вас признаком завершения текущего кризиса? До-стижение прежнего уровня бизнеса? Выход на прежние темпы роста?

Ю. Л. Сигналом его окончания в Украине могут служить фи-нансовые показатели основных игроков рынка – совершенно объективный крите-рий. Как только ИТ-

компаниям удастся выйти на докризисные результаты, можно будет говорить о стабилизации или, даже, положительной ди-намике. Ожидаю, что в Украине некоторые ИТ-компании в этом году смогут повторить резуль-таты 2009 года, и в 2011-ом, воз-можно, выйдут на результаты 2008 года.

И все же, учитывая глобаль-ный характер кризиса, я бы, прежде всего, ориентировался на положительную динамику макроэкономических показа-телей в Украине и в странах – наших основных инвесторах. Только этот сигнал позволит сказать: да, в Украине кризис заканчивается. Но, даже тогда я не ожидаю прежних высоких темпов роста – эти времена уже не вернутся.

PC WEEk/UE: На сайте http://www.snt.ua сейчас представлено несколько направ-лений бизнеса («Решения для бизнеса», «Инфраструктурные решения» и др.). Какие из них были наиболее востребо-ванными за последние полтора года, и вы считаете наиболее перспективными и денежными для дальнейшего развития компании?

Ю. Л. Наиболее востребованны-ми, несмотря на кризис, оста-лись серверные платформы и системы хранения данных. Кроме того, мы ощутили рост спроса на «тяжелые», ком-плексные решения в области ИT-безопасности. Именно на комплексные, а не так называ-емую «косметическую» без-опасность. Кстати, это признак достижения нашим ИТ-рынком очередной стадии зрелости.

PC WEEk/UE: Какие это решения, каких разработчиков?

Ю. Л. Традиционно, в проектах, связанных с информационной, в частности, сетевой безопасно-стью, мы предлагаем решения, ба-зирующиеся на продуктах Cisco, EMC, Websense, Fortinet и других производителей. В последнее время, мы также реализовали ряд проектов с использоанием комплексных решений компании ArcSight, которые оказались вос-требованными со стороны банков.

Юрий ЛИСЕЦКИй

«Бензин ваш – идеи наши»


PCWEEK Review 2 (107), 201042 43

PC WEEk/UE: Это был спрос со стороны банков или ваша инициатива продвижения ArcSight в банках?

Ю. Л.: Спрос на эффектив-ные решения в области ИТ-безопасности со стороны банков присутствует всегда. Мы изучи-ли, кто из разработчиков пред-лагает наиболее совершенные, комплексные решения в этой области, обратили внимание на решения ArcSight и презен-товали их нашим заказчикам. Оказалось, что эти продукты хорошо отвечают потребно-стям финансового сектора в Украине.

PC WEEk/UE: Ваши специалисты уже обладали опытом работы с решениями ArcSight?

Ю. Л.: Мы такого опыта не име-ли, поэтому оперативно разра-ботали и реализовали план по развитию сотрудничества с про-изводителем. Реализация пи-лотного проекта, написание тех-нического задания и подготовка заняли два с половиной месяца. За это время наши специалисты успели пройти обучение и серти-фикацию. Первое внедрение мы делали с помощью специалистов ArcSight, второе – абсолютно са-мостоятельно.

Наряду с этим существует спрос в области нашей основ-ной компетенции – комплекс-ных проектов по созданию, модернизации или развитию ИТ-инфраструктуры, включаю-щей серверные решения, систе-мы хранения, сетевое окружение, элементы безопасности. Именно это направление является для нас самым перспективным: муль-тисервисные сети, территориаль-но распределенные ЦОД и другие масштабные проекты для круп-

ного корпоративного бизнеса – то, что могут делать считанные компании в Украине.

PC WEEk/UE: Ландшафт Ит-рынка из-менился за последние пару лет. Какие наиболее существенные изменения вы могли бы обозначить? В чем конкретно это проявляется сегодня?

Ю.Л.: ИТ-рынок претерпел се-рьезные изменения на глобаль-ном уровне, но не в Украине.

Особого изменения количества игроков не наблюдается, на топ-позициях – те же имена, а вот доходы уменьшились. Но эти изменения количественные, а не качественные, поэтому можно сказать, что особых изменений, кроме того, что стало работать сложнее – нет.

Отмечу только определен-ную активизацию деятельно-сти российских ИТ-компаний в Украине в связи с изменением структуры собственности от-ечественных операторов связи, а также некоторых банков.

PC WEEk/UE: Как вы оцениваете пер-спективы создания и использования ком-мерческих ЦОД в нашей стране?

Ю. Л.: Если отвечать на вопрос кратко, то перспективы созда-ния я оцениваю высоко, а пер-спективы использования – не очень. Сейчас в Украине многие создают коммерческие ЦОДы,

добились определенных успехов в их построении, – и хотя с США и другими развитыми странами пока не сравнить, – это направ-ление у нас успешно развивает-ся. «Камнем преткновения» на этом рынке является не созда-ние, а как раз использование – ведь загрузка многих ЦОД не превышает 30%.

PC WEEk/UE: Как вы считаете, чем об-условлена недостаточная загрузка?

Ю. Л.: Рядом причин. Напри-мер, в США и Европе они используются несравнимо интенсивнее: идея отдать на аутсорсинг все неосновные для бизнеса функции там давно и успешно реализует-ся. Кроме того, западные или восточно-азиатские банки, отдавая ИТ-задачи на аут-

сорсинг, уверены в надежном хранении своей информации, поскольку эти процессы подкре-плены законодательной базой и реализуются в соответствии с регуляторными требованиями. У нас, как вы понимаете, все об-стоит иначе.

К тому же, наш рынок пока просто не созрел: нет достаточ-ного спроса на удаленное хра-нение и обработку данных, и не факт, что он будет быстро расти в обозримом будущем. Наши операторы связи уже построили собственные мощные ЦОДы с достаточными для себя ресур-сами. Та же ситуация с банками, которые, к тому же, пока не гене-рируют сверхбольшие объемы информации: их собственные ЦОДы (иногда и простые сер-верные комнаты) тоже вполне справляются с актуальными за-дачами… Коммерческие ЦОДы хорошо себя чувствуют на зре-лых во всех отношениях рынках.

PC WEEk/UE: Расскажите о самых зна-чимых проектах «ЭС ЭНД тИ УКРАИНА» последнего времени.

Ю. Л.: Их немало. В частности, для «Райффайзен Банк Аваль» мы реализуем проект на базе продукта ArcSight ESM. Первый этап проекта мы завершили в прошлом году – заказчик остал-ся доволен результатами – и вот, недавно, мы завершили уже вто-рой этап. Внедренное решение стало одним из ключевых эле-ментов системы мониторинга и управления безопасностью в банке.

В этом году мы реализова-ли очень интересный проект по внедрению системы управ-ления идентификационными данными пользователей (IDM) для компании «Астелит». Ре-шение на базе продукта Sun Java Identity Management System позволило автоматизировать процесс управления учётными записями и предоставления до-ступа в огромную сеть инфор-мационных систем мобильного оператора для более чем тысячи сотрудников компании, а также для внешних пользователей. За-метьте, этот проект также в обла-сти ИТ-безопасности, что хоро-шо иллюстрирует тенденцию, о которой я говорил.

Для одного из наших клю-чевых заказчиков, компании «Киевстар», мы реализовали в этом году целый ряд интересных проектов. Например, весной мы завершили первый этап строи-тельства сети беспроводного доступа для использования на участках «последней мили» сети фиксированного доступа. Эта сеть беспроводного доступа по-зволяет оператору предостав-лять абонентам услуги передачи данных в условиях отсутствия

проводной инфраструктуры со скоростью до 10 Мбит/с.

В этом году мы модернизиро-вали ядро IP/MPLS сети компа-нии «Киевстар». Мы заменили маршрутизаторы класса GSR, производства Cisco, на более производительное решение это-го же производителя: CRS-1. Кстати, внедрение маршрутиза-торов этого класса стало первым в Украине. Благодаря этому вы-росла общая пропускная способ-ность ядра сети в 4 раза – важный фактор готовности к внедрению услуг 3G/4G поколений. что ин-тересно, оборудование GSR мы использовали для модернизации пограничных маршрутизаторов: установили 4 точки терминиро-вания международных Интер-нет-каналов, и довели их про-пускную способность до 10 Gbps. Так мы достигли сразу несколь-ких целей: повысили техниче-ские возможности оператора и позволили ему сохранить ранее сделанные инвестиции. Кроме того, в этом году мы продлили контракт на техническую под-держку DWDM и IP/MPLS сети мобильного оператора.

Компания «Киевстар» всегда была новатором в области ИТ: первой в Украине приобрела суперкомпьютер НP Superdome, первой внедрила собственные биллинговые системы. Новатор-скую традицию она поддержала и в этом году – вновь при нашем участии. Мобильный оператор приобрел для своей финансово-аналитической системы ком-плекс хранения и обработки дан-ных Oracle Exadata. Этот продукт совместной работы компаний Oracle и Sun Microsystems явля-ется на сегодня самым быстрым в мире комплексом для онлайн обработки транзакций, а его вне-дрение для «Киевстар» станет

первым не только в Украине, но и в СНГ.

Необходимо упомянуть еще один проект, который мы начали еще в прошлом году, и активно реализуем в течение всего 2010 года. Это масштабный проект по созданию единой системной ИT-инфраструктуры Донбас-ской топливно-энергетической компании (ДТЭК), входящей в группу «СКМ». ДТЭК пред-ставляет собой вертикально-интегрированную компанию из 19 предприятий, создающих производственную цепочку от добычи угля до генерации и дистрибуции электроэнергии, и на которых работает более 52 тысяч сотрудников. И вот, для этой компании с разнородной структурой мы централизуем ИТ-инфраструктуру на основе технологий Microsoft, повыша-ем стабильность функциониро-вания ее компонент и уровень доступности ИТ-сервисов для пользователей. Особенностью данного проекта стали масштаб внедрения, охватывающий все 19 предприятий компании, а также количество внедряемых ИТ-сервисов – более 20.

PC WEEk/UE: Какие у вас есть идеи, пла-ны в отношении развития новых направ-лений, применения новых технологий?

Ю. Л.: Помните, в «Золотом те-ленке» И.Ильфа и Е.Петрова, прозвучала знаменитая фраза Бендера: «Бензин ваш – идеи наши». Для воплощения любой идеи нужна материальная база, а в нынешних экономических условиях «площадь» этой базы у многих сильно уменьшилась. Тем более, системным интегра-торам просто нет особого смыс-ла работать на далекую перспек-тиву – никто не знает, как будет

КОММЕРчЕСКИЕ ЦОДы ХОРОШО СЕБЯ чУВСТВУюТ НА ЗРЕ-ЛыХ ВО ВСЕХ ОТНО-ШЕНИЯХ РыНКАХ



44 45PCWEEK Review 2 (107), 2010

По мере стремительного роста цен на электроэнергию технологии, применяемые в процес-сорах и устройствах памяти, превратили производительность в избыточный ресурс, и весьма высоким стало значение электроэнергии и охлаждения.

Контроль за энергопотреблением и охлаждением ЦОД

Плотность усложняет проблему

Вопрос электропитания и охла ждения не зависит от форм-фактора. Однако потреб-ность в них быстро растет из-за большей плотности серверов и процессоров. В настоящее вре-мя плотность информационно-го центра ежегодно увеличи-вается в среднем на 15%—20%. Клиенты, которые использу-ют блейд-серверы, одними из первых ощутили остроту про-блемы охлаждения и электро-питания в условиях высокой плотности.

За последние десять лет рас-ходы на электроэнергию вырос-ли более чем вдвое, усилив на-грузку на системы охлаждения и электропитания. По данным Американского общества ин-женеров по отоплению, охлаж-дению и кондиционированию воздуха, среднее энергопотре-бление на единицу площади для серверов увеличилась за последние десять лет в десять раз. Поэтому каждый сэконом-ленный ватт превращается в значительную экономию для предприятия.

Возьмем 100 серверных сто-ек, заполненных серверами. Каждая стойка, потребляющая 12—13 киловатт, расходует на

серверы 1,3 мегаватт электриче-ства в час. Количество электро-энергии, необходимой на ох-лаждение, практически равно электроэнергии, потребляемой самим аппаратным обеспечени-ем. Следовательно, система кон-диционирования воздуха также использует 1,3 мегаватт элек-тричества. Если 1 киловатт/час стоит $0,1 при круглосуточном потреблении, то в год за 1,3 ме-гаватт начисляется приблизи-тельно $1,2 млн. Это очень зна-чительная сумма. Вот почему расходы на электричество тре-буется срочно сокращать.

Уравнение для электропитания, тепла и охлаждения

чтобы соответствовать тре-бованиям и ограничениям по потреблению энергии и охлаж-дению в каждом информаци-онном центре, важно помнить о количестве выделяемого тепла на центр данных или серверное поме- щение. Для этого необхо-димо определить, какова кри-тическая нагрузка, для которой можно обеспечить электропита-ние? Сколько мощности можно охладить, прежде чем начнутся сбои и простои? Сколько вы-числительной мощности мож-но себе позволить до тех пор,

пока не возникнет потребность реструктуризации информаци-онного центра из-за недостаточ-ного электропитания и охлаж-дения? К сожалению, многие информационные центры не могут разорвать этот замкну-тый круг: в ходе работы систе-ма охлаждения серверов сама нагревается, таким образом, происходит образование тепла при его отводе. Эта проблема возникает независимо от форм-фактора — стоечный, башенный сервер или блейд — и решать ее приходится всем информацион-ным центрам.

Поскольку законы физи-ки изменить невозможно, не-обходимо привести в к опти-мальному балансу физические показатели тепла, произво-дительности и плотности. Вот почему НР разработала техно-логию Thermal Logic, инноваци-онную технологическую стра-тегию, которая встраивается в блейд-системы HP BladeSystem следующего поколения и обе-спечивает баланс между по-треблением электроэнергии и охлаждением, повышая эффек-тивность информационного центра.

Сейчас во многих информаци-онных центрах расходы на элек-троэнергию составляют треть

эксплуатационных расходов. В настоящее время на каждый квадратный фут пространства, занимаемый вычислительным оборудованием, приходится три квадратных фута пространства, отведенного под систему охлаж-дения, что в шесть раз больше, чем 10 лет назад. За последние три года среднее потребление электроэнергии на стойку вы-росло вдвое. До 50% расходов информационного центра приходятся на электричество и оборудование для ох-лаждения. В среднем ежегодные комму-нальные расходы ин-формационного цен-тра площадью 100 000 квадратных футов достигают $5,9 млн. (Эдвард Коплин, ру-ководитель инженер-ной компании Jack Dale Associates).

HP Thermal Logic — «экономайзер» элек-тричества

чтобы решить острую проблему роста температуры и затрат на электро-энергию, компания НР поставила перед собой сме-лую цель: дать своим клиентам возможность контролировать потребление электроэнергии и охлаждение в качестве нового типа ресурсов, чтобы оптимизи-ровать эффективное использо-вание электричества для любого объема работы. Вероятно, мно-гим знакомо понятие виртуали-зации на уровне серверов, кото-рое подразумевает объединение вычислительных ресурсов в пул и их совместное использование.

Теперь есть возможность вир-туализировать электроэнергию и охлаждение. Технология HP Thermal Logic позволяет достичь этой цели благодаря несколь-ким инновационным решени-ям, которые интегрированы в полку HP BladeSystem, и ключе-вым функциям, обеспечиваю-щим контроль и оптимизацию потребления электроэнергии и охлаждения.

HP Thermal Logic позволяет отслеживать, объединять, со-вместно использовать и соот-носить потребление электро-энергии с потребностями в ней. Также она позволяет приводить к балансу производительность, обеспечение электроэнергией и охлаждение в соответствии с выполняемой задачей и огра-ничивать потребление элек-тричества и охлаждение, чтобы обеспечить необходимую про-изводительность, но при раци-

ональном расходовании ресур-сов. Можно даже задать порог потребления электроэнергии и охлаждения, чтобы обеспечить максимальный или оптималь-ный уровень производитель-ности, а также автоматически увеличивать и контролировать охлаждение, поддерживая его на достаточном уровне. Здесь есть все для комплексного управления электропотребле-

нием и охлаждением.

Превращение плотно-сти в преимущество

Плотность, которая ранее мешала охлаж-дению, превращается в преимущество бла-годаря технологии HP Thermal Logic, вен-тиляторам HP Active Cool и архитектуре HP PARSEC. С их по-мощью больший поток воздуха направляется на те блейд-серверы, которым это нужно, и при этом расходуется меньше электроэнер-гии, чем для обычных стоечных серверов. В действительности при использовании тех-нологии HP Thermal

Logic корпусу HP BladeSystem требуется до 50% меньше потока воздуха, и до 70% меньше электроэнергии на охлаждение, чем тому же ко-личеству стоечных серверов, которые, помимо этого, зани-мают больше драгоценного пространства, чем полка НР BladeSystem.

Технология HP BladeSystem независимо от конфигурации обеспечивает экономию времени и электроэнергии, поскольку она

Рис. 1 Вентиляторы HP Active Cool


46 47PCWEEK Review 2 (107), 2010

эффективнее использует элек-троэнергию и охлаждение, тре-бует меньше времени на управ-ление, ее проще изменять, и она всегда оказывает меньшее воз-действие на остальные части ин-формационного центра.

Направленное охлаждение пре-дотвращает нерациональное расходование

Разрабатывая Thermal Logic, специалисты HP рас-сматривали обеспечение электроэнергией и охлаж-дение не отдельных стоек, а целого информационно-го центра. Каждый объект в информационном центре влияет на все остальные объ-екты. Если до максимума повышается охлаждение це-лой полки из-за одного на-груженного блейд-сервера, также начинают охлаждаться прилегающие стойки и ряды, что приводит к излишнему расходованию электричества. В HP BladeSystem применя-ется многозонная архитекту-ра, где в каждую серверную полку встроено множество датчиков. Это позволяет рас-пределять электроэнергию и контролиро- вать охлажде-ние областей с разной плот-ностью. В отличие от венти-ляторов в обычных серверах, HP Thermal Logic требуется на 50% меньше потока возду-ха, а на охлаждение того же количества блейд-серверов расходуется до 70% меньше электричества.

Наблюдение и контроль HP Thermal Logic обеспе-чивают сотни встроенных датчиков, расположенных по всей полке. Они переда-ют данные о температуре

на модуль управления Onboard Administrator и HP Systems Insight Manager. Благодаря это-му можно легко отслеживать температуру каждой полки в каждой стойке, температуру воздуха внутри и снаружи, а также общее энергопотребле-ние компонентов. Системный администратор получает все

данные, необходимые для обе-спечения потребностей си-стемы, и может вручную или автоматически управлять тем-пературными порогами. Он мо-жет самостоятельно выбирать уровень контроля, достаточный для поддержания баланса меж-ду энергопотреблением, темпе-ратурой, плотностью и произ-

водительностью.

Распределение всего объема электроэнергии как общего ресурса

HP Dynamic Power Saver оптимизирует энергопотре-бление, используя только те блоки питания, которые обеспечивают потребности консолидированной ин-фраструктуры. Так как мак-симальная эффективность блоков питания достига-ется при высоких нагруз-ках, этот способ позволяет поддерживать их работу на оптимальном уровне, одно-временно обеспечивая из-быточность этих устройств. Решение HP Dynamic Power Saver постоянно работает в фоновом режиме, обеспе-чивая распределение всей доступной электроэнергии. Таким образом, поддержи-вается производительность системы при высоких на-грузках и экономия элек-тричества при низких на-грузках.

чтобы добиться от данной стратегии максимального распределения электроэнер-гии, был создан регулятор энергопотребления HP Power Regulator, работающий на уровне процессоров. Он по-зволяет более точно соотно-сить энергопотребление про-

цессоров с общей нагрузкой. Вместе с HP Dynamic Power Saver это решение позволяет повысить эффективность использования электроэнергии, а HP Power Regulator одновременно дает возможность сокращать потре-бление электроэнергии процес-сорами и экономить еще больше электричества.

Вентиляторы HP Active Cool для эффективного охлаждения

Новые вентиляторы HP Active Cool разработаны с применением инновационных техно логий, по-зволяющих охлаждать 16 блейд-серверов, затрачивая всего 100 ватт. Конструкция вентилятора основана на технологии, приме-няемой в двигателях самолетов. Скорость вращения лопастей вентилятора достигает 217 км/ч, что создает высокое давление и скорость воздушного потока, но при этом потребляется меньше электричества, чем в обычных вентиляторах.

Сервисы HP Smart Power and Cooling

Услуги интеллектуального энергообеспечения и охлажде-ния HP Smart Power and Cooling помогут максимально эффек-тивно использовать информаци-онный центр. С помощью этих услуг информационный центр можно сделать более компакт-ным и экономным в плане энерго-потребления. В число этих услуг входит планирование разме-щения вычислительных ресур-сов, улучшение конфигурации охлаждающих систем, таких как кондиционирование воздуха, и размещение вентиляционных ре-шеток. В результате можно будет эффективнее управлять ростом

и избежать отказов системы, свя-занных с недостаточным энерго-потреблением или охлаждением.

Самоохлаждаемая стойка HP Modular Cooling

Система модульного охлаж-дения HP Modular Cooling — это самоохлаждаемая стойка, созданная для датацентров с высокой плотностью. Новая технология охлаждения НР по-зволяет одной стойке отводить до 30 кВт тепла, обеспечивая охлаждение при такой плотно-сти аппаратного обеспечения и энергопотреблении, которые раньше были практически не-возможны. HP Modular Cooling разрабатывалась с тем, что-бы дополнить традиционную систему охлаждения инфор-мационного центра и создать условия для повышения вы-числительной мощности без дополнительного теплообра-зования Кроме этого, увеличе-ние количества оборудования в стойке в три раза, в терминах киловатт, позволяет значитель-но продлить срок жизни ин-формационного центра.

Комплексный подход НР к энер-гообеспечению и охлаждению

ПОЛКА И СТОйКА• Постоянный температурный

мониторинг, предоставляющий данные о температуре, энерго-потреблении и охлаждении в режиме реального времени.

• Вентиляторы HP Active Cool, созданные на основе запатенто-ванной технологии НР, оптими-зируют воздушный поток, уро-вень шума, энергопотребление и производительность.

• Архитектура HP PARSEC для параллельного избыточно-

го масштабируемого воздушно-го потока.

• Модульная система охлаж-дения HP Modular Cooling с тех-нологией водного охлаждения, в три раза более эффективная, чем традиционные стойки и без дополнительного теплообразо-вания.

БЛЕйД-СЕРВЕР• Слабонагревающиеся двух-

ядерные и многоядерные про-цессоры.

• HP Power Regulator адапти-рует энергопотребление процес-сора к потребностям исполняе-мых приложений.

• HP Dynamic Power Saver перераспределяет нагрузки для максимальной эффективности и надежности, сохраняя избы-точность блоков питания.

• Элементы управления Integrated Lights Out (iLO) уско-ряют переход к регулируемому энергопотреблению.

• Виртуализация на уровне сервера для повышения произ-водительности относительно энергопотребления.

ИНфОРМАЦИОННЫй ЦЕНТР• Комплексные услуги вклю-

чают теплорегуляцию HP Thermal Modeling и повышение эффективности информацион-ного центра.

• Услуга быстрой оценки позволяет определить основ-ные параметры окружающей среды.

• Промежуточная оценка ка-сается кондиционирования воз-духа, влияния препятствий и на-правления потоков воздуха.

• В рамках комплексной оценки анализируются дина-мический поток жидкости и применяются технологии тер-мального моделирования.

Новая полка HP BladeSystem c-Class со встроенной технологией HP Thermal Logic создавалась с целью экономии электро-энергии и максимального охлаждения, что обеспечило более высокую производитель-ность на каждый использованный киловатт. Так как в стойку помещается больше серве-ров, для нее используется столько же или меньше электроэнергии и охлаждения, а также меньше составных частей. Большая плотность позволяет сократить количество кабелей, которые затрудняют потоку воздуха доступ к полкам и стойкам. В результате на квадратный метр информационного центра требуется меньшее охлаждение. Когда по-требляется меньше электричества, образу-ется меньше тепла, и снижается потребность в кондиционировании воздуха, сокращается количество стоек, и, следовательно, требует-ся меньше пространства. PC


PCWEEK Review 2 (107), 201048 49

ЦОД в ПУМБ: путь к централизации управления ИТ

Летом 2008 года руковод-ством публичного ак-ционерного общества «ПУМБ» было приня-то решение о создании основного центра обра-

ботки данных на территории центрального офиса. Данное решение было принято для обеспечения высокого уровня безопасности всех информа-ционных баз данных банка.

Для определения организации-исполнителя по данному проекту был проведен тендер, в результате которого компания ЗАО «Инком» была признана победителем.

Проектирование центра обра-ботки данных было начато в сентя-бре 2008 года и закончено в полном объеме в мае 2009 года. По оконча-нии проектирования проект был отдан на комплексную государ-ственную экспертизу и получил положительное заключение.

К сожалению, из-за задержки сроков работы были начаты еще на этапе проектирования в фев-рале 2009 года. Комплекс ЦОД был сдан в опытную эксплуата-цию в сентябре 2009 года. Окон-чательная сдача в эксплуатацию состоялась в ноябре 2009 года.

ЦОД ПАО «ПУМБ» построен в соответствии с TIA/EIA-942 и предназначен для бесперебойного функционирования 24х7х365 и не имеет единой точки «отказа». Все

оборудование выполнено с мини-мальной отказоустойчивостью N+1. Отдельные подсистемы име-ют более высокую отказоустойчи-вость: ИБП – 2N, система электро-снабжения 2N+1.

Весь комплекс ЦОД име-ет отдельное резервирование по электропитанию, которое обеспечивает дизель генера-торная установка мощностью 400 кВА. Время автономной работы ИТ-оборудования со-ставляет 30 мин за счет ИБП.

При проектировании были уч-тены пожелания ПУМБ о возмож-ности наращивания мощности ЦОД. В проекте была заложена первоначальная мощность ИТ-оборудования 50 кВт с возможно-стью расширения до 100 кВт.

Уже летом 2010 года банк начал наращивать мощность комплекса ЦОД. В ходе реализации проекта были построены следующие под-системы.

Инженерная инфраструктура ЦОДОсновой построения ИИ ЦОД

является оборудование АРС InfraStruXure тип B по схеме резервирования 2N н. Обору-дование АРС, применялось для построения систем – ИБП, рас-пределения питания, внутренне-го кондиционирование, система мониторинга и диспетчериза-ции, шкафное оборудование. Си-

стема распределения питания выполнена с использованием управляемых стоечных блоков розеток, что позволяет контро-лировать состояние питания и управлять им на уровне шкафов.

Система активного мониторинга для обеспечения безопасности и контроля состояния среды (для защиты от физических факторов риска)

Для обеспечения разграниче-ния доступа к различным сер-висам согласно требованиям Национального банка Украины система контроля доступа была выполнена с использованием решений АРС NetBotz, при этом разграничение доступа выпол-нено на уровне шкафов.

Установленное оборудова-ние позволяет контролировать микроклимат в помещениях ЦОД и в случае отклонения от заданных пользователями па-раметров автоматически реаги-ровать и восстанавливать уро-вень влажности и температуры.

В серверном помещении пред-усмотрена система защиты от за-топлений, датчики которой под-ключены к оборудованию APC InRow RC. В случае протечки оборудования после срабатыва-ния датчиков прекращается по-дача жидкости в неисправный блок кондиционирования.

КондиционированиеВнутри серверной кондицио-

нирование выполнено по прин-ципу «горячих» и «холодных» коридоров, с использованием внутрирядных кондиционеров АРС InRow RC 103. Хладагентом системы была выбрана водно-гли-колиевая смесь. В качестве внеш-него холодильного оборудования в теплое время года используются чиллеры. При снижении темпера-туры наружного воздуха до 5 гр., система автоматически переклю-чается на сухие градирни, рас-положенные с внешней стороны здания, принцип работы которых подразумевает использование температуры внешнего воздуха для охлаждения ЦОД.

ЭлектрообеспечениеОдной из наиболее интерес-

ных «изюминок» ЦОД является его система электрообеспечения, построенная по схеме резервиро-вания 2(N+1). Система электро-обеспечения ЦОД построена по схеме резервирования 2(N+1) и обеспечивает возможность гиб-кого масштабирования (Исполь-зовано 2 ИБП Symmetra PX по 64 кВт N+1).

Питание ЦОД подается от двух независимых (резерви-руемых) вводов от ТП. Кроме того вводы дополнительно резервируются ДГУ. Система электроснабжения оборудо-вана современными средства-ми автоматики, наряду с этим информация о всех переклю-чениях в системе ЭО ЦОД передается в систему диспет-черизации.

При проведении комплекс-ной государственной экспер-тизы эксперты единодушно признали систему электро-обеспечения в ЦОДе ПУМБ одной из лучших в городе.

СКСЦОД Первого Украинского

Международного банка не явля-ется автономным и отдельно сто-ящим центром. Таким образом, СКС ЦОД соединена со всеми важнейшими телекоммуникаци-онными узлами банка. СКС ЦОД построена на базе оборудования АМР Tyco, и является предынтел-лектуальной, т.е. в будущем она может быть расширена до уровня интеллектуальной СКС.

ДиспетчеризацияСистема построена на APC

ISX Central и NetBotz. В систему диспетчеризации приходят дан-ные со всех элементов и подси-стем ЦОД. Для эффективной ра-боты выполнена визуализация получаемой информации на циф-ровую стену в кабинете обслужи-вающего персонала ЦОД. Данная цифровая стена своевременно информирует диспетчеров об изменениях параметров и всего оборудования ЦОД и смежных систем. Также система обеспе-чивает удаленный просмотр и контроль событий с любого уда-ленного рабочего места в сети банка или через Интернет.

Система автоматического пожаро-тушения

В серверном помещении ЦОД выполнена система автоматиче-ского газового пожаротушения на базе газа FN-200. Данный газ является безопасным по воздей-ствию на окружающую среду.

Система видеонаблюденияВ помещениях ЦОД выпол-

нена система видеонаблюде-ния, позволяющая контро-лировать перемещения, как в серверном помещении так и во всех технических помещениях комплекса.

Система NetBotz и позволя-ет операторам диспетчерского центра контролировать при-сутствие и действия персонала ЦОД. Данная система подклю-чена к системе диспетчериза-ции, посредством нее возмож-но не только контролировать действия внутри помещения, она также оповещает о наличии движения внутри ЦОД во избе-жание несанкционированного доступа и действий в помеще-нии (наблюдение осуществляет служба охраны. Используется независимая система видеона-блюдения.

Вентиляция и пароувлажнениеДля обновления воздуха в

помещениях комплекса была выполнена приточно-вытяж-ная вентиляция всех помещений (независимые друг от друга: для серверной и для остальных поме-щений). Дополнительно для обе-спечения микроклимата в сервер-ном помещении была реализована система пароувлажнения.

Одним из неформальных требо-ваний заказчика было выполнение эстетических требований при по-строении ЦОД. Для выполнения данного пожелания было выпол-нено несколько мероприятий.

1. В серверном помещении вы-полнен фальшпол с целью орга-низации кабельных линий (и си-стемы циркуляции хладагента) в подпольном пространстве (фаль-шпол выполнен не для эстетики, а для прокладки коммуникаций).

2. Была произведена вну-тренняя отделка экрана сер-верного помещения под стиль офисных помещений.

3. Все видимые коммуникации и трубы снаружи и внутри поме-щений были выполнены в декора-тивных конструктивах для при-дания эстетического вида. PC

Проектирование центра обработки данных было начато в сентябре 2008 года и было закон-чено в полном объеме в мае 2009 года. По окончании проектирования проект был отдан на комплексную государственную экспертизу и получил положительное заключение.




51

ЦОД: тенденции рынка, актуальные проблемы и подходы

Как бы вы охарактеризовали круг современной проблематики ЦОД? Какие вопросы в нее входят и ка-кие из них наиболее актуальны сегодня?

ExTREME NETWORkSБОРИС ГЕРМАшЕВ,глава представительства

Extreme Networks в РоссииВсе более масштабное исполь-

зование виртуализации приводит к лавинообразному увеличению плотности устанавливаемого обо-рудования. Как следствие, много-кратно усложняются все типич-ные задачи при проектировании ЦОД – от обеспечения беспере-бойного питания и охлаждения до построения гибкой сетевой инфраструктуры и систем без-опасности. Виртуализация также принудительно привносит требо-вания по поддержке динамиче-ского изменения конфигурации и нагрузки, что до этого было не-типично для обычно статичных решений ЦОД.

SIBISДЕНИС КРИВОВ,редактор ITPartnerВ первую очередь, это наличие

необходимых свободных электри-ческих мощностей на ближайших подстанциях энергосетей и вы-бор соответствующей площадки. Остальные вопросы, такие как

планировка объекта, охлаждение, обеспечение энергоэффективно-сти, отказоустойчивости и другие, носят более технический и про-гнозируемый характер, поэтому решать их намного легче.

«SITRONICS ИНфОРМАЦИОННЫЕ ТЕхНОЛОГИИ»

Говорить о проблематике можно очень долго. Достаточно вспомнить множество примеров проблем, которые становились краеугольными камнями на пути создания и эксплуатации ЦОД, потом их успешно решали, и эти решения давали качественный скачок всему направлению. На-пример, внедрение виртуализации позволило решить проблему роста площади серверных помещений и нерационального расхода электро-энергии; использование энергоэф-фективных технологий кондицио-нирования позволило уменьшить затраты на содержание ЦОД и т.д.

SySTEM INTEgRATION SERVICEСОЛТЫС ВАЛЕРИй фЕДОРОВИч,

коммерческий директор Очень сложно найти подходя-

щее помещение и, как правило, помещение для ЦОД заказчики строят специально. На этапе про-ектирования помещения просчи-тывается рабочая и максимальная мощность ЦОД, подводятся все необходимые коммуникации и т.д. И одна из существенных про-

блем – обеспечение достаточной мощности электропитания ЦОД, особенно в больших городах

АМИАЛЕКСАНДР ЛАГОДЕНКО,руководитель проектов

управления сетевых реше-ний и телекоммуникаций

Сегодняшнюю ситуацию на рынке ЦОД можно охарактеризо-вать как затишье, оно временное, и через некоторое время проявит-ся отложенный спрос, поскольку компании снова начнут ощущать острую необходимость в расши-рении и создании конкурентных преимуществ своего бизнеса, а это невозможно без оптимизации бизнес-процессов.

«БАКОТЕК»ОЛЕГ ЛЯшЕНКО,менеджер по развитию

бизнесаАктуальная проблема при

проектировании и модернизации ЦОД – это анализ информаци-онных систем, бизнес-задач ко-торые будут «жить» в ЦОДе. Без такой процедуры ЦОД – это всего лишь это набор технологически правильно интегрированного оборудования, чего, конечно же, недостаточно для его эффектив-ного использования. Кроме того, в последнее время очень актуаль-на проблема правильного выбора решения для объединения терри-

ториально распределенных цен-тров обработки данных в единую систему.

«МУК»ВАДИМ ЛЕНКОВ,коммерческий директорСуществует проблемати-

ка ЦОД, которая всегда была и остается актуальной. Осново-полагающие вопросы связаны с доступностью ИТ-сервисов, защитой и хранением данных. Наиболее актуальные задачи в связи с кризисом следующие. • Гибкость инфраструктуры. В

период кризиса бизнес изменяет-ся, и инфраструктуре приходится подстраиваться под новые запро-сы бизнеса. Эти изменения долж-ны быть динамичными — нельзя ждать и останавливать бизнес-про-цессы, пока будут происходить из-менения в инфраструктуре. • Повышение эффективности

использования ресурсов. Заказ-чик вполне справедливо желает, чтобы его инфраструктура дава-ла максимальную отдачу. • В целом наблюдается измене-

ние облика ЦОД. Если раньше ос-нову ЦОД составляли в основном крупные и дорогие серверные ре-шения, но теперь возросло коли-чество относительно бюджетных систем. В связи с повсеместным использованием виртуализации вычислений большое значение для ЦОД приобрели системы хра-нения данных и средства резерв-ного копирования.

Какие категории заказчиков приме-няют ЦОД (по размерам, отраслям)? Для решения каких задач?

SIBIS Основными заказчиками, ис-

пользующими ЦОД, традицион-но являются банки, страховые

компании и retail. Также они очень востребованы в промышленно-сти и энергетике. Эти структуры оперируют большими массивами данных, и их деятельность напря-мую зависит от обработки инфор-мации. Самые распространенные задачи заказчиков, это, как пра-вило, создание резервных ЦОД и размещение таких приложений как интернет-банкинг, SAP, CRM, core banking system и сервисы баз данных.

«МУК»ЦОД сегодня применяет одна

категория заказчиков – это за-казчики, прибыли которых по-зволяют вкладывать средства в оптимизацию и увеличение на-дежности ИТ. В первую очередь, это телекоммуникационный и финансовый сектор.

«АМИ»Условно заказчиков можно

разделить на категориям востре-бованности ЦОД разных уровней.

ЦОД первого уровня (Tier 1) не имеет резервируемых систем, а потому все плановые и внепла-новые работы неминуемо обора-чиваются простоями. ЦОД пер-вого уровня (Tier 1) востребован:• средним и малым бизнесом,

где ИТ обслуживают в первую очередь внутренние процессы компании. • интернет-ориентирован-

ным бизнесом на начальном этапе развития, при отсутствии серьезных штрафов за качество предоставляемого сервиса.

ЦОД второго уровня (Tier II) востребован:• мелким бизнесом, чьи тре-

бования к ИТ-системам обыч-но ограничены рамками рабо-тоспособности на протяжении нормального рабочего времени («5Х8»), когда есть возможность

производить плановую останов-ку ИТ-систем для проведения регламентных работ. • коммерческими фирмами,

работающими, например, в об-ласти разработки ПО, которые, как правило, не предоставляют каких-либо услуг в режиме «он-лайн».

ЦОД третьего уровня (Tier III) востребован:• компаниями, обслуживаю-

щими как внутренних, так и внеш-них заказчиков в режиме «7Х24». • структурами, чьи ИТ-системы

поддерживают автоматизиро-ванные бизнес-процессы, так что простой ИТ-систем имеет замет-ное влияние на бизнес. • компаниями, чьи сотрудни-

ки и заказчики находятся в мно-гочисленных часовых поясах и регионах.

В ЦОД четвертого уровня (Tier IV) непрерывное функци-онирование поддерживается ав-томатически. Датацентр четвер-того уровня востребован:• предприятиями с присутстви-

ем на международных рынках, предоставляющими свои услуги в режиме «24х365» в высококон-курентном рыночном окружении. • компаниями, занимающи-

мися электронной коммерцией, финансовыми транзакциями. • крупными глобальными

компании, чьи сотрудники и за-казчики находятся в многочис-ленных регионах, и их доступ к ИТ-ресурсам дает заметное кон-курентное преимущество.

SySTEM INTEgRATION SERVICEЕсли мы говорим именно о

ЦОД в классическом исполне-нии, а не о серверных комна-тах, это крупные финансовые, промышленные и государ-ственные организации. Зада-чи в основном стандартные:

чем сегодня «дышит» рынок датацентров, каковы основные тенденции и проблемы при по-строении и эксплуатации ЦОД? Мы попытались узнать это, у специалистов системных инте-граторов, вендоров и дистрибуторов.




53

необходимость консолидации больших массивов данных для аналитической обработки, оптимизация обслуживания инфраструктур, повышение надежности и производитель-ности ресурсов.

«БАКОТЕК»ЦОД – это платформа обеспе-

чивающая соответствие опреде-ленным требованиям к эксплуата-ции и развитию информационной инфраструктуры, независимо от отрасли применения и выполня-емых задач. Основные заказчики, конечно, в сегменте Enterprise.


Центры обработки дан-ных использует любая ком-пания на определенном эта-пе зрелости, когда требуется надежность и стабильность функционирования бизнес-процессов, которые сейчас тесно связаны с применением информационных техноло-гий. Если готовить об актив-ности, то на сегодня наиболее активен финансовый сектор. К примеру, мы во втором квар-тале завершили проект для АО «СБЕРБАНК РОССИИ» (Украина). В рамках, которого наши специалисты выполнили весь комплекс работ по созда-нию ЦОД: от проектирования до комплексной реализации.

Каковы сегодня наиболее характер-ные тенденции рынка ЦОД с точки зрения технологий?

SIBIS Можно выделить две глобаль-

ных тенденции: виртуализация и повышение энергоэффектив-ности.

«МУК»В сфере инфраструктуры

ЦОД основными тенденциями были и остаются оптимизация и увеличение надежности. Все, что происходит с технологиями, сегодня направлено на реализа-цию этих тенденций.

«АМИ»Одной из основных тенден-

ций сегодня является поэтапная многоуровневая концепция ор-ганизации ЦОД в соответствии с ростом потребностей заказчика: наращивание производительно-сти и мощности систем хранения и обработки данных происходит только тогда, когда существую-щие возможности уже исчерпа-ны. Это позволяет сократить фи-нансовые вложения и стоимость эксплуатации вычислительного центра.

SySTEM INTEgRATION SERVICE Виртуализация и консолида-

ция вычислительных ресурсов – основные технологии, использу-емые при создании датацентра. Значительную роль также игра-ют технологии, обеспечивающие высокую доступность критиче-ски важных IТ-сервисов и без-опасность ЦОД.

ExTREME NETWORkSС точки зрения сетевых техно-

логий нельзя не отметить появле-ние стандартов 40Гбит и 100Гбит. Стоимость 40Гбит ненамного превышает стоимость 10Гбит ка-налов, что приведет к достаточно быстрому появлению этой техно-логии в ЦОД.

Также такие скорости совмест-но с конвергентным Ethernet позволят использовать единые каналы единой сети вместо раз-розненных сетей прошлого таких, как Fibre Channel или Infiniband.

«БАКОТЕК»Вопрос можно разделить на

два: технологии для повышения эффективности ЦОД как инже-нерного сооружения и техноло-гии эффективности датацентра как информационной системы. В первом случае, это прецизи-онное кондиционирование, го-рячая замена оборудования, во втором – виртуализация.


Это, во-первых, развитие энергоэффективности всех элементов инженерной и ИТ-инфраструктур. Во-вторых, их адаптивность под много-стадийность развития центра обработки данных.

Как используются в ЦОД новые ар-хитектурно-технологические подхо-ды и бизнес-модели (SOA, виртуали-зация, cloud computing, SaaS)?

SIBIS Каждый из них заслуживает от-

дельного обсуждения. Но все они имеют одну цель – сделать ЦОД заказчика более экономичным и гибким, превратив его в доходный актив. При этом осуществляется экономия особо важных ресур-сов – пространства и электроэнер-гии, а также и других, в зависимо-сти от специфики проекта. Помимо этого, повышается эффективность и управляемость объекта.

«АМИ»Наиболее часто в современ-

ных датацентрах применяет-ся технология виртуализации. Такой подход позволяет выве-сти на новый уровень гибкость ИТ-ресурсов и их адаптивность к текущим задачам за счет зна-чительного сокращения вре-

мени развертывания новых ИТ-сервисов по сравнению с ва-риантом использования физиче-ских серверов.

SaaS можно считать уже при-жившимся компонентом в виде хостинга определенных прило-жений (CRM, антивирус, сред-ство коллективной работы и др.) и дальнейшее его развитие видится в расширении перечня предоставляемых сервисов.

«БАКОТЕК»Если придерживаться четких

формулировок, то нужно гово-рить так :• виртуализация использует-

ся в датацентрах и существенно повышает его эффективность;• датацентры используются

для организации вычислений в со-ответствии с методологиями cloud computing и SaaS, при этом пользо-ватель даже может не догадывать-ся о том, что ЦОД существует;• вычислительный центр не

имеет непосредственного отноше-ния к SOA т.к. это архитектура про-ектирования бизнес-приложений, но интеграция SOA-приложений в вычислительных центрах зна-чительно повышает их эффектив-ность и доступность.

«CITRONICS ИНфОРМАЦИОННЫЕ ТЕхНОЛОГИИ»

Виртуализация стремитель-но внедрялась и в докризисные времена. С наступлением кри-зиса ее стали активно внедрять, особенно в эпоху кризиса, когда ИТ-инфраструктуру не строили, а приводили в поря-док существующую, тщатель-но оптимизируя ее. Облачные вычисления – все еще область фантастики. Да, многие от-ечественные компании готовы предоставить облачные вычис-ления как сервис, но заказчик и

к нему не готовы психологиче-ски и законодательно, нежели технически.

Ваш прогноз развития ЦОД на 2010-11 гг.?

SIBISЦентры обработки данных

будут строить, причем еще ак-тивнее. Очевидна тенденция усложнения проектов по созда-нию ЦОД при таких же или даже меньших затратах. Кроме этого, можно отметить, что и заказчи-ки, и профессиональные игроки этого сектора ИT-рынка учатся лучше оценивать стоимость вла-дения таким активом.

«МУК»Основным фактором, сдержи-

вающим развитие ЦОД в Украи-не, является дефицит свободных энергомощностей. Не меньшее влияние оказывает и рост тари-фов на электроэнергию. Мы ис-кренне надеемся на дальнейшее развитие рынка.

«АМИ»В 2010-11 гг., безусловно, бюд-

жеты расходов на ИТ не достиг-нут докризисного уровня, следо-вательно, внимание заказчиков, уже имеющих ЦОД, будет об-ращено в сторону их модерниза-ции и масштабирования. Значи-тельная часть компаний, ранее планировавших построение да-тацентра, могут рассматривать различные варианты: от аренды стоек до полного аутсорсинга. В свете общей тенденции сниже-ния затрат на ИТ на первый план выйдут вопросы повышения эффективности эксплуатации ЦОД, сокращения энергопотре-бления, использования техноло-гии виртуализации.

SySTEM INTEgRATION SERVICE На территории Украины на-

чинает набирать обороты спрос на аутсорсинг услуг датацен-тров. Наиболее распростра-ненным является механизм co-location – размещение обо-рудования заказчика на арен-дованных площадях с гаранти-рованным электропитанием, охлаждением, каналами связи, уровнем безопасности, т.е. с пол-ной инфраструктурой ЦОД. Но, к сожалению, количество компа-ний, качественно предоставля-ющих данную услугу в Украине можно сосчитать на пальцах од-ной руки, да и все они находятся в Киеве.

«БАКОТЕК»Перспектива развития ЦОД в

основном связана со строитель-ством коммерческих датацентров и развитием моделей SaaS, PaaS, IaaS и cloud computing. Здесь, по-скольку рынок только стартует, нужно ожидать многократный рост. Кроме того, эта сторона раз-вития ЦОД даст импульс новым направлениям деятельности IT-компаний, таким как cloud provider и IT-специалистов, cloud broker. Основное препятствие – это тра-диционное недоверие наших за-казчиков к услугам аутсорсинга.


Можно прогнозировать рост построения новых ЦОД примерно на 20-30% и 30-40% рост коммер-ческих ЦОД. Последнее актуаль-но, если будут решены правовые вопросы с размещением обору-дования финансового сектора в коммерческих ЦОД. Доля рынка мобильных ЦОД все еще очень малая, однако, свою нишу данные решения имеют – это организа-ции с иностранным капиталом,




55

которые стремительно развива-ют свой бизнес на новом рынке. Возможность быстро развернуть и перевезти ИТ-инфраструктуру позволит сэкономить время и деньги в сжатые сроки развер-нуть сервисы, для которых необ-ходим ЦОД.

Каковы основные подходы к созда-нию ЦОД?

SIBIS Если не углубляться в беско-

нечное количество деталей, то нужно сфокусироваться на прак-тичности и детальном прогнози-ровании. Это слишком сложный и дорогостоящий проект для любого бизнеса, поэтому необду-манные и плохо подготовленные шаги здесь непозволительны. На первом плане находится профес-сиональное управление таким проектом, использование ценного опыта проверенных и надежных решений, глубокая техническая экспертиза.

«МУК»Выделяются три подхо-

да к созданию ЦОД. Первый из них — строительство да-тацентра, соответствующего требованиям заказчика в спе-циально выделенном помеще-нии. Второй подход — типовой ЦОД, или ЦОД из коробки. Многим заказчикам удобно ткнуть пальцем в чей-то ЦОД и сказать подрядчику: «Хочу такой-же». К этому подходу от-носятся и мобильные центры, представленные такими про-изводителями как HP, APC и IBM. Третий подход — комби-нированный. Он подразуме-вает строительство кастоми-зированного ЦОД из типовых блочных решений.

SySTEM INTEgRATION SERVICE Современный ЦОД – это обе-

спечение высокой надежности, безопасности и эффективности хранения и обработки данных. Основное внимание надежности уделяется на этапе построения инженерной инфраструктуры. Cоздание датацентра требует подходящего помещения, обе-спечения гарантированного и резервного электропитания, ор-ганизации охлаждения, надеж-ной противопожарной системы, а также внедрения системы мо-ниторинга.

Акцент на безопасности дела-ется на этапе создания сетевой инфраструктуры ЦОД, а высо-кая эффективность достижима на уровне его ядра. И еще очень важный фактор — обслужива-ние ЦОД должно выполняться силами высококвалифициро-ванного персонала.

«БАКОТЕК»Централизованный, распре-

деленный и мобильный ЦОД. В первом случае все ресурсы, в т.ч. резервное оборудование, сосре-доточены в одном месте, во вто-ром используется принцип тер-риториального распределения ресурсов с целью повышения производительности и катастро-фоустойчивости. И в последнем ко всей класссической начинке ЦОД добавляется контейнер и … автомобильное шасси.


Создание ЦОД – задача тру-доемкая с высокой долей про-фессиональной интуиции, осно-ванной на синергии опыта и знаний. Более того, результата добиться легче, когда подобны-ми качествами наделена коман-да не только интегратора, но и

клиента – ведь чем лучше будут сформированы цели и желаемый результат, тем легче подобрать наиболее оптимальное решение, удовлетворяющее клиента.

Можно ли сегодня говорить о подхо-дах к созданию ИТ-инфраструктуры ЦОД и не-ЦОД? В чем их различия?

SIBIS В отношении крупных кор-

пораций так говорить можно. Например, распределенная ин-фраструктура телекоммуника-ционных компаний обладает своими индивидуальными осо-бенностями. Однако всегда име-ет смысл задумываться о консо-лидации ИТ-инфраструктуры, и при решении этой задачи реали-зация концепции ЦОД является вполне естественной.

«АМИ»Есть определенные критерии,

которым должна соответствовать ИТ-инфраструктура ЦОД. Таким критериям удовлетворяет це-лостный, управляемый и масшта-бируемый программно-аппарат-ный комплекс, предназначенный для предоставления ИТ-сервисов требуемого качества.

Вычислительный центр, ко-торый не соответствует этим требованиям, как правило, пред-ставляет собой разрозненные островки аппаратно-программ-ных комплексов, не позволяю-щих добиться предсказуемого уровня отказоустойчивости и качества сервисов.

SySTEM INTEgRATION SERVICE Говоря о подходах к созданию

IТ-инфраструктуры «не-ЦОД», мы рассматриваем построение сетевой инфраструктуры, воз-можность использования теле-

фонии и использование охран-ных систем здания.

Построение же ИT-инфра-структуры ЦОД подразумевает комплекс инженерных, программ-ных и аппаратных компонентов, обеспечивающий еди ный целост-ный информационный ресурс предприятия.

ExTREME NETWORkSНа примере сетевой инфра-

структуры видно основное су-щественное отличие решения для ЦОД от, предположим, се-тевого решения для корпора-тивной среды. Многие похожие задачи приобретают в датацен-тре масштаб на несколько по-рядков больше. Например, ди-намическое и автоматическое изменение конфигурации сети важно и при перемещении со-трудников на новые рабочие места внутри офисного зда-ния. Но в ЦОДе такие события происходят постоянно, так как виртуальные машины постоян-но мигрируют с одного сервера на другой. И если в офисной сети можно попытаться обой-тись без автоматизации и вруч-ную перенастраивать сеть, то в ЦОДе это уже невозможно.

Это также относится, напри-мер, и к количеству пользовате-лей сети, которых в датацентре может быть десятки и сотни ты-сяч из-за многочисленных вир-туальных машин.


Сложно ответить на такой во-прос однозначно. Есть базовый стандарт TIA-942, определяю-щий уровни надежности ЦОД (TIER I-IV), есть определенные требования к каждому из них. Причем эти требования как фун-даментальные (описывающие

требования к резервированию и размещению оборудования ЦОД), так и вспомогательные – например, угол наклона крыши, расположение мест охраны, ор-ганизации парковки автомоби-лей и т.д. Можно идти по такому пути, руководствуясь отрасле-выми стандартами, изучая луч-шие практики успешно реализо-ванных проектов по всему миру, и тогда на выходе с большой вероятностью получим ожида-емый планируемый результат. Но можно не учитывать мировой опыт и стандартны – тогда это уже вопрос фортуны. Стоит ли говорить, что заказчик вряд ли поставит на кон бюджет в десят-ки миллионов долларов?

позволяет снизить затраты и оп-тимизировать их работу.

HP Data Center Smart Grid

Технология HP FlexFabric обе-спечивает такую координацию, одновременно консолидируя не-сколько протоколов в единую сетевую структуру и, тем самым, создавая условия для того, чтобы структура сети становилась менее сложной, а затраты сокращались. Подход, основанный на одно-кратном физическом подключе-нии устройств, сводит воедино сети Ethernet и сети хранения. В результате, сетевые соединения и пропускная способность легче адаптируются к изменениям ра-бочих нагрузок.

Набор практик для управле-ния и автоматизации процессов распределения энергии в дата-центрах HP Data Center Smart Grid содержит решения по баланси-ровке нагрузки и автоматическо-му управлению энергоснабжени-ем. Благодаря технологиям HP

выглядеть рынок даже через 2-3 года. Поэтому вряд ли кто-то будет инвестировать средства в развитие продукта или направ-ления, которое может быть вос-требовано через 3 года – ведь эти 3 года еще надо прожить.

Планирование на такой срок могут и должны себе позво-лить производители. У них есть Research&Development (научно-исследовательские и опытно-конструкторские работы), у них производство, огромные обо-роты, а мы внедряем то, что они разрабатывают и производят. Производители мыслят и дей-ствуют как стратеги, а систем-ные интеграторы как тактики. И наша тактика состоит в том, что-бы, зная потребности заказчиков и возможности вендоров, опера-тивно корректировать портфель предлагаемых решений и услуг. В сущности, на мой взгляд, это и есть рецепт работы системного интегратора.


Data Center Environmental Edge and HP Thermal Logic есть воз-можность сократить расходы на электричество и охлаждение, а вследствие активного монито-ринга аппаратного обеспечения и возможности перемещения на-грузки в пределах виртуальных пулов появляется шанс снизить затраты на оборудование. HP Data Center Smart Grid позволяет увеличить срок службы инже-нерной инфраструктуры ЦОД и повысить надежность ЦОД пу-тем оптимизации потребляемой мощности и эффективности си-стем охлаждения. Кроме того, он дает возможность получить пол-ное представление и контроль над потреблением электроэнер-гии и затратами на поддержание инженерной инфраструктуры.


PC

PC

PC


56 57PCWEEK Review 2 (107), 2010

КОНВЕРГЕНТНЫй ETHERNET –Converged Enhanced Ethernet (CEE)

Большинство экспертов уверены в том, что технология Ethernet станет основой для по-строения единой, конвергентной сетевой инфраструктуры ЦОД. В документе обсуждается, какие усовершенствования необходимы для ее использвания в этом качестве.

Введение

Переход в центрах обра-ботки данных (ЦОД) от нескольких разнотип-ных сетей к единой ин-фраструктуре на основе уни-фицированной тех-

нологии позволит значительно сократить затраты (потребует-ся меньше сетевых адаптеров в серверах, меньше кабелей, мень-ше коммутаторов) и упростить управление.Такая конвергент-ная инфраструктура должна соответствовать требованиям, предъявляемым к передаче тра-фика сетями хранения данных (SAN) и высокопроизводитель-ными вычислительными кла-стерами (HPCC), вместе с тем обеспечивая эффективный транспорт традиционного тра-фика ЛВС.

Сетевая индустрия выбрала Ethernet в качестве унифициро-ванной технологии для конвер-гентных сетей ЦОД. Институт IEEE разрабатывает стандарты, которые должны обеспечить га-рантированную полосу пропу-скания и контроль потока для трафика с учетом его приори-тета, атакже более тонкие меха-низмы управления потоками. Со всеми этими нововведени-ями Ethernet сможет заменить в ЦОД существующие сети Fibre Channel и Infiniband, а также су-

щественно повысить произво-дительность работы новых SAN-систем на основе iSCSI.

Поддержка мобильности вир-туальных машин, техноло-гия FCoE (Fibre Channel over Ethernet) и другие новые при-ложения требуют построе-ния крупномасштабных сетей, функционирующих на уровне 2 (L2). Для пересылки трафика по нескольким путям на уровне 2 институт IEEE и организация IETF разрабатывают ряд допол-нительных стандартов.

Эффективное масштабиро-вание

Во многих ЦОД одновремен-но функционируют три типа сетей, построенные на базе трех различных технологий:

• ЛВС: Ethernet• SAN: Fibre Channel• HPCC: Infiniband

Постоянно совершенствуясь, Ethernet превратилась сегодня в наиболее масштабируемую и экономически эффективную технологию для построения сетей TCP/IP. Fibre Channel, «жизнь» которой начиналась в качестве канальной технологии для мэйнфреймов, ориентиро-вана на построение масштаби-руемых и обладающих малой задержкой сетей SAN. Наконец, технология Infiniband оптими-

зирована для обеспечения высо-коскоростной связи с малой за-держкой между компьютерами внутри высокопроизводитель-ного кластера.

Серьезным препятствием u1085 на пути масштабирования сетей ЦОД – как в части увели-чения числа серверов (физиче-ских и логических), так и в части повышения пропускной способ-ности инфраструктуры – явля-ются высокие расходы, связан-ные с внедрением нескольких сетевых технологий и обслу-живанием соответствующего оборудования. Традиционный подход требует установки в сер-веры нескольких сетевых адап-теров, инсталляцию множества разнотипных коммутаторов, дублирование кабельной про-водки. С каждой сетевой тех-нологией связаны свои приемы управления, необходим специ-ально обученный персонал, что увеличивает эксплуатационные расходы.

Переход к унифицированной сетевой инфраструктуре ЦОД сократит капитальные и экс-плуатационные расходы, но она должна соответствовать уни-кальным требованиям, предъ-являемым системами ЛВС, SAN и HPCC. Трафик ЛВС меньше всего «привередлив» к харак-теристикам сети, но актив-но задействует свойственные

Ethernet технологии широкове-щательной/групповой рассыл-ки, виртуальных ЛВС (VLAN), инсталляции по принципу plug-and-play. Трафику SAN (осо-бенно Fibre Channel) необходи-ма малая задержка и передача без потерь пакетов. А трафику HPCC требуется еще меньшая задержка и широкая полоса про-пускания. Последние достиже-ния в области технологии iSCSI привели к тому, что все больше заказчиков рассматривают ее как надежное решение для сетей SAN.

Благодаря своей чрезвычай-ной гибкости, Ethernet сегодня доминирует в большинстве се-тевых сред, а поддерживающее эту технологию оборудование выпускается в огромных объ-емах. Представленные сегодня решения обеспечивают скорость 10 Гбит/с (на один канал), в бли-жайшем будущем нас ожидают 40- и 100-Гбит/с продукты, а в более отдаленной перспективе не исключено появление тера-битного варианта Ethernet. Эти и другие причины привели к тому, что Ethernet рассматривается в качестве основного кандидата для конвергентной инфраструк-туры ЦОД.

Стандарты IEEE 802.1 DCB

Комитет IEEE 802.1 отвеча-ет за стандарты, определяющие функциональность сетевых мо-стов Ethernet. Его группа 802.1 DCB (Data Center Bridging) взяла на себя задачу по разра-ботке нескольких усовершен-ствований, которые бы сделали Ethernet более подходящим для поддержки приложений SAN и HPCC в ЦОД. Эти усовершен-ствования можно разделить на три описанные ниже группы.

802.1Qaz Enhanced Transmission Selection и DCB Exchange Protocol Стандарт 802.1Qaz состоит из двух отдельных компонентов.

Enhanced Transmission Selec-tion (ETS) – это расширение давно известного механизма об-работки очередей (802.1Q) с уче-том приоритета трафика. Новая технология дает возможность га-рантировать для приоритетных групп не только первоочередную обработку их трафика, но и опре-деленную полосу пропускания. Пользу этой функции проиллю-стрируем следующим примером: трафику SAN может быть доста-точно 25% пропускной способно-сти канала подключения сервера, но зато его передача должна осу-ществляться с низкой задержкой и наивысшим уровнем приори-тета; с другой стороны, трафику ЛВС потребуется минимум 60% пропускной способности того же канала, но он более толерантен к задержке, а потому может обра-батываться с более низким при-оритетом. Базовая функциональ-ность 802.1Q сводится только к соблюдению приори-тетов об-работки разнотипного трафика. Технология ETS обеспечивает управление выделением полосы пропускания, например, с ис-пользованием алгоритма WFQ.

Протокол DCB Exchange Protocol (DCBx) является расши-рением протокола LLDP, реали-зующим автоматический обмен между соседними коммутатора-ми параметрами, необходимыми для работы алгоритмов DCB. Ме-ханизм предусматривает согла-сование параметров и выявление каких-либо нестыковок.

802.1Qbb Priority-based Flow Control

Низшие уровни сети Fibre Channel реализуют контроль по-

токов на каждом звене передачи (link-by-link), что гарантирует передачу трафика без потерь и с низкой задержкой. Соответ-ственно, верхние уровни сети не имеют механизмов для повтор-ной передачи кадров в случае их потери (такие механизмы пред-усмотрены протоколом TCP). Если трафик с верхних уровней Fibre Channel пустить через сеть Ethernet (FCoE), но при этом не предусмотреть дополнительных мер, обеспечивающих передачу без потерь, работа систем будет нарушена. Системам на базе тех-нологии iSCSI, которая распола-гается сверху стека TCP/IP, не столь критичны потери в сети, но их отсутствие однозначно улучшит работу таких систем.

В коммутаторах Ethernet уже довольно давно поддержива-ется 802.3x PAUSE – простой протокол для контроля потоков на каждом звене передачи. Его существенный недостаток свя-зан с опасностью блокировки большого числа коммутаторов на периферии сети из-за за-держки первых пакетов в оче-редях (Head-Of-Line, HOL): как только вышележащий комму-татор определяет, что одна из его очередей перегружена, он направляет сообщение PAUSE нижележащим коммутаторам, те блокируют свои очереди и направляют сообщения PAUSE дальше.

Технология 802.1Qbb по-зволяет применять механизм 802.3x к группам с определен-ным приоритетом: в случае перегрузки очереди, обслужи-вающей трафик с данным при-оритетом, будет приостановлено поступление только тех кадров, которые имеют такой же при-оритет – остальной трафик за-тронут не будет. Эта технология


58 59PCWEEK Review 2 (107), 2010

особенно хорошо подходит для защиты ресурсов буферов не-большого размера, выделенных для обслуживания трафика, ко-торому необходимо гарантиро-вать малую задержку. При пере-грузке такого буфера сообщения о приостановке передачи будут распространяться от одного коммутатора к другому, пока не достигнут источника трафика. 802.1Qbb – один из алгоритмов, необходимых для реализации коммутирующей сети, обеспе-чивающей транспорт без потери пакетов.

802.1Qau Congestion Notification

Хотя технология 802.1Qbb дает возможность реализовать для приоритетных групп пере-дачу без потерь, она не всег-да устраняется u1087 проблему бло-кировок HOL. Для достижения более высокой пропускной спо-собности требуется усовершен-ствованный алгоритм управ-ления потоком. Технология 802.1Qau Congestion Notification (QCN) позволяет промежуточ-ным коммутаторам в сети иден-тифицировать потоки трафика, которые приводят к перегрузке очередей, и рассылать уведомле-ния BCN (Backwards Congestion Notification) источникам этих потоков, дабы те снизили ско-рость посылки пакетов. Это дает возможность более тонко управ-лять потоками в сети и оптими-зировать использование ее ре-сурсов, обеспечивая транспорт с низкой задержкой и без потерь.

Но надо иметь в виду, что улучшения обстановки в сети, связанные с реакцией источ-ников трафика на уведомления BCN, будет ощущаться толь-ко через промежуток, равный

двойному времени прохожде-ния пакетов от коммутатора до источника, поэтому описанный механизм эффективен только в локальных сетях.

Дополнительные технологии CEE

Помимо описанных выше трех стандартов группы 802.1 DCB, в процессе разработки и стандартизации имеются и дру-гие технологии, нацеленные на решение сетевых задач ЦОД сле-дующего поколения. Передача по нескольким путям на уров-не 2 (L2 Multi-path) Активная топология сети Ethernet должна иметь структуру типа «дерево», поскольку в кадрах Ethernet от-сутствует поле «время жизни» (TTL), а значит, попав в сетевую петлю, они будут кружить по ней вечно. Для реализации тополо-гии «дерево» обычно применя-ют один из вариантов протоко-ла STP (Spanning Tree Protocol), а для функционирования Ethernet в физических кольцах – прото-колы типа EAPS. Оба назван-ных механизма блокируют часть портов Ethernet, чтобы предот-вратить зацикливание трафи-ка. Топология «дерево» имеет серьезные ограничения: она не-позволяет задействовать сразу несколько путей доставки тра-фика и снижает эффективность использования имеющихся се-тевых ресурсов.

Технологии IP-маршрутиза-ции обеспечивают преимуще-ства доступности множества путей доставки трафика без опасности «вечного» зацикли-вания, но для таких приложе-ний, как FCoE и мобильность виртуальных машин, необходи-мы коммутируемые соединения L2. Таким образом, возникает

задача поддержки множества путей в сети L2 Ethernet.

Для решения этой задачи комитет IEEE 802.1 разрабаты-вает протокол 802.1aq Shortest Path Bridging (SPB), а организа-ция IETF – TRILL (Transparent Interconnection of Lots of Links). Технология SPB не требует из-менений привычных атрибутов, применяемых для пересылки кадров Ethernet, а TRILL вводит в кадры новый ярлык, включаю-щий поле TTL, что и позволяет защитить от образования пе-тель.

Заключение

По причинам, названным выше, Ethernet доминирует в современных сетях. Как ранее голосовые приложения, сегод-ня системы хранения данных переводятся на работу через стандартные сети Ethernet. По-строение сетей SAN на базе iSCSI получает все большую популярность благодаря высо-кой производительности этой технологии и появлению ин-терфейсов 10 Гбит/с.

С разработкой технологии FCoE системы Fibre Channel тоже начали миграцию в сети Ethernet, что обеспечивает со-кращение стоимости и упро-щение обслуживания техниче-ских решений. Существующие инсталляции Fibre Channel останутся частью сетевой ин-фраструктуры ЦОД, однако в новых проектах специали-сты все чаще будут обращать-ся к решениям iSCSI и FCoE. Конвергенция разнотипных сетей на базе Ethernet неизбеж-на, а технологии iSCSI и FCoE в конечно итоги «переведут» си-стемы хранения данных в сеть Ethernet. PC

PCWeek/UE Review #2 (206) 2010

Documents

Transcript of PCWeek/UE Review #2 (206) 2010