Защищенность ЦОДов: физическая и юридическая. Понятие "цод"

Центр Обработки Данных (или Дата Центр) по праву называют сердцем корпоративной сети современной компании – промышленной, телекоммуникационной или работающей в области финансов.

Основное предназначение ЦОД состоит в консолидированной обработке и хранении данных, поддержании заданного режима автоматизации бизнес-задач предприятия, а также в обеспечении сохранности корпоративных баз данных и иной информации, как правило, представляющей высокую коммерческую ценность. ЦОД - стратегически важный для компании объект, требующий особого подхода и особых правил, поэтому это понятие включает в себя:

  • масштабируемый комплекс программных и аппаратных средств, сосредоточенных в специально оснащенном помещении,
  • специально разработанный свод организационных мер и политик безопасности,
  • соответствующим образом подготовленный персонал.

Для многих организаций наличие ЦОД является признаком выхода на качественно новый уровень зрелости и управления - на первых этапах развития они отдают предпочтение серверным комнатам, организованным, как правило, в непосредственной близости от головного офиса. Однако наступает момент, когда в компании "вдруг" лавинообразно возрастает объем информации, количество узлов, где она концентрируется, а также численность применяемых бизнес-приложений. Использование мощных ERP- и CRM-систем, СУБД, внутренних и публичных порталов, средств корпоративного обмена данными начинает диктовать высокие требования к универсальности, надежности, бесперебойности работы и защищенности ИТ-инфраструктуры компании – при одновременном снижении стоимости владения. Это - верный признак того, что пришла пора задуматься о модернизации исторически сложившейся ИТ-архитектуры и перейти к использованию "взрослого" ЦОД.

В ряде случаев компании изначально строят свой бизнес и ИТ-инфраструктуру с использованием преимуществ ЦОД. Как правило, это крупные телекоммуникационные, финансовые, промышленные структуры, активно развивающие свою региональную сеть.

Различают корпоративные и хостинговые Дата Центры (ДЦ или ЦОД). В первом случае ЦОД изначально создается для решения задач автоматизации бизнес-процессов самого заказчика и владельца ЦОД. Во втором – владелец ЦОД выделяет организациям стойко-места или кластеры, которые заполняются оборудованием арендатора. При этом все заботы по поддержанию благоприятного для оборудования климата и энергообеспечения принимает на себя владелец ЦОД. Возможны варианты так называемых смешанных ЦОД, при которых одна часть Дата Центра ориентирована на обеспечение бизнес-процессов владельца, а другая – для решения задач арендаторов.

Есть еще один критерий, по которому отличают целевое назначение ЦОД – его текущую загрузку. С этой точки зрения ЦОД может быть основным, резервным или вынесенным за пределы региона или даже страны. Основной ЦОД, как это и следует из его статуса, принимает на себя всю нагрузку в штатном режиме. Он – ядро информационной и телекоммуникационной системы Резервный служит для того, чтобы обеспечить привычный режим предоставления сервисов в случае выхода из строя, профилактики или горячей замены оборудования, установленного в основном ЦОД. Третий вариант ЦОД – для тех организаций, которые полностью исключают для себя возможность отказов в обслуживании своих клиентов.

Совершенно очевидно, что, несмотря на разный статус и режим функционирования, ЦОД всегда является стратегически важным объектом , к оснащению и безопасности которого предъявляются особые требования. Эти требования зафиксированы в международном стандарте TIA 942 , на который сегодня ориентируются специалисты, работающие в России.

Вдумайтесь на секунду – вся наша с вами облачная интернет-вселенная, так или иначе, зиждется на определенных дата-центрах. Все наши данные размещены в ЦОДах, включая домашний адрес, данные аккаунтов в социальных сетях и CVC-коды кредиток. Конечно, большинство современных дата-центров имеет интеллектуальные системы бекапа и восстановления данных, замещения работы отключенных серверов и прочие технические способы не дать ЦОДу рухнуть как карточному домику, если что-то пошло не так.

Если посмотреть на ЦОД с другой стороны баррикад, со стороны интегратора, то становится понятно, что дата-центр – это еще и производственные мощности, столь же важные, как любое другое производство. Актив, который приносит прибыль за счет размещения в нем клиентских серверов, платформ или приложений.

В любом случае, ЦОД становится объектом повышенного внимания всевозможных злоумышленников. Одним нужно увести данные, другим физически вывести серверы из строя, третьим – максимально затруднить работу дата-центра, загрузив каналы связи под завязку. Поэтому, посягательства на самое святое, то есть дата-центр, делятся обычно на физические и, условно говоря, виртуальные. Первые – это как раз проникновение на территорию, подкуп сотрудников и прочие методы физического вредительства. Вторые – это всевозможные сетевые атаки, например DDoS.

Кстати, объектом для DDoS-атак дата-центры стали совсем недавно, но сегодня это уже значительный процент работы службы безопасности. Об этом ваш покорный слуга писал в материале «Что нам стоит ЦОД заDDоSить».

И если с угрозами все ясно, то с чего начинается, собственно, обеспечение безопасности? Как правило с оценки рисков. За первой оценкой обычно следует более глубокий анализ и подбор соответствующих решений. Если мы говорим о защите периметра ЦОДа, то современные методы предполагают ярусный подход. Поэтому проект по безопасности дата-центра обычно включает в себя системы контроля доступа, видеонаблюдение, системы противопожарной защиты, охранную сигнализацию и систему контроля безопасности жизнедеятельности. В последнее время интеграторы все чаще задумываются об экологической безопасности, включая соответствующие системы в проект защиты ЦОДа. Остается надеяться, что со временем у нас, как и в Европе, за экологичность будут премировать налоговыми вычетами. Также немаловажной составляющей оценки рисков становится персонал – насколько доверенные сотрудники у вас работают, стоит ли их проверять на полиграфе?

Тщательно разобрав и обосновав все возможные риски, вы получите хорошее пособие по проектированию системы защиты. Мы попросили Джабраила Матиева, руководителя отдела информационной безопасности IBS Platformix, ответить на вопрос из каких основных этапов состоит проектирование системы безопасности и в чем особенности каждого этапа?

«В области системы информационной безопасности можно выделить несколько ключевых элементов.
1) Защита сетевого периметра ЦОДа, включая межсетевое экранирование; обнаружение и предотвращение вторжений (IDS/IPS-система); защита от DDoS-атак; поточный антивирус; защита от утечек данных (DLP, опционально); фильтрация web-трафика и защита web-приложений.

2) Защита каналов передачи данных, включая технологию SSL VPN для защиты мобильного доступа; «site-to-site» VPN для защиты данных между офисами и ЦОДами.

3) Защита серверного сегмента и хостов, включая комплексные системы защиты конечных хостов (интегрированные решения сетевой защиты и защиты от вредоносного ПО на хостах); защита от утечек данных на уровне хостов (плюс поиск критичных данных); контроль доступа и системы аутентификации.

4) Система управления информационной безопасностью, включая консоль управления средствами защиты; система сбора, анализа и корреляции событий информационно безопасности (SIEM).

5) Обеспечение непрерывности функционирования ЦОДа, включая системы резервного копирования и восстановления; технологии виртуализации, кластеризации для обеспечения непрерывности функционирования подсистем.

6) Соответствие требованиям информационной безопасности, включая отраслевые требования; международные стандарты и лучшие практики; требования законодательства; внутренние политики информационной безопасности.

Конечно, это лишь перечисление составных элементов определенных стандартных блоков информационной безопасности, реальную же картину можно «нарисовать» лишь по результатам работы по проектированию системы защиты.

Что касается реализации проектов по защите ЦОДа, то тут можно выделить несколько ключевых этапов.

На первом этапе осуществляется обследование существующего ЦОДа или анализ документации на создание ЦОДа (если он еще не построен). На этом этапе необходимо понять «что защищать». Это главный вопрос, без ответа на который невозможно строить систему защиты.

На втором этапе осуществляется разработка модели угроз и модели нарушителя. Здесь особенно принципиально сформулировать перечень угроз и проанализировать их актуальность. По результатам этой работы формируется типовой «портрет» злоумышленника.

На третьем этапе осуществляется разработка требований по защите от выявленных угроз и нарушителя и разработка проекта на систему защиты. Формируются требования, которые должны быть реализованы для защиты от перечисленных угроз и выбираются меры и средства защиты. На этом процесс проектирования завершается и начинаются внедрение, а затем и оценка эффективности системы защиты ЦОДа».

Как уже говорилось выше, дата-центр – отличный объект для реализации ярусного подхода к защите. То есть, формирование защитных мер обычно начинается от границ объекта и заканчивается в самом центре инфраструктуры. Таким образом, уровни доступа разделяются по ярусам и добавление очередного уровня на практике означает внедрение еще одного фактора авторизации. Например, доступ по специальным карточкам – это уже неплохая мера защиты. Но карту можно передать постороннему человеку, поэтому желательно ввести еще и пин-код. Впрочем, и это не является мерой абсолютной защиты. А вот добавив к этому биометрическую авторизацию, вы практически лишаете злоумышленников способов проникнуть. Единственный минус таких систем – их довольно высокая цена. Поэтому для большинства внешних уровней (ворота парковки, вход в здание) достаточно карточки и пин-кода, а на входе в серверную можно использовать видео-фиксацию и голосовую связь с пультом охраны. Решений и их комбинаций – масса, однако грамотная оценка рисков подскажет вам целесообразно ли внедрять ту или иную систему. Причем, руководствоваться необходимо не только предположениями, основанными на прецедентах, но и на фактической цене ошибки. Сколько потеряете вы или ваши клиенты, если информация будет похищена или ЦОД будет поврежден? Кажется ли теперь биометрическое решение таким дорогим? В любом случае, лучше следовать негласному правилу – прежде, чем добраться до ядра инфраструктуры, сотрудник должен пройти авторизацию не менее семи раз. В этом случае, система может считаться относительно безопасной.

Но как быть, если не только вашим сотрудникам, но и клиентам нужен доступ к серверам? Например, если ваш клиент серверная компания? Руководитель отдела информационной безопасности IBS Platformix, Джабраил Матиев, считает, что, организация удаленного доступа к серверам сегодня обычная практика. Как правило, у клиента всегда имеется удаленный доступ к серверам, который защищается усиленными средствами аутентификации (2-3-х факторной аутентификацией) и надежной защитой канала передачи данных. Если говорить о физическом доступе, то достаточно сложно представить для чего может потребоваться клиенту физический доступ к серверам, поскольку любые действия по обслуживанию физических серверов совершаются вручную персоналом интегратора. Тем не менее, существуют меры защиты и в этом случае. Условно их можно разделить на две части: организационные и технические.

Организационные – любой доступ к серверам со стороны клиента осуществляется только в сопровождении сотрудника интегратора.

Технические – физическая защита отдельных стоек с серверами («решетка с замком»). Таким образом, физический доступ к серверам исключается даже в том случае, если клиент находится в серверной комнате интегратора.

Так или иначе, политика безопасности, особенно разработанная совместно с клиентом, хороша тем, что выигрывают обе стороны. Интегратор получает хорошую репутацию, уникальные условия размещения для клиентов и, соответственно, отличную возможность для повторных продаж. Клиент, если он готов доплатить за безопасность, получает абсолютную уверенность в сохранности своих серверов и, соответственно, данных.

ЦОДы.РФ

С тем, что дата-центр должен быть обеспечен средствами безопасности, никто не спорит. Однако зачастую имеются в виду системы информационной защиты, в то время как о физической безопасности нередко задумываются в последнюю очередь по причине экономии бюджета. Тем не менее средства физической защиты не менее важны для современного ЦОДа, чем информационная защита. Но какие решения будут наиболее актуальны в российских реалиях? Чего следует опасаться в первую очередь и как наиболее эффективно предотвратить возможные инциденты? На вопросы журнала ЦОДы. РФ в рамках рубрики «Круглый стол» отвечает Алексей Красов, начальник проектного отдела дирекции комплексной безопасности группы «Астерос».

Алексей Красов, начальник проектного отдела дирекции комплексной безопасности группы «Астерос»

Какие угрозы физической безопасности вы считаете наиболее реальными для российских ЦОДов? От чего необходимо защищаться в первую очередь?

Алексей Красов : Трудно себе представить, что в современных реалиях группа злоумышленников попытается «в лоб» атаковать ЦОД. Наиболее вероятную угрозу представляет собой внутренний нарушитель, который может самостоятельно произвести несанкционированные действия с оборудованием (изъятие информации, ее копирование или повреждение, внедрение вредоносного ПО и т. д.) либо предоставить доступ третьим лицам непосредственно в помещение дата-центра. Как известно, такие возможности есть у работников собственной службы безопасности или ИТ-службы — тех, кто имеет практически безграничные пользовательские права. В связи с этим сегодня основной задачей физической защиты ЦОДа становится выявление внутренних нарушителей и создание им препятствий.

Какие элементы обеспечения физической безопасности действительно необходимы в современном ЦОДе, а что является бессмысленной тратой денег?

А. К. : Для обеспечения безопасности ЦОДа требуется стандартный набор технических средств, который применяется и на других объектах. Во-первых, речь идет о системах видеонаблюдения, при этом области обзора камер по возможности должны «пересекаться»: если нарушитель выводит из строя одну камеру, другие продолжают фиксировать действия злоумышленника. Во-вторых, это СКУД - организация вложенной структуры СБ, вплоть до обеспечения контроля доступа к каждой стойке. Использование услуг вооруженной охраны - это вопрос анализа рисков, стоимости последствий нарушения физической безопасности, оценки расходов на внедрение и содержание, то есть применения риск-ориентированного подхода.

Нужно ли выделять отдельные зоны (периметры) безопасности в дата-центре?

А. К. : К данному вопросу необходимо подходить с позиции комплексной оценки рисков. Если ЦОД находится на хорошо охраняемой, недоступной для посторонних лиц территории, тогда вложенных рубежей безопасности может быть меньше. Другое дело, если объект находится в общественном здании, доступ к которому имеют посторонние люди. В этом случае, естественно, рубежей безопасности должно быть больше. Однако если мы говорим о внутреннем нарушителе, число периметров безопасности становится непринципиально. Сколько бы их ни было, злоумышленник будет готов их преодолеть. В этом случае должны быть предусмотрены дополнительные организационные меры, а также внедрены системы контроля за действиями операторов и администраторов системы, сотрудников охраны и т. д.

Отличается ли подход к организации физической безопасности дата-центра для российских и западных объектов?

А. К. : Сегодня различия в подходе к обеспечению физической безопасности практически стираются: российские нормативы постепенно приближаются к европейским и американским. Если говорить о технической стороне вопроса, то в западных странах получили распространение средства нелетального воздействия. Они применяются не только в дата-центрах, но и в коммерческих компаниях (ювелирных магазинах, мелких банках и т. д.). Как правило, в охраняемом помещении устанавливаются капсулы со сжиженным газом, стробоскопы и динамики. При срабатывании тревожной сигнализации объект за несколько секунд заполняется непрозрачным дымом, включается сирена с уровнем громкости 120 дБ (точка болевого порога). В этой ситуации человек абсолютно дезориентируется. В нашей стране, как правило, такие средства используются в основном на критически важных объектах, в том числе военных.

На какие нормативные документы (российские и зарубежные) стоит ориентироваться при построении системы физической безопасности дата-центра?

А. К. : На данный момент ни в российской, ни в общемировой практике не существует нормативов по построению СБ именно в ЦОДах. Соответственно, здесь надо полагаться на стандартные нормативные документы, которые регламентируют создание систем физической защиты в целом, и на опыт интегратора, который занимается их внедрением.

Каковы последние тенденции в сфере организации физической безопасности дата-центров?

А. К. : Рынок дата-центров находится в стадии непрерывного роста, однако с точки зрения технических решений защиты радикальных изменений не произошло. В целом есть тенденция к тому, что заказчики начинают больше внимания уделять информационной безопасности. Ведь получить удаленный доступ к данным и оборудованию в ЦОДе гораздо проще и менее накладно, чем, скажем, организовать вооруженную группу для физического захвата объекта.


Спасибо за интерес к группе «Астерос»! Чтобы мы могли предоставить вам информацию по теме «Физическая защита ЦОДа - понятие комплексное», заполните, пожалуйста, поля «E-mail» или «Телефон».

Cегодня мы решили обратить внимание на тему «жизненного цикла» центров обработки данных, рассказать о том, что это такое и как правильное управление им позволяет компаниям сократить не только текущие, но и капитальные затраты. Учитывая современные тенденции к внедрению все новых решений (включая гиперконвергентные системы) и сервисов, значительные трудности в этом процессе могут быть связаны с изменением и адаптацией физической инфраструктуры дата-центров.

Жизненный цикл ЦОДа включает в себя поэтапный процесс развития инженерной инфраструктуры в соответствии с задачами бизнеса и ИТ-процессами и может быть разделен на несколько этапов:

1. Подготовительный : понимание целей создания, формирование концепции решения, выбор площадки;
2. Проектирование в соответствии с выбранной концепцией и характеристиками площадки;
3. Строительство ;
4. Эксплуатация ;
5. Оценка соответствия и анализ эффективности.

Требования бизнеса к ИТ-сервисам постоянно меняются, и завершающая данный цикл оценка соответствия как раз и помогает понять, насколько эффективно ЦОД позволяет решать текущие задачи, и способен ли он справиться с новыми, готов ли он к росту. Далее следует планирование доработки или модернизации площадки под новые задачи и все последующие этапы – круг замыкается.

Проектирование и строительство

На российском рынке накоплена солидная компетенция в области проектирования и строительства ЦОДов, есть специалисты соответствующей квалификации, однако не всегда удается выполнить проект в соответствие с заданными клиентом KPI. Уже в ходе реализации проекта требования бизнеса могут измениться и далее некорректно сформулированы и отражены в техзадании. Как следствие, строительство площадки производится качественно, однако основная сложность на этапе проектирования – понять, какие задачи стоят перед объектом и как именно ЦОД должен быть сконструирован и оснащен, чтобы отвечать всем требованиям бизнеса, что удается сделать не всегда.

Сегодня требуется четко формировать техническое задание, описывая в нём корректные и оптимальные решения, отвечающие задачам бизнеса в перспективе как минимум 5-8 лет. Помочь в подготовке грамотных специалистов может Центр обучения вендора, обладающего соответствующей компетенцией. Так задачей Центра обучения Schneider Electri c является ознакомление партнеров и клиентов с технически сложной продукцией компании, особенностями ее применения, установки и эксплуатации в реальных условиях.
ЦОД, как правило, физически не привязан к потребителям его услуг, однако, важно учитывать, что размещение его в неподходящем здании радикально увеличивает стоимость инфраструктуры площадки. Стоит помнить и о том, что окружение ЦОДа может влиять на его надежность.

Типичные ошибки, совершаемые на подготовительном этапе:

1. Проектирование ЦОДа как офиса, в то время как это промышленный объект;
2. Ошибки в резервировании систем, компонентов, коммуникаций;
3. Ошибки в расчете размера выделяемой площади под инженерные системы и вспомогательные помещения, с оценкой веса оборудования и его габаритов, с обеспечением автономности объекта.

Важным является понимание ключевых метрик ЦОДа, перспектив его развития, так как инженерные системы должны «пережить» 2-3 поколения ИТ-оборудования. Службу эксплуатации редко вовлекают в проект на этапе строительства. Между тем специалисты по электроснабжению и системам охлаждения должны привлекаться еще на этапе проектных работ и присутствовать в рабочих группах.

Эксплуатация

Как бы хорошо не был продуман и грамотно реализован проект, на этапе эксплуатации возникает немало проблем. Одна из их носит организационный характер и касается взаимодействия между административно-хозяйственным и ИТ-департаментом. Когда такой связки нет, решение в целом может работать неэффективно или вовсе не функционировать.
На практике административно-хозяйственные подразделения порой оказываются крайне далеки от понимания, что такое дата-центр и каковы предъявляемые к нему требования, а иногда попросту становятся непреодолимым бюрократическим барьером, поэтому желательно показать этой службе концепцию построения дата-центра на их объекте, объяснить принципы работы инженерных систем и приблизительные параметры оборудования.

В ИТ-отделе могут быть и свои, внутренние проблемы. Когда разные ИТ-подразделения отвечают за разные компоненты (серверы, СХД, сетевое оборудование, системы охлаждения и пр.) и при этом не имеют четких регламентов и разделения зон ответственности, на площадке возникает хаос.


В этом случае проще «переехать» на новую площадку, чем проводить глубокую модернизацию старой, и уже потом переделывать имеющийся ЦОД, не нарушая работы функционирующих на новом месте ИТ-сервисов. Еще один вариант – на время «капремонта» арендовать площади в коммерческом ЦОДе. Оптимальное решение выбирается в каждом конкретном случае.
В современных ЦОДах за непрерывную и эффективную работу инфраструктуре, как правило, отвечает отдельная команда специалистов. Для автоматизации мониторинга, управления, ведения отчётности, управления перемещениями и контроля эффективности используют инструменты, которые принято обозначать аббревиатурой DCIM (Data Center Infrastructure Management).


Задачи мониторинга событий, состояния оборудования и среды зачастую решаются в первую очередь – для этого применяются такие средства, как контроллеры NetBotz и система мониторинга Data Center Expert. Но сейчас наиболее актуальными становятся задачи эффективного использования ресурсов - от электроэнергии до пространства в машинных залах. Своевременное внедрение эффективных регламентов и контроль использования электроэнергии позволяет не только снизить весьма значительные эксплуатационные затраты и вернуть инвестиции раньше, но и планировать новые приобретения или строительство с учётом оценки реальной, а не «бумажной» эффективности оборудования. В качестве платформы для организации такого подхода можно использовать Data Center Operation – модульное решение с набором всех необходимых функций.


Данное решение Schneider Electric позволяет операторам ЦОДов контролировать и эффективнее управлять центрами обработки данных и выполнять текущие задачи, а интеграция сторонних ИТ-сервисов позволяет обмениваться соответствующей информацией между системами разных вендоров, получая в результате более полное представление о производительности и доступности ЦОДа для повышения его надежности и эффективности эксплуатации.

Оценка и оптимизация

Оптимизация – улучшение параметров подсистем ЦОДа – требует предварительного проведения этапа оценки – аудита, анализа эффективности их работы, создания математической модели площадки и устранения проблемных точек на основе данных мониторинга.
Качественная система мониторинга, созданная специально для решения задач эксплуатации дата центра, система моделирования работы оборудования, позволяющая получить понятную модель функционирования ЦОДа, - важные инструменты, благодаря которым специалисты по эксплуатации могут отследить состояние ЦОДа в режиме реального времени.

Различные улучшения, такие как построение систем изоляции воздушных коридоров, реорганизация плит фальшпола, устранение в стойках мест с неправильной циркуляцией воздушных потоков с последующей перенастройкой систем кондиционирования, позволяет сократить энергопотребление ЦОДа в реальных проектах на 10-20%. Окупается такая оптимизация (если брать в расчет только энергопотребление) за 3-3,5 года.

Еще один эффект оптимизации – улучшение работы систем охлаждения, когда эффективнее используется установленное ранее оборудование , к примеру, становится возможной установка в стойку большего числа серверов. «Коэффициент полезного использования ЦОДа» можно довести с 70-75% до 90-95%. Такая оптимизация окупается примерно за полгода.

Аналитика данных помогает найти конкретное решение для снижения стоимости эксплуатации устройств на площадке заказчика, выбрать наиболее энергоэффективный режим или оптимизировать использование ресурсов. Или понять, что пришла пора модернизации.

Модернизация ЦОДа не всегда означает установку нового оборудования и в первую очередь представляет собой повышение КПД систем и эффективности их использования.

Оценка ситуации помогает понять, что нужно сделать, чтобы ЦОД вновь работал эффективно. У одного из заказчиков такая проблема была решена с помощью создания закрытых холодных коридоров и блокирования воздушных потоков там, где они снижали эффективность отвода тепла. Причем работа выполнялась без остановки систем дата-центра.

Во многих проектах работа ведется на стыке этапов эксплуатации и оценки. Сегодня у многих заказчиков появляются новые ИТ-задачи, идет информатизация, цифровизация бизнеса, приходится решать различные эксплуатационные проблемы. Справиться с ними помогает помощь экспертов на этапе оценки и проведение аудита ЦОДа. Созданный Schneider Electric в России Региональный центр разработки приложений (Regional Application Center) занимается комплексными решениями для дата-центров. Его основная задача – создание и поддержка устойчивого и эффективного функционирования ЦОДа на всех этапах его жизненного цикла.

Специалисты Schneider Electric принимают участие в проектировании, строительстве, комплексных испытаниях и вводе объектов в эксплуатацию, в последующей поддержке и модернизации дата-центра. На каждом этапе заказчику обеспечивается отказоустойчивость и эффективность работы ЦОДа. При росте масштабов и скорости цифровых технологий предлагаемые нами решения помогут компаниям, провайдерам облачных, телекоммуникационных сервисов и коммерческих площадок смотреть в будущее с уверенностью.

В зависимости от назначения современные ЦОД можно разделить на закрытые, которые обеспечивают потребности в вычислительных мощностях конкретной компании, и ЦОД, предоставляющие сервисы в виде услуг пользователям.

Все системы ЦОД состоят из собственно ИТ- инфраструктуры и инженерной инфраструктуры, которая отвечает за поддержание оптимальных условий для функционирования системы.

ИТ-инфраструктура

Современный центр обработки данных (ЦОД) включает серверный комплекс, систему хранения данных, систему эксплуатации и систему информационной безопасности, которые интегрированы между собой и объединены высокопроизводительной ЛВС.

Наиболее перспективной моделью серверного комплекса является модель с многоуровневой архитектурой, в которой выделяется несколько групп серверов:

  • · ресурсные серверы, или серверы информационных ресурсов, отвечают за сохранение и предоставление данных серверам приложений; например, файл-серверы;
  • · серверы приложений выполняют обработку данных в соответствии с бизнес-логикой системы;
  • · серверы представления информации осуществляют интерфейс между пользователями и серверами приложений; например, web-серверы;
  • · служебные серверы обеспечивают работу других подсистем ЦОД; например, серверы управления системой резервного копирования.

К серверам разных групп предъявляются различные требования в зависимости от условий их эксплуатации. В частности, для серверов представления информации характерен большой поток коротких запросов от пользователей, поэтому они должны хорошо горизонтально масштабироваться (увеличение количества серверов) для обеспечения распределения нагрузки.

Для серверов приложений требование по горизонтальной масштабируемости остается, но оно не является критичным. Для них обязательна достаточная вертикальная масштабируемость (возможность наращивания количества процессоров, объемов оперативной памяти и каналов ввода-вывода) для обработки мультиплексированных запросов от пользователей и выполнения бизнес-логики решаемых задач.

Адаптивная инженерная инфраструктура ЦОД

Помимо собственно аппаратно-программного комплекса, ЦОД должен обеспечивать внешние условия для его функционирования. Размещенное в ЦОД оборудование должно работать в круглосуточном режиме при определенных параметрах окружающей среды, для поддержания которых требуется целый ряд надежных систем обеспечения.

Современный ЦОД насчитывает более десятка различных подсистем, включая основное и резервное питание, слаботочную, силовую и другие виды проводки, системы климатического контроля, обеспечения пожарной безопасности, физической безопасности и пр.

Довольно сложным является обеспечение оптимального климатического режима оборудования. Необходимо отводить большое количество тепла, выделяемого компьютерным оборудованием, причем его объем нарастает по мере увеличения мощности систем и плотности их компоновки. Все это требует оптимизации воздушных потоков, а также применения охлаждающего оборудования. По данным IDС, уже в текущем году расходы на снабжение центров обработки данных электроэнергией и обеспечение охлаждения превысят расходы на собственно компьютерное оборудование.

Перечисленные системы взаимосвязаны, поэтому оптимальное решение может быть найдено, только если при его построении будут рассматриваться не отдельные компоненты, а инфраструктура в целом.

Архитектура ЦОД

Сетевая архитектура центра обработки данных определяет его важные характеристики, такие как производительность, масштабируемость и гибкость в дальнейших конфигурационных изменениях. Ведь чем гибче настроена сеть в ЦОДе, тем быстрее возможно реагировать на запросы рынка, избегая лишних затрат. Основной инструмент разворачивания сети между серверами ЦОД - это коммутаторы, но есть различные пути настройки взаимодействия между серверами. Топологии характеризуются различными требованиями к аппаратным ресурсам, целью которых является увеличение производительность дата-центров. При этом существуют стандартные схемы подключения коммутаторов к серверам:

  • · top-of-raсk - это модель коммутации, когда в каждой стойке стоит коммутатор, который обрабатывает трафик с серверов в этой стойке, и соединен с агрегирующим слоем (в стандартной трехзвенной модели)
  • o Преимущества топологии top-of-rack:
    • § большинство коммутаций внутри шкафа;
    • § более простая в обслуживании и дешевая кабельная система;
    • § модульная архитектура «per rack» (каждый шкаф как отдельный независимый блок);
    • § подключение серверов с использованием дешевых SFP+ модулей 10GE (40 GE) для коротких расстояний.
  • o Недостатки топологии top-of-rack:
  • § много коммутаторов для управления, много портов на уровне агрегации;
  • § ограничения масштабируемости (STP logical ports и емкость портов коммутатора агрегации);
  • § много L2 трафика на уровне агрегации
  • · end-of-row модель предполагает расположение коммутатора, условно, «в конце ряда стоек» и обслуживание им трафика с со всех серверов из нескольких стоек, расположенных в ряд
  • o Преимущества топологи end/middle-of-row:
    • § меньше коммутаторов;
    • § меньше портов на уровне агрегации.
    • § надежные, зарезервированные и как правило модульные коммутаторы доступа;
    • § единая точка управления для сотен портов.
  • o Недостатки топологи end/middle-of-row:
  • § более дорогостоящая кабельная инфраструктура;
  • § много кабелей - препятствие для охлаждения;
  • § длинные кабели - ограничение на использованием дешевых подключений на 10/40 GE - «Per row» архитектура (каждый ряд как отдельный независимы блок).

Топология сети взаимодействия между серверами в ЦОДе имеет значительное влияние на гибкость и возможность переконфигурирования инфраструктуры датацентра. Так как данный вопрос получил отклик, как в академической, так и коммерческой средах, то в последнее время было разработано немалое число возможных топологий датацентров:

  • · фиксированные (после развертывания сети в архитектуре невозможны изменения)
  • o древовидные - стандартное широко используемое решение для ЦОД, когда каждый сервер подключен к одному коммутатору, находящемуся на низшем уровне топологии:
    • § Basiс tree
    • § Fat tree
    • · Al-Fares et al
    • · Portland
    • · Hedera
    • § Сlos network
    • · VL2
  • o Рекурсивные - топологии, при которых сервера могут быть подключены к разноуровневым коммутаторам или к другим серверам:
  • § DСell
  • § BСube
  • § MDСube
  • § FiСonn
  • · Гибкие (возможны изменения в топологии уже после развертывания сети) - принципиальное отличие состоит в том, чтобы использовать коммутаторы с оптическими портами. Помимо увеличения пропускной способности (до Тб/сек с использованием технологий спектрального уплотнения каналов - WDM), данное решение обладает высокой гибкостью при переконфигурации топологии сети.
  • o Полностью оптические
  • § OSA
  • o Гибридные
  • § С-Through
  • § Helios

Сетевая инфраструктура ЦОДа

Подход к построению сетевой инфраструктуры должен обеспечивать должный уровень таких качественных параметров как:

  • · надежность,
  • · безопасность,
  • · производительность,
  • · управляемость,
  • · масштабируемость.

В целях организации сетевой инфраструктуры ЦОД применяются такие классы оборудования, как:

  • · Канальное оборудование, в число которых входят мультиплексоры CWDM и DWDM, транспондеры, конверторы и т.д.
  • · Оборудование коммутации Ethernet, отличающееся высокой производительностью и высокой надёжностью, с функционалом маршрутизации и распределения нагрузки. В связи с тем, что в центрах обработки данных для бизнеса используется большой объем передаваемых данных, то предъявляются жесткие требования к оборудованию в плане производительности, функциональности и надежности.
  • · Коммутационное оборудование стандарта FibreChannel. При этом могут быть использовано оборудования различных классов. Это зависит от выбранной архитектуры сетевой инфраструктуры ЦОД. Могут быть использованы как простейшие коммутаторы уровня рабочей группы или же оборудование уровня предприятия.
  • · Программные комплексы, осуществляющие централизованный мониторинг и управление сетью, которые предоставляют единую точку управления всей сетевой инфраструктурой ЦОД за счёт графического интерфейса, а также расширенных средств визуализации наблюдаемых параметров, таких как состояние функциональных компонентов, загруженность ресурсов коммутаторов и даже некоторые параметры подключенных устройств, включая версию микропрограммного обеспечения интерфейсных карт FibreChannel в серверах.

Сеть современного ЦОД можно строить в один, два и три уровня, . У каждого варианта есть свои предназначения. Рассмотрим далее вкратце упомянутые выше варианты:

  • · Одноуровневая архитектура подразумевает непосредственную связь между оборудованием ядра/агрегации и серверами
  • · Двухуровневая архитектура (L1) подразумевает наличие между ядром/агрегацией ЦОД дополнительного уровня коммутаторов по схеме ToR (Top-of-Raсk).
  • · Трехуровневый вариант архитектуры (L3), иногда его еще называют EoR (End-of-Row). В 3-уровневой архитектуре ЦОД дополнительный уровень коммутаторов агрегации добавляет гибкость в построении сетевых топологий и увеличивает потенциальную емкость решения по портам.

В настоящее время используемая большинством ЦОД сеть использует трехуровневую архитектуру с уровнями L2 (коммутация) и L3 (маршрутизация), которая предназначалась для систем с гораздо меньшими объемами передачи данных, таких как: корпоративная переписка, бухгалтерская отчетность, хранение документации, ведение документации предприятий. Проблема заключается в том, что подобная архитектура устанавливает ограничения на сегодняшний трафик, в котором большую долю занимает цифровой контент, и негативно влияет на мобильность виртуальных машин, что приводит к увеличению капитальных и операционных расходов на поддержание работоспособности ЦОД, а также росту энергопотребления.

Сейчас набирают популярность такие варианты подключения, как оптоволоконный Ethernet (FCoE - Fibre Сhannel over Ethernet) и новые разработки высокоскоростного Ethernet (1 Гбит/с и 10Гбит/с). Традиционное решение в ЦОД предполагает создание двух сетей - сеть передачи данных на базе протокола Ethernet и сеть хранения данных на базе протокола Fiber Channel (FC).

В последние годы получила развитие другая технология - конвергентных сетей. Конвергентная сетевая инфраструктура - это единая сеть, объединяющая сеть передачи данных и сеть хранения данных, обеспечивающая доступ к системам хранениям данных с использованием любых протоколов - как блочных, так и файловых. Такое решение позволяет не только в два раза сократить количество сетевых подключений, но и обеспечить единый уровень надежности и доступности для всей сетевой инфраструктуры.

В основе решения лежит протокол Fiber Channel over Ethernet (FCoE), обеспечивающий передачу FC-трафика через Ethernet-транспорт. При помощи DataCenterBridging (DCB), Ethernet превращается в протокол без потерь, который подходит для трафика FCoE, обеспечивающего традиционную в SAN-сетях изоляцию фабрик (Fabric A и Fabric B). Помимо этого унифицированная коммутация позволяет упростить управление и сэкономить на оборудовании, электропитании, а так же на кабельной инфраструктуре.

Развертывание среды виртуализации в ЦОД

В текущий период экономической нестабильности компании пытаются всеми способами сократить свои операционные издержки. В случае с развитыми ИТ- инфраструктурами данная деятельность не должна иметь негативных последствий для информационных ресурсов организации. Внедрение платформы виртуализации позволит избежать этих последствий, так как оптимизация по средствам виртуализации имеет ряд преимуществ:

  • * Увеличение коэффициента использования аппаратного обеспечения
  • * Уменьшение затрат на замену аппаратного обеспечения
  • * Повышение гибкости использования виртуальных серверов
  • * Обеспечение высокой доступности серверов
  • * Повышение управляемости серверной инфраструктуры
  • * Экономия на обслуживающем персонале
  • * Экономия на электроэнергии

Виртуализация сетевой инфраструктуры ЦОД включает в себя:

  • · Виртуализацию физической сети;
  • · Построение виртуальной сети внутри виртуальной серверной среды.
  • · Виртуализация физической сети.

Благодаря технологиям виртуализации физическая сетевая инфраструктура ЦОД разбивается на множество виртуальных срезов, представляющие собой виртуальные ЦОД.

Примерами использования такого разделения может быть использование сети для разных заказчиков, что больше подходит для провайдеров, а также сегментация сети для создания различных зон безопасности, что является актуальным для корпоративного применения.

Примерами зон безопасности могут быть:

  • · корпоративный сегмент;
  • · защищенный сегмент PCI DSS;
  • · тестовый сегмент сети;
  • · демилитаризованная зона.

Виртуальные сегменты по умолчанию изолированы между собой. Для возможного обмена данными между ними используются межсетевые экраны. Для виртуализации физической сетевой инфраструктуры ЦОД используются следующие основные технологии:

  • · виртуализация устройства (VDC для Nexus 7000, виртуальные контексты межсетевых экранов, IPS, traffic domain для балансировщика Citrix);
  • · виртуализация таблицы маршрутизации (VRF), или виртуализация маршрутизатора;
  • · VLAN для L2 сегментации.

Информационная безопасность ЦОДа

Подход к обеспечению безопасности информации, хранимой (обрабатываемой) в ЦОД, должен исходить из требований конфиденциальности, доступности и целостности. Концепции и стандарты, описанные в Глава 1, будут аналогичны и для защиты информации центров обработки данных.

Основные этапы обеспечения безопасности ЦОД:

  • · Определение объектов защиты, типичный список которых включает в себя:
    • o Информация, хранимая (обрабатываемая) в системе;
    • o Оборудование;
    • o Программное обеспечение.
  • · Построение модели угроз и модели действий нарушителя;
  • · Оценка и анализ рисков (возможные риски приведены ниже):
    • o Сбои и отказы программно-аппаратных средств;
    • o Угрозы со стороны обслуживающего персонала;
    • o Ошибка руководства организации в связи с недостаточным уровнем осознания ИБ;
    • o Утечка информации;
    • o Нарушение функциональности и доступности персонала;
  • · Разработка и внедрение в системы ЦОД методов и средств защиты.

В отношении территориально разнесенных дата-центров необходимо сформулировать дополнительные требования к системам защиты информации:

  • · Обеспечение конфиденциальности и целостности данных передаваемых по каналам связи;
  • · Поддержка единого адресного пространства для защищаемой LAN ЦОД;
  • · Быстродействие и производительность;
  • · Масштабируемость;
  • · Отказоустойчивость;
  • · Соответствие требованиям регулятора.

Катастрофоустойчивость ЦОДа

В существующих условиях повышения угроз различного характера: природного, техногенного, террористического - становится критически важным аспектом резервирование систем хранения и обработки данных, используемых в организации, в интересах обеспечения непрерывности бизнес-процессов.

В случае возникновения катастрофы вполне вероятно полное физическое разрушение конструкции центра обработки данных, поэтому, устойчивость дата-центра к катастрофам природного характера обеспечивается развертыванием территориально удаленного (на расстоянии от нескольких сотен км) резервного центра обработки данных.

Распределение ЦОД по нескольким площадкам требует организации следующих компонентов:

  • · Резервируемые каналы связи
  • · Репликация данных файловых хранилищ;
  • · Разработка плана действий резервного копирования и восстановления систем;

Программно-аппаратный комплекс одного дата-центра, работающего в комплексе распределенных ЦОДов, может обслуживать бизнес-приложение в рамках одной площадки и обладать локальной отказоустойчивостью, т. е. способностью к восстановлению при единичных отказах. При этом инженерные системы ЦОД также должны обладать свойствами надежности и возможности обслуживания без остановки -именно эти характеристики отличают ЦОД различных классов.

Для защиты от катастроф (аварий на уровне всей площадки) предназначено катастрофоустойчивое решение, которое включает в себя два или более ЦОД. Задача - активация приложения в ручном или автоматическом режиме с актуальными данными на запасной площадке.

Возможны две основные стратегии использования распределенных ЦОД:

  • · «активный/активный» - инфраструктурные приложения и сервисы распределены между площадками, и пользователи работают с ближайшим ЦОД;
  • · «активный/пассивный» - при которой приложения централизованы, и пользователи работают с основным узлом. В случае отказа системы, нагрузка автоматически переключается на резервный ЦОД.

При определении географии размещения дата-центров следует учитывать распределение пользователей сервисов, предоставляемых компанией. Если все пользователи приложения размещаются в том же здании, что и ЦОД, бессмысленно резервировать площадку - в случае аварии локация в любом случае будет недосупна. Если география пользователей рассеяна в национальном или мировом масштабе, то и стратегия защиты должна предусматривать возможность восстановления соответствующего масштаба в случае катастрофы.

Крупные банки и другие коммерческие организации в силу особенностей своих отраслей прорабатывают стратегию защиты в масштабах страны. Лучшие практики описываются формулой 2СЗС: 2 сities, 3 сenters. Это означает, что в городе основного базирования находятся два ЦОД в метро-радиусе (т. е. нескольких десятков километров), дублирующих друг друга в синхронном режим, а в другом городе, на расстоянии не менее нескольких сотен километров, располагается третий ЦОД на случай региональной катастрофы в городе основного базирования.

Переключение между двумя основными площадками может быть быстрым и автоматическим, а переключение на удаленную площадку - медленным и ручным. Это связано с тем, что соединения между площадками должны иметь очень низкие показатели задержек (Latency), так как большие задержки отрицательно сказываются на производительности всей системы. А поскольку с увеличением расстояния задержки увеличиваются, расстояние между ЦОД не должно превышать 100 км. Иначе уже не возможно использовать технологию синхронной репликации. Ключевые транзакционные данные на основных площадках поддерживаются в синхронном состоянии, а на удаленной площадке, скорее всего, будет некоторое отставание. (см. подробнее раздел «Синхронизация данных в комплексе ЦОДов»).

Механизмы обеспечения надежности и защищенности сфере катастрофоустойчивости

Решения данной задачи могут быть реализовано как аппаратно, так и программно:

  • · На рынке представлены высокодоступные аппаратные платформы, в которых функции избыточности и восстановления при сбоях реализованы на системном уровне. Исторически в данном сегменте сильны позиции мэйнфреймов. Это актуально прежде всего для тех предприятий, которые применяют подобные платформы много лет.
  • · Наиболее предпочтительны решения, реализующие функции отказо- и катастрофоустойчивости непосредственно на прикладном уровне либо на уровне программной платформы (ПО промежуточного уровня). Такая реализация позволяет отрабатывать сбои с минимальными потерями, задержками и накладными расходами. Общее правило: чем выше уровень, на котором реализуются функции высокой доступности, тем лучше. Уровень платформы - наиболее подходящий, поскольку в данном случае разработчики прикладной функциональности изолированы от непрофильных для них низкоуровневых системных вопросов.

Наибольшее влияние на механизмы обеспечения надежности и защищенности оказали следующие технологии:

  • · серверная виртуализация, позволяющая свести восстановление "упавшего" сервера к копированию файла с его образом из одного места в другое вместо восстановления физического сервера путем замены его сбойных компонентов или полной замены. Это уменьшает время восстановления в разы, а в случае плановых манипуляций с сервером - до нуля за счет Live Migration, позволяющей переносить продуктивную нагрузку с одного виртуального сервера на другой вообще без прерывания сервиса;
  • · виртуализация систем хранения данных - обеспечение с помощью аппаратных или программных виртуализаторов СХД одинаковой (параллельной) видимости дисковых ресурсов и файлов для серверов, расположенных как в главном, так и в резервном вычислительных центрах. С учетом того, что виртуальный продуктивный сервер обычно представляет собой файл, применение виртуализатора позволяет существенно упростить общую конструкцию системы, повышает надежность и упрощает взаимодействие продуктивной и резервной систем;
  • · дедупликация - значительное уменьшение объема трафика при передаче данных между главным и резервным центрами, что повышает надежность и снижает требования к каналам связи.

Важная оставляющая обеспечения защищенности - планы аварийного восстановления как со стороны ИТ (Disaster Reсovery Plan,) так и со стороны бизнеса (Business Сontinuity Plan). Последний предполагает наличие плана действий в случае утраты бизнесом основного инструмента. Оба плана должны периодически тестироваться согласно разработанному в организации регламенту.

Специфика территориально разнесенных ЦОДов

Основные отличия катастрофоустойчивого ЦОД от традиционного заключаются в том, что:

  • · Он создается на базе двух или более территориально удаленных друг от друга площадок, которые объединены высоконадежными каналами связи.
  • · Требуется внедрение целого ряда специализированных решений, например системы репликации данных и механизма аварийного восстановления информационных систем.
  • · Все должно быть настроено таким образом, чтобы для пользователей переключение с площадки на площадку происходило предельно гладко и незаметно.
  • · Эксплуатация катастрофоустойчивого решения ощутимо дороже, чем традиционного ЦОД, хотя бы потому, что для обслуживания нескольких площадок требуется больше сотрудников. Кроме того, чтобы обеспечить непрерывность бизнес-процессов и добиться бесшовности перехода, надо регулярно проводить учения (тестовые проверки) по переключению с одного комплекса серверов на другой.

При проектировании нужно помнить о пропускной способности каналов связи - они должны обеспечивать оперативную передачу данных между ЦОД, соответствующую требованиям SLA в части потери данных и сроков восстановления. Помимо этого должна быть разработана детальная программа эксплуатации дата-центра, которая должна включать:

  • · поиск, подбор и должное обучение персонала объекта,
  • · наличие хорошо работающих поставщиков,
  • · безопасность и охрану труда,
  • · аварийные и рабочие процедуры,
  • · четкий график работ,
  • · управление инцидентами и изменениями на объекте,
  • · профилактическое обслуживание,
  • · компьютерные системы мониторинга и обеспечения.

Что касается сетевой инфраструктуры территориально распределенных ЦОДов, то сейчас тенденция такова, что все больше заказчиков при построении своих сетей ориентируются на построение сетей передачи данных второго уровня (L2) с плоской топологией. В сетях ЦОД переход к ней стимулируется увеличением числа потоков «сервер - сервер» и «сервер - система хранения». Такой подход упрощает планирование сети и внедрение, а также снижает операционные расходы и общую стоимость вложений, делает сеть более производительной.

Уязвимость территориально распределенных ЦОДов

Консолидация ИТ-сервисов в ЦОД имеет множество преимуществ: эффективное использование вычислительных ресурсов, высокая доступность критичных сервисов, гибкость и масштабируемость ИТ-инфраструктуры. Однако, ЦОДы также стали и чрезвычайно привлекательной мишенью для злоумышленников. Особенно перспективной точкой взлома выглядят магистральные каналы, соединяющие ЦОДы, ведь через них передается колоссальное количество данных. Одна часть этих данных является ценностью сама по себе (например, персональные или коммерческие данные), другая часть позволяет узнать больше о внутренней структуре ЦОД, используемых версиях операционных систем и программного обеспечения и прочей ценной служебной информации. В результате злоумышленники могут получить доступ к ресурсам ЦОД через известные или новые уязвимости, а также вследствие ошибок, допущенных техническим персоналом при конфигурировании оборудования или программного обеспечения (ПО).

Становится очевидно, что каналы, соединяющие ЦОД между собой, необходимо защищать как от пассивного вмешательства (т.е. прослушивания данных), так и от активных действий злоумышленников (т.е. попыток изменить передаваемую информацию или не допустить её передачи).

Одним из вариантов такой защиты может служить физическая защита канала передачи данных. Она может хорошо работать в том случае, если канал проходит в пределах одного здания или, по крайней мере, по закрытой частной территории. В тех же случаях, когда ЦОДы географически удалены друг от друга, физическая защита становится очень дорогой, а зачастую совсем невозможной. В такой ситуации приходится использовать недоверенные каналы связи и применять криптографическую защиту передаваемых данных.

Важно также учесть, что если в информационной системе компании обрабатывается информация, подлежащая обязательной защите в соответствии с российским законодательством (например, персональные данные), то необходимо использовать сертифицированные средства защиты, прошедшие процедуру оценки регуляторами - ФСБ России и ФСТЭК России.

Синхронизация данных в комплексе ЦОДов

Для синхронизации массивов данных в распределенных ЦОД применяются синхронные и асинхронные технологии репликации. В первом случае данные параллельно записываются на исходную и удаленную системы хранения. Запрос записи на исходной системе подтверждается лишь по завершении процесса записи на целевой системе. Во втором случае процессы записи на исходной и удаленной системах могут осуществляться независимо друг от друга. Среди прочих различают методы на базе снимков (Snapshot), уровне блоков и байтов. В Таблица 4 приведено сравнение технологий репликации по следующим критериям:

  • · RPO (Reсovery point objeсtive) - допустимая точка восстановления
  • · Допустимое расстояние для работы технологии
  • · Уровень защиты информации
  • · Зависимость производительности решения от расстояния/объема данных
  • · Необходимый уровень пропускной способности коммуникационных каналов

В среде локальных и городских сетей (Metropolitan Area Network, MAN) эти методы, как правило, функционируют очень хорошо. Проблемы появляются, когда увеличивается задержка на линиях передачи, а в распоряжении пользователя имеется только глобальная сеть с гораздо более узкой полосой пропускания по сравнению с локальной/городской сетью.

Что еще почитать