industry.eeaa.gov.egindustry.eeaa.gov.eg/publications/KOKI Succes.pdf · industry.eeaa.gov.eg
Храним Большие...
Transcript of Храним Большие...
Храним Большие Данные
Методы и технологии FUJITSU
1 Copyright 2012 FUJITSU
Огромные объемы хранимых данных При этом наблюдается постоянный
рост хранимых данных
Различные типы данных Структурированные Неструктурированные Частично структурированные
Множество источников данных Часто физически разнесенных на
большие расстояния
Высокая скорость генерации новых данных Часто данные генерируются
автоматически и непрерывно
Анализ и принятие решений необходимо производить в режиме реального времени
Добро пожаловать в мир Больших Данных
2
Новые типы источников данных
Copyright 2012 FUJITSU
Многообразие источников Транзакционные системы (ERP,
CRM) Логи IT-систем, письма Web данные, блоги, «click streams» Социальные сети Аудио, видео, фото Интеллектуальные сети Медицинские данные RFID метки (отслеживание
местонахождения товара) Геофизические данные / GPS Информация со спутников …
Непрерывный сбор новых данных Автоматически генерируемые
данные
3
Тенденции на рынке
Copyright 2012 FUJITSU Copyright 2012 FUJITSU
4
Резервное копирование и архивирование
Резервное копирование Архивирование Копирование информации Первичные данные
Используется для восстановления Используется для поиска и выдачи информации
Повышает уровень доступности, поскольку утраченные данные можно вернуть к определенной точке восстановления
Повышает эффективность работы, поскольку информация, которая не требуется для ежедневной деятельности, хранится отдельно от рабочих сред.
Обычно краткосрочные: Дни или недели
Обычно долгосрочные: Месяцы, года, десятилетия
Данные регулярно (ежедневно, еженедельно) перезаписываются
Данные сохраняются для последующего анализа или проверки на соответствие
Не пригодно для обеспечения соответствия
Пригодно для обеспечения соответствия требованиям законодательства (compliance)
Copyright 2012 FUJITSU
5
Архивирование — это не резервное копирование
Оперативные и архивные данные записываются на разных этапах жизненного цикла информации и хранятся раздельно
Архивирование не может полностью заменить мероприятия по защите данных Архивным данным тоже требуется защита Использование резервных копий в качестве архивных данных делает их
незащищенными Распределение корпоративной информации по этапам жизненного цикла
Этап 1. Динамические текущие данные в работе
Этап 2. Постоянные текущие данные в работе
Этап 3. Постоянные неактивные оперативные и полуоперативные данные
Этап 4. Постоянные неактивные неиспользуемые и заархивированные данные
10%
15%
70% +
<5%
Архивирование
Источник: Enterprise Strategy Group, Inc.
Copyright 2012 FUJITSU
6
Лавинообразный рост данных
2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015
Рост данных 60%
Copyright 2012 FUJITSU
7
Жесткие диски – разрыв увеличивается
2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015
Емкость жесткого диска
Рост данных 60%
2008 – первый диск 1.5 TB 2009 – первый диск 2 TB 2010 – первый диск 3 TB
2013 – первый диск 4 TB 2014 – первый диск 5 TB
Copyright 2012 FUJITSU
8
Дедупликация – технология, сокращающая разрыв
2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015
Емкость диска
Рост данных 60%
Рост данных при дедупликации 1:3
Copyright 2012 FUJITSU
9
Лента возвращается
2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015
Емкость диска
Рост данных 60%
Рост данных при дедупликации 1:3
Емкость лент LTO
2008 – LTO4 – 800 GB native 2010 – LTO5 – 1.5 TB
2012 – LTO6 – 3.2 TB 2014 – LTO7 – 6.4 TB
Copyright 2012 FUJITSU
10
Новая иерархия уровней хранения
Для эффективного хранения данные должны быть записаны на носителях соответствующего уровня хранения
Уровень Скорость
Емкость (носитель/
вся система) Цена (€)/GB
DRAM 200,000× 16 GB/4 TB 25
Flash Memory 200× 1 TB/4 TB 15
SAS Disk Drive 1× 1 TB/120 TB 1
NL-SAS Disk Drive 33% 3 TB/360 TB 0.2
Tape 1× 3 TB/1,500 TB 0.05
Copyright 2012 FUJITSU
11
Стратегия Fujitsu для хранения и защиты данных
Copyright 2010 FUJITSU
Copyright 2012 FUJITSU LIMITED
Продукты Fujitsu
System Size
High-end
Mid-range
Volume-range
Mainframe UNIX Servers Linux/Windows Servers
[MSP/XSP]
[Solaris]
[Linux/Windows]
GS21/ PRIMEFORCE
SPARC Enterprise
PRIMEQUEST
PRIMERGY
Storage
ETERNUS DX8000
ETERNUS DX60/DX80/DX90
ETERNUS DX400
Для эффективного решения любых задач Наиболее подходящее по цене, производительности и эффетивности
Широкий спектр серверов и систем хранения
12
13
Дисковые системы ETERNUS DX
Большая продуктовая линейка систем хранения От систем начального уровня по
привлекательной цене до массивов уровня предприятия с рекордными возможностями масштабирования
Действительно собственная разработка 40 лет успешной истории на Японском рынке No 1 на Японском рынке No 1 по качеству (Nikkei Magazine survey)
ETERNUS DX – наилучший выбор на рынке дисковых систем
13 Copyright 2012 FUJITSU
14
Преимущества: единая продуктовая линейка Действительно единая продуктовая линейка, а не
лоскутное одеяло от разных вендоров Единое ПО для управления. Действительно единое, а
не просто с одинаковым названием Возможность репликации между всеми моделями
А так ли это важно? Возможность апгрейда от системы начального уровня
до High-End позволяет эффективно сохранять начальные инвестиции
Единое управление для всех моделей : выучил одну – знаешь все
Единая продуктовая линейка – залог эффективности использования
14 Cop
15
Возможности для роста
15
Рост
ем
кост
и
Функциональность, Масштабируемость, Производительность
DX60 S2
DX80 S2
DX90 S2
DX400 S2 series
DX8000 S2* series High-End
Средний уровень
Начальный уровень
Единая продуктовая линейка позволяет системе расти вместе с ростом Вашего бизнеса ETERNUS DX – прекрасная масштабируемость в рамках одной модели ETERNUS DX – возможность апгрейда на более старшие модели Данные на дисках остаются, меняются только контроллеры
Макимальная защита инвестиций, быстрая миграция
Copyright 2012 FUJITSU
16
Единая продуктовая линейка существенно увеличивает гибкость любого решения
16
ETERNUS позволяет копировать данные между различными моделями Это позволяет организовать копирование нескольких маленьких системна одну большую
Основная площадка Резервная площадка
ETERNUS DX410 S2
ETERNUS DX440
ETERNUS DX8000
SAN SAN
ETERNUS DX90 S2
ETERNUS DX90 S2
WAN
Единая продуктовая линейка – непревзойденная гибкость для любого сценария использования
Copyright 2012 FUJITSU
17
Что делает ETERNUS DX S2 быстрее
Новые многоядерные процессоры Intel XEON
Большее количество кэша • до 96 ГБ
Новый внутренний интерфейс межсоединений 6GB SAS Back-End
• Внутренняя полоса пропускания увеличилась вдвое
Более быстрые интерфейсы подключения к серверам
• 10g Ethernet, 8g FC
17 Copyright 2012 FUJITSU
Расширение интерфейсов подключения
Поддержка любых изменений инфраструктуры
ETERNUS DX80 S2/DX90 S2
FC(4 ports)
ETERNUS DX80 S2/DX90 S2
FC(8 ports)
CM
CM: Controller Module CA: Channel Adapter I/F: Interface
ETERNUS DX80 S2/DX90 S2
FC(4 ports)+ iSCSI(4 ports)
CA
CM
CA
FC
CM CM
CA CA CA CA
FC
CM CM
iSCSI FC
CA CA CA CA
Возможность увеличения FC, FCoE, iSCSI, и SAS портов Переход от 2/4 к 4/8 ports просто добавлением CA
Можно смешивать различные типы интерфейсов
New!
Улучшено DX80 S2 DX90 S2
18 Copyright 2012 FUJITSU
19
Простые ответы на сложные вопросы
Простые решения ETERNUS CS High End —
радикально упрощает защиту данных в ЦОД
ETERNUS CS800 — полностью оптимизированное решение для резервного копирования на диск
Сложные вопросы Как упростить разрастающуюся
инфраструктуру и управление ей? Как консолидировать системы
резервного копирования данных? Как защитить резервные копии и
архивы от катастроф? Как использовать единую
инфраструктуру как для резервного копирования, так и архивирования?
Как увеличить эффективность локального резервного копирования данных?
Как снизить стоимость резервного копирования на диск?
Как интегрировать локальное резервное копирование в ЦОД?
Copyright 2012 FUJITSU
20
ETERNUS CS800
Copyright 2010 FUJITSU
21
ETERNUS CS800 — ключевые характеристики
ETERNUS CS800 — устройство защиты данных, оптимизирующее резервное копирование данных на дисковое хранилище
Простое резервное копирование на диск благодаря функциональности NAS
Сокращение объема хранилища до 95% благодаря передовой технологии дедупликации
Защита от сбоев для резервных копий встроенная функция репликации автоматически
копирует резервные копии на удаленные хранилища
Интеграция удаленных хранилищ дедупликация до 20 раз уменьшает объем
данных, копируемых на удаленные хранилища локальные резервные копии сохраняются на
центральных системах, что позволяет экономить на поддержке сети
ETERNUS CS800
Copyright 2012 FUJITSU
Резервное копирование на диск
(NAS / VTL)
Дедупликация
Репликация
22
Защита от аварийных ситуаций с помощью ETERNUS CS800 Незначительные усилия Простое управление резервными
копиями Устройство, выполняющее
дедупликацию и репликацию для резервирования данных
Двунаправленная репликация для двусторонней защиты данных
Автоматическое шифрование при репликации
Снижение зависимости от сменных носителей данных
Аварийное восстановление с двух сетевых узлов
CS800 CS800
ETERNUS CS800 сохраняет данные локально для более быстрого планового восстановления и удаленно — для восстановления после
сбоев Copyright 2012 FUJITSU
23
ETERNUS CS800 для распределенных вычислительных центров Поддержка резервного копирования и
аварийного восстановления для разных местоположений
Дедупликация данных в филиалах компании
Репликация аварийного восстановления в центральном узле
Дедупликация позволяет в 20 и более раз сузить типовую полосу пропускания при передаче данных в глобальной сети
Данные для аварийного восстановления и резервные копии автоматически шифруются и передаются в удаленные хранилища
Сокращается объем носителей данных для инфраструктур, расположенных рядом друг с другом
Аварийное восстановление для всех распределенных узлов проводится в полностью автоматическом режиме
Copyright 2012 FUJITSU
24
Хранение данных на ленточных носителях
Доступный способ долговременного хранения данных Резервные копии, переданные в устройство ETERNUS CS800,
передаются в ленточное хранилище Совместимость с приложениями для резервного копирования Сохранение на ленту для прикладного программного
интерфейса Symantec openStorage (OST) NetBackup
Сохранение на ленту для VTL NetBackup, NetWorker и др.
Приложение резервного копирования
OST или VTL
Ленточная библиотека
Привод Привод
Том Том Том Том
25
Представляем ETERNUS CS High-End
Радикальное упрощение защиты данных в ЦОД
Copyright 2012 FUJITSU
26
Упрощенная схема среды для защиты данных
ЦОД
Филиалы
Серверы ПО резервного копирования/
архивирования
Системы резервного копирования/
архивирования
Мэйнфреймы Ленточная библиотека
Тип X
Серверы UNIX Ленточная
библиотека Тип Y
Серверы стандартной архитектуры
Дисковая система
ПО Х
ПО Y
ПО Z
Сложная инфраструктура, высокая стоимость, сложность обслуживания.
Copyright 2012 FUJITSU
27
Филиалы
ЦОД
Мэйнфреймы
Серверы UNIX
Серверы стандартно
й архитектур
ы
Узкие места в защите данных
Серверы ПО резервного копирования/
архивирования
Системы резервного копирования/
архивирования
Ленточная библиотека
Тип X
Ленточная библиотека
Тип Y
Дисковая система
ПО Х
ПО Y
ПО Z
Как консолидировать системы резервного копирования данных?
Как защитить резервные копии и архивы от катастроф?
Как использовать единую инфраструктуру как для резервного копирования, так И архивирования?
Как упростить разрастающуюся инфраструктуру и управление ей?
Как увеличить эффективность локального резервного копирования
данных?
Как снизить стоимость резервного копирования на диск?
Как интегрировать локальное резервное копирование в ЦОД?
Copyright 2012 FUJITSU
28
Как применение ETERNUS CS повышает надежность защиты данных
Распределенная архитектура ETRENUS CS позволяет разместить хранилища в 2 разных местоположениях Клиентам доступна функция аварийного восстановления для защиты данных Гибкая работа с ленточными библиотеками, расположенными в различных
подразделениях Поддержка расстояний до 10 000 км
Площадка B Площадка A
Copyright 2012 FUJITSU
29
Пример: Lufthansa Systems
«С помощью решения ETERNUS CS мы не только экономим, но и можем обращаться к важным данным еще быстрее, благодаря распараллеливанию функций для ускорения процессов резервного копирования».
Курт Борщел (Curt Borschel), Руководитель подразделения управления
корпоративными системами, Lufthansa Systems
Задачи Консолидация среды защиты данных для
гетерогенных серверных систем Потребность в решении аварийного
восстановления
Решение ETERNUS CS High End на двух площадках Резервное ленточное хранилище STK SL8500 ПО для резервного копирования Symantec
NetBackup
Преимущества Отказоустойчивое решение для защиты данных Быстрая и гибкая адаптация под потребности
пользователя Защита данных на основе установленных правил, с
использованием недорогого ленточного хранилища Сокращение расходов на инфраструктуру Эксплуатация уже имеющихся ленточных
библиотек
Copyright 2012 FUJITSU
30
ETERNUS CS — масштабируемая распределенная архитектура
22 процессорных узла
16 дисковых RAID-массивов 3 млн томов / 2 млрд файлов
10 целевых систем (например, для
дедупликации, 160 ТБ/система, всего до
1,6 ПБ)
10 целевых систем например, для дедупликации, используется 160 ТБ на систему, всего до 1,6 ПБ)
например, ленточные библиотеки, 1 экзабайт каждая = 10 эксабайт
Copyright 2012 FUJITSU
31
Резервное копирование и архивирование выполняются с помощью одной инфраструктуры Консолидация и централизация Упрощение администрирования Экономия на покупке оборудования Поддержка всех приложений для
архивирования Автоматическое управление
разнотипными носителями данных
Автоматизация Для резервного копирования
архивных данных Для реорганизации ленточных
хранилищ Для изменения типа носителей
данных при долговременном хранении
Резервное копирование и архивирование выполняются одним и тем же устройством То же самое аппаратное обеспечение,
но с логическим разделением Различные уровни обслуживания
Резервное копирование
Мэйнфреймы Ленточная библиотека
(Типы X, Y, Z)
Серверы UNIX
Дисковая система
Серверы стандартной архитектуры
Дедуплицированный диск
Архивирование
Copyright 2012 FUJITSU
32