Российское облако для Тотального диктанта (GlobalCIO)

03.12.2018
Масштаб проекта   120 человеко-часов 
150000 автоматизированных рабочих мест
Цели проекта   Тотальный диктант – всемирная образовательная акция, один из самых масштабных культурно-образовательных проектов. С каждым годом онлайн-аудитория диктанта растет как количественно, так и по региональному охвату. В 2018 году она увеличилась на 25% по сравнению с 2017 годом. 

С учетом постоянного роста онлайн-аудитории перед ИТ-специалистами была поставлена задача обеспечить надежную работу сайта totaldict.ru, а также экономичность и простоту управления ИТ-инфраструктурой. Особенностью проекта является значительная разница в уровне нагрузок на сайт: пиковые нагрузки он испытывает только один день в году, во время проведения Тотального диктанта, но именно в этот день любой сбой имеет максимальный резонанс. Инвестировать значительные средства в собственную аппаратную инфраструктуру в таких условиях нерентабельно. 

Решением стал переход в облако: с 2016 года Тотальный диктант проводится на базе российского публичного облака на open source платформе OpenStack, которую предоставляет «Сервионика» (ГК «АйТеко»). В 2018 году на платформе была реализована новая ИТ-архитектура, рассчитанная на дальнейший рост нагрузок и новые требования к защите данных. 

14 апреля 2018 года Тотальный диктант поставил новые рекорды: он проводился в 76 странах, 24,5 тысячи человек писали его в онлайне, более 120 тыс. человек смотрели трансляции на сайте, а общее количество участников превысило 200 тысяч. ИТ-инфраструктура на базе облачной платформы обеспечила надежную поддержку проекта - онлайн-диктант прошел без сбоев.
Использованное ПО, оборудование и вспомогательные системы   • Виртуальная ИТ-инфраструктура на платформе OpenStack
• Сегмент публичного облака со сверхвысокой скоростью обмена данными между виртуальными серверами: 100 гигабит в секунду
• ЦОД «ТрастИнфо» уровня TierIII
Направление/область и тип работ   Интеграция приложений и создание промежуточного слоя
Приложения коммуникаций и совместной работы (почта, ПО для групповой работы и коммуникаций)
Мониторинг и управление оборудованием и ПО
Разработка ИТ-стратегии, ИТ-архитектуры и планов в области ИТ
Аутсорсинг ИТ-инфраструктуры
Аутсорсинг функций и процессов ИТ-подразделения
Важность проекта   Стратегическая ИС
Возможность тиражируемости   Да
Масштабируемость   Да

Описание проекта

total dict.jpgТотальный диктант – всемирная акция по популяризации русского языка и литературы. Он проходит один раз в год, в один день, одновременно по всему миру. Растет популярность онлайн-формата: в 2018 году аудитория онлайн-участников и зрителей увеличилась почти на 25% по сравнению с 2017 годом. 

В день диктанта тысячи пользователей одновременно заходят на сайт акции и выполняют там множество однотипных действий. С подобными пиковыми нагрузками сталкиваются интернет-магазины во время массовых распродаж вроде «Чёрной пятницы» или сайты по продаже электронных билетов перед выходными и крупными праздниками. Сайт проекта в этот день испытывает пиковые нагрузки практически круглые сутки, особенно при проведении в городах-миллионниках в разных часовых поясах. 

Для успеха проекта важно, чтобы сайт работал без сбоев при любых нагрузках: 
• Одним из преимуществ онлайн-участия является возможность сразу узнать свой результат. 
• Диктант не только пишут, но и смотрят: на сайте ведутся онлайн-трансляции с площадок в разных городах.
• Тотальный диктант выполняет важную социальную функцию создания доступной среды для тех, кто не может приехать на очную площадку по состоянию здоровья или другим причинам. 
• Онлайн-формат дает возможность написать диктант в любой точке мира – даже там, где нет очных площадок. 
• В течение года на сайте диктанта работают онлайн-курсы и справочные ресурсы для участников, партнеров, волонтеров проекта. 

В течение года хостинг сайта Тотального диктанта справляется с плановыми нагрузками, и инвестировать в усиление «железной» инфраструктуры и серверов ради нескольких пиковых дней в году — слишком расточительно. Поэтому в 2016 году Тотальный диктант «переехал» на облачный хостинг на платформе, разработанной на базе технологий OpenStack. 

Преимущества виртуальной инфраструктуры очевидны: 
• Быстрая адаптация к изменяющимся нагрузкам. 
• Широкий спектр встроенных инструментов управления и мониторинга позволяет контролировать нагрузку на виртуальные машины, гибко и оперативно управлять распределением ресурсов и их объемом. 
• Быстродействие и легкая масштабируемость с учетом всемирного распространения диктанта.
• Высоко доступная физическая ИТ-инфраструктура на базе ЦОД уровня TierIII. 

Переход в облако оправдал себя: облачное решение оказалось максимально надежным и экономичным, обеспечивая любой необходимый объем ресурсов для задач проекта. По итогам диктантов 2016 и 2017 года в начале 2018 года ИТ-команда проекта разработала и протестировала обновленную архитектуру, рассчитанную на существенный рост онлайн-аудитории проекта. Кроме того, было решено разместить проект в сегменте публичного облака со сверхвысокой скоростью обмена данными между виртуальными серверами: 100 гигабит в секунду, реализованное на базе облачной платформы «Сервионики».

Виртуальная ИТ-инфраструктура в публичном облаке на базе ЦОД уровня TierIII (доступность 99, 982%) позволила решить ряд важных инфраструктурных задач Тотального диктанта-2018: 
• Оптимизировать загрузку материалов координаторами в разных городах. По условиям Тотального диктанта, доступ к тексту и видеоматериалам открывался не ранее, чем за 1 сутки до акции. За это время координаторы в разных городах (в 2018 году их было 1021) должны были выкачать с ftp-сервера пакеты объёмом около 4 Гб и раздать по своим площадкам. В прошлые годы это создавало большую нагрузку на сайт и высокие риски сбоев. 

Специалисты «Сервионики» предложили три метода скачивания: по протоколам ftp и http, а также с использованием программ для обмена файлами на основе протокола torrent. Третий способ стал самым популярным и снял основную сетевую нагрузку: пользователи фактически скачивали архив друг у друга.
• Оптимальное распределение нагрузки в разных часовых поясах. Диктант проходит в четырёх временных зонах: для Дальнего Востока и Восточной Сибири, для Центральной и Западной Сибири и Урала, для Центральной России и Европы, а также для Северной и Южной Америки. В трёх поясах проходят онлайн-трансляции из крупных городов. В 2018 году трансляцию вели из Дальневосточного федерального университета, для второй зоны – из аудиторий НГУ, в третьей зоне – из 5 точек в Москве, Санкт-Петербурге и Таллинне.
Как и ожидалось, наибольшая нагрузка пришлась на московский часовой пояс: количество обращений к сайту во время проведения диктанта в этой зоне выросло в 5 раз. Момент наибольшей нагрузки был пройден с лучшими показателями по доступности сайта. 
• Оперативное управление нагрузками в пиковые периоды – плановые и внеплановые. Во время проведения диктанта внеплановый пиковый рост числа онлайн-участников был отмечен во второй временной зоне. 

 На основе данных мониторинга, используя инструменты балансировки нагрузки и другой типовой функционал управления облачной платформой, до начала онлайн-трансляции из Новосибирска было оперативно проведено динамическое наращивание виртуальных ресурсов, что позволило обеспечить стабильную работу сайта в этой зоне.

Уникальность проекта

Тотальный диктант за 15 лет превратился из локальной инициативы студентов НГУ в масштабное всемирное событие – один из самых известных образовательно-культурных проектов для популяризации русского языка и литературы. Уже третий год подряд он успешно проводится на облачной платформе и стал ярким примером преимуществ использования российских облачных технологий для масштабных международных проектов. 

Опыт Тотального диктанта показывает, что интеллектуальный анализ данных, параллельно-последовательные вычисления, стабильная работа и оперативное управление вычислительными ресурсами – задачи, для которых облачная инфраструктура подходит в полной мере. 
Опыт применения платформы для масштабных высоконагруженных проектов позволил создать надежную, защищенную, экономичную и легко масштабируемую виртуальную ИТ-инфраструктуру Тотального диктанта, обеспечивая его доступность для участников проекта во всех регионах и часовых поясах. 

«В проект вовлечены лучшие люди и новейшие технологии, это придает уверенности в том, что мы будем готовы к существенному росту участников онлайн-диктанта и пользователей сайта totaldict.ru», – подчеркнула Ольга Ребковец, руководитель проекта «Тотальный диктант».

Опыт Тотального диктанта может быть полезен для проектов во всех отраслях, где ключевой задачей является обеспечение поддержки масштабной виртуальной ИТ-инфраструктуры в условиях пиковых нагрузок в течение длительного времени, в том числе – с обеспечением высокого уровня защиты данных. Примерами таких проектов являются распродажи и другие масштабные маркетинговые акции в ритейле и телекоме, онлайн-трансляции популярных событий культуры и спорта на сайтах СМИ, игровые и образовательные сервисы.

География проекта

Более 1000 населенных пунктов в 76 странах на всех континентах – от Антарктиды до Японии.

Назад к разделу "Публикации"