Почтовая система VK WorkSpace в собственном дата-центре: архитектура, миграция с Exchange, внедрение и эксплуатация

Развертывание корпоративной почты — задача «со звездочкой» для любого ИТ-специалиста. Надо гарантировать, что решение выдержит нагрузки, позволит подключить нужное количество пользователей, «не ляжет» в самый ответственный момент, не потеряет данные и позволит переехать с другой почтовой системы. Это непросто и выбора среди подобных инструментов немного — особенно с учетом того, что большие  компании часто выбирают развертывание почтовой системы в своей локальной инфраструктуре. 

Но варианты почтовых систем даже под такие запросы есть. Один из них — VK WorkSpace. 

Привет, Хабр. Меня зовут Павел Бухтияров, я руководитель команды Почта, VK WorkSpace. В этой статье я познакомлю вас с нашим решением, расскажу о его функциях и том, что находится «под капот» системы.

Немного о VK WorkSpace

VK WorkSpace — коммуникационная платформа для бизнеса от VK Tech.

В рамках платформы пользователям доступен ряд решений, среди которых:

• корпоративная почта с календарем и адресной книгой;

• мессенджер с чатами, каналами, обсуждениями и задачами;

• видеоконференции с возможностью модерации;

• облачное хранилище;

• оргструктура.

Платформу можно использовать как в облаке (SaaS), так и разворачивать на собственных мощностях компании (On-premises).

В рамках этой статьи подробнее остановимся именно на обзоре корпоративной почты, разворачиваемой локально, ее архитектуре и функциях, которые помогают крупному бизнесу организовать корпоративные коммуникации. 

Корпоративная почтовая система VK WorkSpace

Корпоративная почтовая система VK WorkSpace — решение для построения надежной и отказоустойчивой электронной почты для бизнеса. Продукт предназначен для делового общения: согласования документов, закрепления договоренностей, обмена файлами между коллегами.. 

Почтовая система VK WorkSpace предоставляет функции и возможности:

• почты;

• календаря;

• адресной книги;

• хранилища файлов-вложений.

С точки зрения администрирования «под капотом» почтовая система VK WorkSpace предлагает удобные инструменты управления и обслуживания корпоративной почты, а также обеспечивает интеграции с внешними системами, в том числе с инструментами обеспечения информационной безопасности.

Теперь подробнее об основных компонентах и нюансах.

Почтовые ящики

Почтовая система VK WorkSpace позволяет создавать как персональные, так и общие почтовые ящики в рамках корпоративного домена. 

Для удобства пользователей в почте реализован ряд важных и удобных функций. Среди них:

• возможность предоставления доступа к персональным ящикам и отдельным папкам;

• общие почтовые ящики и отправка от выбранного имени;

• сохранение черновиков;

• пересылка писем и сбор писем из других почтовых ящиков;

• личные контакты и объединение их в группы;

• напоминания об ответе для писем;

• поиск писем по различным критериям;

• адресная книга домена/организации;

• функции фильтрации с гибкой настройкой отображаемых писем, а также возможность их сортировки по папкам;

• настраиваемые шаблоны и подписи к письмам;

• автоответчик, который можно активировать, например, на время отпуска;

• уведомления о прочтении писем;

• отложенная отправка;

• отзыв и замена письма.

Календари

Календарь — базовый инструмент для организации командной работы и планирования рабочих задач, который помогает не забывать о намеченных планах.

В рамках VK WorkSpace пользователям доступны:

• персональные календари;

• функция общего доступа к календарям, которая нужна для планирования совместной работы отделов, подразделений и даже небольших команд;

• помощник планирования с отображением статусов free/busy, который позволит найти время для встречи, подходящее всем участникам;

• планирование регулярных встреч;

• видеоконференции: аудио- и видеозвонки;

• вложения в события и их описание;

• настройка режимов отображения сетки событий (день/неделя/месяц).

Архитектура Почты VK WorkSpace

Почта VK WorkSpace имеет модульную архитектуру, базируется на Docker и Docker Compose. При этом решение может инсталлироваться в любые окружения клиентов — как на физические сервера, так и на виртуальные машины.

Классическая кластерная инсталляция почтовой системы строится на 8 нодах, что позволяет гарантировать максимальную отказоустойчивость даже при развертывании в одном дата-центре.

Компоненты архитектуры решения вынесены на разные слои и «зонированы» — базы данных, хранилища и фронтенд отделены. Такая реализация позволяет легко масштабировать инструмент под любые нагрузки и количество пользователей. В случае скейлинга узлы БД и фронтенд масштабируются кратно двум, а хранилища — кратно трем.

Балансировщик в состав решения не входит — каждая компания может выбрать тот инструмент, который уже использует.

Алгоритм работы компонентов следующий:

• запрос пользователя попадает на балансировщик;

• балансировщик перенаправляет запрос соответствующему фронтенду;

• компоненты фронтенда напрямую обращаются к хранилищам писем и вложений, и к БД.

Примечательно, что «под капотом» у этой архитектуры типовая топология с довольно распространенными компонентами и модулями, которые мы можем интегрировать с:

• другими почтовыми сервисами (для синхронизации данных); 

• антиспам- и антивирусными защитами;

• DLP-системами и другими решениями.

Таким образом, зачастую внедрить корпоративную систему VK WorkSpace в ИТ-ландшафт компании можно, не меняя всё то, что стабильно работает.

Катастрофоустойчивость Почты VK WorkSpace обеспечивается за счет размещения в трех дата-центрах. Такая реализация позволяет пережить даже полную потерю одного из ЦОДов практически без влияния на пользователей — для условного сотрудника за компьютером ничего не изменится. Примечательно, что возможность обеспечить такой уровень устойчивости есть в архитектуре «из коробки». 

Реализация хранилища

Хранилище Почты VK WorkSpace построено на собственных разработках, включая СУБД Tarantool. При этом для задач хранения писем в системе можно использовать даже низкопроизводительные диски, что может сильно уменьшить стоимость хранения данных. 

Диски разделяются на пары, а информация пишется в две точки — с автоматической репликацией с мастера на реплику. Более того, диски подключаются слоями — второй слой подключается только после того, как диски первого слоя будут заполнены. 

За счёт разнесения дисков в составе дисковой пары по разным ЦОДам, при потере одного дата-центра (dc1 или dc2) пользователь не теряет данные и доступ к ним, так как в другом работоспособном дата-центре есть их рабочая копия.

Аналогично, если из трех виртуальных машин, выделенных под хранилище с подключенными дисками, одна ВМ аварийно отключится, хранилище автоматически перестроится и запись будет выполняться в любую свободную и доступную на этот момент пару.

Таким образом всегда есть пара на запись и все пары доступны для чтения — то есть, пользователь может прочитать все письма, поступившие до аварии, и получать новые.

Авторизация с LDAP

Мы стремимся поддерживать разные каталоги пользователей, которые уже есть в ИТ-ландшафтах клиентов. Среди прочего, у нас уже реализована поддержка ALD Pro, РЕД АДМ, FreeIPA, Samba DC и ряда других решений. 

В плане поддержки Active Directory Почта VK WorkSpace работает с двумя протоколами — LDAP и LDAPS, с получением импорта пользователей из каталога пользователей, и сервисом авторизации посредством протоколов LDAP и LDAPS непосредственно в нашу почту.

Внедрение и эксплуатация

Теперь о том, что касается внедрения и эксплуатации почтовой системы VK WorkSpace в компании. 

Мы стремимся, чтобы переход компаний на наше решение было максимально бесшовным и комфортным как для ИТ-специалистов компаний-клиентов, так и для конечных пользователей нашей почты. Для этого мы реализовали много функций и решений для закрытия разных потребностей.

Например, в части «технического» управления и администрирования для развертывания и настройки корпоративной почты это:

• подсистема развертывания с графическим интерфейсом;

• графическая консоль для прикладных администраторов;

• интеграция с Active Directory и LDAP каталогами;

• возможность настройки транспортных правил для входящих и исходящих писем;

• инструменты для назначения квот на ящики и лимитов памяти для них.

Для упрощения миграции на наше решение мы предоставляем:

• готовую методологию миграции;

• встроенные средства миграции писем и календарей из Microsoft Exchange;

• двухстороннюю синхронизацию с Microsoft Exchange на период перехода;

• возможность массового импорта пользователей.

Чтобы пользователи могли реализовать нужные меры в части информационной безопасности, в почтовой системе VK WorkSpace доступны:

• интеграция с антивирусной-, DLP-, SIEM-системами;

• встроенные средства резервного копирования;

• API для внешних систем резервного копирования;

• журналирование событий.

При этом важно, что почтовая система VK WorkSpace имеет кластерную архитектуру, построенную на контейнерах, что существенно упрощает масштабирование решения и выстраивание катастрофоустойчивых конфигураций.

Миграция на Почту VK WorkSpace

Обычно миграция с одной почтовой системы на другую — довольно длительный процесс. Условно его можно разделить на 6 больших этапов, которые, в зависимости от масштаба компании и объема «почтовых данных» могут занимать от нескольких недель до нескольких месяцев. 

В Почте VK WorkSpace «из коробки» есть подсистема миграции, которая поддерживает два протокола: ActiveSync и IMAP. При этом поддерживается два режима миграции:

• one time миграция — одномоментный перенос всех писем, папок и почтовых ящиков;

• режим сосуществования — одновременное использование сразу двух платформ с синхронизацией данных и постепенным переходом на новую почтовую систему.

Мы можем поддерживать режим сосуществования длительное время — это важно, когда компаниям предстоит переносить терабайты данных. Причем, поскольку мы работаем с двусторонними протоколами, обмен данными возможен и в обратном направлении. Как результат — после миграции исходную платформу можно начать использовать в качестве резервной для реплицирования данных.

Почтовая система VK WorkSpace поддерживает как персональную, так и массовую миграцию — то есть переключать сотрудников на новый сервис можно целыми командами или сразу всей компанией. Одновременно мы поддерживаем и стратегию self-hosted-миграции, при которой каждый конкретный специалист сам решает, когда мигрировать на новое решение. 

Механизм миграции писем и календарей 

Кроме переноса почтовых переписок и данных с почты пользователей, для Microsoft Exchange Почтовая система VK WorkSpace также поддерживает синхронизацию и миграцию календарей и событий в них. То есть, пользователи могут перейти на новую систему без потери контроля над собственными бизнес-процессами, задачами и планами.

Как и в случае с почтовыми ящиками, поддерживается два режима миграции:

• one time миграция — одномоментный перенос календарей;

• режим подписки через ES/GS и EWS-протоколы (сосуществования) — одновременное использование сразу двух календарей с синхронизацией записей и постепенным переходом на новый календарь.

В обоих случаях конечные пользователи не «выпадают» из рабочих процессов — они также могут следить за событиями, планировать встречи, создавать записи и выполнять другие операции в календарем. Причем как пользователи, использующие новый календарь, так и пользователи, использующие старый инструмент, остаются в едином рабочем пространстве. То есть миграция не нарушает бизнес-процессов.

Система мониторинга Почты VK WorkSpace

В Почте VK WorkSpace «из коробки» доступна собственная система мониторинга. Она строит наглядные дашборды через АдминПанель самого почтового сервиса. Этого достаточно для базового администрирования почтовой системы.

Помимо этого, VK WorkSpace позволяет выгружать метрики и данные почты во внешние инструменты мониторинга, которые уже используются в компаниях (например, в Grafana), чтобы агрегировать всю аналитику в одном рабочем пространстве.

Административная панель почты VK WorkSpace

Теперь немного погрузимся в детали работы с почтовой системой VK WorkSpace со стороны администратора.

Установка почты осуществляется с помощью дистрибутива, который можно развернуть на одной из поддерживаемых операционных системах (детальнее об этом можно прочитать в документации). Инсталляция начинается с установки серверов для последующего деплоя подсетей и контейнеров, отвечающих за те или иные функциональности. При этом весь процесс разделен на несколько этапов, и администратор может через панель настраивать каждую машину, что позволяет гибко адаптировать решение под свои задачи и особенности развертывания.

Архитектура развертываемого решения может быть либо монолитной, либо распределенной (распределенная инсталляция предполагает наличие минимум восьми гипервизоров).

В процессе подготовки к инсталляции администратор может настроить:

• подсеть, используемую почтой на хостах;

• подсеть, используемую внутри контейнеров;

• DNS-сервера;

• доменные имена (как для сервисов почты, так и для облачных хранилищ);

• SSL-сертификаты, покрывающие принятые домены;

• хранилища (если ничего не указать, почта будет хранить данные внутри контейнеров, то есть на ВМ или физических серверах);

• шардирование и репликацию, определить кластера для размещения мастеров и реплик;

• компоненты в части авторизации, адресной книги, ограничений доступа, политик изменения паролей, почтового транспорта, системы учета действий пользователей и не только;

• интеграцию с продуктами VK Teams, редакторами, сборщиком почты, внешними хранилищами и другими сервисами;

• переменные окружения, через которые можно тонко настраивать работу всех компонентов VK WorkSpace.

После установки почты администратор может через административную панель осуществлять уже верхнеуровневое управление. Здесь можно:

• создавать и импортировать пользователей;

• назначать администраторов;

• отслеживать состояние сервера;

• управлять почтой в части оформления, размера ящиков, квотирования, адресной книги;

• управлять миграцией, рассылками, ограничениями, файловыми хранилищами;

• пользоваться внутренней системой мониторинга для построения дашбордов;

• просматривать отчеты по использованию сервисов;

• создавать транспортные правила и решать другие задачи администрирования почтового сервиса.

Вместо выводов

Почтовая система VK WorkSpace в On-premises инсталляции разработана с фокусом на потребности крупных компаний. Поэтому в продукте сделан особый акцент на безопасность, отказо- и катастрофоустойчивость, функциональность, легкость внедрения и автоматизированную миграцию с российских и западных аналогов. Почта VK WorkSpace может гибко настраиваться на стороне клиента с учетом индивидуальных особенностей и запросов бизнеса. Вместе с тем, при переходе на решение VK WorkSpace клиентам предлагаются прозрачные условия и удобные инструменты для последовательной миграции корпоративной почты с сохранением непрерывности бизнес-процессов.