Как оценить качество пользовательского опыта в области передачи данных?

      На сегодняшний день мобильная связь охватывает 60% населения планеты, при этом 30% составляют абоненты широкополосного мобильного доступа. Объем трафика в мобильных сетях неуклонно растет. Появляются новые области применения. Всё более высокими становятся требования к качеству услуг, предоставляемых мобильными операторами.
      Когда основным сервисом мобильных операторов был “голос”, технологическая оценка сети базировалась на площади радиопокрытия, качестве речи (MOS) и проценте успешных соединений, а абонентская — на возможности “дозвониться” в Новый Год.
      С ростом потребления услуг передачи данных и стремительным развитием онлайн-сервисов, оценка сети, с точки зрения абонента, стала критически важной для операторов. Изменились показатели качества, а сама оценка приобрела новое обозначение — качество пользовательского опыта.
      Данный термин пришел из области разработки пользовательских интерфейсов, где он характеризует субъективную степень удобства получения информации и функционала при использовании сайтов, приложений, программ.
      В разрезе оценки услуг передачи данных качество пользовательского опыта может быть измеримо, так как является совокупностью различных показателей сетевых сервисов таких, как скорость открытия веб-страниц, количество и длительность буферизаций (stalls) при прослушивании аудио или просмотре видео онлайн, временные задержки в сетевых играх, качество голоса и изображения, а также количество “обрывов” в ходе разговора по Skype.

Рисунок 1 Событие буферизации (stall) при просмотре видео

Рисунок 2 “Обрыв” в ходе Skype разговора

      Измерение качества пользовательского опыта является существенной проблемой для операторов, так как в отличие от эпохи “голоса и sms”, оператор не контролирует конечные услуги, предоставляемые сервис-провайдерами. Несмотря на то, что у оператора есть трафик абонента, который может быть полностью проанализирован на сетевом и частично сервисном уровнях, это дает лишь косвенные данные о том, что испытывают абоненты в процессе использования онлайн-сервисов. Увеличение объемов зашифрованного трафика еще больше усложняет решение проблемы. Например, почта, социальные сети, поисковые порталы почти полностью переведены на работу с использованием SSL (Secure Sockets Layer) протокола, а распространение платного контента заставляет сервис-провайдеров использовать различные DRM (Digital Rights Management) технологии. В результате только сервис-провайдеры обладают конечной информацией о пользовательском опыте.
      Потребность оператора в получении данных о качестве пользовательского опыта обуславливается еще и тем, что в силу вступает закон о MNP (Mobile Number Portability), который регулирует механизм сохранения номера абонента при переходе от одного оператора к другому, и информация о том, насколько “счастлив” абонент, может стать ключевым индикатором при борьбе с оттоком (churn).
      Компания ViGO, сфокусированная на создании инновационных продуктов в области оптимизации, управления и тарификации трафика мобильных сетей, разработала методику сквозного мониторинга пользовательского опыта – UXZoom. Методика позволяет детально оценить пользовательский опыт и определить факторы, влияющие на его качество, на всем пути доставки услуги — от серверов поставщика сервиса до абонента.
      На данный момент пользовательский опыт при просмотре видео является самым наглядным индикатором качества работы сети для абонента. По этой причине, методика нацелена, прежде всего, на мониторинг доставки видео.
      UXZoom дает исчерпывающие результаты анализа пользовательского опыта услуги передачи данных благодаря непосредственной интеграции с ведущими сервис-провайдерами и инфраструктурой мобильного оператора. Методика базируется на сборе и корреляции в режиме реального времени следующей информации:

• от онлайн-сервисов — событий качества доставки (буферизации (stalls)), действий абонентов (play, stop, pause, и др.), метаданных по контенту (качество, длительность, и др.), индикации о работе серверов сервис — провайдеров;
• от инфраструктуры мобильного оператора — данных по загрузке базовых станций, радиоусловий абонентов, их тарифов, местоположения и другой сетевой информации.

      На рисунке 3 представлены уровни возможного анализа и оценки пользовательского опыта с помощью UXZoom:

Рисунок 3 Уровни оценки пользовательского опыта с помощью методики UXZoom

      Методика позволяет оператору посмотреть на качество услуги передачи данных с точки зрения абонентов и ответить, например, на следующие вопросы:

• Как часто просмотр видео происходит “удачно*”?
• Сколько времени абоненты проводят в состоянии буферизации?
  и
  Какое количество абонентов отказалось от дальнейшего потребления контента по этой причине?
• Какое качество контента наиболее востребовано в сети?
• Сколько процентов скачанного контента действительно смотрят?
• В каком районе города и в какое время суток наиболее высокий спрос на объемный контент?

* — Просмотр считается “удачным” при следующих условиях:
a) Суммарная длина буферизаций при просмотре не превышает 1/100 длины видео (исключая буферизацию при открытии видео)
b) Видео не было остановлено (закрыто) пользователем во время буферизации (video drop)

      Более того, UXZoom позволяет оператору произвести анализ и выявить причины плохого качества услуги передачи данных на основе определения:

• Радиоусловий абонентов;
• Загрузки базовых станций;
• Проблем на стороне поставщика сервиса;
• Характеристик контента;
• Тарифов абонентов и их ограничений,

и прочего.
      У оператора появляется возможность учитывать данные о качестве пользовательского опыта в сети при обращении клиентов, радиопланировании или анализе эффективности работы абонентских устройств.      Ниже представлены примеры результатов анализа пользовательского опыта в мобильных сетях, полученные при помощи методики UXZoom за октябрь 2013 года в г. Москва.

• При анализе качества пользовательского опыта в часы наивысшей нагрузки (ЧНН) с 18 до 21 часа у абонентов оператора Yota 4G (Скартел) качество оказалось лучше, чем у абонентов других операторов — приблизительно 64% всех просмотров онлайн-видео контента были “удачными*”, у абонентов МТС — 43% удачных просмотров. Количество анализируемых просмотров составило 741345.

• Средний битрейт «удачнопросматриваемого» видео в сети МТС – 1100Kbps (качество контента – SQ (Standard Quality)), в сети Yota 4G — 1450Kbps (качество контента – SQ).
• Максимальный битрейт успешных просмотров в сети Yota 4G – 5000Kbps (качество контента – HD).
• Абоненты 50% базовых станций, которые по данным мониторинга находятся в congestion (перегрузке), могут не испытывать плохого пользовательского опыта.
• До 15% “мусорного” видео-трафика генерируется на 3-4-х минутных роликах с раздачей Progressive Download.
  Объем “мусорного” трафика рассчитывается путем сложения размеров всех закачанных, но не просмотренных в плеере видео буферов.
• До 45% случаев плохого пользовательского опыта происходят не по вине оператора.

      Ежеквартальные отчеты ViGO по качеству пользовательского опыта в мобильных сетях России — сoming soon!

Антон Прокопенко
Руководитель развития продуктов и интеграций
VIGO