Инструменты для A/B-тестирования iOS-приложений

В данной статье я рассмотрю несколько инструментов для A/B-тестирования мобильных приложений с примерами и дам их краткую характеристику. Для успешного проведения тестирования также необходим сервис для аналитики, в котором можно сравнивать результаты. Независимые сервисы аналитики мы сегодня рассматривать не будем, но затронем те возможности, которые есть внутри инструментов, о которых пойдет речь.

Что такое A/B-тестирование?

A/B-тестирование — метод сравнения двух или более вариантов представления элементов сайта или мобильного приложения между собой с целью определить лучший из них и принять в качестве искомого в дальнейшем, чтобы в конечном итоге улучшить UX. Части пользователей демонстрируется версия сайта с одним расположением элементов на экране, остальным – с другим. Сравнение нескольких вариантов проводится одновременно в один и тот же период времени. Если вы подумываете о том, чтобы внедрить A/B-тестирование у себя на проекте, рекомендую почитать статью с массой полезных ссылок — от помощи в составлении тестов до оценки результатов. А вот в этом материале разобраны распространенные ошибки: недостаточно продолжительный промежуток времени для A/B-тестирования, пересечение экспериментов между собой, малая база пользователей и так далее.

A/B-тестирование мобильных приложений

Существует большое количество сервисов, позволяющих проводить A/B-тестирование сайтов, но если вы хотите использовать данный метод на мобильных приложениях, то здесь тоже есть из чего выбрать. Необходимый минимум для такого рода сервисов состоит из создания переменных и распределения их между аудиторией. На разработчиках приложения лежит обязанность правильно интерпретировать эти переменные: прямая замена текстовых и числовых данных в приложении, модификация интерфейса на основании значений.

В некоторых сервисах есть удобный визуальный редактор, позволяющий без изменения приложения создавать различные вариации. Но функциональность таких редакторов всё-таки сильно ограничена, с помощью них, например, не получится изменить интерфейс какого-то экрана так, чтобы при других модельных данных этот экран отображался стандартным образом. Для фреймворка это будет один и тот же экран, и изменения будут применяться повсеместно.

Перед нами стояла задача сравнить как текстовые варианты переменных (тексты ошибок, подсказок), так и изменение интерфейса приложения (например, наличие бокового меню и таббара). Из этого исходили при составлении нашего шорт-листа инструментов для A/B-тестирования. Все сервисы, о которых пойдет речь дальше, предоставляют SDK для iOS и Android, c Windows Phone сложнее, в этом случае использование сервисов возможно через HTTP-запросы.

Apptimize

apptimize.com

Есть три способа для создания варианта A/B-тестирования:

Визуальный (создается с помощью визуального редактора).
Позволяет в режиме реального времени с помощью визуального редактора изменить атрибуты элементов интерфейса (текст в UILabel, изображение в UIImageView). Измененное состояние будет новым вариантом:

Блоки кода.
Позволяет варьировать выполнение операций, например:

[Apptimize runTest:@"Dummy test" withBaseline:^{    //Базовая конфигурация  } andVariations:@{@"variation1": ^{     //Альтернативная конфигурация }}];

Динамические переменные.
Варианты формируются в зависимости от разных значений. Переменные объявляются вне класса с помощью макросов
```
ApptimizeString(name, value), ApptimizeInt(name, value), ApptimizeDouble(name, value), ApptimizeBoolean(name, value), ApptimizeArrayOfStrings(name, value), ApptimizeDictionaryOfStrings(name, value), ApptimizeArrayOfInts(name, value), ApptimizeDictionaryOfInts(name, value), ApptimizeArrayOfDoubles(name, value) ... 
```
Альтернативные значения переменных задаются через веб-сайт. Например:
```
ApptimizeString(screenName, @"стандартное значение"); 
```
При создании вариантов есть возможность выбрать базу пользователей для тестирования.

Фреймворк позволяет логировать события:
```
[Apptimize track:@"event name"]  [Apptimize track:@"event name" value:<double value>]  
```
Также возможна агрегация событий других сервисов аналитики: Google Analytics, Mixpanel, Flurry, Localytics, Omniture.

Цена и количество пользователей: есть ограниченная бесплатная версия, 300$/месяц до 100 000 пользователей, выше — не указано.

Optimizely

optimizely.com

Сервис предоставляет те же три способа создания вариантов:

Визуальный

Блоки кода

[Optimizely codeBlocksWithKey:myCheckoutBlocksKey                        blockOne:^{ 	// Первая конфигурация     }                        blockTwo:^{ 	// Вторая конфигурация    }                    defaultBlock:^{ 	// Базовая конфигурация    }];

Переменные
```
OptimizelyVariableKeyForString(screenName, @"Hello"); 
```
Как видим, возможности c Apptimize идентичные. На первый взгляд, визуальный редактор Optimizely чуть менее функционален. Optimizely возможно интегрировать с Fabric, но сервис имеет достаточно скудный инструмент для аналитики.

Цена и количество пользователей: цены не указаны, есть ограниченная бесплатная версия.

Mixpanel

mixpanel.com

Трекинг событий:

[mixpanel timeEvent:@"Загрузка изображения"]; // Временное событие [self uploadImageWithSuccessHandler:^{     [mixpanel track:@"Загрузка изображения"]; }];

Переменные в Mixpanel называются твиками (tweaks). Для получения твика используется макрос MPTweakValue:

if( MPTweakValue(@"Выполнить альтернативную конфигурацию", NO) ) {     // Выполнить альтернативную конфигурацию } else {     // Выполнить стандартную конфигурацию }

Есть биндинг значений для изменения параметров на лету:

MPTweakBind(self.label, text, @"label text", @"Hello World");

Применяется в случае, если при нахождении пользователя на экране нужно динамически менять значения переменных (иными словами реализуется KVO для них).

Инструменты аналитики в Mixpanel достаточно хорошие, есть возможность выстраивать сложные фильтры, при этом используя дополнительные атрибуты, отправляемые с устройств.

Визуальный редактор есть, но работает не очень стабильно и часто «отваливается».

Цена и количество пользователей: можно выбрать вариант по количеству пользователей, либо по количеству событий за месяц. Например, 100 000 пользователей обойдутся в 250$, или за 350$ 2 миллиона событий.

SplitForce

splitforce.com

Здесь есть работа с блоками:

[[SFManager currentManager] experimentNamed:@"Имя эксперимента"                         applyVariationBlock:^(SFVariation *variation) { 	//Альтернативная конфигурация } applyDefaultBlock:^(NSError *error) { 	//Базовая конфигурация }];

И возможность отслеживать время событий:

-(void)timedResultNamed:(NSString *)name;

Визуального редактора нет, агрегации аналитики тоже. Встроенная аналитика достаточно удобная.

Цена и количество пользователей: цены сопоставимы с прочими сервисами, например, 369$ за 150 000 пользователей.

Amazon

developer.amazon.com/appsandservices/apis/manage/ab-testing

Главным преимуществом перед аналогами является его бесплатность. Для того, чтобы использовать функциональность A/B-тестирования от Amazon, необходимо добавить в проект фреймворк Amazon Insights.

SDK предоставляет только «ручной» режим работы с проектами A/B тестирования:

[self.abTestClient variationsByProjectNames:[NSArray arrayWithObject:@"Имя проекта"]                           withCompletionHandler:^(id<AIVariationSet> variationSet, NSError* error) {  			//Меняем что-либо исходя из данных в переменной variationSet                           }];       // Логирование события     id<AIEvent> level3Start = [self.eventClient createEventWithEventType:@“Тип события"];     [self.eventClient recordEvent:level3Start];

На мой скромный взгляд, интерфейс слегка примитивный, но может, это и к лучшему.

Общие выводы

Все сервисы кроме Amazon платные, что в некоторых случаях может стать преградой для запуска A/B-тестирования на проекте.
Все сервисы достаточно просты в использовании, внедрение в существующее приложение занимает минимум времени.
Все сервисы работают асинхронно, поэтому не стоит ожидать моментальных откликов при низкой скорости соединения с интернетом.
Некоторые из сервисов предлагают визуальный редактор. На практике, по моему мнению, вещь не так часто используемая.
Те SDK, которые представляют доступ к переменным через макросы, ограничивают себя в использовании. Внутри макроса нельзя задать динамическое значение, следовательно, получать те или иные значения. Таким образом, слегка затрудняется A/B-тестирование на сущностях, представленных в приложении большим количеством: либо придется перечислить все возможные переменные, либо получать в одной переменной данные по сущностям и разбирать значение на составляющие.

Сводная таблица

Название сервиса	Удобство встраивания (1-5 баллов)	UI-редактор (1-5 баллов)	Аналитика (1-5 баллов)	Цена за месяц	Поддержка (1-5 баллов)	Общий балл
Apptimize	4	5	4	300$ за 100 000 пользователей	4	17
Optimizely	4	3	3	Не указано	3	13
SplitForce	3	0	3	369$ за 150 000 пользователей	4	10
Mixpanel	5	4	5	250$ за 100 000 пользователей или 2 миллиона событий за 350$	5	19
Amazon A/B Testing(Beta)	3	0	4	Бесплатно	3	10

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

ссылка на оригинал статьи https://habrahabr.ru/post/276489/