Группировка ключевых слов в контекстной рекламе

Группировка ключевых слов

Работа специалиста по контекстной рекламе тесно связана с обработкой солидных объемов данных. Дело не только в аналитике и обслуживании рекламных кампаний. Чтобы подготовить коммерческое предложение, прикинуть бюджет или стартовать кампанию для среднего клиента — необходимо «перелопатить» 1000-5000 ключевых слов.

Одним из самых трудозатратных элементов работы является группировка данных.

Например, на входе у нас может быть такой набор ключевых:

• отдых в турции
• отдых в болгарии
• отдых в греции
• отдых в египте
• отдых в черногории
• отдых на кипре
• туры в болгарию
• туры в испанию
• туры в таиланд
• отдых на мальдивах
• отдых в хорватии
• виза в китай
• отдых в оаэ
• отдых на кубе
• отдых в италии
• туры на кубу
• туры в хорватию
• и еще несколько сотен/тысяч строк …

Нам нужно сгруппировать их и превратить в что-то подобное этому:

Группировка нужна для того чтобы клиент решил какие группы он будет продвигать, распределить бюджет и выбрать стратегию работы по ставкам и еще много для чего.

Если ключевых слов несколько десятков — группировку можно сделать вручную. Если сотни — поможет Excel. Конечно, можно использовать группировку в Adwords, но там ключевые группируются не вполне адекватно. Впрочем, дело не только в адекватности группировки, но и в объемах. Если у вас уже есть несколько тысяч ключевых слов, то группировка в Adwords вам не поможет.

В общем, хорошим выходом является наработка собственных инструментов автоматизации работы. Сказано-сделано. Подготовил обстоятельное ТЗ и через несколько дней, благодаря нашему PHP-программисту, скрипты были готовы.

Как работает группировщик.

У нас есть некий набор ключевых слов:

• египет в мае
• отели в турции кемер
• туроператор турция
• карта отелей египта
• туроператор черногория
• лучшие отели кемера
• цены в турции
• отели кемера 5
• турправда египет
• отель праги
• самые лучшие отели турции
• турция кемер отели
• туризм в турции
• отели египта 5 звезд
• отели кипр
• отели турции кемер 5
• экскурсии египет
• горячие путевки в египет
• египет шарм эль шейх отели
• египет путевки
• события в египте
• отель прага
• египет хургада отели
• отели в хургаде
• шарм эль шейх египет
• поездка в турцию
• туроператор болгария
• онлайн бронирование отелей
• турция отели цены
• отели алании
• стоимость путевок в египет
• фото отелей египта
• отели египта хургада
• лучшие отели турция
• путевки египет
• туроператор по болгарии
• … и т.п.

Скрипт группировки, использует Mystem Яндекса. Здесь нужно отметить, что использование Mystem вообще-то необязательно, кеи можно группировать и так, но с Mystem получается все-таки лучше, несмотря на некоторые «приколы» связанные с излишней или даже — некорректной нормализацией.

Далее — группировщик считает частоты (сколько раз отдельное слово встречается в документе) для всех слов коллекции и выставляет рейтинг. Частоты считаются для каждого отдельного слова. Т.е. если у нас есть «отдых турция» — то группировщик считает частоты и для «отдых» и для «турция».

Изначально, при настройке группировщика нужно задать пороговое значение частот для групп и подгрупп. Иными словами — если частота слова ниже чем задано изначально, такое слово не может создать «свою» группу или подгруппу.

Рейтинг выстраивается от наиболее частотных слов к менее частотным. По сути, этот рейтинг наиболее встречающихся слов и есть — названия групп. Т.е. если слово «турция» встречается чаще слова отдых — «отдых турция» будет отнесено к группе «турция».

Мы будем группировать ключевые слова по группам и подгруппам — первый подсчет рейтинга по частоте встречаемости отдельных слов помогает сформировать группы и распределить ключевые слова среди них.

В нашем случае мы получили следующую группировку:

Получились группы, содержащие довольно много слов и на следующем этапе нам необходима более детальная группировка.

Нужно понимать, что все эти действия происходят на уровне скрипта. Для пользователя же все просто: добавил файл со списком слов -> получил файл со сгруппированными данными.

Важное дополнение. Скрипт не просто группирует некий список слов вида «одно ключевое слово на каждой строке». Исходный файл может быть представлен в виде tsv с любым набором параметров (обычно это частоты поискового спроса для конкретного региона и средние ставки — т.е. все те данные что можно получить в подсказке ключевых слов Adwords. Т.е. мы можем группировать слова сразу со всеми необходимыми данными, чтобы потом не возится с ВПР.

Для создания подгрупп точно так же строится рейтинг по частоте слов, но с некоторыми оговорками. Во-первых, в подсчете рейтинга не принимает участие основное слово группы.

Т.е. если подсчет частот идет для группы «отдых» то в группе рассчитывается рейтинг для всех слов кроме слова «отдых».

Во-вторых, при выстраивании рейтинга внутри группы скрипт принимает во внимание изначально заданное минимальное значение частоты слова. Т.е. если в настройках скрипта мы сообщили что не хотим чтобы слово встречающееся в группе меньше трех раз создавало свою подгруппу, то такое ключевое слово будет вынесено в отдельную подгруппу «Прочее». В дальнейшем я поясню почему такая тактика дает наилучший результат.

В-третьих — рейтинг внутри группы выстраивается по обратной частотности. Т.е сперва создаются подгруппы для слов обладающих наименьшей частотностью. Мы помним, что в настройках задали минимальное пороговое значение частот для групп и подгрупп.

Почему так? Такой подход отлично работает когда исходный список содержит много кеев состоящих из трех и даже четырех слов. Если группировать по частотности, вы получите очень мало подгрупп содержащих слишком много слов. Если же начать построение подгрупп с наименьших частот — на выходе получаем более детальную группировку.

В результате получаем список с разделением на группы и подгруппы:

В общем-то, на этом можно было бы поставить точку, но внимательный читатель должен задать вопрос: «А что случилось с теми словами, частоты которых оказались ниже порогового значения и которые не смогли создать свою подгруппу»? Все эти слова попали в подгруппу «Прочее». Например:

Эти слова можно и нужно использовать в работе. Но их сложно группировать автоматически. В эту подгруппу попадают слова с ошибками, состоящие из редких терминов и подобное.

Ключевые слова из «Прочее» нужно перебрать вручную и подобрать им подходящие подгруппы. Здесь, к сожалению, не обойтись без ручной работы. Все равно — группировщик экономит уйму времени, а перебрать с два-три десятка ключевых слов попавших в «Прочее» — совсем несложно.

P.S. Группировщик помогает сгруппировать слова, но делает это немного «грубо». Что и не удивительно так как в расчет принимается лишь частотность слов. Полученные группы можно будет свести вручную. Однако благодаря группировщику — нужно всего лишь обработать и свести группы с похожими по смыслу словами, а не пытаться разобраться в сотнях/тысячах строк разнородных ключевых слов.