Netpeak Spider — Легкйи способ увидеть свой сайт так, как его видят поисковые машины

Хочу рассказать тебе о том, как не софтверная компания выпускала софтверный продукт.

Меня зовут Анатолий (друзья и коллеги меня называют Тоха) и я работаю в департаменте R&D одного известного в Украине агентства интернет маркетинга.
Наш департамент разрабатывает много различных внутренних программ для облегчения жизни маркетологам и прочим специалистам из области интернет рекламы и маркетинга. Всего, различных программ для автоматизации и облегчения процессов у нас около сотни. Цель нашей компании — делать добро не только нашим клиентам, а еще и окружающему миру. Поэтому некоторое время назад было принято решение выпускать свои самые полезные продукты в массы и абсолютно бесплатно, на секунду перестать думать о конкуренции и вложить свой, пусть не очень значительный но все же, вклад в развитие индустрии интернет маркетинга. Одной из таких программ был наш «Netpeak Spider».

Идея спайдера появилась год или два назад, уже никто не помнит точно. Один из наших сеошников тогда сказал: «ребята, я хочу видеть сайт так, как его видит поисковой бот» (… а еще хочу мышью открывать окна и чтобы на моем рабочем столе были икноки, не смотря на советскую власть… © Comedy Club) мы подумали, идея оказалась интересной и после некоторого времени обсуждений/составлений тз/проектирования мы принялись писать первую версию.

Первая версия умела (хоть и коряво, но все же) строить карту-граф сайта, искать битые внутренние ссылки и еще много чего (на самом деле уже никто не помнит что именно Спайдер умел делать в первые дни своей жизни). В общем, годы шли, Спайдер рос не по дням, а по часам, некоторые функции убирались, некоторые добавлялись и в январе этого года было принято решение помочь в работе другим SEO специалистам, веб-мастерам и выпустить Netpeak Spider в бесплатный доступ для всех желающих. Было ясно, что для стороннего пользователя нужно отточить весь функционал, избавиться от, хотя бы, большинства багов и нарисовать более-менее привлекательный дизайн. Скажу сразу, что изначально программа предназначалась исключительно для внутреннего пользования, мы ее делали и продолжаем делать для себя.

Итак, с января этого года и по середину июля наш отдел превратился из отдела внутренней разработки агентства интернет маркетинга в отдел внешней разработки софтверной компании, наши QA работали усерднее, дизайнеры рисовали дизайн, были приглашены UI специалисты для проведения аудитов. Мы, в свою очередь, решали все найденные баги, внедряли просчет новых параметров анализа сайта.

Что же у нас получилось?

к 11 июлю у нас была программа, которая просчитывает такие параметры:

1. Глубина – уровень расположения страницы относительно главной.
2. LinkCanonical – определяется наличие атрибута rel=«canonical» и на какой адрес он указывает.
3. Ответ – код состояния HTTP в ответе сервера (200 OK, 301 Moved Permanently, 302 Moved Temporarily, 404 Not Found, 503 Service Unavailable и т.д.).
4. Title – тег «title», расположенный в контейнере «head», который определяет заголовок документа.
5. Description – содержание мета-тега, отвечающего за краткое описание содержимого веб-страницы.
6. Keywords – содержание мета-тега, отвечающего за ключевые слова, встречаемые на веб-странице.
7. robots.txt – определяется, разрешена (allowed) или запрещена (disallowed) индексация страницы поисковыми системами в файле robots.txt.
8. MetaRobots – определяется наличие мета-тега «robots», а также разрешена (index) или запрещена (noindex) индексация страницы поисковыми системами и разрешён (follow) или запрещён (nofollow) переход по ссылкам на данной странице с его помощью.
9. Редиректы – количество перенаправлений со страницы.
10. Заголовки (H1) – количество заголовков первого уровня.
11. Ссылки с этой страницы – количество исходящих ссылок с данной страницы в пределах всего сайта.
12. Ссылки на эту страницу – количество входящих ссылок на данную страницу в пределах всего сайта.
13. Внутренние ссылки – количество ссылок с данной страницы на сканируемый сайт.
14. Внешние ссылки – количество ссылок с данной страницы на другие сайты.
15. PR – расчёт внутреннего показателя PageRank текущей страницы.
16. PR (без сквозных ссылок) – расчёт внутреннего показателя PageRank без учёта сквозных ссылок, которые встречаются более чем на 50% страниц сканируемого сайта.
17. Дубли по Title – определяются группы страниц с дублирующимся тегом «title».
18. Дубли по Description – определяются группы страниц с дублирующимся мета-тегом «description».
19. Дубли по Keywords – определяются группы страниц с дублирующимся мета-тегом «keywords».

Также, был полностью внедрен новый дизайн, добавлен автоапдейт программы, чтобы всегда иметь актуальную версию программы, сверстаны парковочные странички программы, проведен мини-маркетинг.

Что будет дальше?

В ближайших планах:

1. Улучшение производительности для сканирования больших сайтов
2. Возможность сгенерировать xml карту сайта
3. Прогон по существующей карте сайта, поиск ошибок
4. Человекопонятная визуализация карты сайта ( возвращение блудного графа 🙂 )

Резюме

Было проведено много работы, к нашему большому удивлению за первый месяц релиза, программу скачало более 2к человек! SEO не стоит на месте, а значит и инструменты интернет-маркетологов не должны отставать, только полная боевая готовность, только хардкор. Нам, команде разработчиков, интересно мнение хабрасообщества о данном инструменте. Возможно кто-то из вас уже знает и активно использует данную программу, а кто-то давно мечтал о бесплатном и верном помощнике в ежедневной и рутинной жизни SEOшника.
В общем, пользуйтесь и получайте удовольствие.

Налетай!