Великая борьба с программами-обертками

Не секрет, что в современном мире проблема нежелательного и вредоносного ПО встает все более и более остро. Ботнеты различного назначения, локеры, adware…
Разумеется, многие пытаются с этим бороться. Я работаю на одного регионального провайдера, и мы тоже проводим политику пассивного предупреждения пользователей, продвигаем антивирусы и культуру использования интернета. В конце концов нам же лучше, если у клиента все работает быстро и адекватно.
С недавних пор к этому подключились и поисковики. Под катом занимательная история о том, как мы стали жертвой этой борьбы, а также повод задуматься, к чему это все может привести.

Только закончилось лето, ничто, как это обычно бывает, не предвещало беды. Внезапно приходит письмо от Яндекса следующего содержания:

На страницах сайта *****.ru обнаружены ссылки на файлы или программы, к которым добавлено дополнительное программное обеспечение. Таким образом, вместе со скачанным файлом на компьютер посетителя могут быть установлены дополнительные программы — безопасные или сомнительные.
В настоящий момент сайт выводится в результатах поиска с пометкой «Будьте осторожны при скачивании файлов с этого сайта».

Пожалуйста, удалите ссылки на скачивание таких файлов. Если при новой проверке они не будут обнаружены, пометка в результатах поиска будет снята.

Домен, о котором идет речь — наш небольшой форум. Мы никак его не продвигаем, это просто место для общения абонентов друг с другом на различные темы.
Первая мысль — поломали! Вторая мысль — кто-то из юзеров выложил что-то нехорошее. Тут же начинаем проверку — просматриваем код страницы, смотрим последние форумные вложения… И ничего не находим. Пишем в саппорт Яндекса с вопросом что, собственно, происходит, довольно быстро приходит ответ, который нас несколько ошарашил и привел к возникновению следующей переписки.

Яндекс:

На Ваш сайт поступают жалобы от пользователей на скачивание нежелательных исполняемых файлов. Как только жалобы прекратятся, пометка автоматически исчезнет. Мы не рекомендуем использовать партнерские программы, которые вызывают у Вас сомнения.

Наше отношение к некачественным файлам описано на следующих страницах:

blog.yandex.ru/post/81042
habrahabr.ru/company/yandex/blog/226817
company.yandex.ru/rules/distribution

Мы:

Мы не используем никаких партнерских программ. Мы также не распространяем никаких исполнямых файлов, это просто местечковый форум провайдера.
Прошу указать ссылки на файлы, которые послужили причиной предупреждения.

Яндекс:

Пример некачественной страницы приводим: http://*****.ru/viewtopic.php?f=15&t=3503 .

Мы:

Не вижу на этой странице ни единого файла. Имеется в виду размещение ссылки на какой-то другой форум в первом сообщении этой темы? Тогда каким образом «нежелательные исполняемые файлы» вдруг превратились в «ссылки на другие ресурсы»? И как мы можем контролировать содержимое другого ресурса?

Яндекс:

Для того, чтобы избежать появления предупреждения возле Вашего сайта *****.ru, нет необходимости контролировать сторонние ресурсы, нужно лишь уберечь посетителей Вашего сайта от некачественного контента. Если пользователь перейдет с поисковой выдачи на Ваш сайт и после нескольких переходов загрузит обертки, то Ваш сайт будет отображаться с предупреждение в поисковой выдаче.

Мы:

Другими словами — если человек на форуме (блоге, личном сайте и т.п.) разместит ссылку на какой-то ресурс с которого можно скачать «нежелательные исполняемые файлы», то при поиске в яндексе этот сайт будет отображаться с предупреждением?
Если да, то значит я могу разместить такую ссылку на любом популярном хостинге блогов типа blogspot или livejournal, дождаться пока кто-нибудь по ней пройдет и вы этот хостинг блогов тоже будете отображать с предупреждением?
Если нет, то мне все еще непонятна причина предупреждения для нашего форума.
Как и непонятно что, собственно, делать. Удалять темы? Проверять каждую ссылку которую выложил пользователь на предмет того можно ли там скачать что-то с обертками?

Яндекс:

Рекомендуем проверять содержимое страниц, с которых происходит большое количество переходов на внешние ресурсы с Вашего сайта.
Описанная Вами ситуация может повлиять на вынесение вердикта об опасности сайта алгоритмом. Каких-либо подробностей работы наших алгоритмов, в том числе как, когда и каким именно образом системой были зафиксированы попытки использования неприемливых методов распространения дополнительного ПО, фиксируются ли они сейчас и т.п., мы не предоставляем. При разработке сайта рекомендуем ориентироваться на потребности пользователей, а не на поисковые системы.

Проходит буквально несколько часов после последнего сообщения и мы получаем новое уведомление:

Последняя проверка сайта 2015-09-07 не выявила ссылок на файлы с добавленным программным обеспечением.
В результатах поиска сайт выводится без пометок.

Что же произошло? В 2012 году какой-то пользователь создал тему со следующим содержанием:

Единственная внешняя ссылка на странице это ссылка на торрент-трекер unionpeer.
По ссылке открывается каталог игр, чтобы что-либо скачать необходимо сначала перейти в саму раздачу. То есть минимум 2 клика с нашего форума. Мы, мягко говоря, были ошарашены таким суровым подходом Яндекса к делу.
Поразили также и двойные стандарты. Понятно, что на какой-нибудь livejournal.com вешать предупреждение они не станут, хотя там более чем достаточно ссылок на данный трекер. А вот потрясти маленький форум, чтобы потом громко заявлять о своей борьбе с нежелательным ПО — это да.

Казалось бы, инцидент исчерпан. В Яндексе поняли(?) абсурдность происходящего и сняли пометку с сайта.

Но пришел декабрь и целых два новых уведомления:

На страницах сайта *****.ru обнаружены ссылки на файлы или программы, к которым добавлено дополнительное программное обеспечение. Таким образом, вместе со скачанным файлом на компьютер посетителя могут быть установлены дополнительные программы — безопасные или сомнительные.
В настоящий момент сайт выводится в результатах поиска с пометкой «Будьте осторожны при скачивании файлов с этого сайта».

На страницах вашего сайта *****.ru обнаружен код, который может быть опасен для посетителей. Выполнение этого кода при посещении сайта может привести к нежелательным для пользователя последствиям: заражению компьютера вредоносными программами, несанкционированному использованию его ресурсов, порче или краже личных данных.
В настоящий момент сайт выводится в результатах поиска с пометкой «Этот сайт может угрожать безопасности вашего компьютера».

И снова проверка, и снова ничего. По virustotal единственное срабатывание как раз у Yandex Safebrowsing. Тут же в техподдержку начинают обращаться пользователи, который используют Яндекс Браузер и/или Яндекс DNS, при попытке входа на форум им выдается вот такое предупреждение без возможности его обойти:

К счастью, таких не много.

Снова спрашиваем что происходит. Оказывается снова виновата злополучная тема с одной единственной ссылкой на unionpeer.

Яндекс:

При последней проверке Вашего сайта наш робот обнаружил доступные для скачивания некачественные программы, например, на странице http://*****.ru/viewtopic.php?f=15&t=3503. Эти программы могут содержать дополнительные компоненты, которые устанавливаются без ведома пользователя. По этой причине на странице поисковой выдачи отображается соответствующее предупреждение возле Вашего сайта.

Подробнее об этом Вы можете прочитать в следующих материалах:

blog.yandex.ru/post/81042
habrahabr.ru/company/yandex/blog/226817
company.yandex.ru/rules/distribution

Мы:

В сервисе Яндекс Вебмастер конкретно указывается страница http://*****.ru/viewtopic.php?p=109830 с вердиктом «Bedep_payload», совсем не та, о которой вы говорите.
Никаких некачественных программ на нашем сервере не хранится. Просьба указать прямые ссылки на некачественное ПО, хранящееся на нашем сервере, чтобы мы могли эти файлы удалить.

Яндекс:

Вердикт «Bedep_payload» в сервисе Яндекс.Вебмастер на вкладке «безопасность» был указан ошибочно. Пожалуйста, игнорируйте эту информацию.

Мы проверили, в данном случае алгоритмы сработали корректно. Какую-либо подробную информацию о некачественном содержимом на пользовательских сайтах мы не предоставляем. Воспользуйтесь, пожалуйста, рекомендациями из нашего предыдущего письма.

Мы:

Вы мне эти ссылки уже давали и в них по-прежнему нет ничего, что объясняло бы ваши действия. Укажите пожалуйста прямую ссылку на наш форум, по которой скачивается «программа-обертка». По ссылке, данной в вашем первом ответе, ничего не скачивается.

Яндекс:

Подобной информации мы не предоставляем, сожалею. Попробуйте, пожалуйста, еще раз внимательно посмотреть на указанную нами ранее страницу и проанализировать все внешние ссылки на наличие некачественного содержимого.

Я даже не знаю нужны ли тут какие-то комментарии. Ладно, черт с ним с ложным срабатыванием, за которое они даже не извинились. Но Яндекс под предлогом борьбы с нежелательным ПО проводит какую-то странную политику шантажа и цензуры, отказываясь объяснять причины.
Это все вызывает недоумение и заставляет серьезно задуматься о направлении движения современного рунета, можно подумать одного Роскомнадзора нам мало.

Для нас доверие к Яндексу подорвано полностью. Двойные стандарты и самодурство никогда никого еще до добра не доводили. В любом случае у нас не такой уж и большой выбор — выдать в техподдержку инструкции советовать абонентам удалить Яндекс Браузер и Яндекс DNS, если они имеют какие-либо проблемы с доступом к форуму, или же удалить указанную Яндексом тему и надеяться, что они не решат пометить что-нибудь еще в будущем.

На данный момент сайт открывается без принудительной блокировки, предупреждение висит только в результатах поиска. Однако звонки от пользователей все еще продолжаются, вероятно что-то попало в кэш.

P.S. Я намеренно заменил адрес форума на звездочки, чтобы исключить внезапный наплыв посещений. Желающие могут свободно нагуглить его по тексту из темы чтобы проверить все самостоятельно.

ссылка на оригинал статьи http://geektimes.ru/post/268406/