[RU] Состоялся релиз инструмента v1.4.2 поиска по нику — Snoop Project

от автора

БД Snoop Project

БД Snoop Project

Snoop — элегантный поисковик, разработанный для людей и работающий из коробки (то есть пользователю не требуется: регистрироваться; инсталлировать софт; устанавливать ключи, токены, зависимости, библиотеки, Python и/или обладать какими-либо техническими навыками чтобы запустить ПО, которое будет выискивать в Интернет сети публичные данные).

Основной функционал поисковой системы Snoop Project — выслеживать «username» в публичных данных по 4.7К+ сайтам, дополнительный функционал — различные OSINT плагины, в т. ч. разработанные на идеях и материалах обнаруженных уязвимостей в сервисах Яндекса (при участии в багбаунти программе), позволяющие работать с IP/GEO/Yandex-ом.

Snoop Project разработан на материалах исследовательской работы в области скрапинга публичных данных (собственная БД, алгоритмы). На данный момент Snoop выслеживает nickname(s) по ~4.7K+ интернет ресурсам в Full версии (платная лицензия) и по самым популярным ресурсам в Demo версии (бесплатно). Исходный код открыт и размещен на Github.

Подготовлены готовые сборки для OS GNU/Linux и Windows, из исходников собирается и в Termux/Android.

Snoop for Android/Termux.

Snoop for Android/Termux.
Changelog v1.4.2
  • Расширена поисковая web-base Snoop ↑ 4700+ сайтов.

  • Исправлен подсчет bad_raw в случае, когда был задан поиск по множеству username’s из CLI или с опцией ‘—userlist/-u’, среди которых попадался невалидный nick в комбинациях: например, один из username’s короче 3-х символов, номер телефона, кириллический или из спецсимволов, где ПО его отфильтровывает, но позже на том же ресурсе принимался следующий, валидный username (при превышении bad_raw 2.5% параметр не рассчитывался, теперь подобные варианты просчитываются).

  • Нетривиальное использование HTTP библиотек позволило на Snoop for Windows оптимизировать утилизацию ресурсов CPU, прирост производительности к скорости поиска на длинной дистанции составил ~20-25%.

  • Немного повышена эффективность повторных запросов при неудачных попытках соединения.

  • Оптимизирован алгоритм автоскорости поиска утилиты на слабых одноядерных VPS и мощных многоядерных ЭВМ с OS GNU/Linux. Также изменены ограничения верхнего предела утилизации ресурсов ЭВМ при разгоне поиска вручную: на OS GNU/Linux, Android/Termux — планка поднята, на OS Windows — планка опущена.

  • Ускорена работа ПО в режиме ‘—save-page/-S’: поиск и сохранение локальных HTML-страничек.

  • На OS GNU/Linux и Android/Termux прерывание работы софта с безопасным высвобождением ресурсов немного ускорено и составляет менее 1 сек. (Ctrl +c).

  • На Snoop for Android/Termux добавлено оповещение о недоступности диска и предложение: что бы Snoop Project автоматически исправил ошибку доступа к общедоступному каталогу в OS Android «/storage/emulated/0/snoop/*» (Если пользователь новичок устанавливал Termux впервые и собирал Snoop из исходного кода, не читая инструкцию, т.е. пропуская шаги, то Snoop автоматически не мог создавать общедоступный каталог для результатов поиска и открывать data за пределами Termux, issue_95, issue_96, issue_97.

  • Изменен нижний порог с 2.5% до 2% при срабатывании оповещений Bad_raw. Также при превышении bad_raw 2% в CLI Snoop full version добавлена пример-подсказка с предложением изменить поиск, минуя сбойные ресурсы.

  • В CLI Snoop demo version добавлено оповещение о том, как можно получить Snoop full version без чтения справки.

  • В CLI и csv отчеты добавлен «плавающий» параметр bad_zone — главные одна/две геолокации, в которых чаще всего происходят ошибки соединения в основном из-за интернет цензуры.

  • В txt отчёте улучшено форматирование столбцов, сделан реверс данных: «Адрес | Ресурс» и добавлен параметр «Гео». В html отчёте усилена визуализация разбивки по странам/скобки. В csv отчёте заменен столбец «username» на строку «Nick», добавлен параметр отслеживания сайтов со статусом: «завис» (редкое явление, когда какой-нибудь ресурс временно подвисает: подавляет выставленные лимиты в т.ч. и на низком уровне redirect/timeout запросов, подольше удерживая ресурсы ЭВМ).

  • В HTML-отчете изменена функция кнопки, которая ранее вела на страницу донатов Юмани (кнопка теперь генерирует HTML: Donate/Buy с методами поддержки проекта в т.ч. и QR-кодом).

  • Функции: удаление кэша, обновление ПО, проверка БД — зациклены (при взаимодействии с ними и неверном выборе/опечатке происходит не выход из программы, а повторный запрос на ввод с подсказкой).

  • Уменьшена зависимость от кол-ва сторонних библиотек в Snoop demo version: убран плагин с частичным функционалом «Reverse Vgeocoder».
    (Унифицирован способ самостоятельной сборки Snoop for Android/Termux & Desktop, т.е. синхронизированы зависимости между Snoop for Termux и Snoop for Desktop. Ускорены: сборка проекта из исходного кода и запуск Snoop build версии).

  • На Snoop full version for Windows по окончанию поиска добавлена ненавязчивая, по событиям, подсказка про оптимизацию скорости поиска.

  • В CLI добавлено оповещение и рекомендация, как исправить/улучшить работу утилиты, если пользователь собрал Snoop из исходного кода, но при сборке пренебрег инструкциями/документацией (при этом ПО не прерывает работу, оповещает пользователя и переключается в режиме совместимости, например, если используются устаревшие версии HTTP библиотек/API и c прекратившим жизненный цикл Python 3.7).

  • В блок ‘snoop info’, секция ‘Recommended pool’, опция ‘—version/-v’ добавлены ~расчеты по требованиям к ресурсам ЭВМ для нормальной работы ПО в любых конфигурациях при его разгоне вручную на разных OS.

  • Незначительные визуальные изменения в CLI.

  • Проведено агрессивное сжатие репозитория. Сохранен полный бэкап истории. Пользователи, собирающие, обновляющие Snoop из исходного кода, должны сделать ‘git clone’ по-новому.

Поиск по нику.

Поиск по нику.
Пример работы одного из плагинов (GEO_IP).

Пример работы одного из плагинов (GEO_IP).

Релиз & Документация


ссылка на оригинал статьи https://habr.com/ru/articles/871282/