Обновление утилиты Shotstars для аналитики GitHub-репозиториев, включая детектирование фейковых звезд

от автора

Примечание автора — альтернативы нет.

Изначально, ~год назад, Shotstars был разработан на конкурс для демонстрации алгоритма: отслеживание убывающих звёзд у GitHub-репозиториев, т.к. международный IT-хостинг не предоставлял и до сих пор не предоставляет информацию по движению снятых звёзд, даже хозяину своих проектов. Спустя время функционал утилиты был существенно расширен: от аналитики с различными метриками до детектирования фейковых звёзд у GitHub-репозиториев. Проект с открытым исходным кодом и бесплатный, в сравнении с единичными «аналогами» — нескромно, заслуженно, по факту ПО №1. Софт работает из коробки на любых OS (в т.ч. и в Android/Termux) и не требует чтения мануалов и тех. скиллов, то есть доступен рядовому, ленивому пользователю.

Во время разработки утилиты одним из элементов подспорья являлся — крутой учебник по статистике Тарновской Л. И.: «Статистика: учебное пособие. – Томск: Изд-во ТПУ, 2008. – 248 с».

Shotstars for GNU/Linux. Распарсен нашумевший в последнее время в СМИ репозиторий — OrganicMaps (~аналогичные CLI-отчеты доступны и для OS Windows/Android).

Shotstars for GNU/Linux. Распарсен нашумевший в последнее время в СМИ репозиторий — OrganicMaps (~аналогичные CLI-отчеты доступны и для OS Windows/Android).

Утилита в первую очередь будет интересна специалистам по информационной безопасности, маркетологам и любознательным GitHub-пользователям.

Заявленные функции в Shotstars v4.4:

  • Shotstars поможет найти и разоблачить голых королей и их свиту (факт: звезды в некоторых репозиториях накручивают).

  • Shotstars рассчитывает параметры: агрессивный маркетинг, тренд, фейковые звезды, пик популярности и его дата.

  • Shotstars рассчитает прогресс или регресс за последний месяц (медиану — тенденцию в процентном изменении и среднее — рассчитанное по факту в разах).

  • Shotstars вычислит имена месяцев, в которых было всех больше и всех меньше получено звезд (мода / анти-мода), а также выведет всю историю звезд по квартилям, аналогичный расчет и по годам.

  • Shotstars выведет самый протяженный период времени без прибавления звезд (черная полоса).

  • Shotstars проверяет репозитории на предмет прибавления и убавления звезд со статистикой за выбранный период времени.

  • Shotstars сообщает реальную дату создания репозитория (факт: разработчики могут заявлять/подделывать/изменять дату создания своих проектов и коммитов, но Shotstars им не обмануть, утилита отобразит реальные цифры).

  • Shotstars покажет ~ размер любого публичного репозитория.

  • Shotstars также предоставит краткое описание репозитория.

  • Shotstars предлагает для быстрой проверки историю сканирований с выбором ранее учтенных проектов.

  • Shotstars генерирует CLI/HTML отчеты (статистика, периоды времени, дублирующая активность пользователей, url’s и json).

  • Shotstars создает графики и гистограммы (вся история звезд по дате/времени: по месяцам, по годам, по часам, кумулятивный набор звезд).

  • Shotstars умеет имитировать результаты, задокументированный хак: функция, призванная проверить работу утилиты (удостовериться) на мертвых/стабильных репозиториях без движения звезд.

  • Shotstars находит пересекающихся у Github-проектов пользователей, в т.ч. и тех, у кого профиль скрыт/приватный.

  • Shotstars рассчитывает с точностью до минуты и отображает время снятия github-ограничения на повторные сканирования (если не используется token).

  • Shotstars создан для людей и работает из коробки, поддержка OS: Windows7+, GNU/Linux, Android (от пользователя не требуются: владения техническими навыками; регистрация/авторизация на Github и даже наличие Python).

  • Shotstars отрабатывает задачи с реактивной скоростью и задаром (open source, кроссплатформенность, донаты приветствуются).

Shotstars. HTML-репорт.

Shotstars. HTML-репорт.
Shotstars детектирует аномальный рост/всплеск звёзд (фейковых) у репозитория.

Shotstars детектирует аномальный рост/всплеск звёзд (фейковых) у репозитория.
Shotstars строит и кумулятивные графики — рост звёзд. Сравнение репозиториев:: Telegram vs упомянутый проект выше. Из графиков отчётливо видно, у какого проекта история движения звёзд в порядке, а у которого 🎃.

Shotstars строит и кумулятивные графики — рост звёзд. Сравнение репозиториев:: Telegram vs упомянутый проект выше. Из графиков отчётливо видно, у какого проекта история движения звёзд в порядке, а у которого 🎃.
Shotstars предоставляет json, где пользователь может исследовать (помимо графиков) всех конкретных github-users, добавивших звезды репозиторию с разбивкой по датам, за всю историю проекта.

Shotstars предоставляет json, где пользователь может исследовать (помимо графиков) всех конкретных github-users, добавивших звезды репозиторию с разбивкой по датам, за всю историю проекта.
Shotstars предоставляет пользователю историю сканирований, т.е. не требуется каждый раз копипастить url для сканирования проектов.

Shotstars предоставляет пользователю историю сканирований, т.е. не требуется каждый раз копипастить url для сканирования проектов.
Shotstars for Android/Termux за 6 секунд.

Shotstars for Android/Termux за 6 секунд.
Shotstars создает разную, временную визуализацию данных. В данном примере — распределение звезд в репозиториях по годам. Видно: какой проект уходит в закат, а какой неуклонно набирает популярность.

Shotstars создает разную, временную визуализацию данных. В данном примере — распределение звезд в репозиториях по годам. Видно: какой проект уходит в закат, а какой неуклонно набирает популярность.

p.s. Если Вы опробовали инструмент и остались в приятном шоке от функционала, поставьте свою 🌟 open source проекту, или поддержите разработчика баночкой пивка.

💎 Open Source Made itroubled Russia.


Уровень аморальной цензуры дошел до такой степени, что автор не смог из Рунета выгрузить утилиту/пакет на PyPi (общепринятый, стандартный метод распространения ПО), только VPN и помог справиться с деструктивными действиями «чебурнетчиков».


ссылка на оригинал статьи https://habr.com/ru/articles/927434/


Комментарии

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *