А как понять? Делаем аналитику для бота с нуля. Часть 2 — делаем дашборд в Redash

В предыдущей статье мы подготовили наше тестовое приложение — бота для обмена анонимными сообщениями в Telegram.

Пришло время отобразить все данные, которые мы собрали. Для этого мы будем использовать Redash.

Что лежит в базе

Данные в базе (MongoDB) у нас хранятся в следующем виде.

Пользователь:

{   "_id": {     "$oid": "64908ebc5a1d121b983e2406"   },   "user_id": 5784928745,   "username": "nickname",   "datetime": 1687195324.282187,   "status": "active" }

Сообщение:

{   "_id": {     "$oid": "64908ec65a1d121b983e2407"   },   "user_id_from": 5784928745,   "user_id_to": "5982379843",   "username_from": "nickname_from",   "username_to": "nickname_to",   "content": "Hi",   "message_type": "question",   "datetime": 1687195334.6866229 }

Пишем запросы

Запросы к MongoDB — это отдельный вид искусства, я считаю. Давайте попробуем им хоть немного овладеть.

Активные пользователи

Получим количество активных пользователей:

{ "collection": "users", "query": { "status": "active" }, "count": true }

Сразу создадим виджет на этот запрос (Counter):

Удалённые пользователи

Помните, мы не удаляли пользователей, а просто помечали их таковыми? Вот теперь это нам пригодится.

Запрос получается такой же, только меняем статус:

{ "collection": "users", "query": { "status": "deleted" }, "count": true }

Виджет создаётся точно так же, как в предыдущем запросе.

Все пользователи

Нам же интересно знать сумму всех пользователей бота? Думаю, да. Сделаем это:

{ "collection": "users", "count": true }

Запрос получился ещё проще, хех.

Сообщения

Количество элементов в коллекциях мы уже научились считать, давайте посчитаем сообщения:

{ "collection": "messages", "count": true }

Мы можем также захотеть видеть все наши сообщения в табличке, раз уж мы их сохраняем (а — анонимность):

{     "collection": "messages",     "aggregate": [         {             "$addFields": {                 "datetime": {                     "$toDate": {                         "$multiply": [                             "$datetime",                             1000                         ]                     }                 }             }         }     ] }

Тут запрос уже посложнее. Давайте разбираться.

$toDate ожидает миллисекунды, которые он преобразует в дату. Для этого мы должны сначала преобразовать наши секунды в виде Unix Timestamp в миллисекунды. Делаем это с помощью $multiply — умножаем на 1000. После этих манипуляций $toDate вернёт нам дату. Складываем её в столбец datetime, который у нас уже есть (перезаписываем). Всё это позволяет нам сделать $addFields (то же, что и $project, только не стирает все существующие столбцы). Оборачиваем в aggregate и запускаем.

Добавляем виджет таблички, где мы можем отключить ненужные нам столбцы, либо поменять их местами:

Ещё бы нам построить график, по которому будет видно, как изменяется активность по дням. Сделаем это:

{     "collection": "messages",     "aggregate": [         {             "$addFields": {                 "datetime": {                     "$toDate": {                         "$multiply": [                             "$datetime",                             1000                         ]                     }                 }             }         },         {             "$group": {                 "_id": {                     "$dateToString": {                         "format": "%Y-%m-%d",                         "date": "$datetime"                     }                 },                 "count": {                     "$sum": 1                 }             }         }     ] }

В этом запросе мы добавили группировку по столбцу datetime в столбец _id, в каждой группе хранится количество элементов благодаря count.

Создаём график, где _id — это ось Х, а count — Y:

График пользователей

Фух, теперь самое важное — это график количества пользователей по дням. Меняем название коллекции у предыдущего запроса и получаем результат:

{     "collection": "users",     "aggregate": [         {             "$addFields": {                 "datetime": {                     "$toDate": {                         "$multiply": [                             "$datetime",                             1000                         ]                     }                 }             }         },         {             "$group": {                 "_id": {                     "$dateToString": {                         "format": "%Y-%m-%d",                         "date": "$datetime"                     }                 },                 "count": {                     "$sum": 1                 }             }         }     ] }

С запросами разобрались, осталось самое приятное — собрать дашборд.

Собираем дашборд

Все запросы, которые мы сделали, необходимо сохранить и дать им разумные названия. Также визуализацию, которую мы им давали, необходимо сохранить. После чего переходим на вкладку дашбордов, создаём новый и импортируем все виджеты поочередно:

На этом на сегодня всё 🙂