Медведь бухгалтер или эксперимент над личными финансами на python и polars

Личные финансы: важная тема в области финансовой грамотности. Хорошо бы понимать, сколько приходит, сколько уходит, откуда и куда, чтобы планировать долгосрочные финансовые цели. Для этого можно использовать базовую аналитику банка, приложения для учета финансов, но у них есть минусы.

Но если вы знаете python и хотя бы раз сталкивались с pandas, для вас финансовая аналитика может показаться куда более интересной.

Подготовим рабочую поверхность

Для анализа данных нам потребуются данные, python и polars. Чтобы получить данные о финансах, можно воспользоваться банковским сайтом. У Т-Банка это можно сделать во вкладке операции, выбрать «за весь период» и нажать кнопку «скачать в формате csv», хотя я все-таки рекомендую формат экселя, потому что csv в polars у меня почему-то не завелся, хотя это вроде бы самый простой формат данных.

Также нам понадобится python и polars, чтобы скачать python достаточно зайти на python.org и проследовать инструкции по загрузке или найти гайд. Чтобы скачать polars, достаточно создать папку с проектом, добавить туда наш датасет, создать виртуальное окружение командой python -m venv .venv и написать pip install polars, чтобы установить библиотеку polars.

Немнго про нашего медведя

Polars это новая библиотека для обработки данных на python, она созвучна с pandas и pyspark по области применения. Polars написан на rust, что в сравнении с pandas дает ощутимый прирост скорости. Об этом писали тут.

Начнем с простого

Чтобы немного вкатиться в инструмент, можно сделать что-то супер простое. Поэтому давайте для начала сделаем разбивку трат по категориям. Я буду использовать функциональный подход. Все манипуляции с данными я буду оформлять в виде функций. Загрузка данных описывается через функцию load_data(), вот ее код:

import polars as pl load_data():     return pl.read_excel('money.xls') 

Здесь я работаю именно с экселем, потому что в моем случае csv файл неккоректно читался.

Дальше я использовал функции, чтобы выбрать нужные колонки, в polars для этого используется DataFrame.select(), обратите внимание, название колонки нужно передавать, используя pl.col('Название колонки'). Также я добавил фильтр, чтобы получить только отрицательные значения, так как Тинькофф хранит расходы именно со знаком минус. Итоговая функция выглядит вот так:

def get_valid_columns():     return load_data() \     .select(pl.col('Дата операции', ... , "Описание")) \     .filter(pl.col('Сумма операции') < 0) 

Дальше мы пишем функцию для агрегации суммы расходов по категориям. Для этого нужно выполнить несколько шагов:

1. Сгруппируем данные по категориям data.group_by('Категория'), здесь можно использовать название колонки без pl.col()

2. Суммируем по категориям и сумме операции. data.agg(pl.sum('Сумма операции'))

3. Сортируем данные data.sort() Итоговая функция выглядит вот так:

def get_categories_agg():     return get_valid_columns() \     .group_by('Категория') \     .agg(pl.sum('Сумма операции')) \     .sort('Сумма операции') 

Дорогой день

Когда мы узнали в какие категории у нас уходит больше всего денег, можно продолжить баловство и посмотреть какие дни недели для вашего кошелька самые дорогие. Практическая польза от этого небольшая, но ради интереса и рефлексии думаю неплохое упражнение.

Чтобы разбить средние траты по дням недели нам нужно выполнить несколько шагов:

1. Получить нужные колонки с уже написанной функцией get_valid_columns()

2. Написать функцию для конвертации строки в день недели с помощью модуля datetime

from datetime import datetime  def date_converter(date: str):     format = "%d.%m.%Y %H:%M:%S"     return datetime.strptime(date, format).strftime("%A") 

3. Создать новую колонку с днями недели используя функцию with_columns: df = get_valid_columns().with_columns(pl.col('Дата операции').map_elements(lambda x: date_converter(x), return_dtype=pl.String).alias('День недели'))

4. Тут мы с помощью маппинга применяем к каждой строчке функцию date_converter(), указываем возвращаемое значение и элиас

5. Группируем по дню недели и выводим медиану для суммы операции: df.group_by('День недели').agg(pl.col('Сумма операции').median())

Итоговые преобразования выглядят так:

def date_converter(date: str):     format = "%d.%m.%Y %H:%M:%S"     return datetime.strptime(date, format).strftime("%A")  def extract_week():     return get_valid_columns() \         .with_columns(pl.col('Дата операции') \         .map_elements(lambda x: date_converter(x), return_dtype=pl.String) \         .alias('День недели'))  def get_median_week_exp():     return extract_week()\         .group_by('День недели') \         .agg(pl.col('Сумма операции') \         .median()) \         .sort('Сумма операции')  get_median_week_exp() 

Медианные расходы по годам

1. Теперь посмотрим на сколько изменились медианные траты в месяц от года к году. Для этого сначала создадим отдельные колонки с указанием месяца и года.

format = "%d.%m.%Y %H:%M:%S"  def create_month_and_year_col():     return get_valid_columns() \         .with_columns(             pl.col('Дата операции').map_elements(lambda x: datetime.strptime(x,format).month, return_dtype=pl.Int64).alias('Месяц'),             pl.col('Дата операции').map_elements(lambda x: datetime.strptime(x,format).year, return_dtype=pl.Int64).alias('Год')         ) 

2. Потом сгруппируем данные по Месяцу и Году

def group_by_month_and_year():     return create_month_and_year_col() \         .group_by('Месяц','Год') \         .agg(pl.all().sum()) \         .sort(pl.col('Год'), pl.col('Месяц')) \         .select(pl.col('Месяц'), pl.col('Год'), pl.col('Сумма операции')) 

3. И посчитаем все вместе. Добавим сортировку по году

def aggregate_by_year():     return group_by_month_and_year() \         .select(pl.col('Год'),pl.col('Сумма операции')) \         .group_by('Год') \         .agg(pl.all() \         .median()) \         .sort('Год') 

И вот как в итоге у нас получилось:

format = "%d.%m.%Y %H:%M:%S"  def create_month_and_year_col():     return get_valid_columns() \         .with_columns(             pl.col('Дата операции').map_elements(lambda x: datetime.strptime(x,format).month, return_dtype=pl.Int64).alias('Месяц'),             pl.col('Дата операции').map_elements(lambda x: datetime.strptime(x,format).year, return_dtype=pl.Int64).alias('Год')         )  def group_by_month_and_year():     return create_month_and_year_col() \         .group_by('Месяц','Год') \         .agg(pl.all().sum()) \         .sort(pl.col('Год'), pl.col('Месяц')) \         .select(pl.col('Месяц'), pl.col('Год'), pl.col('Сумма операции'))  def aggregate_by_year():     return group_by_month_and_year() \         .select(pl.col('Год'),pl.col('Сумма операции')) \         .group_by('Год') \         .agg(pl.all() \         .median()) \         .sort('Год')  aggregate_by_year() 

Выводы

Итого, мы получили небольшую финансовую сводку нашей финансовой ситуации. Исходя из этих данных можно сделать следующие выводы:

1. По каким категориям распределяется наш доход и возможно стоит принять решение о сокращении или увеличении расходов по некоторым из них.

2. В какой день выходить из дома без карточки.

3. Насколько растет мое потребление от года к году. Составить прогноз.

Если вы любите считать деньги и хотите расширить представленный материал, то обязательно пишите в комментарии.