Анализ данных клиентов и прогнозирование оттока пользователей на Python

Автор статьи: Артем Михайлов

В современном мире, где конкуренция между компаниями становится все более жесткой, понимание поведения клиентов и их удержание становятся ключевыми факторами для успешного бизнеса. Одним из важных инструментов в достижении этой цели является анализ данных клиентов и прогнозирование оттока пользователей.

Анализ данных клиентов – это процесс извлечения, очистки, исследования и визуализации данных о клиентах компании с целью выявления интересных закономерностей и паттернов в их поведении. Такой анализ позволяет компаниям понять, что делает их клиентов довольными, что их раздражает и, самое главное, предсказать вероятность того, что клиент может уйти к конкуренту, что называется оттоком пользователей.

Прогнозирование оттока – это процесс разработки моделей машинного обучения, которые позволяют предсказать, сколько и какие клиенты вероятно покинут компанию в определенный период времени. Предупреждение о возможном оттоке дает компаниям возможность принять меры по удержанию клиентов, что может существенно снизить потери и повысить общую прибыль.

Цель данной статьи – познакомить читателей с процессом анализа данных клиентов и построения модели прогнозирования оттока с использованием языка программирования Python. Мы рассмотрим ключевые этапы работы с данными, включая подготовку, исследовательский анализ, построение моделей машинного обучения и интерпретацию результатов.

Подготовка данных

Подготовим наши данные.

# A. Загрузка данных клиентов data = {     'CustomerID': [1, 2, 3, 4, 5],     'Age': [32, 45, 29, 56, 38],     'Gender': ['Male', 'Female', 'Female', 'Male', 'Male'],     'TotalSpend': [1000, 1500, 500, 2000, 800],     'NumOfPurchases': [5, 3, 7, 2, 4],     'Churn': [0, 1, 0, 1, 0]  # 0 - остается, 1 - ушел }  # B. Импорт необходимых библиотек import pandas as pd from sklearn.preprocessing import LabelEncoder, StandardScaler  # Преобразуем данные в DataFrame df = pd.DataFrame(data)  # C. Очистка данных: обработка пропущенных значений и дубликатов # Проверим наличие пропущенных значений print("Количество пропущенных значений:") print(df.isnull().sum())  # В данном примере предположим, что у нас нет пропущенных значений, поэтому нет необходимости в дополнительной обработке. # Однако, если бы в данных были пропуски, то мы могли бы обработать их с помощью метода fillna() для заполнения пропусков  # определенными значениями, либо удалить строки с пропущенными значениями с помощью dropna().  # Проверим и удалим дубликаты, если они есть df.drop_duplicates(inplace=True)  # D. Преобразование данных: кодирование категориальных признаков и масштабирование числовых признаков # Кодируем категориальный признак "Gender" в числовой формат, чтобы модель машинного обучения могла работать с ним. le = LabelEncoder() df['Gender'] = le.fit_transform(df['Gender'])  # Масштабируем числовые признаки для их нормализации и уменьшения влияния различных единиц измерения. # В данном примере мы используем StandardScaler для приведения признаков к стандартному нормальному распределению  # со средним значением 0 и стандартным отклонением 1. scaler = StandardScaler() df[['Age', 'TotalSpend', 'NumOfPurchases']] = scaler.fit_transform(df[['Age', 'TotalSpend', 'NumOfPurchases']])  # Выведем окончательный результат print("\nПодготовленные данные:") print(df)

В данном примере мы предположили, что данные не содержат пропущенных значений. Однако, в реальных данных может быть необходимость в более сложной обработке пропусков. Также, при работе с реальными данными, предполагается, что данные загружаются из файлов, баз данных или других источников, и их обработка может потребовать дополнительных этапов, которые не были учтены в данном примере. Важно всегда проверять и анализировать данные для выбора оптимального подхода к их обработке и подготовке перед построением моделей машинного обучения.

Исследовательский анализ данных

Основные статистики о клиентах

Для начала, давайте рассмотрим основные статистики о клиентах, чтобы получить общее представление о нашем наборе данных.

# Посмотрим на первые несколько строк данных print("Первые 5 строк данных:") print(df.head())  # Получим основные статистические показатели о клиентах print("\nОсновные статистики о клиентах:") print(df.describe())

Получаем следующее(на картинке):

Данные о клиентах выглядят нормализованными, так как средние значения близки к 0, а стандартные отклонения приближаются к 1. Представленные статистические показатели помогают нам лучше понять характеристики клиентов и их распределения в наборе данных.

Визуализация данных для лучшего понимания распределений

Для визуализации данных и получения более глубокого понимания распределения признаков, давайте построим графики и диаграммы.

import matplotlib.pyplot as plt import seaborn as sns  # Построим гистограмму возраста клиентов plt.figure(figsize=(8, 5)) sns.histplot(df['Age'], bins=10, kde=True, color='skyblue') plt.xlabel('Возраст') plt.ylabel('Частота') plt.title('Распределение возраста клиентов') plt.show()  # Построим гистограмму общего объема расходов plt.figure(figsize=(8, 5)) sns.histplot(df['TotalSpend'], bins=10, kde=True, color='salmon') plt.xlabel('Общий объем расходов') plt.ylabel('Частота') plt.title('Распределение общего объема расходов клиентов') plt.show()  # Построим гистограмму количества покупок plt.figure(figsize=(8, 5)) sns.histplot(df['NumOfPurchases'], bins=10, kde=True, color='orange') plt.xlabel('Количество покупок') plt.ylabel('Частота') plt.title('Распределение количества покупок клиентов') plt.show()  # Построим диаграмму рассеяния для визуализации связи между признаками Age и TotalSpend plt.figure(figsize=(8, 5)) sns.scatterplot(x='Age', y='TotalSpend', data=df, hue='Churn', palette='viridis', s=100) plt.xlabel('Возраст') plt.ylabel('Общий объем расходов') plt.title('Диаграмма рассеяния: Возраст vs. Общий объем расходов') plt.legend(title='Churn', labels=['Остается', 'Ушел']) plt.show()

Мы получаем следующие результаты:

В итоге получили визуализации, которые помогают нам лучше понять распределение признаков. Гистограммы позволяют нам увидеть, какие значения признаков чаще всего встречаются, а диаграмма рассеяния показывает возможные связи между признаками «Возраст» и «Общий объем расходов», а также как фактор оттока (Churn) может влиять на эти связи.

Исследование корреляции между признаками

Корреляция между признаками позволяет нам определить, какие признаки сильно связаны друг с другом, что помогает в идентификации важных факторов.

# Построим матрицу корреляции между признаками correlation_matrix = df.corr()  # Визуализируем матрицу корреляции с помощью тепловой карты plt.figure(figsize=(10, 8)) sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm', fmt='.2f', linewidths=0.5) plt.title('Матрица корреляции') plt.show()

Результат:

Матрица корреляции позволяет нам оценить силу и направление связи между признаками. Самая яркая точка на диагонали (значение 1) представляет собой корреляцию признака с самим собой (что логично, так как корреляция признака с самим собой всегда равна 1). Важным для анализа является взаимосвязь между оттоком (Churn) и другими признаками. Значения корреляции близкие к 1 или -1 указывают на сильную связь, в то время как значения близкие к 0 указывают на отсутствие линейной зависимости.

Построение модели прогнозирования оттока

Выбор алгоритма машинного обучения

Для прогнозирования оттока клиентов, мы выберем три алгоритма машинного обучения: логистическую регрессию, случайный лес и градиентный бустинг. Эти алгоритмы широко используются для задач классификации, таких как прогнозирование оттока, и позволяют получить хорошие результаты при правильной настройке гиперпараметров.

from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier  # Инициализируем модели logreg_model = LogisticRegression(random_state=42) rf_model = RandomForestClassifier(random_state=42) gb_model = GradientBoostingClassifier(random_state=42)  # Обучение моделей будет произведено в следующей части, когда данные разделены на обучающую и тестовую выборки.

Разделение данных на обучающую и тестовую выборки

Перед обучением модели необходимо разделить данные на обучающую и тестовую выборки. Обучающая выборка будет использоваться для обучения модели, а тестовая выборка для оценки ее производительности.

from sklearn.model_selection import train_test_split  # Разделяем данные на обучающую (80%) и тестовую (20%) выборки X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 

Обучение модели на обучающей выборке

Теперь обучим выбранные модели на обучающей выборке.

# Обучение моделей на обучающей выборке logreg_model.fit(X_train, y_train) rf_model.fit(X_train, y_train) gb_model.fit(X_train, y_train)

Оценка производительности модели на тестовой выборке

После обучения моделей на обучающей выборке, необходимо оценить их производительность на тестовой выборке.

from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score  # Функция для оценки производительности модели def evaluate_model(model, X_test, y_test):     y_pred = model.predict(X_test)     accuracy = accuracy_score(y_test, y_pred)     precision = precision_score(y_test, y_pred)     recall = recall_score(y_test, y_pred)     f1 = f1_score(y_test, y_pred)     roc_auc = roc_auc_score(y_test, y_pred)     return accuracy, precision, recall, f1, roc_auc  # Оценка производительности моделей logreg_accuracy, logreg_precision, logreg_recall, logreg_f1, logreg_roc_auc = evaluate_model(logreg_model, X_test, y_test) rf_accuracy, rf_precision, rf_recall, rf_f1, rf_roc_auc = evaluate_model(rf_model, X_test, y_test) gb_accuracy, gb_precision, gb_recall, gb_f1, gb_roc_auc = evaluate_model(gb_model, X_test, y_test)  # Вывод результатов print("Результаты оценки производительности моделей на тестовой выборке:") print("Логистическая регрессия:") print(f"Точность: {logreg_accuracy:.4f}, Полнота: {logreg_recall:.4f}, F1-мера: {logreg_f1:.4f}, ROC-AUC: {logreg_roc_auc:.4f}") print("Случайный лес:") print(f"Точность: {rf_accuracy:.4f}, Полнота: {rf_recall:.4f}, F1-мера: {rf_f1:.4f}, ROC-AUC: {rf_roc_auc:.4f}") print("Градиентный бустинг:") print(f"Точность: {gb_accuracy:.4f}, Полнота: {gb_recall:.4f}, F1-мера: {gb_f1:.4f}, ROC-AUC: {gb_roc_auc:.4f}") 

Мы обучили три различные модели машинного обучения (логистическую регрессию, случайный лес и градиентный бустинг) на обучающей выборке и оценили их производительность на тестовой выборке. Результаты оценки включают значения точности, полноты, F1-меры и ROC-AUC для каждой модели. При оценке производительности моделей, мы можем определить, какая модель лучше всего справляется с задачей прогнозирования оттока пользователей.

Заключение

Анализ данных клиентов и прогнозирование оттока играют важную роль для компаний, позволяя предпринимать меры по удержанию клиентов и оптимизации бизнес-процессов. Результаты данного исследования помогут компании лучше понять своих клиентов, выделить ключевые факторы, влияющие на отток.

Кстати, о том, чем занимается системный аналитик и о профессии в целом мои друзья из OTUS расскажут на бесплатном вебинаре. Вы узнаете о востребованности профессии в 2023 году и перспективах в будущем. А также о том, как повысить зарплатную вилку на начальном этапе: с какой суммы начинать и к какой сумме стремиться. По итогам вебинара вы сможете понять подходит вам профессия системного аналитика или нет. Регистрируйтесь и приходите, будет интересно.