Библиотека dplyr в R

Привет, Хабр!

Библиотека dplyr в R позволяет манипулировать данными, проводить фильтрацию, выборку, сортировку, группировку данных и многое другое.

В этой статье как раз и рассмотрим эту библиотеку!

Для начала установим:

install.packages("dplyr")

Основные функции dplyr

Функция filter() используется для выбора строк из данных, которые соответствуют определенным условиям:

library(dplyr)  # создаем фрейм данных с информацией о студентах students <- data.frame(   name = c("Alice", "Bob", "Charlie", "David"),   age = c(22, 25, 21, 24),   grade = c("A", "B", "C", "A") )  # фильтруем данные, чтобы выбрать студентов, старше 21 года filtered_students <- filter(students, age > 21) print(filtered_students)

Функция select() используется для выбора определенных столбцов из данных:

# выбираем только столбцы с именами студентов и их оценками selected_data <- select(students, name, grade)

mutate() позволяет создавать новые переменные на основе существующих данных:

# создаем новую переменную для студентов с возрастом более 23 лет mutated_data <- mutate(students, senior = ifelse(age > 23, "Yes", "No")) print(mutated_data)

summarize() используется для вычисления сводной информации по данным:

# вычисляем средний возраст студентов summary_data <- summarize(students, average_age = mean(age)) print(summary_data)

arrange() используется для сортировки данных по определенным столбцам:

# сортируем студентов по возрасту по возрастанию sorted_data <- arrange(students, age) print(sorted_data)

Работа с группами данных

group_by() используется для группировки данных по одному или нескольким столбцам:

library(dplyr)  # создаем фрейм данных с информацией о продажах sales <- data.frame(   product = c("A", "B", "A", "B", "A"),   amount = c(100, 150, 200, 120, 180) )  # группируем данные по продукту grouped_sales <- group_by(sales, product) print(grouped_sales)

После группировки данных можно применить summarize() для вычисления статистик по каждой группе:

summary_data <- summarize(grouped_sales, avg_sales = mean(amount)) print(summary_data)

Можно вычислить несколько статистик сразу для каждой группы, снова юзая summarize():

summary_data <- summarize(grouped_sales,                             avg_sales = mean(amount),                            max_sales = max(amount)) print(summary_data)

Конечно, можно выполнять и другие операции, например, фильтрацию или создание новых переменных:

# фильтрация данных для каждой группы, оставляя только значения выше среднего filtered_data <- grouped_sales %>%   filter(amount > mean(amount)) print(filtered_data)

Слияние и объединение данных

Методы объединения данных:

1. left_join(): объединение данных по ключу из первого (левого) набора данных.

2. right_join(): объединение данных по ключу из второго (правого) набора данных.

3. inner_join(): возвращает только строки, которые имеют совпадающие значения ключей в обоих наборах данных.

4. full_join(): возвращает все строки из обоих наборов данных, дополняя пропущенные значения NA, если данных не хватает.

# пример df1 <- data.frame(id = c(1, 2, 3),                   name = c("Ivan", "Kolya", "Nastya")) df2 <- data.frame(id = c(2, 3, 4),                   age = c(25, 30, 35))  # left_join(): объединяем данные по ключу "id", оставляя все строки из df1 left_merged <- left_join(df1, df2, by = "id") print(left_merged)  # right_join(): объединяем данные по ключу "id", оставляя все строки из df2 right_merged <- right_join(df1, df2, by = "id") print(right_merged)  # inner_join(): объединяем данные по ключу "id", оставляя только строки с совпадающими значениями ключа inner_merged <- inner_join(df1, df2, by = "id") print(inner_merged)  # full_join(): объединяем данные по ключу "id", возвращая все строки из обоих наборов данных full_merged <- full_join(df1, df2, by = "id") print(full_merged)

Примеры использования

Анализ данных о продажах:

library(dplyr)  # грузим данные о продажах sales_data <- read.csv("sales_data.csv")  # фильтрация данных для определенного периода времени sales_filtered <- sales_data %>%   filter(Date >= as.Date("2023-01-01") & Date <= as.Date("2024-12-31"))  # группировка данных по продукту и вычисление суммарных продаж sales_summary <- sales_filtered %>%   group_by(Product) %>%   summarise(Total_Sales = sum(Sales))  print(sales_summary)

Обработка данных клиентов:

library(dplyr)  customer_data <- read.csv("customer_data.csv")  # фильтрация данных для определенной страны customer_filtered <- customer_data %>%   filter(Country == "Spain")  # создание новой переменной для расчета возраста клиентов customer_processed <- customer_filtered %>%   mutate(Age = year(now()) - Year_of_Birth)  # выборка нужных столбцов customer_selected <- customer_processed %>%   select(Name, Age, Gender, Email)  print(customer_selected)

Небольшой анализ трафика сайта:

library(dplyr)  web_traffic <- read.csv("web_traffic.csv")  # фильтрация данных для определенной страны и периода времени traffic_filtered <- web_traffic %>%   filter(Country == "USA", Date >= as.Date("2023-01-01"))  # вычисление средней продолжительности сеанса average_session_duration <- traffic_filtered %>%   summarise(Avg_Session_Duration = mean(Session_Duration))  print(average_session_duration)

Сводная статистика по сотрудникам и их ЗП:

library(dplyr)  employee_data <- read.csv("employee_data.csv")  # группировка данных по отделу и вычисление средней зарплаты salary_summary <- employee_data %>%   group_by(Department) %>%   summarise(Avg_Salary = mean(Salary))  # сортировка результатов по убыванию средней зарплаты salary_summary_sorted <- salary_summary %>%   arrange(desc(Avg_Salary))  print(salary_summary_sorted)

Все необходимые инструменты и методы для манипуляции с данными и анализа можно освоить на онлайн-курсах OTUS: в каталоге можно посмотреть список всех программ, а в календаре — записаться на открытые уроки.