5 способов оптимизации функций в Python

Python — язык программирования, известный своей простотой и читабельностью, но когда доходит до скорости — он проигрывает всем. Что очень критично, когда работаешь в машинном обучении и имеешь дело с огромным количеством данных. Сегодня рассмотрим парочку примеров, как можно ускорить ваш код на ровном месте

Использование генераторов вместо списков 🏄

Начнем с оптимизации по памяти. Представим, что перед нами стоит задача пройтись по всем данным и видоизменить их. Причем использовать векторизованные вычисления запрещено (Numpy, Pandas и др.). В этом случае первое что приходит в голову: создать список и все туда накидать. Давайте проверим сколько это займет памяти:

Для этого напишем простенькую функцию для отображения сколько занимает объект оперативки и тут же сгенерируем данных:

from sys import getsizeof from random import random  def memory_consumption(obj):     return f"Total MBs size: {getsizeof(obj) / 1024 ** 2}"    data = [random() for _ in range(10 ** 6)]

После подгрузки данные занимают: Total MBs size: 8.057334899902344

Теперь создаем две функции:

# Первая функция через список def squares_list(data):     result = []     for elem in data:         result.append(elem * 2)     return result  # Вторая функция через генератор def squares_generator(data):   for elem in data:       yield elem * 2  # Пример использования squares_list(1_000_000) # Занимает много памяти squares_generator(1_000_000) # Экономит память

Тут вторая функция ничего не создает а просто возвращает вам итератор, по которому можно пробежаться и сохранить то, что вам необходимо.

✅Итоговые замеры: решение в «лоб» занимает столько же, сколько исходные данные — 8.06 MBs, а генераторы обогнали — 1e-6 MBs! Второе решение удобно применять там, где вам важно много раз создавать объекты либо же хранить только часть вывода

  Локальные переменные 📍

Когда пишете свои pipeline, стоит учитывать, что обращение к глобальным переменным может затормозить ваш код. Избавляемся от этого немедленно!

Если это возможно не используйте оператор global. Лучше создать новую переменную и ее сохранить в каком-либо виде

global_variable = 10  def func1():   global gloval_variable   global_variable = 52   print(global_variable)  def func2():   local_variable = 10   print(local_variable)    func1() # Доступ к глобальной переменной   func2() # Доступ к локальной переменной

  Использование for вместо while ⚡️

Циклы for в Python часто быстрее, чем циклы while, потому что они оптимизированы для итерации по последовательностям. Если вы знаете количество итераций, используйте for вместо while.

# Цикл `while` i = 0 while i < 10:   print(i)   i += 1  # Цикл `for` for i in range(10):   print(i)

Избегайте append в циклах 🌀

Использование append внутри цикла может замедлить выполнение функции, потому что Python каждый раз создает новый список. Если возможно, используйте list сразу с нужным размером, чтобы избежать частых перераспределений памяти.

# Использование `append` result = [] for i in range(10):   result.append(i)  # Создание списка с нужным размером result = [0] * 10 for i in range(10):   result[i] = i

Использование map и filter 🤿

Эти функции позволяют применить функцию к каждому элементу итерируемого объекта (например, списка), не прибегая к написанию собственного цикла. Это делает код более понятным и иногда ускоряет его выполнение.

# Использование `map` numbers = [1, 2, 3, 4] squares = map(lambda x: x ** 2, numbers) print(list(squares)) # Вывод: [1, 4, 9, 16]  # Использование `filter` numbers = [1, 2, 3, 4, 5] even_numbers = filter(lambda x: x % 2 == 0, numbers) print(list(even_numbers)) # Вывод: [2, 4]

Итог 🏖

Эти 5 способов оптимизации функций в Python помогут вам сделать ваш код быстрее и эффективнее. Важно помнить, что не всегда нужно использовать все эти методы одновременно. Экспериментируйте и выбирайте подходящие решения в зависимости от конкретной задачи.

Бонусом забирайте mock-собеседование, где я рассказал что еще можно встретить на собеседование на позицию Data Science. Больше про эффективную оптимизацию кода для рабочих задач я написал тут — пользуйся!