Сможете ли вы отличить собаку от кошки, или Как объяснить проблемы дата-сайентиста коллегам. Часть 3

# Импортируем модули from PIL import Image import numpy as np from tqdm import tqdm import os import pandas as pd import matplotlib.pyplot as plt from matplotlib.gridspec import GridSpec plt.rcParams['figure.figsize'] = (18,7)  def im_centralized(img):         """Обрезает рисунок в квадрат     по меньшей стороне"""              width, height = img.size      # рассчитываем точки для обрезки в квадрат      # по наименьшей стороне     if height > width:         left = 0         top = int((height - width) / 2)         right = width         bottom = width + int((height - width) / 2)     else:         left = int((width - height) / 2)         top = 0         right = height + int((width - height) / 2)         bottom = height      # возвращаем изображение, обрезанное в квадрат      # по меньшей стороне     return img.crop((left, top, right, bottom)) 

def show_images(im_path, share, nw_size):        """Получает путь к изображению, обрезает его в квадрат     по наименьшей стороне. Приводит к размеру     nw_size * nw_size точек.     share точек делает черными, остальные белыми.     Выводит двухцветное изображение, и рядом с ним -      гистограмму распределения цветов.     Также выводит серое изображение, красит точки,     оказавшиеся белыми, в розовый; рядом с изображением рисует      гистограмму распределения оттенков серого, а также порог,     разделяющий точки, изображенные на первом рисунке     белыми и черными"""          # загружаем изображение     im = Image.open(im_path)      # обрезаем в квадрат по меньшей стороне     im_croped = im_centralized(im)      # переводим в квадрат nw_size * nw_size точек     im_resized = im_croped.resize((nw_size, nw_size))          # конвертируем изображение в тона серого цвета      im_grey = im_resized.convert("L")          # переводим в массив numpy     im_grey = np.array(im_grey)      # выделяем три компоненты цвета     im_red = im_grey.copy()     im_green = im_grey.copy()     im_blue = im_grey.copy()      # значения переменных превращаем в одномерный массив     ravel_points = im_grey.copy().ravel()      # сортируем значения переменных     ravel_points.sort()      # находим порог, отличающий белых от черных     threshold = ravel_points[int(share * len(ravel_points))]      # формируем двухцветное изображение     im_2_colors = im_grey.copy()     im_2_colors[im_2_colors <= threshold] = 0     im_2_colors[im_2_colors > threshold] = 255      # формируем изображение в серых тонах,     # подсвечиваем белые точки (на двухцветном изображении)     # розовым цветом     im_red[im_red > threshold] = 255     im_green[im_green > threshold] = 190     im_blue[im_blue > threshold] = 190      # добавляем дополнительную ось     im_red = im_red[:,:,np.newaxis]     im_green = im_green[:,:,np.newaxis]     im_blue = im_blue[:,:,np.newaxis]      # формируем цветное изображение     im_marked = np.concatenate([im_red, im_green, im_blue],                                 axis=2) / 255      # получаем параметры гистограммы     hist_height, _ = np.histogram(im_grey.ravel(), 64)      # формируем фигуру     fig = plt.figure(figsize=(18,12))      # создаем сетку для двух графиков     gs = GridSpec(1, 3, figure=fig)     axs0 = fig.add_subplot(gs[0, :-1])     axs1 = fig.add_subplot(gs[0, -1])          # выводим изображение в серых тонах,     # подкрашенное розовым     axs0.imshow(im_marked)     # название изображения     axs0.set_title('Изображение', fontsize=16)     # шрифт меток оси     axs0.tick_params(labelsize=14)     # гистограмма для изображения в серых тонах     axs1.hist(im_grey.ravel(), 64, color='gray');     axs1.set_title('Распределение значений переменных',                     fontsize=16);     # рисуем порог     axs1.plot([threshold, threshold], [0, max(hist_height)], 'r',                label='Порог, разделяющий черные и белые точки')     # выводим легенду     axs1.legend(fontsize=14);       axs1.tick_params(labelsize=14)          # аналогично для двухцветного изображения     fig = plt.figure(figsize=(18,12))      gs = GridSpec(1, 3, figure=fig)     axs0 = fig.add_subplot(gs[0, :-1])     axs1 = fig.add_subplot(gs[0, -1])          axs0.imshow(im_2_colors, cmap='gray')     axs0.set_title('Изображение', fontsize=16)     axs0.tick_params(labelsize=14)     axs1.hist(im_2_colors.ravel(), 64, color='k');     axs1.set_title('Распределение значений переменных',                     fontsize=16);     axs1.tick_params(labelsize=14)   im_path = 'путь к файлу с изображением' # задаем размер рисунка NW_SIZE = 100  # задаем долю значений черного цвета SHARE = .95  # выводим изображение show_images(im_path, SHARE, NW_SIZE)

def images_3_colors(im_path, nw_size):          """Получает путь к изображению, обрезает его в квадрат     по наименьшей стороне. Приводит к размеру     nw_size * nw_size точек.     Делает 1/3 точек черными, 1/3 серыми, 1/3 белыми.     Выводит трехцветное изображение, и рядом с ним     гистограмму распределения цветов.     """          # загружаем изображение     im = Image.open(im_path)      # обрезаем в квадрат по меньшей стороне     im_croped = im_centralized(im)      # переводим в квадрат nw_size * nw_size точек     im_resized = im_croped.resize((nw_size, nw_size))          # конвертируем изображение в тона серого цвета      im_grey = im_resized.convert("L")          # переводим в массив numpy     im_grey = np.array(im_grey)      # значения переменных превращаем в одномерный массив     ravel_points = im_grey.copy().ravel()      # сортируем значения переменных     ravel_points.sort()      # находим 2 порога, делящие градации цвета     # на 3 части     threshold1 = ravel_points[int(1/3 * len(ravel_points))]     threshold2 = ravel_points[int(2/3 * len(ravel_points))]               # формируем трехцветное изображение     im_3_colors = im_grey.copy()      im_3_colors[im_3_colors <= threshold1] = 0     im_3_colors[im_3_colors > threshold2] = 255     im_3_colors[(im_3_colors > 0)&(         im_3_colors <255)] = 127      # получаем параметры гистограммы     hist_height, _ = np.histogram(im_grey.ravel(), 64)               # формируем фигуру     fig = plt.figure(figsize=(18,12))      # создаем сетку для двух графиков     gs = GridSpec(1, 3, figure=fig)     axs0 = fig.add_subplot(gs[0, :-1])     axs1 = fig.add_subplot(gs[0, -1])          # выводим изображение в серых тонах     axs0.imshow(im_grey, cmap='gray')     # название изображения     axs0.set_title('Изображение', fontsize=16)     # шрифт меток оси     axs0.tick_params(labelsize=14)     # гистограмма для изображения в серых тонах     axs1.hist(im_grey.ravel(), 64, color='gray');     axs1.set_title('Распределение значений переменных',                     fontsize=16);     # рисуем пороги     axs1.plot([threshold1, threshold1], [0, max(hist_height)], 'b',                label='Порог, разделяющий черные и серые точки')     axs1.plot([threshold2, threshold2], [0, max(hist_height)], 'r',                label='Порог, разделяющий серые и белые точки')     # выводим легенду     axs1.legend(fontsize=14);       axs1.tick_params(labelsize=14)          # формируем фигуру     fig = plt.figure(figsize=(18,12))      # создаем сетку для двух графиков     gs = GridSpec(1, 3, figure=fig)     axs0 = fig.add_subplot(gs[0, :-1])     axs1 = fig.add_subplot(gs[0, -1])      # выводим трехцветное изображение     axs0.imshow(im_3_colors, cmap='gray')     # название изображения     axs0.set_title('Изображение', fontsize=16)     # шрифт меток оси     axs0.tick_params(labelsize=14)     # гистограмма для изображения в серых тонах     axs1.hist(im_3_colors.ravel(), 64, color='gray');     axs1.set_title('Распределение значений переменных',                     fontsize=16);     axs1.tick_params(labelsize=14) im_path = 'путь к файлу с изображением' # задаем размер изображения NW_SIZE = 100 # выводим изображение images_3_colors(im_path, NW_SIZE)

def show_noised(im_path, share, nw_size):     """Изображение по адресу im_path обрезает     в квадрат по меньшей стороне, переводит      в градации серого, а затем удаляет из него      долю точек, равную share, путем замены их      истинного цвета на средний цвет всего рисунка     Слева выводит зашумленное изображение,      справа - гистограмму распределения цветов"""              im = Image.open(im_path)          # обрезаем в квадрат по наименьшей стороне     im_croped = im_centralized(im)          # переводим в квадрат nw_size * nw_size точек     im_resized = im_croped.resize((nw_size, nw_size))      # конвертируем файл в тона серого     im_grey = im_resized.convert("L")              # конвертируем файл в numpy     im_grey = np.array(im_grey)      # формируем файл шума того же размера,     # что и текущий     noise = np.random.rand(         im_grey.shape[0], im_grey.shape[1])      # формируем зашумленный файл     im_noised = im_grey.copy()      # для точек, которым соответствуют значения     # в случайном файле, превосходящие 1 - share, заменяем      # истинный цвет на цвет фона     im_noised[noise > 1 - share] = im_grey.mean()      # создаем фигуру     fig = plt.figure(figsize=(18,12))      # создаем сетку для двух графиков     gs = GridSpec(1, 3, figure=fig)     axs0 = fig.add_subplot(gs[0, :-1])     axs1 = fig.add_subplot(gs[0, -1])      # выводим изображение в серых тонах,     # подкрашенное розовым     axs0.imshow(im_noised, cmap='gray')     # название изображения     axs0.set_title('Изображение', fontsize=16)     # шрифт меток оси     axs0.tick_params(labelsize=14)     # гистограмма для изображения в серых тонах     axs1.hist(im_noised.ravel(), 64, color='gray');     axs1.set_title('Распределение значений переменных',                     fontsize=16);      axs1.tick_params(labelsize=14)  im_path = 'путь к файлу с изображением' # задаем размер рисунка NW_SIZE = 100  # задаем долю шума SHARE = .5  # выводим изображение show_noised(im_path, SHARE, NW_SIZE)

def show_correlated_noise(im_path, nw_size, only_left=True):     """Обрезает рисунок в квадрат по наименьшему     размеру, конвертирует в градации серого цвета,     если only_left=True выводит только пикселизированное     изображение.     Если only_left=False, то функция     выводит слева исходный рисунок с сеткой,      соответствующей числу пикселей справа,     а справа - пикселизированное изображение"""                    # загружаем изображение     im = Image.open(im_path)      # обрезаем в квадрат по наименьшей стороне     im_croped = im_centralized(im)      # конвертируем изображение в тона серого цвета      im_grey = im_croped.convert("L")      # переводим в квадрат nw_size * nw_size точек     im_resized = im_grey.resize((nw_size, nw_size))          # конвертируем файл в numpy     im_grey1 = np.array(im_resized)      # формируем файл шума того же размера,     # что и изображение     noise = np.random.rand(         im_grey1.shape[0], im_grey1.shape[1])          # среднее значение      # цвета всего серому изображению     gray_mean = im_grey1.mean()            # формируем файл со скоррелированным шумом     noise_correlated = 0 * noise              # вероятность шума изменяется вдоль     # ширины рисунка по логистическому      # закону: слева почти все точки зашумлены,     # справа шума почти нет     for i in tqdm(range(im_grey1.shape[1])):         # noise_column - одномерный вектор         # для одновременного вычисления степени зашумленности         # всех точек с одинаковой координатой по ширине          # копируем нескоррелированный шум          # с данной координатой по ширине         noise_column = noise[:, i].copy()          # в зависимости от координаты по ширине с помощью         # логистической кривой устанавливаем точки, в которых          # шум равен 1: чем левее, тем таких точек больше          noise_column[noise_column < 1 / (             1 + np.exp((i / im_grey1.shape[1] - .5)/.05)) ] = 1          # формируем очередной столбец для скоррелированного шума         noise_correlated[:, i] = noise_column                     # формируем зашумленное изображение         im_grey_noised = im_grey1.copy()         im_grey_noised[noise_correlated == 1] = gray_mean                            if only_left == True:         # создаем фигуру         fig = plt.figure(figsize=(8, 8))         plt.imshow(im_grey1, cmap='gray');                  plt.title('Исходное изображение'.format(             nw_size, nw_size),                        fontsize=16);          plt.tick_params(labelsize=14)                  else:          # создаем фигуру         fig = plt.figure(figsize=(18, 9))          # создаем сетку для двух изображений         gs = GridSpec(1, 2, figure=fig)         axs0 = fig.add_subplot(gs[0, 0])         axs1 = fig.add_subplot(gs[0, 1])          # выводим зашумленное изображение в серых тонах         axs0.imshow(im_grey_noised, cmap='gray')          # название изображения         axs0.set_title('Зашумленное изображение', fontsize=16)         # шрифт меток оси         axs0.tick_params(labelsize=14)                  # выводим файл скоррелированного шума         axs1.imshow(noise_correlated == 1, cmap='gray');          axs1.set_title('Шум: зашумленные точки показаны белым цветом'.format(             nw_size, nw_size),                         fontsize=16);          axs1.tick_params(labelsize=14)   im_path = 'путь к файлу с изображением' # задаем размер рисунка NW_SIZE = 100  # выводим зашумленное изображение show_correlated_noise(im_path, NW_SIZE, only_left=False)  # выводим исходное изображение show_correlated_noise(im_path, NW_SIZE, only_left=True)