Фильтр нецензурной лексики за 5 минут

Привет, Хабр.

Для одного из моих проектов мне понадобилось сделать фильтр мата. Сегодня мы попытаемся сделать его за несколько минут. Ну что же, приступим.

Анализирование

Сперва я должен бы как-то разбивать текст на части, чтобы потом сравнивать его с нецензурной лексикой. Решение нашлось очень просто. Я составил список запрещенных слов и стал проходится циклом по введенному тексту, разбивая его на куски размером с каждое запрещенное слово.

#Фраза, которую будем проверять. phrase = input("Введите фразу для проверки: ")  #Искомое слово. Пока что только одно. words = ["банан"]  #Фрагменты, которые получатся после разбиения слова. fragments = [] #Проходимся по всем словам. for word in words:     #Разбиваем слово на части, и проходимся по ним.     for part in range(len(phrase)):         #Вот сам наш фрагмент.         fragment = phrase[part: part+len(word)]         #Сохраняем его в наш список.         fragments.append(fragment)  #Выводим получившиеся фрагменты. print(fragments) 

Запускаем наш файл и вводим фразу.

Введите фразу для проверки: Привет, я банан. ['Приве', 'ривет', 'ивет,', 'вет, ', 'ет, я', 'т, я ', ', я б', ' я ба', 'я бан', ' бана', 'банан', 'анан.', 'нан.', 'ан.', 'н.', '.'] 

Вот что у нас получилось. Смотрим на все фрагменты и видим среди них искомое слово «банан». Теперь нам осталось сравнить эти фрагменты с искомыми словами.

Сравнение

Для того, чтобы сравнивать фрагменты с искомыми словами, я решил просто использовать цикл.

 #Проходимся по всем словам. for word in words:     #Проходимся по всем фрагментам.     for fragment in fragments:         #Сравниваем фрагмент и искомое слово         if word == fragment:             #Если они равны, выводим надпись о их нахождении.             print("Найдено", word) 

Смотрим.

Введите фразу для проверки: Привет, я банан. ['Приве', 'ривет', 'ивет,', 'вет, ', 'ет, я', 'т, я ', ', я б', ' я ба', 'я бан', ' бана', 'банан', 'анан.', 'нан.', 'ан.', 'н.', '.'] Найдено банан 

Все, простейший фильтр нецензурной лексики готов!

Доработки

Простейший фильтр был готов, но я решил его чуточку дополнить.

Так как русский человек очень изобретателен, то он может поменять некоторые буквы на другой язык. Например, «бaнaн». Здесь место обычной «а», я поставил английскую. И теперь наш фильтр не будет распознавать это слово.

Введите фразу для проверки: Привет, я бaнaн. ['Приве', 'ривет', 'ивет,', 'вет, ', 'ет, я', 'т, я ', ', я б', ' я бa', 'я бaн', ' бaнa', 'бaнaн', 'aнaн.', 'нaн.', 'aн.', 'н.', '.'] 

Фильтр не вывел ничего, а значит не нашел слово. Поэтому мы должны создать дополнительный фильтр, который будет переводить буквы английского алфавита и похожие символы в русский текст.

В интернете я нашел вот такой список, который чуточку доработал.

d =   {'а' : ['а', 'a', '@'],   'б' : ['б', '6', 'b'],   'в' : ['в', 'b', 'v'],   'г' : ['г', 'r', 'g'],   'д' : ['д', 'd', 'g'],   'е' : ['е', 'e'],   'ё' : ['ё', 'e'],   'ж' : ['ж', 'zh', '*'],   'з' : ['з', '3', 'z'],   'и' : ['и', 'u', 'i'],   'й' : ['й', 'u', 'i'],   'к' : ['к', 'k', 'i{', '|{'],   'л' : ['л', 'l', 'ji'],   'м' : ['м', 'm'],   'н' : ['н', 'h', 'n'],   'о' : ['о', 'o', '0'],   'п' : ['п', 'n', 'p'],   'р' : ['р', 'r', 'p'],   'с' : ['с', 'c', 's'],   'т' : ['т', 'm', 't'],   'у' : ['у', 'y', 'u'],   'ф' : ['ф', 'f'],   'х' : ['х', 'x', 'h' , '}{'],   'ц' : ['ц', 'c', 'u,'],   'ч' : ['ч', 'ch'],   'ш' : ['ш', 'sh'],   'щ' : ['щ', 'sch'],   'ь' : ['ь', 'b'],   'ы' : ['ы', 'bi'],   'ъ' : ['ъ'],   'э' : ['э', 'e'],   'ю' : ['ю', 'io'],   'я' : ['я', 'ya'] } 

Перед фильтрацией мы должны перевести весь текст в нижний регистр и убрать все пробелы, так как кто-нибудь может ввести искомые слова вот так: «БАНАН» или «б а н а н».

phrase = phrase.lower().replace(" ", "") 

Теперь мы должны как-то сравнить этот список с нашим текстом. Для этого я создал вот такую функцию.

#Проходимся по нашему словарю. for key, value in d.items():     #Проходимся по каждой букве в значении словаря. То есть по вот этим спискам ['а', 'a', '@'].     for letter in value:         #Проходимся по каждой букве в нашей фразе.         for phr in phrase:             #Если буква совпадает с буквой в нашем списке.             if letter == phr:                 #Заменяем эту букву на ключ словаря.                 phrase = phrase.replace(phr, key) 

Что у нас получилось теперь.

Введите фразу для проверки: Привет, я б@н@н. ['Приве', 'ривет', 'ивет,', 'вет, ', 'ет, я', 'т, я ', ', я б', ' я ба', 'я бан', ' бана', 'банан', 'анан.', 'нан.', 'ан.', 'н.', '.'] Найдено банан 

То, что у нас не находилось раньше теперь легко распознаётся.

Расстояние Левенштейна

Я понял, что если хоть чуточку изменить слово, то его уже невозможно найти.

Введите фразу для проверки: Я люблю бонан. ['Я люб', ' любл', 'люблю', 'юблю ', 'блю б', 'лю бо', 'ю бон', ' бона', 'бонан', 'онан.', 'нан.', 'ан.', 'н.', '.'] 

Наши опасения подтвердились, но решения этой проблемы есть расстояние Левенштейна.

В интернете я нашел функцию этого алгоритма для python. Вот как она выглядит.

def distance(a, b):      "Calculates the Levenshtein distance between a and b."     n, m = len(a), len(b)     if n > m:         # Make sure n <= m, to use O(min(n, m)) space         a, b = b, a         n, m = m, n      current_row = range(n + 1)  # Keep current and previous row, not entire matrix     for i in range(1, m + 1):         previous_row, current_row = current_row, [i] + [0] * n         for j in range(1, n + 1):             add, delete, change = previous_row[j] + 1, current_row[j - 1] + 1, previous_row[j - 1]             if a[j - 1] != b[i - 1]:                 change += 1             current_row[j] = min(add, delete, change)      return current_row[n] 

Теперь мы должны переписать функцию сравнения.

#Проходимся по всем словам. for word in words:     #Проходимся по всем фрагментам.     for fragment in fragments:         #Если отличие этого фрагмента меньше или равно 25% этого слова, то считаем, что они равны.         if distance(fragment, word) <= len(word)*0.25:             #Если они равны, выводим надпись о их нахождении.             print("Найдено", word) 

Что у нас получилось теперь.

Введите фразу для проверки: Я люблю бонан. ['Я люб', ' любл', 'люблю', 'юблю ', 'блю б', 'лю бо', 'ю бон', ' бона', 'бонан', 'онан.', 'нан.', 'ан.', 'н.', '.'] Найдено банан 

Небольшие проблемы

Наверное вы уже догадались, что если в списке для фильтрации будет больше одного слова, то он будет некорректно работать. Поэтому я переписал это всё в один цикл.

#Проходимся по всем словам. for word in words:     #Разбиваем слово на части, и проходимся по ним.     for part in range(len(phrase)):         #Вот сам наш фрагмент.         fragment = phrase[part: part+len(word)]         #Если отличие этого фрагмента меньше или равно 25% этого слова, то считаем, что они равны.         if distance(fragment, word) <= len(word)*0.25:             #Если они равны, выводим надпись о их нахождении.             print("Найдено", word, "\nПохоже на", fragment) 

Все, наш фильтр полностью готов.

Код фильтра

import string  words = ["банан", "помидор"]  print("Фильтруемые слова:", words)  #Фраза, которую будем проверять. phrase = input("Введите фразу для проверки: ").lower().replace(" ", "")  def distance(a, b):      "Calculates the Levenshtein distance between a and b."     n, m = len(a), len(b)     if n > m:         # Make sure n <= m, to use O(min(n, m)) space         a, b = b, a         n, m = m, n      current_row = range(n + 1)  # Keep current and previous row, not entire matrix     for i in range(1, m + 1):         previous_row, current_row = current_row, [i] + [0] * n         for j in range(1, n + 1):             add, delete, change = previous_row[j] + 1, current_row[j - 1] + 1, previous_row[j - 1]             if a[j - 1] != b[i - 1]:                 change += 1             current_row[j] = min(add, delete, change)      return current_row[n]  d =   {'а' : ['а', 'a', '@'],   'б' : ['б', '6', 'b'],   'в' : ['в', 'b', 'v'],   'г' : ['г', 'r', 'g'],   'д' : ['д', 'd'],   'е' : ['е', 'e'],   'ё' : ['ё', 'e'],   'ж' : ['ж', 'zh', '*'],   'з' : ['з', '3', 'z'],   'и' : ['и', 'u', 'i'],   'й' : ['й', 'u', 'i'],   'к' : ['к', 'k', 'i{', '|{'],   'л' : ['л', 'l', 'ji'],   'м' : ['м', 'm'],   'н' : ['н', 'h', 'n'],   'о' : ['о', 'o', '0'],   'п' : ['п', 'n', 'p'],   'р' : ['р', 'r', 'p'],   'с' : ['с', 'c', 's'],   'т' : ['т', 'm', 't'],   'у' : ['у', 'y', 'u'],   'ф' : ['ф', 'f'],   'х' : ['х', 'x', 'h' , '}{'],   'ц' : ['ц', 'c', 'u,'],   'ч' : ['ч', 'ch'],   'ш' : ['ш', 'sh'],   'щ' : ['щ', 'sch'],   'ь' : ['ь', 'b'],   'ы' : ['ы', 'bi'],   'ъ' : ['ъ'],   'э' : ['э', 'e'],   'ю' : ['ю', 'io'],   'я' : ['я', 'ya'] }  for key, value in d.items():     #Проходимся по каждой букве в значении словаря. То есть по вот этим спискам ['а', 'a', '@'].     for letter in value:         #Проходимся по каждой букве в нашей фразе.         for phr in phrase:             #Если буква совпадает с буквой в нашем списке.             if letter == phr:                 #Заменяем эту букву на ключ словаря.                 phrase = phrase.replace(phr, key)  #Проходимся по всем словам. for word in words:     #Разбиваем слово на части, и проходимся по ним.     for part in range(len(phrase)):         #Вот сам наш фрагмент.         fragment = phrase[part: part+len(word)]         #Если отличие этого фрагмента меньше или равно 25% этого слова, то считаем, что они равны.         if distance(fragment, word) <= len(word)*0.25:             #Если они равны, выводим надпись о их нахождении.             print("Найдено", word, "\nПохоже на", fragment)