Текст-майнинг с пандами, облаками и яблоками

Привет, Хабр!

Меня зовут Пётр Мананников я Data Scientist и являюсь участником профессионального сообщества NTA. Представьте ситуацию: вас назначили спикером на мероприятии, и вы даже знаете, о чем хотите рассказать аудитории. Но будет ли публикой воспринят ваш доклад так, как вы себе это представляли? Давайте посмотрим, что может пойти не так, и как это исправить.

Как часто нам приходится выступать с докладом, презентацией, проводить обучение, быть спикером на конференции? Если деятельность напрямую не связана с человеческим общением, навык грамотно доносить свою точку зрения теряется естественным образом. Друзья и близкие зачастую воспринимают нас “как есть”, исключая обратную связь для сохранения отношений. Несмотря на лояльность друзей и коллег, практика публичных выступлений важна и необходима для поддержания способности передавать свои мысли и чувства.

Данное исследование поможет разобраться с нашими вербальными привычками и подсветит зоны роста. К его созданию меня подтолкнул спикер одного из youtube каналов it-направленности. Его речь, наполненная идиомами и вводными словами, мешала восприятию основного полезного контента. Впоследствии родилась идея перевести аудиозаписи роликов в текст и выяснить, какие выражения чаще других перегружают речь. Первой задачей стала транскрибация целевой аудиодорожки, второй – анализ текста, третьей — выводы и работа над ошибками.

Детали исследования с полным кодом я выложил на GitHub.

Транскрибация

Поиск качественного инструмента для анализа аудио свелся к выбору между облачными сервисами. Решения, доступные ‘for free’ в открытых репозиториях, не соответствовали моим ожиданиям по качеству результата. Адекватное решение, способное обрабатывать длинные записи, нашлось только у тындекса. После нетривиальных настроек облака стал доступен API асинхронного распознавания. Настройки сервиса описаны здесь: cloud.yandex.ru/docs/speechkit/. Для теста была записана аудиодорожка с моими впечатлениями за текущий год. Далее в коде используется именно она.

Обработка mp3-файла

import pandas as pd import requests import time import json from collections import Counter

Подключаемся к cloud.yandex.ru , проходим все стартовые настройки сервера и рабочего пространства. Заливаем аудиозапись в выделенное хранилище облака, назначаем права на чтение сервису Speech_Kit, копируем ссылку на файл, вставляем её в POST-запрос:

# параметры запроса key = 'ваш API - key yc’  # путь к файлу в бакете YC filelink = 'https://storage.yandexcloud.net/bucket0011/test_audio.mp3'      body ={     "config": {         "specification": {             "languageCode": "ru-RU"             , "audioEncoding": "MP3"         }     },     "audio": {         "uri": filelink     } }  header = {'Authorization': 'Api-Key {}'.format(key)} POST = "https://transcribe.api.cloud.yandex.net/speech/stt/v2/longRunningRecognize"  # структура POST - запроса согласно инструкции API req = requests.post(POST, headers=header, json=body)  #Получаем ответ от сервера, из которого забирам ID задачи на обработку аудиозаписи. data = req.json() id_ = data['id']   print(id_)

Запрашиваем на сервере статус операции раз в 10 секунд и ожидаем окончания процесса распознавания:

for i in range(1000):     # проверяем распознано ли аудио     GET = "https://operation.api.cloud.yandex.net/operations/{id}"     req = requests.get(GET.format(id=id_), headers=header)     req = req.json()     # если распознано — выходим из цикла     if req['done']: break     # если нет — выводим сообщение     print("файл в обработке")     # ждём 10 секунд     time.sleep(10)  #создаем временные хранилища all_sentenses = [] sentenses_dic = {} all_text ='' for id,chunk in enumerate(req['response']['chunks']): #     if id%2==1:  #актуально только для двухканального аудио      chnk = chunk['alternatives'][0]['text'].lower()     all_text = all_text+chnk+' '          print("Часть распознанного текста: ",all_text[:55])

Переводим весь текст в нижний регистр, чистим от знаков пунктуации:

all_text = all_text.lower() all_text = all_text.replace('.','').replace(',','').replace(' - ','')

Анализ текста

Ищем уникальные идиомы из двух слов, не подпадающие под стандартные речевые обороты:

def get_word_pairs_dic(data):         dic_words_order1 = {}     counter=0     for num, word in enumerate(data.split()):          dic_words_order1[num] = word      all_p =[]     all_p2 =[]     pair=[]     pair2=[]     p=''     p2=''     cnt2=0     for word in dic_words_order1.items():         pair.append(word[1])      #     сочетания двух слов         pair2.append(word[1])         if int(word[0])%2==0:                     try:                 p = pair[0]+' '+pair[1]             except:                 pass             all_p.append(p)             pair=[]      #     сочетания двух слов со смещением на 1 слово         if int(word[0])%2==1:              try:                 p2 = pair2[0]+' '+pair2[1]             except:                 pass             all_p2.append(p2)             pair2=[]      #  ------------ чистим списки от пробелов -----------------     try:         all_p.pop(all_p.index(''))     except:         pass     try:         all_p2.pop(all_p2.index(''))     except:         pass     # -------------- удаляем дубликаты ------------------     all_p = list(set(all_p))     all_p2 = list(set(all_p2))      return all_p ,all_p2 all_pairs1 ,all_pairs2 = get_word_pairs_dic(all_text)

Считаем количество повторений пар из 2 слов в тексте:

def pair_counter(pair_list,text):     phrase_dic = dict(zip(pair_list,[text.count(k) for k in pair_list ]))     df_phrase = pd.DataFrame.from_dict(phrase_dic,  orient='index')     df_phrase = df_phrase.reset_index().rename(columns={'index': 'word_pair', 0: 'count'})     df_phrase.where(df_phrase['word_pair'].str.len()>5).sort_values(by='count', ascending = False)          return df_phrase def combine_pairs_count_results(pair_list, pair_list2, text):     df_pairs = pair_counter(pair_list, text)     df_pairs2 = pair_counter(pair_list2, text)     combine_df = pd.concat([df_pairs,df_pairs2])     combine_df = combine_df.where(combine_df['word_pair'].str.len()>5).drop_duplicates()     .sort_values(by='count', ascending = False)          return combine_df

Объединяем результаты и оставляем уникальные:

combine_df = combine_pairs_count_results(all_pairs1, all_pairs2,all_text) combine_df[:5]     word_pair  count 105   это был    6.0 28    в общем    4.0 55    и потом    3.0 81     22 год    3.0 71    был еще    3.0

Промежуточные выводы:

most_popular_phrase = combine_df.iloc[0]['word_pair'] print(f'В тексте часто повторяется фраза "{most_popular_phrase}"') В тексте часто повторяется фраза "это был"

Если мы ищем конкретные речевые обороты, можно упростить процесс перебора, задав их в явном виде:

bad_word_dic = {} bad_words = ['то есть','по моему','по-моему','честно говоря','как бы','так сказать','по сути','собственно говоря','как бы'              ,'таким образом','как говорится','так далее','как его','так вот','как сказать','на самом деле','в общем-то'              ,'в общем','в некотором роде','в принципе','типа того','в самом деле','всё такое','в целом','то есть'              ,'это самое','ну вот','ну это','так сказать','да ладно', 'можно сказать', 'как-то','не вопрос','без проблем'              ,'как-то так','ничего себе','соответственно']

Создаем словарь повторений выбранных фраз в тексте:

def bad_phrase_counter(text):     dic = dict(zip(bad_words,[text.count(k) for k in bad_words ]))     df = pd.DataFrame.from_dict(dic,  orient='index')     df = df.reset_index().rename(columns={'index': 'word', 0: 'count'})     return df

Считаем повторения слов-паразитов в тексте:

df = bad_phrase_counter(all_text) df.sort_values(by='count', ascending = False)[:5]             word  count 16       в общем      4 1       по моему      1 18    в принципе      0 19     типа того      0 20  в самом деле      0

Считаем количество повторений отдельных слов в тексте:

def word_counter(all_sentenses):     all_words = []     for sentance in all_sentenses:         for word in sentance.split(sep=' '):             word = word.lower()             if len(word)>=2:                 all_words.append(word)     unique = dict(zip(all_words,[all_words.count(i) for i in all_words]))     df = pd.DataFrame.from_dict(unique,  orient='index')     df2 =df.reset_index().rename(columns={'index': 'word', 0: 'count'})     return df2 all_sentenses = all_text.split() df_words = word_counter(all_sentenses) df_words.sort_values(by='count', ascending = False)[:5]    word  count 71  это     14 12   на     10 33  что     10 56   не     10 22  так     10

Находим самую «вредную» фразу из всего текста, даем рекомендации:

bad_word = str(combine_df.iloc[0]['word_pair']) bad_word2 = str(combine_df.iloc[1]['word_pair']) print(f'Самые популярные выражения в вашей речи - "{bad_word}" и "{bad_word2}".') word_to_post = bad_word.replace(' ','%20') word_to_post2 = bad_word2.replace(' ','%20') print(f'Ознакомьтесь, пожалуйста, с их синонимами: \nhttps://sinonim.org/s/       {word_to_post} \nhttps://sinonim.org/s/{word_to_post2}') Самые популярные выражения в вашей речи - "это был" и "в общем". Ознакомьтесь, пожалуйста, с их синонимами:  https://sinonim.org/s/это%20был  https://sinonim.org/s/в%20общем

Историческое отступление

Речь Стива Джобса

Давайте немного отвлечемся и для проверки работы скрипта возьмем текст презентации компании Apple 2007 года, где исполнительный директор анонсировал первый мобильный телефон компании с сенсорным дисплеем и функцией геолокации. Анализ текста позволит нам понять, какие фразы Стив Джобс использовал для представления своего нового творения общественности.

Для упрощения процесса загружаем речь спикеров с сайта https://singjupost.com/ по ссылке: https://singjupost.com/wp-content/uploads/2014/07/Steve-Jobs-iPhone-2007-Presentation-Full-Transcript.pdf

Оставляем только речь Стива:

with open ('apple2007_.txt','r') as file:     presentation_text = file.read() presentation_text = presentation_text.replace('.','').replace(',','').replace(' - ','') presentation_text = presentation_text.lower() print(presentation_text[:211]) this is the day i’ve been looking forward to for two and a half years every once in a while a revolutionary product comes along that changes everything and apple has been – well first of all one’s very fortunate Разбиваем текст на пары рядом стоящих слов: all_p ,all_p2 = get_word_pairs_dic(presentation_text) all_p[:5] ['completely automatically',  'hold on',  'wide screen',  'mail this',  'are calling']

Считаем количество повторений пар слов:

combine_df2 = combine_pairs_count_results(all_p, all_p2,presentation_text) combine_df2[:10].sort_values(by='count', ascending = False)      word_pair  count 1456  going to   68.0 1375   want to   57.0 2436    i want   47.0 2139    this i   44.0 2444    here a   42.0 2942   this is   40.0 3069  here and   39.0 930     in the   38.0 2777    here i   35.0 2473   you can   33.0

Из приведенного результата видно, что речь Cтива наполнена фразами про намерение, желание и простоту. Этот посыл передается аудитории: и то, как он вдохновленно рассказывает о новом устройстве, и то, как умело использует его в своих руках. Любой человек подсознательно проникнется такой подачей.

Подводя итог

Можно сказать, что речь — сильный инструмент, способный убеждать, если вы используете верные слова и честны с аудиторией.

Данное исследование позволяет легко проанализировать аудиозапись или готовый текст. Получив самые популярные фразы в речи, можно понять, насколько они ценны или, наоборот, бесполезны. Проанализировав результаты, можно улучшить качество высказываний для нашего слушателя, а значит стать приятным собеседником или успешным спикером.