Социальные сети, в том числе Твиттер, предоставляют огромное количество информации о том, что люди думают по тому или иному поводу, и понятным является желание автоматизировать и улучшать методы оценки общественного мнения на основе данных соц. сетей.
Предположим, нам надо оценить эмоциональную окраску твиттов, например, для проведения различных социологических замеров (о том, могут ли такие замеры заменить классические соц. опросы см. здесь). В таком случае, очевидным подходом будет взять словарь эмоционально окрашенных слов, где эмоции выражены количественно, и оценивать твитты по наличию слов из этого словаря. Но тут возникает проблема: такие словари редки, малы и могут устареть, к тому же не соответствуют «живому» языку общения в соц. сетях. Кажется законным пополнять доступные словари новыми словами, при этом приписывая им эмоциональность твиттов, в которых эти слова встречаются (точнее, среднее арифметическое по всем твиттам, содержащим данное слово). Собственно такая задача предлагается к решению в курсе «Introduction to Data Science». Возникает вопрос: является ли такое продолжение законным? Будет ли полученный словарь зависеть от тех твиттов на которых он расширялся или, точнее, насколько будут отличаться два словаря, полученные из одного и того же начального словаря, но дополненные на разных твиттах?
Оценка твиттов
Получить твитты, а, точнее, доступ к потоку новых твиттов, можно, зарегистрировав приложение на сайте Твиттера через URL и используя python модуль — oauth2 (подробнее в описании соответствующего проекта в курсе, приведенном выше).
Лучше сохранять только сам текст для экономии места. Также можно отбросить другие языки, так как в дальнейшем будут анализироваться твитты только на английском.
Следующая часть — это оценка твиттов на базе словаря. Я использовал словарь из 2500 слов, каждому слову приписано значение от -5 до 5.
Схема оценки твиттов:
Конечно, такой подход не позволяет точно оценивать отдельные твитты, но оценка эмоциональности большого количества сообщений часто оказывается достаточно точной (см. статью, приведенную выше).
Процедура составления нового словаря тоже проста, каждому слову приписывается оценка, равная среднему арифметическому оценок всех твиттов, которые содержат это слово.
Схема составления нового словаря:
Сравнение словарей
Далее переходим к сравнению двух словарей, полученных на базе одного начального, но расширенных на разных сериях твиттов. Так как словари интересны не сами по себе, а то, как они будут оценивать последующие твитты, то и сравнивал я их по тому, как они оценивают независимую серию твиттов. Для каждого словаря можно составить вектор, i-ая координата которого — это оценка словарем i-го твитта из серии. Таким образом, задача свелась к сравнению двух векторов, каждый из которых соответствует определенному словарю, а координаты — численной оценке твиттов.
Параметры, которые вычислялись
корреляция — чем ближе к +1, тем лучше. Словари с корреляцией равной +1 «ведут» себя одинаково.
среднее разности векторов — насколько в среднем различалась оценка твиттов двумя словарями
стандартное отклонение среднего — чтобы подсчитать вероятность того, что разница в оценке твитта двумя словарями — «случайная» ошибка.
Что получилось
Если словари создавать на базе из 8 тыс. твиттов, то:
корреляция — 0.66
среднее разности — 0.105
стандартное отклонение — 0.042
То есть, отклонение среднего разности от нуля (предполагаем, что ошибка случайна) равно 2.5 стандартных отклонений, что, конечно, многовато. Но в принципе, можно сказать, что словари оценивают похоже. Если же базу брать в размере 60 тыс. твиттов для каждого словаря, то результаты намного лучше:
корреляция — 0.89
среднее разности — 0.00086
стандартное отклонение — 0.0080
То есть, отклонение среднего разности от нуля равно 0.1 стандартных отклонений, что позволяет сделать вывод о «случайности» ошибки (разности).
Таким образом, мы получили, что словари, расширенные на базе более 60 тыс. твиттов, не зависят от самой базы. На практике это означает, что 30 минут скачивания потока твиттера (60 тыс. отфильтрованных сообщений) позволяют получить новый, расширенный словарь с количеством слов — 16.5 тыс. вместо 2.5 в начальном словаре.
Дальнейшая работа заключается в том, чтобы проверить, что такой расширенный словарь будет не только «единственным» но и правильным: например, встроить процедуру корректировки значений на некоторой известной базе или процедуру конечной сверки полученного словаря с неиспользованной частью начального словаря.
ссылка на оригинал статьи http://habrahabr.ru/post/260493/
Добавить комментарий