Начинающий программист vs Избирком СПб

Это история о том, как я писал код на Python 3, который собирает и систематизирует данные по избирательным комиссиям в моём родном городе Санкт-Петербурге. Ну, и про то, что я там накопал в извлечённых данных.

Интродукция

С 2018 года я работаю в разных качествах в избирательных комиссиях от одной из наблюдательский организация Санкт-Петербурга. Вношу свой посильный вклад в построение гражданского общества, так скажем. И да, может с учётом контекста сегодняшнего времени, не очень я вовремя с этой статьёй, ну а что поделать.

Интерес к тому, чтобы систематизировать данные по избирательным комиссиям появился у меня в тот момент, когда я участвовал в выборах 2021 года в качестве ЧПРГ ТИК№31. Учиться программировать я стал относительно недавно, 2 месяца в относительно ленивом темпе (на момент начала июня 2022).

3 июня я приступил к работе и начал осуществлять свою давнюю задумку.

S’il vous plait — хронология.

Глава 1. Сбор данных

Сайт, с которого я собирал данные выглядит так.

Слева структура комиссий в открывающихся списках. Честно говоря, я пока что понятия не имею, как устроена веб-страница на практике, но заметил, что если открывать разные комиссии, то сайт остаётся один и тот же, меняется только длинный номер в конце адреса. Я попробовал понять, есть ли какая-нибудь связь между номером комиссии и её номером в адресной строке, но быстро понял, что никакой генеральной закономерности там нет, хоть фрагментами и можно так подумать.

Переписывать ссылки вручную — дело долгое и неблагодарное, поэтому полез в веб-инспектор сафари. Полу-наугад стал там искать, где есть ссылки, на которые ведут номера комиссий. Сначала копался в ресурсах и увидел, что если раскрыть список — появляется файл st-petersburg, в котором перечислены несколько айдишников. Уже неплохо, но всё ещё многовато действий.

Продолжил поиски и во вкладке Аудит нашёл то, что искал, как на ладони (Result Data -> data-domAttributes. Для того, чтобы там появилось всё, что мне надо, пришлось вручную пооткрывать все списки, но это не заняло много времени.

Экспорт был в файл с расширением json. Я что-то об этом слышал, поэтому решил не разбираться (может быть слишком долго), а просто скопировал из окошка строки с айдишниками в обычный текстовый файл.

Также с сайта втупую выделил и скопировал список комиссий в текстовый файл, они там в таком же порядке, как и их айди на картинке, поэтому можно будет составить словарь или типа того.

Глава 2. Очистка данных

Эффективнее было бы очистить числа от html-мусора в любом текстовом редакторе, но это неспортивно, я ж в конце концов программировать учусь, а не текстовым редактором пользоваться.

Немного освежил память, как там обращаться к файлам и написал незамысловатый код для очистки:

out_string_indexes = ''  file_name = 'Indexes List.txt' with open(file_name, mode='r') as file:     for line in file:         if '<' in line:     #это чтоб отфильтровать нужные строки, они           # там странновато скопировались             out_string_indexes += line.split('id=')[1].split('"')[1]             out_string_indexes += '\n'  file_name = 'indexes_processed.txt' with open(file_name, mode='w') as file:     file.write(out_string_indexes) 

Затем проверил, ничего ли не потерялось:

file_name = 'indexes_processed.txt' with open(file_name, mode='r') as file:     i = 0     for line in file:         i += 1     print('There are {} indexes'.format(i))  file_name = 'commissions_list.txt' with open(file_name, mode='r') as file:     i = 0     for line in file:         i += 1     print('There are {} commissions in the list’.format(i))

Всё оказалось хорошо, выдало по 2017 и тех и других.

Нашёл в интернете вот это, для тех, что проникся дзеном пайтона

sum(1 for line in open('file', ‘r’))

Но я ещё не проникся настолько, побаиваюсь вообще таких функций. Мне лучше для начала понятно и надёжно (как Tegridy farms(r))

Глава 3. Общение с вебсайтом

С такой проблемой я ещё не сталкивался, поэтому стал читать, как вообще обратиться к вебсайту. Спустя пару минут выяснил, что с помощью urllib.request. Открыл, сразу же столкнулся с такой проблемой:

urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:997)>

Догадался скопировать ошибку в гугл и быстро нашёл, что нужно в папке пайтона тыкнуть на установку сертификата. Попробовал подсоединиться снова, получил вот это:

raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

Упс, кажется, мне тут не рады. А ещё похоже, что он меня по айпи забанил, потому что и через браузер перестал входить, а через терминал пингуется нормально. (апд: потом разбанил через сутки)

Ничего страшного, раздал интернет с телефона. Там, если я что-то в чём-то понимаю, айпи присваивается динамически при подключении, и такая блокировка не сработает, если переподключаться. В интернете я быстро вычитал, что к запросу надо добавить хедер, типа имитировать, что я с браузера захожу.

Если что, у меня ОЧЕНЬ поверхностные знания обо всём этом.

from urllib.request import Request, urlopen  req = Request('http://www.st-petersburg.vybory.izbirkom.ru/region/st-petersburg?action=ik&vrn=27820001006425',               headers={'User-Agent': 'Mozilla/5.0'}) webpage = urlopen(req).read() result = webpage.decode('utf-8', 'ignore') print(result)

На этот раз получилось, но получилось всё ещё не то. Если я правильно понял, то страница-то загрузилась, но не выполнился скрипт, который подгружает на страницу все нужные мне данные.

Разумеется, я не единственный, кто с этой проблемой столкнулся, поэтому вновь углубился в чтение. За это время моим любимым сайтом стал Stack Overflow.

Собственно, загрузив нужный модуль requests_html, которых там почему-то сразу загрузилась целая гирлянда, я написал это, и оно наконец сработало! Лёд тронулся, господа присяжные.

from requests_html import HTMLSession session = HTMLSession()  url = 'http://www.st-petersburg.vybory.izbirkom.ru/region/st-petersburg?action=ik&vrn=4784001269007'  r = session.get(url, headers={'User-Agent': 'Mozilla/5.0'}) r.html.render  result = r.text.encode('utf-8') result = result.decode('utf-8') print(result)

Кодировать и раскодировать пришлось по той причине, что вместо кириллицы он выдавал ерунду, а как ещё декодировать эту хрень — я не догадался, так что прошу прощения, если говнокод. Тем не менее, результата я достиг.

Дело осталось за малым: нужно теперь вытащить оттуда саму табличку и написать программу, которая прогонит этот алгоритм через все 2017 комиссий. Предварительно придумав, каким образом эти данные структурировать, чтобы потом можно было по ним всё что нужно искать.

Кстати, я тут подумал, может повытаскивать у них адреса и разметить на карте

Глава 4. Построение программы

Сначала я писал команды в императивном стиле, чтобы понять, что мне именно нужно и как этого достичь, затем уже распихал всё это по функциям и слепил из них мастер-функцию.

Если кратко описать, то отрезал страницу по начало таблицы, удалил все <штуки>, некоторые заменив на разделители, затем командой split сделал из получившейся строки массив, из которого дальше сделал двумерный массив. Приблизительно так:

def text_cleanup(txt=text):   # Обрезаю таблицу     start = txt.index('ФИО')   #начало таблицы     txt = txt[start::]     start = txt.find('1')   #начало первой нужной строки таблицы     txt = txt[start - 4::]     end = txt.index('</table')   #конец таблицы     txt = txt[:end:]      #Удаляю следы html     txt = txt.replace('</tr>', '')     txt = txt.replace('<tr>', '...')   #строки     txt = txt.replace('<td>', ',,,')   #столбцы     txt = txt.replace('</td>', '')     txt = txt.replace('<nobr>', '')     txt = txt.replace('</nobr>', '')     txt = txt.replace('<br>', '')     txt = txt.replace('</br>', '')     txt = txt.replace('\r', '')     txt = txt.replace('\t', '')     txt = txt.replace('\n', '')     return txt

Дальше так

txt = text_cleanup() result = txt.split(‘…’)  #разбиваю текст по строкам  for i in range(len(result)):  #разбиваю каждую строку на элементы     result[i] = result[i].split(',,,')  return result

И лёгким движением руки таблица с сайта превращается… превращается таблица с сайта… в двумерный массив.

Дальше я создал функцию, которая берёт веб-страницу через session.get и render, как я писал выше, прогоняет полученное через функцию очистки, записывает в текстовый файл или эксель, и всё это в цикле, который из списка подгружает айдишники, которые до этого были в него записаны из файла ещё одной функцией. Как писать в эксель — это я прочитал статью про модуль pyopenxl, мне очень понравилась там функция append, которую я и использовал в своей программе.

Короче, сущностно происходит следующее:

• Из файлов выгружается в двумерный список названия комиссий и их айди

• Циклом по очереди из этого списка читаются айди

• Добавляются к постоянной части адреса, загружается код страницы

• Очищается от мусора и преобразуется в двумерный список

• Построчно вместе с номером комиссии записывается в файл

Код получился здоровый, поэтому публиковать не буду, основные его элементы и логику я в принципе описал. Итого 2 минуты код отработал как часы и на выходе получилась здоровенная таблица!

Тут я ненадолго остановлюсь и опишу свои ощущения:

Я хоть и продвинутый, но обычный юзер, поэтому когда вся эта штука сработала — я ощутил себя каким-то, блин, Нео. Вообще то, что я написал программу, которая сама в интернете ковыряется — это крайне странно. Ни разу не выходил в интернет не через браузер. Вот уж был действительно hello world!

И это пока что первая программа, которая выполняет что-то не абстрактное, а вполне конкретное. Собственно, испытываю гордость за себя:)

Глава 5. Анализ

В принципе, всю аналитику можно было бы сделать в экселе, но это неспортивно, я же программировать учусь. Какую-то сложную аналитику я производить не буду, меня интересуют довольно простые вещи. Гипотеза в том, что представителей крупных партий кроме Единой России непропорционально мало среди руководства комиссий, а может и в принципе среди всех членов комиссий.

Чтобы мой дорогой читатель не подумал, что я сразу выдумал всю программу, сначала я написал код несколько меня интересующих случаев, но потом решил, что нужно более универсальное и гибкое решение.

Написал сначала функцию analysis(*args), которая делает вот что:

• создаёт пустой словарь

• считывает из текстового файла строку

• ищет в ней слова из *args

• если находит, проверяет, есть ли в словаре название партии

• если есть — делает +=1, если нет — добавляет со значением 1

• выдаёт в итоге общее количество найденных строк и словарь, в котором напротив названия партии указано количество человек

Так это выглядело на выходе, если не фильтровать (только без процентов сначала):

Фильтр работал нормально, но с таким результатом сделать что-то сложно. У меня возникли идеи: надо сделать отдельную функцию фильтр с аргументом, переключающим режимы И / ИЛИ, а также создать список основных партий и сверять с ним, потому что читать данный результат трудно.  Можно ещё отметить, что Единая Россия внимательнее всех относится к тому, чтобы написать именно конкретное отделение своей партии.

В итоге следующая версия выглядела так:
parties_list — это список более крупных партий, который я выделил

def filter_keywords(line='', und=False, *args):      """Returns True if arguments are in line.     Basically, und is and:     If und=True -> every argument must be in line,     If und=False -> at least one argument must be in line"""      if und:         for word in args:             if word.lower() not in line.lower():                 return False         return True     else:         for word in args:             if word.lower() in line.lower():                 return True         return False        def analysis(unite_minors=True, und=False, *args):      """Returns vocabulary with parties and a number of members in it and overall quantity of members.     unite_minors collects every minor party/association to keyword 'Остальные'.     und is about filtering style 'and' or 'or', und is and in a nutshell.     args is keywords for filtering"""      result = {'Остальные': 0}     counter = 0      with open('master_table.txt', mode='r') as file:         for line in file:             if filter_keywords(line, und, *args):                 party = line.split(' : ')[6]                 if not unite_minors:  #если не объединять партии, не входящие в список                     if party in result:                         result[party] += 1                     else:                         result[party] = 1                     counter += 1                 else:  #если объединять партии, не входящие в список                     for major_party in parties_list:                          if filter_keywords(line, False, major_party):                             if major_party in result:                                 result[major_party] += 1                             else:                                 result[major_party] = 1                             counter += 1                             break                     else: #если за цикл не нашлось совпадений                         counter += 1                         result['Остальные'] += 1                          # сортировка словаря, скопировал из интернета дзен-функцию     # на этот раз было лень писать самому     result = dict(sorted(result.items(), key=lambda item: item[1], reverse=True))     return result, counter 

Я решил отправить в return помимо словаря сколько всего строчек обработано. Для учёта и чтоб сразу проценты можно было высчитывать, хотя не знаю, насколько это целесообразно. Но если что — легко переделывается.

Так гораздо лучше, но спустя некоторое количество запросов я понял, что такая функция не позволяет мне узнать, например, кто выдвинул Председателя, Зама и Секретаря только в Территориальных комиссиях. Поэтому решил сделать новую, которая будет фильтровать отдельно по уровню комиссий и должностям. Она стала концептуально проще и принимает строки с ключевыми словами через пробел.

def filter_or(line, *args):     for word in args:         if word.lower() in line.lower():             return True     return False   def analysis2(level='', position='', unite_minors=True):     """Returns vocabulary with parties and a number of members in it and overall quantity of members.     unite_minors collects every minor party/association to keyword 'Остальные'.     level is keywords for level filter, type with spaces between keywords!     position is keywords for position filter, type with spaces between keywords!"""      result = {'Остальные': 0}     counter = 0     level = level.split(' ')     position = position.split(' ')      with open('master_table.txt', mode='r') as file:         for line in file:             t_party = line.split(' : ')[6]             t_position = line.split(' : ')[5]             t_level = line.split(' : ')[0]             if filter_or(t_level, *level) and filter_or(t_position, *position):                 if not unite_minors:                     if t_party in result:                         result[t_party] += 1                     else:                         result[t_party] = 1                     counter += 1                 else:                     for major_party in parties_list:                         if filter_or(t_party, major_party):                             if major_party in result:                                 result[major_party] += 1                             else:                                 result[major_party] = 1                             counter += 1                             break                     else:                         counter += 1                         result['Остальные'] += 1      result = dict(sorted(result.items(), key=lambda item: item[1], reverse=True))     return result, counter

На этот раз я получил весь функционал, который хотел. И да, немного кода, который всё это выводит на консоль. А затем ещё и в графики вместе с модулем matplotlib.pyplot, о котором я только что прочитал.

voc, quantity = analysis2(level='спбик тик уик',                           position='председатель зам секретарь член',                            unite_minors=True) print('****Всего {}****\n'.format(quantity)) for item in voc:     print('{} or {}% : {}'.format(voc[item],                                   round(voc[item] / quantity * 100, 1),                                   item))      values, keys = list(voc.values()), list(voc.keys()) plt.pie(values, labels=keys, autopct='%.1f%%')  #так неочевидно процент выводится plt.title('Винни-Пух и все, все, все') plt.show()

Глава 6. То, ради чего это всё задумывалось

Тут будут таблички и графики с минимальными комментариями. 

Если есть желание понять субъект анализа, типа как эти все комиссии устроены и кто в них что делает, то лучше об этом почитать подробнее в любом разделе «Обучение» наблюдательский организаций или даже официальных порталов. А я опишу кратко:

УИК — участковая избирательная комиссия, обеспечивает выборы на местах непосредственно. Принимает всё что нужно для работы от ТИК, отчитывается туда же.

ТИК — территориальная избирательная комиссия, выполняет административно-хозяйственные функции, то есть, грубо говоря, материальная база и вопросы формирования, назначения/освобождения членов нижестоящих комиссий (разумеется через заявления).

Комиссия — коллегиальный орган, право голоса имеют все, вопросы решаются через голосование большинством. Кворум для открытия заседания в общем случае — больше половины.

Председатель — по сути спикер комиссии, должностное лицо
Секретарь — думаю, более-менее и так понятно

Поскольку у комиссий разного уровня сильно разные функции, то и обобщать их особого смысла я не вижу.

Для начала посмотрим, что мы имеем по Участковым избирательным комиссиям:

---

УИК, все

По месту работы — это по сути работники бюджетных организаций. По месту жительства в большинстве случаев тоже, ну или близкие к. Возможно среди них есть и просто активные жители, но очень сомневаюсь, что таких там хоть сколько-то много. Думаю, где-то описаны схемы набора таковых, да и догадаться несложно

Остальные — это представители многочисленных организаций, о которых в основном никто никогда и не слышал. Обычно около-административные. (Личная оценка)

Как видно, средняя комиссия наполовину состоит из этих трёх категорий, а партии распределены более-менее ровно с предпочтением к самым крупным.

Теперь посмотрим, а что там в руководстве УИКов.

---

УИК, Руководство (Председатель, Зам.Председателя и Секретарь)

Ой, а что это у нас тут случилось? Я думаю, что комментарии тут излишни, а изменения очевидны. Ради интереса можно посмотреть, кто такие эти трудовые партии, союзы труда и партия «За женщин России». У-ух!

Теперь посмотрим, что там по Территориальным комиссиям.

---

ТИК, Все члены

Да тут прям почти полноценный плюрализм, мамочки родные!

А теперь руководство ТИК:

---

Руководство ТИК

…Ну, что тут сказать можно, картинка достаточно красноречива

---

Очень большой сегмент “Остальные”, я бы посмотрел подробнее, кто у нас там.

voc, quantity = analysis2(level='тик',                           position='председатель зам секретарь',                           unite_minors=False) print('****Всего {}****\n'.format(quantity)) for item in voc:     print('{} or {}% : {}'.format(voc[item],                                   round(voc[item] / quantity * 100, 1),                                   item))

32 or 16.9% : собрание избирателей по месту работы
31 or 16.4% : собрание избирателей по месту жительства
29 or 15.3% : территориальная избирательная комиссия предыдущего состава
16 or 8.5% : Региональное отделение ВСЕРОССИЙСКОЙ ПОЛИТИЧЕСКОЙ ПАРТИИ «РОДИНА» в городе Санкт-Петербурге
16 or 8.5% : Санкт-Петербургское региональное отделение Всероссийской политической партии «ЕДИНАЯ РОССИЯ»
12 or 6.3% : представительный орган муниципального образования
11 or 5.8% : Региональное отделение в Санкт-Петербурге Политической партии «Российская экологическая партия «Зелёные»
6 or 3.2% : Санкт-Петербургское региональное отделение политической партии «ПАТРИОТЫ РОССИИ»
4 or 2.1% : Политическая партия «ПАТРИОТЫ РОССИИ»
3 or 1.6% : Региональная общественная организация поддержки и развития молодежного творчества «Гаудеамус»
3 or 1.6% : Санкт-Петербургское региональное отделение Политической партии ЛДПР — Либерально-демократической партии России
3 or 1.6% : ВСЕРОССИЙСКАЯ ПОЛИТИЧЕСКАЯ ПАРТИЯ «РОДИНА»
3 or 1.6% : Политическая партия «Российская экологическая партия «Зелёные«
2 or 1.1% : Межрегиональная общественная организация «Ассоциация ветеранов, инвалидов и пенсионеров»
2 or 1.1% : Региональное отделение в Санкт-Петербурге Всероссийской политической партии «ПАРТИЯ РОСТА»
2 or 1.1% : Региональная общественная организация поддержки и развития молодежного творчества «Гуадеамус»
2 or 1.1% : Региональное отделение в Санкт-Петербурге политической партии «НОВЫЕ ЛЮДИ»
1 or 0.5% : Межрегиональная общественная организация «Центр содействия реализации социальных инициатив «Живой Питер»
1 or 0.5% : Региональное отделение в городе Санкт-Петербурге Политической партии «Гражданская Платформа»
1 or 0.5% : Политическая партия «Российская экологическая партия «Зеленые«
1 or 0.5% : Санкт-Петербургская региональная общественная организация содействия детям сиротам «Радуга»
1 or 0.5% : САНКТ-ПЕТЕРБУРГСКОЕ ГОРОДСКОЕ ОТДЕЛЕНИЕ политической партии «КОММУНИСТИЧЕСКАЯ ПАРТИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ»
1 or 0.5% : Санкт-Петербургская Региональная Общественная Организация инвалидов «Радонежец»
1 or 0.5% : Местное отделение Санкт-Петербургской общественной организации ветеранов (пенсионеров, инвалидов) войны, труда, Вооруженных сил и правоохранительных органов «Кировское» на территории муниципального округа «Дачное»
1 or 0.5% : Региональная общественная организация инвалидов «Радонежец»
1 or 0.5% : Санкт-Петербургская Общественная Организация в поддержку молодежи «МИР МОЛОДЕЖИ»
1 or 0.5% : Санкт-Петербургская общественная организация «Жители блокадного Ленинграда»
1 or 0.5% : Политическая партия СОЦИАЛЬНОЙ ЗАЩИТЫ
1 or 0.5% : Санкт-Петербургская ассоциация общественных объединений родителей детей-инвалидов “ГАООРДИ»

Я подчеркнул тех, что вошёл как “Остальные”. И ещё заметил, что партия Зелёные вошла тоже туда, потому что для компьютера Е и Ë — разные символы. Надо будет учесть этот момент, хоть он принципиально ни на что и не влияет.

Конечно, я подтолкнул к мысли о том, что не так с этой системой. На самом деле не я, а данные, я их лишь обнажил.

Заключение

Мне очень понравилось, что спустя уже небольшое время я смог применить на практике то, чему научился. Я очень рад, если было хоть немного интересно это занудство читать, если статья открыла какое-то новое виденье, вдохновила, или повлияла ещё каким-то образом.

Открыт для любых дискуссий, пожеланий, советов, критики или чего там ещё.