Работа с API HeadHunter при помощи python

Разбираемся на практике с API HeadHunter при помощи python.

Появилась задача анализа вакансий на рынке труда, и осуществлять ее надо базе HeadHunter. Необходимо получить все вакансии определенной компании по всем городам России. Ознакомившись с документацией по API на github, приступаем к работе.

Для решения задачи используем python. Импортируем необходимые для работы библиотеки:

import requests      # Для запросов по API import json          # Для обработки полученных результатов import time          # Для задержки между запросами import os            # Для работы с файлами import pandas as pd  # Для формирования датафрейма с результатами 

Стоит разобраться с такой вещью как areas. Всего существует 9 условных зон (стран):

Для каждой страны имеются свои внутренние зоны, которые можно просмотреть через обращение к HH (https://api.hh.ru/areas) с параметром area равным ID страны. К примеру, для России будет найдено свыше 4 тысяч различных городов, сел и других населенных пунктов.

Для получения всех стран со всеми их внутренними зонами воспользуемся следующим фрагментом кода:

def getAreas():     req = requests.get('https://api.hh.ru/areas')         data = req.content.decode()     req.close()     jsObj = json.loads(data)     areas = []     for k in jsObj:         for i in range(len(k['areas'])):             if len(k['areas'][i]['areas']) != 0:                      # Если у зоны есть внутренние зоны                 for j in range(len(k['areas'][i]['areas'])):                     areas.append([k['id'],                                    k['name'],                                    k['areas'][i]['areas'][j]['id'],                                   k['areas'][i]['areas'][j]['name']])             else:                                                                # Если у зоны нет внутренних зон                 areas.append([k['id'],                                k['name'],                                k['areas'][i]['id'],                                k['areas'][i]['name']])     return areas  areas = getAreas()

Если интересует запрос по конкретной зоне (стране), то в параметры request нужно указать ID необходимой зоны, к примеру, для России: {‘area’: 113}

Вот часть того, что будет храниться в переменной areas:

Следующим шагом стоит найти ID работодателей.

Для этого нужно получить количество работодателей на данный момент и учесть тот факт, что не все порядковые номера существуют и внутренние ограничения API HH на постраничный поиск, глубина которого равна всего 2000 значений.

def getEmployers():     req = requests.get('https://api.hh.ru/employers')     data = req.content.decode()     req.close()     count_of_employers = json.loads(data)['found']     employers = []     i = 0     j = count_of_employers     while i < j:             req = requests.get('https://api.hh.ru/employers/'+str(i+1))             data = req.content.decode()             req.close()             jsObj = json.loads(data)             try:                 employers.append([jsObj['id'], jsObj['name']])                 i += 1                 print([jsObj['id'], jsObj['name']])             except:                 i += 1                 j += 1             if i%200 == 0:                 time.sleep(0.2)     return employers      employers = getEmployers() 

Результат того, что будет храниться в переменной employers:

Возьмем для примера 2ГИС с ID 64174 и найдем все вакансии по работодателю в разрезе каждой зоны России (ID 113). В функцию getPage в качестве входных параметров сделаем только номер страницы для постраничного поиска и зону, где будем смотреть вакансии.

def getPage(page, area):     params = {         'employer_id': 3529,  # ID 2ГИС         'area': area,         # Поиск в зоне         'page': page,         # Номер страницы         'per_page': 100       # Кол-во вакансий на 1 странице     }        req = requests.get('https://api.hh.ru/vacancies', params)     data = req.content.decode()      req.close()     return data

Часть кода, где функция getPage и используется:

for area in areas:     for page in range(0, 20):         jsObj = json.loads(getPage(page, area[2]))         if not os.path.exists('./areas/'):             os.makedirs('./areas/')         nextFileName = './areas/{}.json'.format(str(area[2])+'_'+str(area[3])+'_'+str(page))         f = open(nextFileName, mode='w', encoding='utf8')         f.write(json.dumps(jsObj, ensure_ascii=False))         f.close()         if (jsObj['pages'] - page) <= 1:               print('[{0}/{1}] Область: {3} ({2}) - {5} ({4}) Вакансий: {6}'.format(area_list_id+1,                                                                           len(areas),                                                                           area[0],                                                                           area[1],                                                                           area[2],                                                                           area[3],                                                                           jsObj['found']))             break     time.sleep(0.2)

Сохраняем промежуточные результаты в формате json для каждой зоны отдельно, в том числе и для зон, где не найдено ни одной вакансии. Теперь сгруппируем их в один файл:

dt = [] for fl in os.listdir('./areas/'):     f = open('./areas/{}'.format(fl), encoding='utf8')     jsonText = f.read()     f.close()     jsonObj = json.loads(jsonText)     if jsonObj['found'] != 0:         for js in jsonObj['items']:             if js['salary'] != None:                 salary_from = js['salary']['from']                 salaty_to = js['salary']['to']             else:                 salary_from = None                 salaty_to = None             if js['address'] != None:                 address_raw = js['address']['raw']             else:                 address_raw = None             dt.append([                 js['id'],                 js['premium'],                 js['name'],                 js['department']['name'],                 js['has_test'],                 js['response_letter_required'],                 js['area']['id'],                 js['area']['name'],                 salary_from,                  salaty_to,                 js['type']['name'],                 address_raw,                 js['response_url'],                 js['sort_point_distance'],                 js['published_at'],                 js['created_at'],                 js['archived'],                 js['apply_alternate_url'],                 js['insider_interview'],                 js['url'],                 js['alternate_url'],                 js['relations'],                 js['employer']['id'],                 js['employer']['name'],                 js['snippet']['requirement'],                 js['snippet']['responsibility'],                 js['contacts'],                 js['schedule']['name'],                 js['working_days'],                 js['working_time_intervals'],                 js['working_time_modes'],                 js['accept_temporary']                 ])

Полученный промежуточный результат сохраняем в DataFrame и сохраняем как файл Excel.

df = pd.DataFrame(dt, columns = [                                 'id',                                 'premium',                                 'name',                                 'department_name',                                 'has_test',                                 'response_letter_required',                                 'area_id',                                 'area_name',                                 'salary_from',                                  'salaty_to',                                 'type_name',                                 'address_raw',                                 'response_url',                                 'sort_point_distance',                                 'published_at',                                 'created_at',                                 'archived',                                 'apply_alternate_url',                                 'insider_interview',                                 'url',                                 'alternate_url',                                 'relations',                                 'employer_id',                                 'employer_name',                                 'snippet_requirement',                                 'snippet_responsibility',                                 'contacts',                                 'schedule_name',                                 'working_days',                                 'working_time_intervals',                                 'working_time_modes',                                 'accept_temporary'                                 ])    df.to_excel('result_2gis.xlsx')

Скриншот части конечного результата внутри Excel:

Без особых сложностей, поставленную перед нами задачу выполнили и получили все возможные вакансии по определенному работодателю на разных территориях.

В этом гайде по работе с API HeadHunter рассмотрен базовый функционал API. Тем не менее, для успешного понимая всего функционала и возможностей, вы можете самостоятельно ознакомиться на github HH.ru или подождать нашей следующей статьи по данной теме, где мы рассмотрим более сложные примеры.