Как мы создали микросервисное приложение для анализа вакансий с hh.ru: Docker, Kafka, Elasticsearch и ещё немного магии

Всем привет!

Сегодня я расскажу, как мы разработали распределённое приложение для анализа вакансий с платформы hh.ru. Мы применили микросервисную архитектуру, контейнеризацию, брокеры сообщений и инструменты визуализации данных, чтобы создать решение, которое может быть полезно аналитикам, компаниям и соискателям.

Если вы хотите узнать, как собрать все эти технологии в единое целое и сделать это эффективно — устраивайтесь поудобнее. Поехали!

---

Идея проекта

На рынке труда ежедневно появляются тысячи новых вакансий, и их анализ помогает понять востребованные профессии, технологии и тренды. Наша задача состояла в разработке системы, которая:

• Собирает данные с платформы hh.ru с помощью API.

• Обрабатывает их и сохраняет в базу данных.

• Обеспечивает поиск и визуализацию информации для конечных пользователей.

• Масштабируется при росте нагрузки.

Для этого мы решили использовать микросервисную архитектуру, так как она позволяет:

• Изолировать отдельные модули приложения.

• Масштабировать компоненты независимо друг от друга.

• Легко добавлять новые функции.

---

Архитектура решения

Архитектура построена из следующих компонентов:

1. Фронтенд: Vue.js, отображение вакансий и диаграмм.

2. Бэкенд: Node.js (NestJS), взаимодействие с базами данных и брокером сообщений Kafka.

3. Сервис сбора данных: Python, интеграция с API hh.ru.

4. Хранилища данных: MongoDB для структурированных данных, Elasticsearch для аналитики.

5. Kafka: асинхронная передача сообщений между сервисами.

6. Nginx: балансировка нагрузки и проксирование запросов.

Схема архитектуры

Технические детали

1. Фронтенд

Фронтенд написан на Vue.js. Это позволило быстро создать компонентный интерфейс, поддерживающий адаптивный дизайн.

Ключевые инструменты:

• Axios — для запросов к API.

• Chart.js — для построения графиков.

Пример компонента для отображения вакансий:

<template>   <div class="jobs">     <div v-for="job in jobs" :key="job.id">       <h3>{{ job.title }}</h3>       <p>{{ job.description }}</p>     </div>   </div> </template>  <script> export default {   data() {     return { jobs: [] };   },   async mounted() {     const response = await fetch('/api/jobs');     this.jobs = await response.json();   } }; </script> 

---

2. Бэкенд

Бэкенд реализован на Node.js с использованием NestJS. Это позволило модульно организовать код, выделив такие модули, как:

• Контроллеры: принимают HTTP-запросы.

• Сервисы: реализуют бизнес-логику.

• Интеграция с Kafka: обработка сообщений от других микросервисов.

Пример контроллера API:

@Controller('api/jobs') export class JobsController {   constructor(private readonly jobsService: JobsService) {}    @Get()   async getAllJobs() {     return this.jobsService.findAll();   } } 

Для взаимодействия с MongoDB используется Mongoose:

@Injectable() export class JobsService {   constructor(@InjectModel(Job.name) private jobModel: Model<Job>) {}    async findAll(): Promise<Job[]> {     return this.jobModel.find().exec();   } } 

---

3. Сервис сбора данных

Для сбора вакансий с hh.ru используется Python. API hh.ru позволяет фильтровать данные по региону, специальности и другим параметрам.

Ключевые инструменты:

• aiohttp — асинхронные запросы.

• pymongo — сохранение данных в MongoDB.

Асинхронная функция для запросов к API hh.ru:

async def fetch_vacancies(self, session, url, params=None):     async with session.get(url, params=params) as response:         if response.status == 200:             return await response.json()         else:             logging.error(f"Ошибка {response.status}") 

---

4. Хранилища данных

1. MongoDB: Основное хранилище данных.

2. Elasticsearch: Используется для поиска и аналитики.

Данные индексируются в Elasticsearch, после чего визуализируются в Kibana.

---

5. Kafka

Брокер сообщений Kafka обеспечивает взаимодействие между микросервисами.

Конфигурация Docker Compose для Kafka:

version: '3.7' services:   kafka:     image: confluentinc/cp-kafka:latest     environment:       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092       KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1   zookeeper:     image: confluentinc/cp-zookeeper:latest     environment:       ZOOKEEPER_CLIENT_PORT: 2181 

---

6. Nginx

Для маршрутизации запросов настроен Nginx. Он распределяет трафик между экземплярами бэкенда.

Пример конфигурации Nginx:

upstream backend_servers {     server backend_1:3000;     server backend_2:3000; }  server {     listen 80;     location / {         proxy_pass http://backend_servers;     } } 

---

Результаты анализа

На основе данных с hh.ru мы провели несколько ключевых исследований:

1. Распределение вакансий по уровням опыта:

   • Senior: 60%.

   • Middle: 30%.

   • Junior: 10%.

2. Популярные технологии:

   • Python и JavaScript — лидеры.

3. География:

   • 70% вакансий сосредоточено в Москве и Санкт-Петербурге.

4. Тип занятости:

   • Полная занятость доминирует, но гибкие графики набирают популярность.

---

Итоги и выводы

Этот проект показал, как можно собрать мощное и масштабируемое приложение с использованием современных технологий. Мы использовали Docker для контейнеризации, Kafka для обмена сообщениями, а также Elasticsearch и Kibana для визуализации данных.

Проект может быть полезен:

• Исследователям рынка труда.

• Компаниям для мониторинга востребованных навыков.

• Соискателям, чтобы понимать тенденции.

Если вам интересно узнать больше о проекте, пишите в комментариях — с радостью отвечу!

---