Покажу вам практическую реализацию семантического поиска на основе векторных представлений — эмбеддингов из текста. Здесь я создам систему, которая анализирует статьи с Хабра, извлекает из них темы и ключевые слова с помощью локально работающих больших языковых моделей LLM, и на основе этих данных создает векторные представления для эффективного поиска по смыслу, а не по запросу на вхождение определенного текста.
Главное применение LLM это не только и не столько написание рефератов для школьников или писем на работе и получение быстрых ответов на ваши вопросы. Это в первую очередь удобная технология для структурирования и индексирования текстов и мультимедиа содержимого в интернет. Возможно, скоро случится то самое воплощение Семантической Паутины (Веба) которое не произошло из-за трудоемкости ручной разметки людьми данных в интернет.
Что такое семантический поиск
Семантический поиск — это метод поиска информации, основанный на понимании смысла запроса и контента, а не просто на совпадении ключевых слов. Он использует векторные представления — embeddings из текста, созданные с помощью моделей машинного обучения, для того чтобы находить семантически похожие документы.
Традиционный поиск по ключевым словам имеет ряд ограничений:
-
Не учитывает контекст и смысл слов
-
Чувствителен к точности формулировки
-
Не распознает синонимы и связанные понятия
Семантический поиск решает эти проблемы, преобразуя тексты в многомерные векторы, где семантически близкие тексты располагаются рядом в векторном пространстве. Все это благодаря моделям машинного обучения, предобученным на больших корпусах текстов. Как пример, открытая модель nomic-embed-text.
Почему стоит генерировать embedding не по исходному тексту
Одна из основных идей моего подхода — создание векторных представлений не для исходного текста статей, а для извлеченных из них тем и ключевых слов. Это имеет ряд преимуществ:
-
Извлечение только главного — иногда исходные тексты статей содержат много информации, не относящейся к основной теме, рекламу итп.
-
Смысловое выравнивание — авторы статей субъективны в выборе тегов, LLM помогает создать более последовательную классификацию
-
Сужение поиска — извлеченные темы и ключевые слова фокусируются на сути контента.
Архитектура системы
Разработанная система состоит из следующих компонентов:
-
База данных PostgreSQL с расширением pgvector для хранения и поиска векторных представлений
-
Языковая модель (LLM) в Ollama для извлечения тем и ключевых слов из статей
-
Модель для создания embeddings в Ollama, преобразующая тексты в векторные представления
-
Java-приложение на базе Spring Boot и Spring AI, координирующее процесс индексирования данных и их записи в СУБД.
Для сборки кода нужны зависимости проекта, библиотеки и фреймворки: org.postgresql:postgresql:42.7.5, com.fasterxml.jackson.core:jackson-databind:2.19.0, org.springframework.ai:spring-ai-starter-model-ollama:1.0.0, org.projectlombok:lombok:1.18.34, org.testcontainers:postgresql:1.21.0
Схема базы данных
Реализация системы
Структура проекта
Проект реализован на Java с использованием Spring Boot и включает следующие основные компоненты:
-
HabrApplication— основной класс приложения -
DatabaseManager— класс для работы с базой данных -
Модели данных:
Article— доступ к полям JSON статьи в программе,Topics— семантическая информация на основе статьи,Chapterи др.
Процесс обработки статей представлен на диаграмме:
Это приложение, которое запускается из консоли и ожидает на входе системное свойство с указанием директории где находятся скачанные с хабра статьи -Darticles=/home/habr/articles
Хранение данных
Для хранения данных буду использовать PostgreSQL с расширением pgvector. База данных содержит две основные таблицы:
CREATE TABLE habr ( id BIGINT PRIMARY KEY, title TEXT, text TEXT, properties JSONB ); CREATE TABLE habr_vectors ( id BIGINT, idx INTEGER, notes TEXT, search_vector vector(768), PRIMARY KEY (id, idx), FOREIGN KEY (id) REFERENCES habr(id) ); Таблица habr хранит исходные статьи, а habr_vectors — темы, описания и ключевые слова вместе с векторными представления для них:
-
idx = 0— краткое описание статьи -
idx = 1— ключевые слова -
idx > 1— отдельные темы, извлеченные из статьи
Код работы с данными
Расположен в одном классе, абстрагирующем HabrApplication от особенности реализации.
База данных создается и запускается в коде приложения. При этом контейнеру СУБД передаются точки монтирования к файловой системе хоста для возможности обмена данными и сохранением состояния между запусками. Это сделал чтобы получился самодостаточное приложение, которому для запуска нужны только JVM, Docker, Ollama.
package com.github.isuhorukov; import com.github.isuhorukov.model.Chapter; import lombok.Getter; import org.postgresql.ds.PGSimpleDataSource; import org.testcontainers.containers.BindMode; import org.testcontainers.containers.PostgreSQLContainer; import javax.sql.DataSource; import java.io.Closeable; import java.io.File; import java.sql.*; import java.util.ArrayList; import java.util.HashSet; import java.util.List; import java.util.Set; /** * Менеджер базы данных, обеспечивающий взаимодействие с PostgreSQL. * Класс инициализирует контейнер PostgreSQL с расширением pgvector, * создает необходимые таблицы и предоставляет методы для работы с данными. */ public class DatabaseManager implements Closeable { private final PostgreSQLContainer<?> postgres; @Getter private DataSource dataSource; /** * Конструктор, инициализирующий и запускающий контейнер PostgreSQL. * Создает необходимые директории и настраивает привязки файловой системы в контейнере. */ public DatabaseManager() { File dbDataDir = new File("./postgres-data"); if (!dbDataDir.exists()) { dbDataDir.mkdirs(); } postgres = new PostgreSQLContainer<>("pgvector/pgvector:pg16") .withDatabaseName("habr") .withUsername("test") .withPassword("test") .withFileSystemBind( new File("./data").getAbsolutePath(), "/mnt/data", BindMode.READ_ONLY ) .withFileSystemBind( dbDataDir.getAbsolutePath(), "/var/lib/postgresql/data", BindMode.READ_WRITE ); postgres.start(); System.out.println("Database URL: " + postgres.getJdbcUrl()); initializeDatabase(); } /** * Инициализирует базу данных, создавая необходимые расширения и таблицы. * @throws RuntimeException если инициализация не удалась */ private void initializeDatabase() { try { PGSimpleDataSource pgDataSource = new PGSimpleDataSource(); pgDataSource.setUrl(postgres.getJdbcUrl()); pgDataSource.setUser(postgres.getUsername()); pgDataSource.setPassword(postgres.getPassword()); this.dataSource = pgDataSource; try (Connection connection = dataSource.getConnection(); Statement stmt = connection.createStatement()) { stmt.execute("CREATE EXTENSION vector"); stmt.execute(""" CREATE TABLE IF NOT EXISTS habr ( id BIGINT PRIMARY KEY, title TEXT, text TEXT, properties JSONB )"""); stmt.execute(""" CREATE TABLE IF NOT EXISTS habr_vectors( id BIGINT, idx INTEGER, notes TEXT, search_vector vector(768) )"""); stmt.execute("ALTER TABLE habr_vectors " + "ADD CONSTRAINT habr_vectors_pkey PRIMARY KEY (id, idx);"); stmt.execute("ALTER TABLE habr_vectors " + "ADD CONSTRAINT fk_habr_vectors_habr " + "FOREIGN KEY (id) REFERENCES habr(id);"); stmt.execute("COMMENT ON TABLE habr IS 'Таблица статей с Хабра'"); stmt.execute("COMMENT ON COLUMN habr.id IS 'Уникальный идентификатор статьи'"); stmt.execute("COMMENT ON COLUMN habr.title IS 'Заголовок статьи'"); stmt.execute("COMMENT ON COLUMN habr.text IS 'Полный текст статьи в HTML формате'"); stmt.execute("COMMENT ON COLUMN habr.properties IS 'Дополнительные свойства статьи в JSON формате'"); stmt.execute("COMMENT ON TABLE habr_vectors IS 'Таблица векторных представлений для статей Хабра'"); stmt.execute("COMMENT ON COLUMN habr_vectors.id IS 'Идентификатор статьи," + " как внешний ключ к таблице habr'"); stmt.execute("COMMENT ON COLUMN habr_vectors.idx IS 'Порядковый номер фрагмента текста " + "в рамках одной статьи. " + "Индекс 0 - краткое описание статьи. " + "Индекс 1 - ключевые слова для статьи. " + "Индексы >1 - темы из статьи'"); stmt.execute("COMMENT ON COLUMN habr_vectors.notes IS 'Текстовое описание - " + "семантически отличимый фрагмент'"); stmt.execute("COMMENT ON COLUMN habr_vectors.search_vector IS 'Векторное представление " + "на основе текста их notes для поиска'"); } } catch (SQLException e) { throw new RuntimeException("Failed to initialize database", e); } } /** * Сохраняет статью Хабра в базу данных. * * @param id идентификатор статьи * @param title заголовок статьи * @param text текст статьи * @param json аттрибуты статьи в формате JSON * @throws RuntimeException если не записали данные */ public void saveHabrArticle(long id, String title, String text, String json) { String sql = "INSERT INTO habr (id, title, text, properties) VALUES (?,?,?,?::jsonb)"; try (Connection connection = dataSource.getConnection(); PreparedStatement pstmt = connection.prepareStatement(sql)) { pstmt.setLong(1, id); pstmt.setString(2, title); pstmt.setString(3, text); pstmt.setString(4, json); pstmt.executeUpdate(); } catch (SQLException e) { throw new RuntimeException("Failed to save habr article", e); } } /** * Сохраняет эмбеддинг для статьи Хабра. * * @param id идентификатор статьи * @param idx индекс фрагмента данных * @param notes текстовое значение * @param vector массив значений вектора * @throws RuntimeException если не записали данные */ public void saveHabrVector(long id, int idx, String notes, float[] vector) { String sql = "INSERT INTO habr_vectors (id, idx, notes, search_vector) VALUES (?, ?, ?, ?)"; try (Connection connection = dataSource.getConnection(); PreparedStatement pstmt = connection.prepareStatement(sql)) { pstmt.setLong(1, id); pstmt.setInt(2, idx); pstmt.setString(3, notes); setVector(connection, pstmt, 4, vector); pstmt.executeUpdate(); } catch (SQLException e) { throw new RuntimeException("Failed to save vector data", e); } } /** * Устанавливает значение вектора в PreparedStatement. * * @param connection соединение с базой данных * @param pstmt запрос * @param parameterIndex индекс параметра * @param vector массив значений вектора * @throws SQLException если установка значения не удалась */ private static void setVector(Connection connection, PreparedStatement pstmt, int parameterIndex, float[] vector) throws SQLException { if (vector != null) { Float[] boxedArray = new Float[vector.length]; for (int i = 0; i < vector.length; i++) { boxedArray[i] = vector[i]; } Array vectorArray = connection.createArrayOf("float4", boxedArray); pstmt.setArray(parameterIndex, vectorArray); } else { pstmt.setNull(parameterIndex, Types.ARRAY); } } /** * Обновляет поисковый вектор для указанной статьи и индекса. * * @param id идентификатор статьи * @param idx индекс вектора * @param vector новый массив значений вектора * @throws RuntimeException если обновление не удалось */ public void updateSearchVector(long id, int idx, float[] vector) { String sql = "UPDATE habr_vectors SET search_vector = ? WHERE id = ? AND idx = ?"; try (Connection connection = dataSource.getConnection(); PreparedStatement pstmt = connection.prepareStatement(sql)) { setVector( connection, pstmt, 1, vector); pstmt.setLong(2, id); pstmt.setInt(3, idx); int rowsUpdated = pstmt.executeUpdate(); if (rowsUpdated ==0) { throw new SQLException("Updating search_vector failed, no rows affected. ID: " + id + ", IDX: " + idx); } } catch (SQLException e) { throw new RuntimeException("Failed to update search_vector for ID: " + id + ", IDX: " + idx, e); } } /** * Получает набор идентификаторов статей, для которых уже созданы векторы. * * @return множество идентификаторов обработанных статей * @throws RuntimeException если получение данных не удалось */ public Set<Long> getProcessedForSummaryArticleIds() { String sql = "SELECT DISTINCT id FROM habr_vectors"; Set<Long> ids = new HashSet<>(); try (Connection connection = dataSource.getConnection(); Statement stmt = connection.createStatement(); ResultSet rs = stmt.executeQuery(sql)) { while (rs.next()) { ids.add(rs.getLong("id")); } } catch (SQLException e) { throw new RuntimeException("Failed to retrieve distinct vector IDs", e); } return ids; } /** * Получает список глав, для которых необходимо создать векторные представления. * * @return список глав для векторизации * @throws RuntimeException если получение данных не удалось */ public List<Chapter> getChapterForEmbedding() { String sql = "SELECT hv.id, hv.idx, hv.notes, kw.notes as keywords " + "FROM habr_vectors hv " + "LEFT JOIN habr_vectors kw ON hv.id = kw.id AND kw.idx = 1 " + "WHERE hv.search_vector IS NULL AND hv.idx <> 1"; List<Chapter> results = new ArrayList<>(); try (Connection connection = dataSource.getConnection(); Statement stmt = connection.createStatement(); ResultSet rs = stmt.executeQuery(sql)) { while (rs.next()) { Chapter chapter = new Chapter(); chapter.setId(rs.getLong("id")); chapter.setIdx(rs.getInt("idx")); chapter.setNotes(rs.getString("notes")); chapter.setKeywords(rs.getString("keywords")); results.add(chapter); } } catch (SQLException e) { throw new RuntimeException("Failed to retrieve vectors", e); } return results; } /** * Останавливает контейнер PostgreSQL. */ @Override public void close() { postgres.stop(); } } Процесс обработки данных
Рассмотрю основные этапы обработки, реализованные в классе HabrApplication:
Загрузка статей
private List<Article> loadArticles(String articlesDirPath, ObjectMapper objectMapper) { File[] articlesPath = new File(articlesDirPath).listFiles(); return Arrays.stream(articlesPath) .parallel() .map(file -> getArticle(file, objectMapper)) .toList(); } Статьи загружаются параллельно из JSON-файлов и десериализуются в объекты Article.
Сохранение статей в базу данных
private static void saveArticle(Article article, DatabaseManager databaseManager, ObjectMapper objectMapper) { String textHtml = article.getTextHtml(); article.setTextHtml(null); databaseManager.saveHabrArticle(article.getId(), article.getTitleHtml(), textHtml, objectMapper.writeValueAsString(article)); article.setTextHtml(textHtml); } Статьи сохраняются в базу данных, при этом текст статьи выделяется в отдельное поле, а остальные метаданные сохраняются в формате JSON.
Извлечение тем и ключевых слов
private static @Nullable Topics getTopics(ChatModel chatModel, Article article) { System.out.println("Getting topics for article. Text length: " + article.getTextHtml().length()); try { return ChatClient.create(chatModel).prompt() .user(u -> u.text("Answer in english language only! Enumerate in details topics covered in html text: {html}") .param("html", article.getTextHtml())) .call() .entity(Topics.class); } catch (Exception e) { System.out.println("Exception in article id=" + article.getId() + ": " + e.getMessage()); return null; } } Для извлечения тем и ключевых слов используется языковая модель, доступная через Spring AI. Отправляю в Ollama текст статьи и получаю структурированный ответ в виде объекта Topics.
Создание векторных представлений
private float[] createEmbedding(EmbeddingModel embeddingModel, List<String> textForEmbeddings, int idx, String text) { if (idx != 1) { return embeddingModel.embed(textForEmbeddings.get(1) + ". " + text); } else { return embeddingModel.embed(text); } } Для каждой темы и для ключевых слов создаются векторные представления. Интересно, что для тем и описания (idx != 1) мы комбинируем текст темы с ключевыми словами, чтобы улучшить качество векторного представления.
Сохранение векторных представлений для данных
databaseManager.saveHabrVector(article.getId(), idx, text, vectors); Созданные векторные представления сохраняются в базу данных для последующего использования при поиске.
Основной код системы
HabrApplication.java
package com.github.isuhorukov; import com.fasterxml.jackson.annotation.JsonInclude; import com.fasterxml.jackson.databind.ObjectMapper; import com.github.isuhorukov.model.Article; import com.github.isuhorukov.model.Topics; import lombok.SneakyThrows; import org.jetbrains.annotations.NotNull; import org.jetbrains.annotations.Nullable; import org.springframework.ai.chat.client.ChatClient; import org.springframework.ai.chat.model.ChatModel; import org.springframework.ai.embedding.EmbeddingModel; import org.springframework.beans.factory.annotation.Value; import org.springframework.boot.CommandLineRunner; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.context.annotation.Bean; import java.io.File; import java.util.*; /** * Основной класс приложения для обработки статей с Habr. * Приложение загружает статьи, обрабатывает их содержимое и сохраняет в базу данных * вместе с векторными представлениями для дальнейшего анализа. */ @SpringBootApplication public class HabrApplication { public static void main(String[] args) { SpringApplication.run(HabrApplication.class, args); } /** * CommandLineRunner для выполнения приложения. * * @param embeddingModel модель для создания векторного представления текста * @param chatModel модель для генерации тем и ключевых слов из текста * @param articlesDirPath путь к директории со статьями * @return экземпляр CommandLineRunner */ @Bean CommandLineRunner run(EmbeddingModel embeddingModel, ChatModel chatModel, @Value("${articles}") String articlesDirPath) { return args -> { ObjectMapper objectMapper = createObjectMapper(); List<Article> articleList = loadArticles(articlesDirPath, objectMapper); processArticles(articleList, embeddingModel, chatModel, objectMapper); }; } /** * Загружает статьи из указанной директории. * * @param articlesDirPath путь к директории со статьями * @param objectMapper маппер для десериализации JSON * @return список статей */ private List<Article> loadArticles(String articlesDirPath, ObjectMapper objectMapper) { File[] articlesPath = new File(articlesDirPath).listFiles(); return Arrays.stream(articlesPath) .parallel() .map(file -> getArticle(file, objectMapper)) .toList(); } /** * Обрабатывает список статей: определяет темы и ключевые слова, создает векторные представления * и сохраняет их в базу данных. * * @param articleList список статей для обработки * @param embeddingModel модель для создания векторных представлений * @param chatModel модель для анализа содержимого статей * @param objectMapper маппер для сериализации объектов */ private void processArticles(List<Article> articleList, EmbeddingModel embeddingModel, ChatModel chatModel, ObjectMapper objectMapper) { try (DatabaseManager databaseManager = new DatabaseManager()) { articleList.forEach(article -> saveArticle(article, databaseManager, objectMapper)); articleList.forEach(article -> processArticleEmbeddings(article, chatModel, embeddingModel, databaseManager)); } } /** * Обрабатывает статью: извлекает темы и создает векторные представления. * * @param article статья для обработки * @param chatModel модель для извлечения тем * @param embeddingModel модель для создания векторных представлений * @param databaseManager менеджер базы данных для сохранения результатов */ private void processArticleEmbeddings(Article article, ChatModel chatModel, EmbeddingModel embeddingModel, DatabaseManager databaseManager) { Topics topics; List<String> textForEmbeddings; try { topics = getTopics(chatModel, article); if (topics == null) { return; } textForEmbeddings = getTextForEmbeddings(topics); } catch (Exception e) { System.out.println("Error processing article " + article.getId() + ": " + e.getMessage()); return; } for (int idx = 0; idx < textForEmbeddings.size(); idx++) { String text = textForEmbeddings.get(idx); float[] vectors = generateEmbedding(embeddingModel, textForEmbeddings, idx, text); databaseManager.saveHabrVector(article.getId(), idx, text, vectors); } } /** * Создает векторное представление для заданного текста. * * @param embeddingModel модель для создания векторных представлений * @param textForEmbeddings список текстов для векторизации * @param idx индекс текущего текста * @param text текст для векторизации * @return векторное представление текста */ private float[] generateEmbedding(EmbeddingModel embeddingModel, List<String> textForEmbeddings, int idx, String text) { if (idx != 1) { return embeddingModel.embed(textForEmbeddings.get(1) + ". " + text); } else { return embeddingModel.embed(text); } } /** * Сохраняет статью в базу данных. * * @param article статья для сохранения * @param databaseManager менеджер базы данных для сохранения результатов * @param objectMapper маппер для сериализации объектов */ @SneakyThrows private static void saveArticle(Article article, DatabaseManager databaseManager, ObjectMapper objectMapper) { String textHtml = article.getTextHtml(); article.setTextHtml(null); databaseManager.saveHabrArticle(article.getId(), article.getTitleHtml(), textHtml, objectMapper.writeValueAsString(article)); article.setTextHtml(textHtml); } /** * Извлекает темы из статьи с помощью LLM модели. * * @param chatModel модель для анализа содержимого статьи * @param article статья для анализа * @return объект с темами статьи или null в случае ошибки */ private static @Nullable Topics getTopics(ChatModel chatModel, Article article) { System.out.println("Getting topics for article. Text length: " + article.getTextHtml().length()); try { return ChatClient.create(chatModel).prompt() .user(u -> u.text("Answer in english language only! Enumerate in details topics covered in html text: {html}") .param("html", article.getTextHtml())) .call() .entity(Topics.class); } catch (Exception e) { System.out.println("Exception in article id=" + article.getId() + ": " + e.getMessage()); return null; } } /** * Формирует список текстов для создания векторных представлений на основе тем статьи. * * @param topics темы статьи * @return список текстов для векторизации */ private static @NotNull List<String> getTextForEmbeddings(Topics topics) { List<String> topicsText = topics.getTopics().stream() .map(topic -> topic.getName() + ". " + topic.getDescription()) .toList(); List<String> topicsTextFull = new ArrayList<>(topicsText.size() + 2); topicsTextFull.add(topics.getSummary()); topicsTextFull.add(topics.getKeywords()); topicsTextFull.addAll(topicsText); return topicsTextFull; } /** * Десериализует статью из файла. * * @param file файл со статьей в формате JSON * @param objectMapper маппер для десериализации * @return объект статьи */ @SneakyThrows private static Article getArticle(File file, ObjectMapper objectMapper) { return objectMapper.readValue(file, Article.class); } /** * Создает и настраивает ObjectMapper для работы с JSON. * * @return ObjectMapper */ private ObjectMapper createObjectMapper() { ObjectMapper objectMapper = new ObjectMapper(); objectMapper.setSerializationInclusion(JsonInclude.Include.NON_NULL); return objectMapper; } } Конфигурация моделей
В файле application.properties настраиваются параметры используемых мной моделей в Spring AI:
spring.ai.ollama.embedding.options.model=nomic-embed-text:v1.5 spring.ai.ollama.chat.options.model=gemma3:4b spring.ai.ollama.chat.options.num-ctx=128000 spring.ai.ollama.embedding.options.num-ctx=2048 В этом примере использую:
-
gemma3:4bдля извлечения тем и ключевых слов из текста статьи с указанным размером контекста. -
nomic-embed-text:v1.5для создания векторного представления текста (embeddings).
Рекомендую загрузить предварительно используемые модели в Ollama командой pull или run.
Как работает работает получение структурированных данных в Spring AI
Фреймворк Spring AI при вызове ChatClient.create(chatModel).prompt() … call().entity(Topics.class) делает автоматический вывод схемы из классов проекта. Ведь под капотом почти все LLM принимают на вход JSON Schema, для того чтобы выдавать ответ в структурированной форме.
Чтобы помочь нейросети с семантикой полей и классов, необходимо только добавить аннотацию @JsonPropertyDescription, которая превращается в поле description в схеме JSON. Ну и конечно как и с людьми, называйте поля осознанно не a1, a2…
package com.github.isuhorukov.model; import com.fasterxml.jackson.annotation.JsonPropertyDescription; import lombok.Data; import java.util.List; @Data public class Topics { private List<Topic> topics; @JsonPropertyDescription("Text summary in english language") private String summary; @JsonPropertyDescription("Keywords for topic in english language. Format as string concatenated with,") private String keywords; } package com.github.isuhorukov.model; import com.fasterxml.jackson.annotation.JsonPropertyDescription; import lombok.Data; @Data public class Topic { @JsonPropertyDescription("Short topic name in english language") private String name; @JsonPropertyDescription("Detailed description for this topic in english language") private String description; } Для классов Topics, Topic фреймворком создается следующая JSON схема:
{ "$schema" : "https://json-schema.org/draft/2020-12/schema", "type" : "object", "properties" : { "keywords" : { "type" : "string", "description" : "Keywords for topic in english language. Format as string concatenated with," }, "summary" : { "type" : "string", "description" : "Text summary in english language" }, "topics" : { "type" : "array", "items" : { "type" : "object", "properties" : { "description" : { "type" : "string", "description" : "Detailed description for this topic in english language" }, "name" : { "type" : "string", "description" : "Short topic name in english language" } }, "additionalProperties" : false } } }, "additionalProperties" : false } В чем преимущества использования локальных моделей
В проекте использую локальные модели через Ollama API, а это значит:
-
Конфиденциальность данных — данные не покидают инфраструктуру
-
Экономия — нет необходимости платить за API-вызовы к облачным сервисам
-
Контроль — полный контроль над моделями и их параметрами
-
Отсутствие зависимости от внешних сервисов — система работает даже без доступа к интернету. Стабильно, без зависимости от нагрузки в разное время суток, как бывает с Claude Sonet. Но для быстрой работы моделей требуется мощная видеокарта с приличным объемом видеопамяти, в зависимости от требований используемой LLM модели.
Запросы в PostgreSQL к данным Хабра
В результате прогрева комнаты от работающего ноутбука и «сжигании многих киловатт» нейросетями сохранил сотню тысяч статей с Хабра в PostgreSQL, по которым теперь могу выполнять произвольные SQL запросы, учитывая семантическую близость для текстов.
Важное замечание про индексацию: хоть скачивал статьи с хабра и на русском языке, но я задавал промпт нейросети давать ответ на английском. Для этого у меня есть несколько причин: во-первых нужно выбрать какой-либо один общий язык для информации и у английского преимущество в объемах и качестве датасетов при обучении LLM, второе — моя уверенность, что семантическая близость у nomic-embed-text для английских синонимов слов больше, в третьих — меньше генерируемых токенов в ответе нейросети при извлечении информации.
База после индексирования содержит нужные мне данные статей
Сначала я найду свои статьи, что попали в эту базу данных:
select id, title from habr where properties->'author'->>'alias' = 'igor_suhorukov' 
Теперь, я поинтересуюсь что же проиндексировано по моей статье о создании конечных автоматов на SQL в PostgreSQL:
select id,idx, notes from habr_vectors where id=728196 
И теперь хочу быстро найти 5 результатов поиска максимально близких по семантике фрагмента из всех статей, кроме моей текущей:
select id, idx, notes from habr_vectors where id<>728196 and idx=0 order by search_vector <=> (select search_vector from habr_vectors where id=728196 and idx=0) limit 5 Эти результаты получил, используя поиск по индексу для косинусного расстояния между эмбеддингами.
select 'https://habr.com/ru/articles/' || id as link from habr_vectors where id<>728196 order by search_vector <=> (select search_vector from habr_vectors where id=728196 and idx=0) limit 5; link ------------------------------------- https://habr.com/ru/articles/757278 https://habr.com/ru/articles/757278 https://habr.com/ru/articles/760720 https://habr.com/ru/articles/713714 https://habr.com/ru/articles/723202 (5 rows) Time: 3.063 ms Для inner product между эмбеддингами:
select 'https://habr.com/ru/articles/' || id as link from habr_vectors where id<>728196 order by search_vector <#> (select search_vector from habr_vectors where id=728196 and idx=0) limit 5; link ------------------------------------- https://habr.com/ru/articles/757278 https://habr.com/ru/articles/757278 https://habr.com/ru/articles/757278 https://habr.com/ru/articles/757278 https://habr.com/ru/articles/757278 (5 rows) Time: 127.108 ms Для расстояния L2 между эмбеддингами:
osmworld=# select 'https://habr.com/ru/articles/' || id as link from habr_vectors where id<>728196 order by search_vector <+> (select search_vector from habr_vectors where id=728196 and idx=0) limit 5; link ------------------------------------- https://habr.com/ru/articles/760720 https://habr.com/ru/articles/713714 https://habr.com/ru/articles/707650 https://habr.com/ru/articles/721464 https://habr.com/ru/articles/784412 (5 rows) Time: 132.400 ms Итог
Я поделился с вами примером своей системы для семантического поиска по статьям Хабра, которая:
-
Загружает и сохраняет статьи в базу данных
-
Извлекает краткий реферат, темы и ключевые слова с помощью языковой модели
-
Создает векторные представления для эффективного поиска
-
Использует локальные модели в Ollama для обеспечения конфиденциальности и экономии. Если у вас много денег, они не ваши или нужно быстро обработать большой объем без закупки ускорителей для нейросетей, то легко можно подключить внешние модели как с OpenAI совместимым интерфейсом, так и любое из длинного списка поддерживаемых провайдеров: Anthropic Claude, Azure OpenAI, DeepSeek, Google VertexAI Gemini, Groq, HuggingFace, Mistral AI, MiniMax, Moonshot AI, NVIDIA (OpenAI-proxy), OCI GenAI/Cohere, Perplexity (OpenAI-proxy), QianFan, ZhiPu AI, Amazon Bedrock Converse
-
Сохраняет для текста темы, ключевые слова и embeddings в PostgreSQL
Исходный код проекта демонстрирует, как можно использовать современные технологии машинного обучения в Java-приложениях для решения практических задач обработки естественного языка и информационного поиска. Локальный запуск LLM для обработки оправдан как в хобби проектах, так и в корпоративных системах обработки данных на основе технологий машинного обучения/ Искуственного Интеллекта.
Такой подход позволяет реализовать поиск по смыслу, который во многом удобнее чем традиционный поиск по ключевым словам. Система может быть адаптирована для работы с другими источниками данных. Тут я показал принцип построения таких систем. А дальше сложность запросов к данным Хабра уже ограничена только воображением. Так как выразительные возможности SQL и расширяемость PostgreSQL позволяют написать почти любой запрос.
ссылка на оригинал статьи https://habr.com/ru/articles/915348/
Добавить комментарий