ИИ на FPGA — создание нейронной сети XOR с помощью LLM

Иногда лучший способ чему-то научиться, будь то ПЛИС, модель ИИ или простейшая логическая задача — это позволить технологии научить саму себя.

Однажды мне захотелось запустить нейронную сеть на ПЛИС, и это стало моим первым опытом работы с тем и другим. К счастью, у меня был доступ к Anthropic API, что позволило воспользоваться помощью LLM-сервиса в создании нейронной сети XOR для ПЛИС.

На картинке выше приведена макетка с Arduino MKR Vidor 4000 и мигающими светодиодами. Два левых светодиода отображают входные значения, а правый крайний светодиод показывает результат операции XOR.

Первые шаги

До этого у меня не было абсолютно никакого опыта работы с ПЛИС. Запуск базового примера «Hello World» с мигающим светодиодом стал хорошим началом и придал мне уверенности для решения более сложной задачи: использования языковой модели при написании кода Verilog для нейронной сети XOR.

Почему XOR?

Реализация вентиля XOR с помощью нейронной сети может показаться излишеством. Для этой базовой функции цифровой логики достаточно нескольких логических элементов. Тем не менее, в изучении ИИ эта задача может послужить идеальной отправной точкой: небольшая, контролируемая и с легко предсказуемыми результатами.

Моделируем на Verilator

Компиляция кода для ПЛИС представляет из себя нечто вроде работы с чёрным ящиком. Здесь может помочь инструментарий Verilator. Он преобразует код Verilog в C++, что позволяет выполнять его симуляцию на компьютере перед развёртыванием на ПЛИС. Этот шаг оказался особенно кстати при работе с сигмоидальной функцией. Вместо того чтобы вычислять результат операции XOR напрямую, LLM сгенерировала его методом кусочно-линейной аппроксимации с использованием LUT (таблиц поиска).

XOR Neural Network Test Results ================================ Input: (0.000, 0.000) -> Output: 1.000 (Expected: 0.000) - FAIL [13 cycles] Input: (0.000, 1.000) -> Output: 1.000 (Expected: 1.000) - PASS [13 cycles] Input: (1.000, 0.000) -> Output: 1.000 (Expected: 1.000) - PASS [13 cycles] Input: (1.000, 1.000) -> Output: 1.000 (Expected: 0.000) - FAIL [13 cycles]  

Обучение модели

С помощью языка Python и пакета NumPy я обучил простую модель, чтобы получить значения вес—смещение для нейронной сети XOR. Затем они были помещены в код Verilog, чтобы нейросеть могла правильно подбирать значения XOR.

Epoch 0, Error: 0.4808 Epoch 1000, Error: 0.0653 ... Epoch 9000, Error: 0.0158 Trained weights in fixed-point format: // Hidden weights: w_hidden[0] = 16'h00DE;  // 0.870 w_hidden[1] = 16'hFFAB;  // -0.335 ... w_hidden[15] = 16'hFE8D;  // -1.451 // Hidden biases: b_hidden[0] = 16'hFFFC;  // -0.018 b_hidden[1] = 16'h0058;  // 0.344 ... b_hidden[7] = 16'h009D;  // 0.615 // Output weights: w_output[0] = 16'hFF97;  // -0.412 w_output[1] = 16'h015B;  // 1.358 ... w_output[7] = 16'hFDCF;  // -2.194 // Output bias: b_output = 16'h01EE;  // 1.933 Testing: Input: [0 0] -> Output: 0.011 (Expected: 0) Input: [0 1] -> Output: 0.984 (Expected: 1) Input: [1 0] -> Output: 0.985 (Expected: 1) Input: [1 1] -> Output: 0.017 (Expected: 0) 

Quartus Prime

Quartus Prime — это ПО разработки и программирования ПЛИС. В нем имеются инструменты для логического синтеза, компоновки, маршрутизации и моделирования. Бесплатная версия Lite хорошо подходит для этого небольшого проекта.

На скриншоте показана сигмоидальная функция. При работе с ПЛИС числа часто отображаются в формате вида 16’h0400, который представляет собой 16-разрядное значение, где «h» означает «шестнадцатеричное».

Конечный автомат

Приведенный ниже конечный автомат координирует операции в ПЛИС, определяя последовательность вычислений для получения результата XOR. Он переходит из одного состояния в другое, например из состояния «ожидание» в состояние «вычисление», «применение сигмоиды» и «вывод результата», обеспечивая выполнение вычислений в правильном порядке.

// State machine always @(posedge clk or posedge rst) begin if (rst) begin state <= IDLE; done <= 0; y_out <= 0; acc_idx <= 0; mult_result <= 0;  // Initialize this too end else begin case (state) IDLE: begin done <= 0; acc_idx <= 0; if (start) begin state <= COMPUTE_HIDDEN; end end COMPUTE_HIDDEN: begin // ... computation logic ... if (acc_idx == HIDDEN_LAYER_SIZE) begin    state <= APPLY_SIGMOID; end end APPLY_SIGMOID: begin // ... apply sigmoid function ... state <= OUTPUT_RESULT; end OUTPUT_RESULT: begin // ... output result ... state <= IDLE; end endcase end end 

Совместная работа MCU и FPGA

На последнем этапе микроконтроллер SAMD21 платы Arduino должен был взаимодействовать с ПЛИС. Обратите внимание, что сигнал OUT_Y_PIN по отношению к микроконтроллеру действует как входное значение, которое задается соответствующим выходом ПЛИС:

// ... setup() function ... pinMode(INPUT_X1_PIN, OUTPUT); pinMode(INPUT_X2_PIN, OUTPUT); pinMode(START_PIN, OUTPUT); pinMode(OUT_Y_PIN, INPUT); // Start the computation on the FPGA digitalWrite(START_PIN, HIGH); delay(100); digitalWrite(START_PIN, LOW);   // ... loop() function ... digitalWrite(INPUT_X1_PIN, inputPattern & 0x01); digitalWrite(INPUT_X2_PIN, (inputPattern & 0x02) >> 1); ... int xorResult = digitalRead(OUT_Y_PIN);```   

Резюме

В этом пусть небольшом проекте мне удалось реализовать свое первое решение на ПЛИС. Сервис LLM Anthropic помог мне создать весь код для нейронной сети XOR, моделирования, обучения и интеграции с Arduino. Поначалу код оказался неидеален, но послужил хорошей отправной точкой. Благодаря большему количеству взаимодействий «мы» (ИИ Anthropic и я) нашли решение.
Моделирование проекта с помощью Verilator перед развертыванием помогает выявить и устранить потенциальные проблемы на ранних этапах. Хотя вентиль XOR в виде нейросети может показаться излишеством, это послужит отличным введением в ИИ и программирование ПЛИС и может открыть дверь для более сложных приложений.

Полный код, включая реализацию на Verilog и интеграцию с Arduino, доступен в моем репозитории GitHub: FPGA_XOR_NN.