Как подключить AFFiNE к Ollama?

Когда я пытался подключить AFFiNE к Ollama или к DeepSeek, я сразу столкнулся с большой проблемой: AFFiNE попросту не умеет работать с моделями, отличными от GPT. Вопрос: почему? Да потому что ребята просто захардкодили названия моделей в коде. 

Честности ради, ребята все еще в бете, так что причину отлично понимаю

Покопавшись в коде, я понял, что там попросту никак нельзя конфигурировать что-либо, КРОМЕ URL и API-ключа от OpenAI, так как названия моделей буквально захардкожены.

В итоге я вспомнил, что в LocalAI есть механизм, позволяющий «ренеймить» модели, которые ты установил на свою машину.

name: phi-2 context_size: 2048 f16: true threads: 11 gpu_layers: 90 mmap: true parameters:   # Reference any HF model or a local file here   model: huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf   temperature: 0.2   top_k: 40   top_p: 0.95 template:    chat: &template |     Instruct: {{.Input}}     Output:   # Modify the prompt template here ^^^ as per your requirements   completion: *template

Указав название, можно переименовать модель, что могло бы упростить работу.

Однако LocalAI мне лично совсем не нравится (он попросту сложнее), хотя я не исключаю варианта, что со временем буду переезжать на него вместо Ollama из-за возможностей работать не только с LLM, а с множеством разных видов нейронов.

Так что я пошел копаться в сторону похожего функционала в Ollama, однако там ничего подобного не оказалось. Но я увидел механизм copy.

Я решил: а вдруг подойдут? Но, конечно, боялся дублировать модели по 30 гигабайт на диске. Но что поделать, попробовал сделать дубликат модели DeepSeek-r1:32b и назвать его gpt-4o.

docker exec -it service-ollama-backend ollama cp deepseek-r1:32b gpt-4o

ИИИИ — да, это сработало.

Проблема только одна: AFFiNE всё еще не умеет работать с «мыслящими» моделями, поэтому он попросту вставлял мысли модели посреди текста :D.

P.S. У меня, кстати, в Telegram-канале сейчас идет розыгрыш моего старого Intel NUC на 32 ГБ памяти, на котором я раньше запускал первые домашние модели через Ollama, так что буду рад подписке 🙂