Алиса, подвинься

• время, дата (выдает текущее время и дату)

• какие сегодня новости? (выдает заголовки топ 5 новостей)

• какая погода в москве и питере? (выдает погоду)

• проверь почту (выдает заголовки непрочитанных писем эл.почты)

• закажи суши (вызов API магазина суши если таковой имеется)

• отправь СМС брату: «сегодня не приеду, весь день занят» (вызов API отправки СМС)

• курс доллара (выводит стоимость 1 доллара в рублях по курсу ЦБ)

• включи музыку бетховен симфония номер пять (запуск плеера)

• будильник на завтра в 17:15 (добавление будильника)

• отмени все дела сегодня (отмена всех будильников)

• включи робот-пылесос (команда «умному дому»)

• включи телевизор в кухне (команда «умному дому»)

• закрой шторы в гостиной (команда «умному дому»)

• выключи свет в коридоре, в прихожей и в ванной (команда «умному дому»)

• поставь дом на охрану (команда «умному дому»)

using NAudio.Wave; using Newtonsoft.Json; using System; using System.Linq; using System.Speech.Synthesis; using Vosk;  namespace ConsoleJarvis {     internal class Program     {         private class RecognizeWord         {             public double conf { get; set; }             public double end { get; set; }             public double start { get; set; }             public string word { get; set; }         }         private class RecognizeResult         {             public RecognizeWord[] result { get; set; }             public string text { get; set; }         }          static void Main(string[] args)         {             //модель             Model model = new Model("vosk-model-small-ru-0.22");              //настраиваем "распознаватель"             var recognizer = new VoskRecognizer(model, 16000.0f);             recognizer.SetMaxAlternatives(0);             recognizer.SetWords(true);              //настраиваем и «включаем» микрофон             var waveIn = new WaveInEvent();             waveIn.DeviceNumber = 0; //первый микрофон по умолчанию             waveIn.WaveFormat = new WaveFormat(16000, 1); //для лучшего распознавания             waveIn.DataAvailable += WaveIn_DataAvailable;             waveIn.StartRecording();              //получаем данные от микрофона             void WaveIn_DataAvailable(object sender, WaveInEventArgs e)             {                 //распознаем                 if (recognizer.AcceptWaveform(e.Buffer, e.BytesRecorded))                 {                     //получаем распознанный текст в json                     string txt = recognizer.FinalResult();                      //преобразуем                     RecognizeResult values = JsonConvert.DeserializeObject<RecognizeResult>(txt);                      //парсим команды                     parseCommands(values);                 }             }              Console.WriteLine();             Console.WriteLine("Скажите одну из команд:");             Console.WriteLine("Джарвис, список команд!");             Console.WriteLine("Джарвис, дата");             Console.WriteLine("Джарвис, время");             Console.WriteLine("Джарвис, запусти блокнот");             Console.WriteLine("Джарвис, выход");             Console.WriteLine("Напишите 'exit' и нажмите Enter что-бы выйти");             Console.WriteLine();             var input = Console.ReadLine();             while (input != "exit")             {             }         }          //генерируем ответ         static void PlayTTS(string text)         {             var synthesizer = new SpeechSynthesizer();             synthesizer.SetOutputToDefaultAudioDevice(); //аудио-выход по умолчанию             //synthesizer.SelectVoice(voiceName); //выбор голоса              var builder = new PromptBuilder();             builder.StartVoice(synthesizer.Voice);             builder.AppendText(text);             builder.EndVoice();              //генерируем звук             synthesizer.Speak(text);         }          static void parseCommands(RecognizeResult words)         {             if (words.text.Length == 0) return;              Console.WriteLine("Распознано: " + words.text + Environment.NewLine);              //если в предложении первое слово джарвис - слушаем команду             if (words.result.First().word.Contains("джарвис"))             {                 var text = words.result.Select(obj => obj.word).ToList();                  var print = string.Join(" ", text);                 var command = string.Join(" ", text.Skip(1)); //Skip(1) - пропускаем первое слово "джарвис"                  //логируем команду                 Console.WriteLine(print);                  var executerComment = "";                  if (command.Trim().Length == 0)                 {                     Console.WriteLine("Джарвис: что?");                     PlayTTS("что?");                 }                 else if (!Executer.Parse(command, ref executerComment)) //выполняем команды                 {                     Console.WriteLine("Джарвис: Команда не распознана");                     PlayTTS("Команда не распознана");                 }                 else                 {                     Console.WriteLine("Джарвис: "+executerComment);                     PlayTTS(executerComment);                 }                 Console.WriteLine("");             }         }     } }

Доступные команды, файл Executer.cs:

using System; using System.Collections.Generic; using System.Globalization;  namespace ConsoleJarvis {     public static class Executer     {         public delegate void Func(string text, ref string comment);          private class Command         {             public string word { get; set; }             public Func action { get; set; }             public Command(string word, Func action)             {                 this.word = word;                 this.action = action;             }          }          private static readonly List<Command> commands = new List<Command>();          static Executer()         {             //Добавляем все доступные команды              commands.Add(new Command("список команд", (string text, ref string comment) =>             {                 foreach (var c in commands) {                     comment = comment + Environment.NewLine + c.word + '.';                 }             }));              commands.Add(new Command("дата", (string text, ref string comment) =>             {                 comment = DateTime.Now.ToString("dddd dd MMMM yyyy", CultureInfo.CurrentCulture);             }));              commands.Add(new Command("время", (string text, ref string comment) =>             {                 comment = DateTime.Now.ToString("H mm", CultureInfo.CurrentCulture);             }));              commands.Add(new Command("запусти", (string text, ref string comment) =>             {                 foreach (var c in text.Split(' '))                 {                     switch (c)                     {                         case "калькулятор":                             System.Diagnostics.Process.Start(@"calc.exe");                             return;                         case "блокнот":                             System.Diagnostics.Process.Start(@"notepad.exe");                             return;                     }                  }                 comment = "я не умею запускать ничего кроме калькулятора и блокнота";             }));              commands.Add(new Command("выход", (string text, ref string comment) =>             {                 Environment.Exit(0);             }));          }          public static bool Parse(string text, ref string comment)         {             foreach (var command in commands)             {                 if (text.Contains(command.word))                 {                     command.action(text, ref comment);                     return true;                 }             }             return false;         }     } }

Пример распознанного текста:

{   "result" : [{       "conf" : 1.000000,       "end" : 1.110000,       "start" : 0.630000,       "word" : "джарвис"     }, {       "conf" : 1.000000,       "end" : 1.410000,       "start" : 1.110000,       "word" : "курс"     }, {       "conf" : 1.000000,       "end" : 1.860000,       "start" : 1.410000,       "word" : "доллара"     }],   "text" : "джарвис курс доллара" }

using LLama.Common; using LLama; using LLama.Sampling; using LLama.Transformers;  //путь к модели string modelPath = @"c:\models\QVikhr-2.5-1.5B-Instruct-r-Q8_0.gguf";  var parameters = new ModelParams(modelPath) {     ContextSize = 1024, //контекст };  //загружаем модель using var model = LLamaWeights.LoadFromFile(parameters);  //создаем контекст using var context = model.CreateContext(parameters);  //для инструкций var executorInstruct = new InstructExecutor(context); //для интерактива  var executorInteractive = new InteractiveExecutor(context); //каждый раз сбрасывает контекст var executorStateless = new StatelessExecutor(model, parameters) {     ApplyTemplate = true,     SystemMessage = "Ты - полезный помощник. Отвечай кратко" };  //параметры инференса InferenceParams inferenceParams = new InferenceParams() {     MaxTokens = 256, //максимальное количество токенов     AntiPrompts = new List<string> { ">" },     SamplingPipeline = new DefaultSamplingPipeline()     {          Temperature = 0.4f         ,TopK = 50         ,TopP = 0.95f         ,RepeatPenalty = 1.1f     } };  //загружаем из модели правильный шаблон для промпта LLamaTemplate llamaTemplate = new LLamaTemplate(model.NativeHandle) {     AddAssistant = true };  //генерируем правильный промпт string createPrompt(string role, string input) {     var ltemplate = llamaTemplate.Add(role, input);     return PromptTemplateTransformer.ToModelPrompt(ltemplate); }  Console.Write("\n>"); string userInput = Console.ReadLine() ?? ""; while (userInput != "exit") {     //посмотрим какой нам генерируется ответ     //prompt: <| im_start |> user     //привет <| im_end |>     //<| im_start |> assistant      //для executorInstruct и executorInteractive каждый раз будет дублировать всю историю переписки, т.к. она хранится в контексте     //для executorStateless - контекст будет создаваться заново без истории переписки     var prompt = createPrompt("user", userInput);     Console.WriteLine("prompt: "+ prompt);      //инфер     await foreach (var text in executorInteractive.InferAsync(prompt, inferenceParams))     {         Console.ForegroundColor = ConsoleColor.White;         Console.Write(text);     }     userInput = Console.ReadLine() ?? ""; }

1) Создаем файл Modelfile (без расширения) с таким содержимым:

from f:\GPT4ALL\models\QVikhr-2.5-1.5B-Instruct-r-Q8_0.gguf # set the temperature to 1 [higher is more creative, lower is more coherent] PARAMETER temperature 0.0 #PARAMETER top_p 0.8 #PARAMETER repeat_penalty 1.05 #PARAMETER top_k 20  TEMPLATE """ {{- if .Messages }} {{- if or .System .Tools }}<|im_start|>system {{- if .System }} {{ .System }} {{- end }} {{- if .Tools }}  # Tools  You may call one or more functions to assist with the user query. Do not distort user description to call functions!   You are provided with function signatures within <tools></tools> XML tags: <tools> {{- range .Tools }} {"type": "function", "function": {{ .Function }}} {{- end }} </tools>  For each function call, return a json object with function name and arguments within <toolcall></toolcall> XML tags: <toolcall> {"name": <function-name>, "arguments": <args-json-object>} </toolcall> {{- end }}<|im_end|> {{ end }} {{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} {{- if eq .Role "user" }}<|im_start|>user {{ .Content }}<|im_end|> {{ else if eq .Role "assistant" }}<|im_start|>assistant {{ if .Content }}{{ .Content }} {{- else if .ToolCalls }}<toolcall> {{ range .ToolCalls }}{"name": "{{ .Function.Name }}", "arguments": {{ .Function.Arguments }}} {{ end }}</toolcall> {{- end }}{{ if not $last }}<|im_end|> {{ end }} {{- else if eq .Role "tool" }}<|im_start|>user <tool_response> {{ .Content }} </tool_response><|im_end|> {{ end }} {{- if and (ne .Role "assistant") $last }}<|im_start|>assistant {{ end }} {{- end }} {{- else }} {{- if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user {{ .Prompt }}<|im_end|> {{ end }}<|im_start|>assistant {{ end }}{{ .Response }}{{ if .Response }}<|im_end|>{{ end }} """  # set the system message SYSTEM """You are JARVIS. You are a helpful assistant. Answer user requests briefly."""

2) Затем запускаем в командной строке импорт модели в Ollama:

ollama create MY -f c:\models\Modelfile

#pragma warning disable SKEXP0070  using Microsoft.SemanticKernel;  var modelId = "MY"; var url = "http://localhost:11434";  var builder = Kernel.CreateBuilder(); builder.Services.AddOllamaChatCompletion(modelId, new HttpClient() { BaseAddress = new Uri(url) }); var kernel = builder.Build();  Console.Write("User: "); string? input = null; while ((input = Console.ReadLine()) is not null) {     var answer = await kernel.InvokePromptAsync(input);     Console.WriteLine("AI: " + string.Join("\n", answer));      Console.Write("User: "); }

#pragma warning disable SKEXP0070  using Microsoft.SemanticKernel; using Microsoft.SemanticKernel.Connectors.Ollama; using System.ComponentModel;  var modelId = "MY"; var url = "http://localhost:11434";  var builder = Kernel.CreateBuilder(); builder.Services.AddOllamaChatCompletion(modelId, new HttpClient() { BaseAddress = new Uri(url) }); var kernel = builder.Build();  //Добавляем свои функции kernel.Plugins.AddFromObject(new MyWeatherPlugin()); kernel.Plugins.AddFromType<MyTimePlugin>(); kernel.Plugins.AddFromObject(new MyNewsPlugin());  //настраиваем ollama на запуск функций var settings = new OllamaPromptExecutionSettings {     FunctionChoiceBehavior = FunctionChoiceBehavior.Auto(),     Temperature = 0,     TopP = 0, };  Console.Write("User: "); string? input = null; while ((input = Console.ReadLine()) is not null) {     var answer = await kernel.InvokePromptAsync(input, new(settings));     Console.WriteLine("AI: " + string.Join("\n", answer));      Console.Write("User: "); }  //Плагины public class MyWeatherPlugin {     [KernelFunction, Description("Gets the current weather for the specified city")]     public string GetWeather(string _city)     {         return "very good in " + _city + "!";     } }  public class MyTimePlugin {     [KernelFunction, Description("Get the current day of week")]     public string DayOfWeek() => System.DateTime.Now.ToString("dddd");      [KernelFunction, Description("Get the current time")]     public string Time() => System.DateTime.Now.ToString("HH 'hour' mm 'minutes'");      [KernelFunction, Description("Get the current date")]     public string Date() => System.DateTime.Now.ToString("dddd dd MMMM yyyy"); }  public class MyNewsPlugin {     [KernelFunction, Description("Gets the current news for the specified count")]     public string GetNews(int count)     {         return "the ruble strengthened. An alien ship was found in the USA. It's a full moon today.";     } }

#pragma warning disable SKEXP0001 #pragma warning disable SKEXP0050 #pragma warning disable SKEXP0070  using Microsoft.Extensions.DependencyInjection; using Microsoft.SemanticKernel; using Microsoft.SemanticKernel.Connectors.Ollama; using Microsoft.SemanticKernel.Embeddings; using Microsoft.SemanticKernel.Memory; using Microsoft.SemanticKernel.Plugins.Memory; using System.ComponentModel;  var modelId = "MY"; var url = "http://localhost:11434";  var builder = Kernel.CreateBuilder(); builder.AddLocalTextEmbeddingGeneration(); //для embeddingGenerator builder.Services.AddOllamaChatCompletion(modelId, new HttpClient() { BaseAddress = new Uri(url) }); var kernel = builder.Build();  //Добавляем свои функции kernel.Plugins.AddFromObject(new MyWeatherPlugin()); kernel.Plugins.AddFromType<MyTimePlugin>(); kernel.Plugins.AddFromObject(new MyNewsPlugin());  //===RAG //семантическая память var embeddingGenerator = kernel.Services.GetRequiredService<ITextEmbeddingGenerationService>(); var store = new VolatileMemoryStore(); var memory = new MemoryBuilder()            .WithTextEmbeddingGeneration(embeddingGenerator)            .WithMemoryStore(store)            .Build();  //добавляем факты const string CollectionName = "generic"; await memory.SaveInformationAsync(CollectionName, "Иван живет в Москве.", Guid.NewGuid().ToString(), "generic", kernel: kernel); await memory.SaveInformationAsync(CollectionName, "У Ивана есть три кота.", Guid.NewGuid().ToString(), "generic", kernel: kernel); await memory.SaveInformationAsync(CollectionName, "Семён живет в Питере.", Guid.NewGuid().ToString(), "generic", kernel: kernel); await memory.SaveInformationAsync(CollectionName, "У Семёна есть три кота.", Guid.NewGuid().ToString(), "generic", kernel: kernel); await memory.SaveInformationAsync(CollectionName, "Марина живет в Воркуте.", Guid.NewGuid().ToString(), "generic", kernel: kernel); await memory.SaveInformationAsync(CollectionName, "У Марины есть две собаки.", Guid.NewGuid().ToString(), "generic", kernel: kernel);  //плагин поиска kernel.Plugins.AddFromObject(new TextMemoryPlugin(memory)); //===RAG  //логирование вызовов функций kernel.FunctionInvocationFilters.Add(new FunctionCallLoggingFilter());   //настраиваем ollama на запуск функций var settings = new OllamaPromptExecutionSettings {     FunctionChoiceBehavior = FunctionChoiceBehavior.Auto(), //включаем плагины     Temperature = 0 };  Console.Write("User: "); string? input = null; while ((input = Console.ReadLine()) is not null) {     var answer = await kernel.InvokePromptAsync(input, new(settings));      Console.WriteLine("AI: " + string.Join("\n", answer));      Console.Write("User: "); }  //Плагины public class MyWeatherPlugin {     [KernelFunction, Description("Gets the current weather for the specified city")]     public string GetWeather(string _city)     {         return "very good in " + _city + "!";     } }  public class MyTimePlugin {     [KernelFunction, Description("Get the current day of week")]     public string DayOfWeek() => System.DateTime.Now.ToString("dddd");      [KernelFunction, Description("Get the current time")]     public string Time() => System.DateTime.Now.ToString("HH 'hour' mm 'minutes'");      [KernelFunction, Description("Get the current date")]     public string Date() => System.DateTime.Now.ToString("dddd dd MMMM yyyy"); }  public class MyNewsPlugin {     [KernelFunction, Description("Gets the current news for the specified count")]     public string GetNews(int count)     {         return "the ruble strengthened. An alien ship was found in the USA. It's a full moon today.";     } }  public class FunctionCallLoggingFilter : IFunctionInvocationFilter {     public async Task OnFunctionInvocationAsync(FunctionInvocationContext context, Func<FunctionInvocationContext, Task> next)     {         try         {             var values = "";             foreach (var arg in context.Arguments.Names)             {                 var val = context.Arguments[arg] == null ? "null" : context.Arguments[arg];                 values += $"{arg}: {val}; ";             }              Console.WriteLine($"call {context.Function.Name}: {values}");         }         catch         {             Console.WriteLine($"call {context.Function.Name}");         }          await next(context);     } }

using Microsoft.SemanticKernel; using Microsoft.SemanticKernel.Memory; using System.ComponentModel; using System.Diagnostics.CodeAnalysis; using System.Text.Encodings.Web; using System.Text.Json;  [Experimental("SKEXP0001")] public sealed class MyTextMemoryPlugin {     private ISemanticTextMemory memory;      public MyTextMemoryPlugin(ISemanticTextMemory memory)     {         this.memory = memory;     }      [KernelFunction, Description("Key-based lookup for a specific memory")]     public async Task<string> RetrieveAsync(         [Description("The key associated with the memory to retrieve")] string key,         //[Description("Memories collection associated with the memory to retrieve")] string? collection = DefaultCollection,         CancellationToken cancellationToken = default)     {         //ищем во всех коллекциях         var collections = await this.memory.GetCollectionsAsync();         foreach (var collection in collections)         {             var info = await this.memory.GetAsync(collection, key, cancellationToken: cancellationToken).ConfigureAwait(false);             var result = info?.Metadata.Text;              if (result != null)                 return result;         }          return string.Empty;     }      [KernelFunction, Description("Semantic search and return up to N memories related to the input text")]     public async Task<string> RecallAsync(         [Description("The input text to find related memories for")] string input,         //[Description("Memories collection to search")] string collection = DefaultCollection,         //[Description("The relevance score, from 0.0 to 1.0, where 1.0 means perfect match")] double? relevance = DefaultRelevance,         [Description("The maximum number of relevant memories to recall")] int? limit = 3,         CancellationToken cancellationToken = default)     {         var collections = await this.memory.GetCollectionsAsync();          foreach (var collection in collections)         {             // Search memory             List<MemoryQueryResult> memories = await this.memory             .SearchAsync(collection, input, limit.Value, 0.9, cancellationToken: cancellationToken)             .ToListAsync(cancellationToken)             .ConfigureAwait(false);              if (memories.Count == 1)             {                 Console.ForegroundColor = ConsoleColor.Yellow;                 Console.WriteLine("RecallAsync: " + string.Join("\n", memories[0].Metadata.Text));                 return memories[0].Metadata.Text;             }              if (memories.Count > 1)             {                 var opt = new JsonSerializerOptions { WriteIndented = true, Encoder = JavaScriptEncoder.Create(new TextEncoderSettings(System.Text.Unicode.UnicodeRanges.All)) };                 var t = JsonSerializer.Serialize(memories.Select(x => x.Metadata.Text), opt);                 Console.ForegroundColor = ConsoleColor.Yellow;                 Console.WriteLine("RecallAsync: " + string.Join("\n", t));                 return t;             }         }         return string.Empty;     } }

#pragma warning disable SKEXP0001 #pragma warning disable SKEXP0050 #pragma warning disable SKEXP0070  using Microsoft.SemanticKernel; using Microsoft.SemanticKernel.Connectors.Ollama; using System.ComponentModel;  var modelId = "MY"; var url = "http://localhost:11434";  var builder = Kernel.CreateBuilder(); builder.AddLocalTextEmbeddingGeneration(); //для embeddingGenerator builder.Services.AddOllamaChatCompletion(modelId, new HttpClient() { BaseAddress = new Uri(url) }); var kernel = builder.Build();  //"облегченное ядро" var kernelLight = kernel.Clone();  //Добавляем свои функции в "основное ядро" kernel.Plugins.AddFromObject(new MyWeatherPlugin()); kernel.Plugins.AddFromType<MyTimePlugin>(); kernel.Plugins.AddFromObject(new MyNewsPlugin());  //логирование вызовов функций kernel.FunctionInvocationFilters.Add(new FunctionCallLoggingFilter()); kernelLight.FunctionInvocationFilters.Add(new FunctionCallLoggingFilter());  //определяем список всех доступных функций var functions = ""; foreach (var plugin in kernel.Plugins) {     var items = plugin.Select(x => {         //var param = x.Metadata.Parameters.Select(y => y.Name).ToArray();         var param = x.Metadata.Parameters.Select(y =>         {             //если есть описание параметра - берем его, иначе - наименование параметра             //return string.IsNullOrEmpty(y.Description) ? y.Name : y.Name + " - " + y.Description;             return y.Name;         }).ToArray();         var result = param.Length == 0 ? x.Name : x.Name + "(" + string.Join(",", param) + ")";         return result;     }).ToArray();     functions += string.Join(",", items) + ","; } functions = "[" + functions + "]";  //агент  var functionNeedAgent = kernelLight.CreateFunctionFromPrompt(@$"ОПРЕДЕЛИ ПОДХОДИТ ЛИ ЗАПРОС ПОД ФУНКЦИИ: {functions}.      ЕСЛИ ДА - ВЕРНИ ТОЛЬКО: 'function:название;parameters:параметры в запросе' ИЛИ 'null'.      БОЛЬШЕ НИЧЕГО НЕ ВЫВОДИ.     ПРИМЕР: 'function:GetWeather;parameters:-'.     ЗАПРОС: '{{{{$user_input}}}}'");  //настраиваем ollama на запуск функций var functionSettings = new OllamaPromptExecutionSettings {     FunctionChoiceBehavior = FunctionChoiceBehavior.Auto(autoInvoke:true), //включаем плагины     Temperature = 0 };  //отключаем запуск функций var defaultSettings = new OllamaPromptExecutionSettings {     FunctionChoiceBehavior = FunctionChoiceBehavior.None(), //отключаем плагины     Temperature = 0.3f //добавим креативности };  Console.ForegroundColor = ConsoleColor.Green; Console.Write("User: ");  string? input = null; while ((input = Console.ReadLine()) is not null) {     //проверка на необходимость вызова функции     var answer = await functionNeedAgent.InvokeAsync(kernelLight, new() { ["user_input"] = input });      Console.ForegroundColor = ConsoleColor.Yellow;     Console.WriteLine("functionNeedAgent: " + string.Join("\n", answer));      //если необходимо вызвать функцию - вызываем     if (answer.ToString().Contains("function"))     {         answer = await kernel.InvokePromptAsync(input, new(functionSettings));     } else         answer = await kernel.InvokePromptAsync(input, new(defaultSettings));      Console.ForegroundColor = ConsoleColor.White;     Console.WriteLine("AI: " + string.Join("\n", answer));      Console.ForegroundColor = ConsoleColor.Green;     Console.Write("User: "); }  //Плагины public class MyWeatherPlugin {     [KernelFunction, Description("Gets the current weather for the specified city")]     public string GetWeather(string _city)     {         return "very good in " + _city + "!";     } }  public class MyTimePlugin {     [KernelFunction, Description("Get the current day of week")]     public string DayOfWeek() => System.DateTime.Now.ToString("dddd");      [KernelFunction, Description("Get the current time")]     public string Time() => System.DateTime.Now.ToString("HH 'hour' mm 'minutes'");      [KernelFunction, Description("Get the current date")]     public string Date() => System.DateTime.Now.ToString("dddd dd MMMM yyyy"); }  public class MyNewsPlugin {     [KernelFunction, Description("Gets the current news for the specified count")]     public string GetNews(int count)     {         return "the ruble strengthened. An alien ship was found in the USA. It's a full moon today.";     } }  public class FunctionCallLoggingFilter : IFunctionInvocationFilter {     public async Task OnFunctionInvocationAsync(FunctionInvocationContext context, Func<FunctionInvocationContext, Task> next)     {         try         {             var values = "";             foreach (var arg in context.Arguments.Names)             {                 var val = context.Arguments[arg] == null ? "null" : context.Arguments[arg];                 values += $"{arg}: {val}; ";             }              Console.ForegroundColor = ConsoleColor.Red;             Console.WriteLine($"call {context.Function.Name}: {values}");         }         catch         {             Console.ForegroundColor = ConsoleColor.Red;             Console.WriteLine($"call {context.Function.Name}");         }          await next(context);     } }

Результат:

using OllamaSharp;  var ollama = new OllamaApiClient("http://localhost:11434", "MY:latest");  //доступные функции List<object> Tools = [new GetWeatherTool(), new DateTool()];  var chat = new Chat(ollama); while (true) {     Console.Write("User: ");     var message = Console.ReadLine();      Console.Write("AI: ");     //передаем сообщение и наши функции     await foreach (var answerToken in chat.SendAsync(message, Tools))         Console.Write(answerToken);      Console.WriteLine(); }

Функции в отдельном файле SampleTools.cs (namespace обязателен):

namespace OllamaSharp;  public static class SampleTools {     //обязательные комментарии     //из них генератор будет брать описание функций для модели      /// <summary>     /// Get the current weather for a city     /// </summary>     /// <param name="city">Name of the city</param>     [OllamaTool]     public static string GetWeather(string city) => $"It's cold at only 6° in {city}.";      /// <summary>     /// Get the current date     /// </summary>     [OllamaTool]      public static string Date() => System.DateTime.Now.ToString("dddd dd MMMM yyyy"); }

User: как тебя зовут
AI: Я – JARVIS.

Второй пример:
User: Как тебя зовут?
AI: Теплое сообщение: <tool_response>

using Microsoft.Extensions.AI; using OllamaAITest; using OllamaSharp; using System.ComponentModel; using System.Numerics.Tensors;  var modelID = "MY" var modelEmbeddID = "MY" //для RAG var url = "http://localhost:11434";  var ollamaClient = new OllamaApiClient(new Uri(url), modelID);  IChatClient chatClient = new ChatClientBuilder(ollamaClient)     //.UseFunctionInvocation() //автозапуск функций отключим, мы будем вручную запускать функции     //.UseDistributedCache(new MemoryDistributedCache(Options.Create(new MemoryDistributedCacheOptions()))) //кэш результатов отключим, нам нужны свежие результаты     .Use(async (chatMessages, options, nextAsync, cancellationToken) =>      {          await nextAsync(chatMessages, options, cancellationToken);      })     .Build();   //генератор векторов OllamaEmbeddingGenerator ollamaEmbeddingGenerator = new(new Uri(url), modelEmbeddID);  //настройка генерации var opt = new EmbeddingGenerationOptions() {     ModelId = modelID,     AdditionalProperties = new()     {         ["Temperature"] = "0"     }, };  //факты string[] facts = [     "Иван живет в Москве",     "У Ивана есть три кота",     "Семён живет в Питере",     "У Семёна есть три кота",     "Марина живет в Воркуте",     "У Марины есть две собаки",     ];  //генерируем вектора из фактов var factsEmbeddings = await ollamaEmbeddingGenerator.GenerateAndZipAsync(facts, opt);  //настройка чата ChatOptions options = new ChatOptions(); options.ToolMode = AutoChatToolMode.Auto; options.Tools = [     AIFunctionFactory.Create(GetWeather),     AIFunctionFactory.Create(DayOfWeek),     AIFunctionFactory.Create(Time),     AIFunctionFactory.Create(Date),     AIFunctionFactory.Create(Recall)     ];  //история List<ChatMessage> chatHistory = new();  string answer = ""; bool lastWasTool = false; do {     if (!lastWasTool)     {         Console.ForegroundColor = ConsoleColor.Green;         Console.Write("User: ");         var userMessage = Console.ReadLine();         chatHistory.Add(new ChatMessage(ChatRole.User, userMessage));     }  again:     var response = await chatClient.GetResponseAsync(chatHistory, options);     if (response == null)     {         Console.WriteLine("No response from the assistant");         continue;     }      foreach (var message in response.Messages)     {         chatHistory.Add(message);          FunctionCallContent[] array = response.Messages.FirstOrDefault().Contents.OfType<FunctionCallContent>().ToArray();         if (array.Length > 0)         {             await ProcessToolRequest(message, chatHistory);             lastWasTool = true;         }     }      if (lastWasTool)     {         lastWasTool = false;         goto again;     } else     {         answer = string.Join(string.Empty, response.Messages.Select(m => m.Text));         Console.ForegroundColor = ConsoleColor.White;         Console.WriteLine($"AI: {answer}");          chatHistory.Clear();//очищаем     }  } while (true);  async Task ProcessToolRequest(     ChatMessage completion,     IList<ChatMessage> prompts) {     foreach (var toolCall in completion.Contents.OfType<FunctionCallContent>())     {         //AIFunction aIFunction = options.Tools.OfType<AIFunction>().FirstOrDefault((AIFunction t) => t.Name == toolCall.Name);          AIFunction aIFunction = options.Tools.OfType<AIFunction>().FirstOrDefault((AIFunction t) => t.Name.Contains(toolCall.Name.Replace("__Main___g__", ""))); //__Main___g__          var functionName = toolCall.Name;         var arguments = new AIFunctionArguments(toolCall.Arguments);          var callLog = string.Join("; ", arguments.Select(x => x.Key.ToString() +": " + x.Value?.ToString() + " ").ToArray());         Console.ForegroundColor = ConsoleColor.Red;         Console.WriteLine("Call: " + functionName + " " + callLog);          if (aIFunction == null) continue;         var result = await aIFunction.InvokeAsync(arguments);          Console.ForegroundColor = ConsoleColor.Yellow;         Console.WriteLine("Call result: " + string.Join("\n", result));          ChatMessage responseMessage = new(ChatRole.Tool,             [                 new FunctionResultContent(toolCall.CallId, result)             ]);          prompts.Add(responseMessage);     } }  //функции  [Description("Gets the current weather for the specified city")] [return: Description("The current weather")] string GetWeather([Description("The city")]  string _city) {     return "The weather in " + _city + " is 30 degrees and sunny."; }  [Description("Get the day of week")] string DayOfWeek() => System.DateTime.Now.ToString("dddd", new System.Globalization.CultureInfo("en-EN"));  [Description("Get the time")] string Time() => System.DateTime.Now.ToString("HH 'hour' mm 'minutes'", new System.Globalization.CultureInfo("en-EN"));  [Description("Get the date")] string Date() => System.DateTime.Now.ToString("dddd dd MMMM yyyy", new System.Globalization.CultureInfo("en-EN"));  [Description("Search the memory for a given query.")] [return: Description("Collection of text search result")] async Task<List<string>> Recall([Description("The query to search for.")] string query) {     //настройка генерации     var o = new EmbeddingGenerationOptions()     {         ModelId = modelEmbeddID,         AdditionalProperties = new()         {             ["Temperature"] = "0"         },     };      //генерируем вектор из запроса     var userEmbedding = await ollamaEmbeddingGenerator.GenerateAsync(query, o);      //производим поиск из запроса среди фактов     var topMatches = factsEmbeddings         //формируем список         .Select(candidate => new         {             Text = candidate.Value,             Similarity = TensorPrimitives.CosineSimilarity(candidate.Embedding.Vector.Span, userEmbedding.Vector.Span)         })         //relevance - отсекаем слабые совпадения         /*         .Where(x => {             return x.Similarity >= 0.92f;         })         */         //сортируем - сначала самые релевантные         .OrderByDescending(match => match.Similarity)         //limit - ограничиваем количество         .Take(3);      var result = topMatches.Select(x => x.Text).ToList<string>();      return result; }

using System.ComponentModel;  namespace OllamaAITest {     public class MyEventPlugin     {         public class MyEvent         {             public string description { get; set; }             public DateTime time { get; set; }         }          List<MyEvent> events = new List<MyEvent>();          [Description("Sets an alarm at the specified time with format 'hour:minut' and specified exact description")]         public string SetEvent(string time, string? description)         {             foreach (var item in events)             {                 //переписываем описание                 if (item.time.Equals(time))                 {                     item.description = description;                     return $"Event updated by description";                 }                  if (item.description.Equals(description))                 {                     item.time = DateTime.Parse(time);                     return $"Event updated by time";                 }             }             //ничего не нашлось - добавляем             events.Add(new MyEvent() { time = DateTime.Parse(time), description = description });             return $"Event set for time: {time}";         }          [Description("Remove one Event at the provided specified time with format 'hour:minut' or specified description")]         public string RemoveEvent(string time, string? description)         {             var deleteCount = 0;             var index = 0;             while (index < events.Count)             {                 var item = events[index];                 if (item.time.Equals(time) || item.description.Equals(description))                 {                     events.RemoveAt(index);                     deleteCount++;                 }                 else                 {                     index++;                 }             }              if (deleteCount > 0) return $"Droped {deleteCount} Events";              return $"Nothing deleted";         }          [Description("Remove all Events")]         public string RemoveAllEvents()         {             events.Clear();             return $"All Event is dropped";         }          [Description("List all Events")]         [return: Description("Events with description and datetime")]         public List<MyEvent> ListEvents()         {             return events;         }     } } 

А теперь добавим в Program.cs:

var events = new MyEventPlugin();  //настройка чата ChatOptions options = new ChatOptions(); options.ToolMode = AutoChatToolMode.Auto; options.Tools = [     ...     //ага вот эти ребята     AIFunctionFactory.Create(events.SetEvent),     AIFunctionFactory.Create(events.ListEvents),     AIFunctionFactory.Create(events.RemoveEvent),     AIFunctionFactory.Create(events.RemoveAllEvents),     ];