SKaiNET als LLM Inference Engine einbinden + Modell lokal laden
Im Bootstrap-Projekt ist bereits die Dependency zu SKaiNET enthalten. Clont das Projekt.
Ladet ein Modell herunter, z. B. https://huggingface.co/TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF/blob/main/tinyllama-1.1b-chat-v1.0.Q8_0.gguf
Lest das Modell ein und spielt damit herum.