Set up an environment
🔬 Schnellstart
🕵️♀️ Nutzung als lokaler Client (mit jbang!)
JLama enthält ein Kommandozeilen-Tool, das die Nutzung sehr einfach macht.
Die CLI kann mit jbang ausgeführt werden.
# jbang installieren (oder https://www.jbang.dev/download/)
curl -Ls https://sh.jbang.dev | bash -s - app setup
# Jlama CLI installieren (fragt ggf., ob du der Quelle vertraust)
jbang app install --force jlama@tjake
Wenn du Probleme hast, den Befehl jlama im Terminal auszuführen, stelle sicher, dass Jlama in $HOME/.jbang/bin installiert ist. Gegebenenfalls musst du die PATH-Variable ergänzen, damit sie auf den Ordner von Jbang verweist:
|
export PATH="$PATH:$HOME/.jbang/bin"Nachdem du Jlama installiert hast, kannst du ein Modell von Huggingface herunterladen und damit chatten. Vorgefertigte quantisierte Modelle findest du unter hf.co/tjake.
# Starte die OpenAI Chat API und die UI mit einem Modell
jlama restapi tjake/TinyLlama-1.1B-Chat-v1.0-Jlama-Q4 --auto-downloadÖffne anschließend deinen Browser unter localhost:8080/
| Wenn due ein Rechner mit Apple Silicon nutzt (z.B. Macbook Pro M1) stelle sicher, dass deine JVM nicht über Rosseta läuft, aber direkt als ARM (z.B: ARM64 JDK). Siehe Jlama issue für Details |