Llama.cpp
Die KI-Verbindung Llama.cpp ermöglicht die Verwendung des Projekts LLM inference in C/C++ mit INETAPP. Dieses LLAMA kann aufgrund seiner einfachen Handhabung schnell lokal gehostet werden. Die folgenden Einstellungen können hier vorgenommen werden:
- KI-Verbindung Name: Dieser Name wird immer verwendet, wenn eine bestimmte KI-Verbindung verwendet wird.
- Llama.cpp URL: Die API-URL, die für Anfragen verwendet werden soll. Bitte lesen Sie https://github.com/ggerganov/llama.cpp für weitere Informationen.
- nPredict (in Token): Die maximale Größe der Antwort, gemessen in Token. Größere Werte verringern die Leistung.
Installation von Llama.cpp
Die Installation kann entweder durch Herunterladen und Befolgen der Anweisungen auf der GitHub-Seite oder durch Verwendung eines vorbereiteten llamafile erfolgen.
Bitte folgen Sie den aktuellsten Anweisungen auf beiden Projektseiten.
