Llama.cpp

Die KI-Verbindung Llama.cpp ermöglicht die Verwendung des Projekts LLM inference in C/C++ mit INETAPP. Dieses LLAMA kann aufgrund seiner einfachen Handhabung schnell lokal gehostet werden. Die folgenden Einstellungen können hier vorgenommen werden:

  • KI-Verbindung Name: Dieser Name wird immer verwendet, wenn eine bestimmte KI-Verbindung verwendet wird.
  • Llama.cpp URL: Die API-URL, die für Anfragen verwendet werden soll. Bitte lesen Sie https://github.com/ggerganov/llama.cpp für weitere Informationen.
  • nPredict (in Token): Die maximale Größe der Antwort, gemessen in Token. Größere Werte verringern die Leistung.

Installation von Llama.cpp

Die Installation kann entweder durch Herunterladen und Befolgen der Anweisungen auf der GitHub-Seite oder durch Verwendung eines vorbereiteten llamafile erfolgen.

Bitte folgen Sie den aktuellsten Anweisungen auf beiden Projektseiten.