Die KI-Verbindung Llama.cpp ermöglicht die Verwendung des Projekts LLM inference in C/C++ mit INETAPP. Dieses LLAMA kann aufgrund seiner einfachen Handhabung schnell lokal gehostet werden. Die folgenden Einstellungen können hier vorgenommen werden:
Die Installation kann entweder durch Herunterladen und Befolgen der Anweisungen auf der GitHub-Seite oder durch Verwendung eines vorbereiteten llamafile erfolgen.
Bitte folgen Sie den aktuellsten Anweisungen auf beiden Projektseiten.