[Adrien Linuxtricks] INSTALLER llama.cpp SUR LINUX POUR DE L'IA EN LOCAL

[Animateur]

[Adrien Linuxtricks] INSTALLER llama.cpp SUR LINUX POUR DE L'IA EN LOCAL (INFÉRENCE)



Liens :
https://www.linuxtricks.fr/wiki/ia-installer-llama-cpp-pour-servir-des-llm-nvidia-amd-cpu
https://llama.app/
https://github.com/ggml-org/llama.cpp
https://huggingface.co/

Commande :
llama-server -hf unsloth/gemma-4-E4B-it-GGUF:Q4_K_M --temp 0.7 --host 0.0.0.0 --port 8080

00:00 Introduction
00:20 llama.cpp en quelques mots
01:22 llama.cpp : compilation et service systemd
02:09 Le tuto sur ma machine avec une AMD RX 7600
02:40 Installer les dépendances à llama.cpp
04:08 Sur un PC, on peut compiler et utiliser dans son profil perso
04:37 Sur un serveur : créer l'utilisateur dédié et le dossier applicatif
06:27 Récupérons llama.cpp
06:55 Préparons la compilation llama.cpp suivant notre hardware
08:56 Compilons llama.cpp
10:08 Par défaut tous les outils sont compilés
10:45 Déplaçons les éléments compilés dans /opt/llamacpp
11:13 Redéfinissons dans .bashrc des variables d'environnement
11:57 Changer l'emplacement des modèles (qui peuvent être volumineux)
12:35 Prendre en compte les modifs bashrc !
12:50 Paramétrage SELinux !
14:17 Vérification du bon chargement de l'environnement
14:37 Rechercher un modèle compatible sur HuggingFace
16:05 Lancer manuellement llama-server
17:05 Le modèle se télécharge s'il n'est pas présent
18:14 llama-server se lance et le modèle se charge en VRAM
18:40 tester le bon fonctionnement de llama.cpp avec l'interface web
20:55 créer un service systemd pour llama.cpp
23:14 recharger systemd, lancer et gérer le service
24:25 vérification du bon fonctionnement en mode service
24:55 activer au démarrage du serveur llama.cpp
25:10 ouvrir le parefeu si nécessaire
25:47 Conclusion