00:00 Introduction 00:20 llama.cpp en quelques mots 01:22 llama.cpp : compilation et service systemd 02:09 Le tuto sur ma machine avec une AMD RX 7600 02:40 Installer les dépendances à llama.cpp 04:08 Sur un PC, on peut compiler et utiliser dans son profil perso 04:37 Sur un serveur : créer l'utilisateur dédié et le dossier applicatif 06:27 Récupérons llama.cpp 06:55 Préparons la compilation llama.cpp suivant notre hardware 08:56 Compilons llama.cpp 10:08 Par défaut tous les outils sont compilés 10:45 Déplaçons les éléments compilés dans /opt/llamacpp 11:13 Redéfinissons dans .bashrc des variables d'environnement 11:57 Changer l'emplacement des modèles (qui peuvent être volumineux) 12:35 Prendre en compte les modifs bashrc ! 12:50 Paramétrage SELinux ! 14:17 Vérification du bon chargement de l'environnement 14:37 Rechercher un modèle compatible sur HuggingFace 16:05 Lancer manuellement llama-server 17:05 Le modèle se télécharge s'il n'est pas présent 18:14 llama-server se lance et le modèle se charge en VRAM 18:40 tester le bon fonctionnement de llama.cpp avec l'interface web 20:55 créer un service systemd pour llama.cpp 23:14 recharger systemd, lancer et gérer le service 24:25 vérification du bon fonctionnement en mode service 24:55 activer au démarrage du serveur llama.cpp 25:10 ouvrir le parefeu si nécessaire 25:47 Conclusion