IDEM-ML — Infrastructure IA auto-hébergée

Ce dépôt contient l'infrastructure ML d'IDEM : serveur d'inférence (Ollama / vLLM), outils de fine-tuning (LLaMA-Factory), datasets et scripts de gestion du cycle de vie du modèle GLM-5.3.

Pourquoi un dépôt séparé ?

Le cycle de vie ML est fondamentalement différent du cycle de vie d'une application web :

Aspect	App Web (idem)	ML (idem-ml)
Langage	TypeScript / Node.js	Python
Dépendances	npm, ~200 MB	PyTorch, CUDA/CANN, ~10+ GB
CI/CD	Build → Test → Deploy (minutes)	Train → Evaluate → Export → Deploy (heures/jours)
Artéfacts	Images Docker ~500 MB	Poids de modèle ~10-40 GB
Matériel	CPU standard	GPU NVIDIA / NPU Huawei Ascend

Architecture

idem-ml/
├── docker/ # Dockerfiles et docker-compose
│ ├── docker-compose.yml # Stack complète (Ollama + LLaMA-Factory)
│ ├── ollama/ # Config Ollama pour dev local
│ └── vllm/ # Config vLLM pour production (Ascend/NVIDIA)
├── models/ # Modèles et adaptateurs LoRA
│ ├── base/ # Poids de base (gitignored, trop volumineux)
│ └── adapters/ # Adaptateurs LoRA fine-tunés (versionnable)
├── datasets/ # Données d'entraînement
│ ├── raw/ # Données brutes (prompts IDEM, réponses attendues)
│ └── processed/ # Données formatées pour LLaMA-Factory
├── training/ # Scripts et configs d'entraînement
│ ├── configs/ # Fichiers YAML de configuration LLaMA-Factory
│ └── scripts/ # Scripts de lancement d'entraînement
├── evaluation/ # Scripts d'évaluation qualité
│ └── benchmarks/ # Benchmarks maison (qualité HTML, respect brief…)
├── scripts/ # Utilitaires
│ ├── setup-local.sh # Installation Ollama + téléchargement modèle
│ └── export-model.sh # Export d'un LoRA fusionné
├── docs/ # Documentation
│ └── hardware-requirements.md
├── .gitignore
├── requirements.txt # Dépendances Python
└── README.md

Démarrage rapide (développement local)

Prérequis

• macOS / Linux
• Ollama installé
• 32 GB de RAM minimum

Installation

# 1. Cloner le dépôt
git clone git@github.com:Idem-AI/idem-ml.git
cd idem-ml
# 2. Installer Ollama et télécharger le modèle
./scripts/setup-local.sh
# 3. Le modèle est disponible sur http://localhost:11434/v1# L'API IDEM peut maintenant s'y connecter via IDEM_LLM_URL

Utilisation avec l'API IDEM

Dans le dépôt idem, le fichier .env.dev contient déjà :

IDEM_LLM_URL=http://localhost:11434/v1IDEM_LLM_API_KEY=ollama

Toutes les features configurées avec LLMProvider.IDEM seront automatiquement routées vers votre modèle local.

Fine-Tuning

Voir la section training/ pour les guides de fine-tuning avec LLaMA-Factory. Le workflow type est :

1. Collecter les données (prompts IDEM + réponses idéales) → datasets/raw/
2. Formater en conversations Alpaca/ShareGPT → datasets/processed/
3. Entraîner un adaptateur LoRA → models/adapters/
4. Évaluer sur les benchmarks maison → evaluation/
5. Fusionner le LoRA dans le modèle de base → models/base/
6. Déployer via Ollama (dev) ou vLLM (prod)

Lien avec le monorepo IDEM

Ce dépôt est indépendant du monorepo idem (Node.js/TypeScript). La seule interface entre les deux est l'API OpenAI-compatible exposée par le serveur d'inférence.