Embeddings
Un embedding est un vecteur numérique qui représente le sens d'un texte, d'une image ou d'un autre contenu dans un espace mathématique. Deux contenus proches en sens ont des vecteurs proches, ce qui permet de retrouver des documents pertinents même sans partage exact de mots-clés, le fondement de la recherche sémantique et du RAG.
Dans un projet RAG, chaque passage de documentation est transformé en embedding et stocké dans une base vectorielle. Quand un utilisateur pose une question, celle-ci est aussi convertie en embedding, puis on recherche les passages les plus proches. La qualité de ce maillon (choix du modèle d'embedding, découpage des textes) conditionne souvent plus le résultat final que le LLM choisi pour rédiger la réponse.
Le piège fréquent est de négliger le chunking (découpage) et la qualité des documents indexés, en se concentrant uniquement sur le modèle génératif. Des embeddings sur des passages trop longs, trop courts ou mal nettoyés donnent une retrieval médiocre. Il faut aussi versionner le modèle d'embedding : le changer sans réindexer toute la base casse silencieusement la pertinence des recherches.
