Définition

Qu'est-ce que la recherche vectorielle ?

La recherche vectorielle s'appuie sur le Machine Learning (ML) pour capturer le sens et le contexte des données non structurées, notamment les textes et les images, qu'elle transforme en représentation numérique. Généralement utilisée pour la recherche sémantique, la recherche vectorielle trouve des données similaires à l'aide d'algorithmes de recherche du plus proche voisin approximatif (ANN). Par rapport à la recherche traditionnelle par mots clés, la recherche vectorielle renvoie des résultats plus pertinents et s'exécute plus rapidement.

Optimisez vos expériences de recherche grâce à la recherche vectorielle
Video thumbnail

Pourquoi la recherche vectorielle est-elle importante ?

Combien de fois avez-vous recherché quelque chose sans en connaître vraiment le nom ? Vous savez comment fonctionne cet élément ou comment le décrire. Mais sans mots clés, votre recherche risque de s'éterniser.

La recherche vectorielle surmonte cette difficulté en vous permettant de faire une recherche selon votre intention. Des réponses aux requêtes basées sur la recherche de similarité peuvent être rapidement fournies. Cela est dû au plongement vectoriel qui capture les données non structurées au-delà du texte, telles que des vidéos, des images et des fichiers audio. Vous pouvez améliorer l'expérience de recherche en combinant la recherche vectorielle avec un filtrage et des agrégations pour optimiser la pertinence en mettant en œuvre une recherche hybride et en l'associant avec une attribution traditionnelle de scores.

Comment fonctionne un moteur de recherche vectorielle ?

Les moteurs de recherche vectorielle, qu'on appelle aussi recherche dans des bases de données vectorielles, recherche sémantique ou recherche cosinus, identifient les plus proches voisins d'une requête (vectorisée) donnée.

Alors que la recherche traditionnelle s'appuie sur des mots clés, la similarité lexicale et la fréquence d'occurrence d'un terme, les moteurs de recherche vectorielle utilisent les distances dans l'espace de plongement pour représenter la similarité. L'identification des données en lien avec votre requête revient à rechercher ses plus proches voisins.

Schéma du fonctionnement d'un moteur de recherche vectoriel utilisant des encastrements vectoriels

  • Plongement vectoriel

    Les plongements vectoriels sont la représentation numérique des données et du contexte associé, stockés dans des vecteurs de grande dimension (denses). Les modèles qui génèrent des plongements peuvent être entraînés sur des millions d'exemples pour fournir des résultats plus pertinents et plus précis. Dans certains cas, les données numériques que vous avez collectées ou conçues pour représenter des fonctionnalités de vos documents peuvent servir comme plongements. Tout ce dont vous devez être capable, c'est d'effectuer efficacement des recherches.

  • Score de similarité

    Un moteur de recherche vectorielle s'appuie sur le principe suivant : si des données et des documents sont semblables, alors leurs vecteurs seront similaires. En indexant les requêtes et les documents à l'aide des plongements vectoriels, vous trouverez des documents similaires qui seront les plus proches voisins de votre requête.

  • Algorithme de recherche du plus proche voisin approximatif

    Lorsqu'on exécute un algorithme traditionnel de recherche des plus proches voisins, par exemple les k plus proches voisins, celui-ci demande généralement beaucoup de temps pour s'exécuter et consomme des ressources de calcul conséquentes. Dans le cas de la recherche du plus proche voisin approximatif (ANN), c'est différent. On renonce à la précision parfaite en échange d'une exécution efficace et à grande échelle dans des espaces de plongement hautement dimensionnels.

Cas d'utilisation de la recherche vectorielle

Non seulement la recherche vectorielle sous-tend la nouvelle génération d'expériences de recherche, mais elle ouvre aussi la voie à de nombreuses possibilités.

  • Recherche sémantique

    La recherche vectorielle sous-tend la recherche sémantique ou de similarité. Étant donné que le sens et le contexte sont capturés dans le plongement, la recherche vectorielle détermine ce que l'utilisateur veut dire, sans avoir besoin d'une correspondance parfaite avec un mot clé. Elle fonctionne avec les données textuelles (documents), les images et les fichiers audio. Trouvez rapidement et facilement des produits qui sont similaires ou en lien avec votre requête.

  • Recommandations

    Le modèle qui génère le plongement apprend à reconnaître les documents similaires et leurs vecteurs dans l'espace de plongement. Par exemple, une application peut vous recommander des films ou des produits sur la base de ce que d'autres utilisateurs qui ont acheté le même film/produit que vous ont aussi aimés. Toutefois, assurez-vous que les plongements sont dérivés avec un type de mesure de popularité ou d'appréciation comme indicateur cible.

    Les distances vectorielles peuvent être combinées avec d'autres indicateurs pour que les recommandations atteignent plusieurs objectifs. Par exemple, classez les recommandations de produits par scores de satisfaction ou potentiel de revenus.

  • Réponse aux questions

    La conversion des documents en plongements textuels peut se faire en combinaison avec le traitement du langage naturel (NLP) moderne pour fournir des réponses textuelles complètes aux questions. Cette approche évite que les utilisateurs aient à étudier des manuels fastidieux et permet à vos équipes d'apporter des réponses plus rapidement.

    Un modèle de transformateur de type "réponse aux questions" peut se servir de la représentation du plongement textuel à la fois pour la base de connaissances des documents et pour votre question afin de fournir la correspondance la plus proche en tant que "réponse".

Ce que vous pouvez faire de plus avec la recherche vectorielle

Ne vous contentez pas d'effectuer une recherche sémantique !

  • Parcourez les données non structurées

    Recherchez toutes les données non structurées. Vous pouvez créer des plongements pour les textes, les images, les fichiers audio ou les mesures de capteurs.

  • Utiliser les métadonnées comme filtre

    Filtrez les résultats de recherche vectorielle à l'aide des métadonnées. Assurez la maintenance du rappel sans nuire à la rapidité en appliquant un filtre conformément à la recherche du plus proche voisin approximatif (ANN).

  • Reclasser les résultats de recherche

    Les similarités vectorielles peuvent être interprétées comme des scores de similarité que vous pouvez reclasser avec d'autres données. Sont compris les champs statiques qui se trouvent déjà dans votre base de données de recherche vectorielle, ainsi que les nouvelles propriétés avec l'application de modèles de Machine Learning.

  • Attribution hybride de scores

    Pour pousser encore plus loin l'optimisation, combinez les similarités vectorielles avec des scores BM25F, une approche que l'on appelle attribution hybride de scores. Vous obtiendrez ainsi un classement des images par similarité vectorielle tout en mettant en œuvre BM25F, ce qui permet un meilleur classement des textes.

Premiers pas

La recherche vectorielle et le NLP en toute simplicité avec Elastic

Pas besoin de déplacer des montagnes pour mettre en œuvre la recherche vectorielle et appliquer les modèles de NLP. Avec Elasticsearch Relevance Engine™ (ESRE), vous avez à votre disposition un ensemble d'outils pour développer des applications de recherche en IA pouvant être utilisées avec l'IA générative et les grands modèles de langage (LLM).

Avec ESRE, vous pouvez concevoir des applications de recherche innovantes, générer des plongements, stocker et rechercher des vecteurs et mettre en œuvre la recherche sémantique avec Elastic Learned Sparse Encoder. Découvrez comment utiliser Elasticsearch en tant que base de données vectorielle ou suivez cette formation pratique à votre rythme pour la recherche vectorielle.

Video thumbnail

  • Grands modèles de langage

    Ingérez des informations métier spécifiques dans les grands modèles de langage à l'aide de vos données privées (et pas seulement de données publiques entraînées). Utilisez Elasticsearch et accédez à l'intelligence artificielle générative avec des API et des plug-ins intégrés au grand modèle de langage de votre choix.

  • Plongements textuels et autres

    Apprenez à attribuer des sentiments et d'autres catégories à vos données avec Elastic. Appliquez la reconnaissance des entités nommées (NER) pour améliorer les expériences de recherche avec des métadonnées supplémentaires.

Échangez avec nous sur la recherche vectorielle et le NLP

Restez au fait de l'actualité concernant l'intelligence artificielle.

Explorez l'IA générative