Qu’est-ce que la recherche hybride ?

La recherche hybride est une stratégie puissante de récupération d'informations qui combine deux techniques ou plus dans un algorithme de recherche.

Généralement, la recherche hybride combine la recherche par mots-clés et la recherche sémantique, en utilisant des techniques avancées d’apprentissage automatique. La recherche sémantique récupère des résultats basés sur la signification du texte, tandis que la recherche en texte intégral se concentre sur la correspondance exacte des mots. La recherche hybride est essentielle pour les requêtes conversationnelles et pour ces moments où l’on se demande « Comment cela s’appelait déjà ? », lorsque les utilisateurs ne saisissent pas ou ne peuvent pas saisir de mots-clés précis.

La recherche par mots-clés et la recherche sémantique ont chacune leurs propres forces. La recherche par mots-clés utilise un algorithme de classement et des termes spécifiques pour déterminer la pertinence d’un document par rapport à une requête de recherche. La recherche sémantique prend en compte la requête de recherche et son contexte.

La recherche hybride améliore la précision de la search en combinant les atouts de la recherche sémantique et de la search traditionnelle. Équilibrant la compréhension sémantique et le respect des termes exacts des requêtes, la recherche hybride fournit des résultats qui améliorent l'expérience de recherche des utilisateurs.

La recherche hybride combine la recherche par mots-clés, lexicale ou BM25 (un algorithme de classement qui détermine la pertinence), ainsi que la recherche sémantique. La recherche sémantique se concentre sur ce que vous souhaitez obtenir grâce à la recherche, tandis que la recherche vectorielle se concentre sur la manière dont vous obtenez ces résultats, principalement en récupérant des données via des représentations vectorielles.

Recherche sémantique

La search sémantique consiste à comprendre le sens et le contexte. Ce type de recherche met l’accent sur la compréhension de l’intention derrière les mots d’une requête, plutôt que sur la simple correspondance de mots-clés comme le fait BM25. La recherche sémantique comble l’écart entre la requête humaine et la signification réelle, en tenant compte de la variabilité et de l’ambiguïté du langage. Elle exploite le traitement du langage naturel (NLP), l’apprentissage automatique, les graphes de connaissances, les vecteurs, afin de fournir des résultats plus pertinents par rapport à l’intention de l’utilisateur et d’intégrer le contexte.

Pour déterminer le contexte, la recherche sémantique peut utiliser des données utilisateur connues, la localisation ou l'historique de recherche pour identifier les résultats pertinents. Rechercher "football" aux États-Unis donnera des résultats différents de la même recherche effectuée dans d'autres régions du monde. La recherche sémantique distingue l’intention en fonction de la localisation géographique de l’utilisateur.

Recherche vectorielle

La recherche vectorielle est une méthode de recherche technique qui utilise une représentation numérique ou des vecteurs pour représenter des éléments comme du texte, des images ou de l’audio, et récupérer des données en fonction des similarités. Ces vecteurs capturent la signification sous-jacente ou les caractéristiques de ces éléments. Une recherche vectorielle récupère des données en mesurant la similarité des représentations vectorielles.

Combinaison des approches

La recherche sémantique et la recherche vectorielle ont beaucoup en commun ; en fait, la recherche sémantique repose sur la recherche vectorielle.

Lorsqu’une requête est lancée, le moteur de recherche transforme la requête en incorporations vectorielles. Un algorithme, comme l’algorithme kNN (k-nearest neighbor algorithm), associe les vecteurs des documents existants au vecteur de la requête. L’algorithme génère ensuite des résultats basés sur la pertinence conceptuelle.

Lorsque la recherche sémantique et la recherche vectorielle fonctionnent ensemble, les plateformes peuvent gérer des requêtes complexes, y compris des recherches multilingues et des recherches nécessitant des données non structurées.

La recherche hybride associe la recherche par mots-clés et la recherche vectorielle pour fournir des résultats de recherche complets. Les incorporations vectorielles transforment des données, comme des phrases ou des photos, en nombres capturant leur signification et leurs relations. La recherche vectorielle peut capturer le sens dans des données non structurées. La recherche vectorielle peut capturer le sens dans les données non structurées. La recherche vectorielle surmonte les limites de la recherche par mots-clés, permettant aux utilisateurs de rechercher selon leur intention, même s’ils ne se souviennent pas d’une description précise ou d’un mot-clé exact. La recherche hybride peut analyser à la fois des vecteurs denses et clairsemés pour obtenir les résultats les plus pertinents.

Vecteurs denses

Les vecteurs denses permettent la compréhension sémantique et la gestion des requêtes contextuelles. Ils sont couramment utilisés dans l’apprentissage automatique, notamment pour générer des incorporations.

Vecteurs clairsemés

Les vecteurs clairsemés prennent en charge l'indexation traditionnelle basée sur les mots-clés et sont faiblement remplis en informations. Ces vecteurs sont fréquemment utilisés pour de grands ensembles de données.

Traitement des requêtes

Le traitement des requêtes en recherche hybride utilise des vecteurs clairsemés pour une correspondance exacte des mots-clés et la priorisation, et des vecteurs denses pour la compréhension sémantique, capturant la signification contextuelle et l’intention. En combinant ces deux types de vecteurs, la recherche hybride fournit des résultats de recherche complets qui équilibrent spécificité et pertinence. Pour obtenir des résultats, la recherche hybride utilise la fusion de rangs réciproques (RRF) afin de combiner plusieurs ensembles de résultats (chacun avec des indicateurs de pertinence différents) en un seul ensemble de résultats.

La recherche hybride offre des avantages aux utilisateurs par rapport à la recherche traditionnelle, en exploitant les forces combinées de différentes méthodes de recherche. Son principal avantage est de fournir des résultats de recherche plus précis avec moins d'effort.

Dans tous les secteurs, les algorithmes de recherche internes et externes peuvent utiliser la recherche hybride pour proposer des résultats pertinents. Par exemple, les plateformes de commerce électronique peuvent faire la distinction entre les recherches pour "robe rouge avec poches" et "robe rouge pour un premier dîner dans un restaurant chic avec de la place pour les clés et l'argent".

Autre exemple, une recherche pour "chiens" dans un document sur les avantages sociaux internes d’une entreprise pourrait produire un résultat concernant la politique des animaux de compagnie au bureau. Le mot spécifique peut ne pas apparaître dans la requête, mais il est probablement la réponse que l’utilisateur recherchait.

Dans l’ensemble, la recherche hybride améliore l’expérience de recherche utilisateur grâce à sa flexibilité linguistique. La recherche hybride améliore la précision de la recherche en équilibrant la compréhension sémantique et les termes de requête exacts. Par conséquent, les requêtes conversationnelles et complexes peuvent être traitées efficacement, empêchant ainsi les impasses et la frustration des utilisateurs.

La génération augmentée de récupération (RAG) est une technique de recherche qui utilise des sources de données privées ou propriétaires pour fournir un contexte qui complète la base de connaissances initiale de votre LLM. Le RAG est précieux pour les requêtes car il permet aux systèmes d'IA générative d'utiliser des sources d'information externes afin de produire des réponses plus pertinentes.

L'utilisation de la recherche hybride avec RAG et l'intégration de sources de données supplémentaires peut améliorer la pertinence d'une expérience de recherche en ajoutant du contexte. Les sources d'informations supplémentaires peuvent inclure tout ce dont les organisations ou les clients pourraient avoir besoin pour répondre à une requête, qu'il s'agisse de nouvelles informations sur Internet ou de documents commerciaux propriétaires ou confidentiels.

RAG présente plusieurs avantages par rapport aux modèles linguistiques fonctionnant de manière isolée. Elle est économique, nécessite moins de puissance de calcul et de stockage, et garantit que votre modèle peut accéder aux informations les plus récentes.

Elastic facilite l’implémentation de la recherche hybride en prenant en charge la recherche sémantique prête à l’emploi. Avec Elastic, la recherche hybride peut être effectuée sur une seule plateforme, une API, avec une vitesse et une échelle offrant une meilleure pertinence dès le départ.

Grâce à l'interface de test d'Elastic, les développeurs peuvent explorer l'ancrage des LLM de leur choix avec leurs propres données privées dans une interface low-code.

Elastic aide les développeurs à simplifier la construction des requêtes avec les nouveaux récupérateurs de requêtes — standard, kNN et RRF. À l'aide de ces requêtes, Elastic comprend les données sélectionnées et générera automatiquement une requête unifiée.

• Mettez la main à la pâte avec Elasticsearch AI Playground
• Comment combiner les résultats de recherche en texte intégral et kNN
• aNN vs kNN : Comprendre leurs différences et leurs rôles dans la recherche vectorielle
• Utiliser la recherche hybride pour la chasse aux gophers avec Elasticsearch et Go
• Comment effectuer une recherche hybride avec du texte sémantique
• Qu'est-ce que la génération augmentée de récupération (RAG) ?
• Qu'est-ce que la recherche sémantique ?