Amélioration des capacités de l'IA : Google Cloud intègre la recherche de vecteurs dans les bases de données gérées

Accueil InfoQ Actualités Améliorer les capacités de l'IA : Google Cloud intègre la recherche vectorielle dans les bases de données gérées

09 juil. 2023 2 min de lecture

par

Renato Losio

Google Cloud a récemment ajouté la prise en charge de pgvector sur Cloud SQL pour PostgreSQL et AlloyDB pour PostgreSQL. L'extension apporte des opérations de recherche vectorielle aux bases de données gérées, permettant aux développeurs de stocker les intégrations vectorielles générées par les grands modèles de langage (LLM) et d'effectuer des recherches de similarité.

Cloud SQL et AlloyDB peuvent désormais être associés à des services d'IA générative sur Vertex AI, permettant ainsi de créer des applications compatibles avec l'IA qui connaissent l'état de l'application et de l'utilisateur. Sandhya Ghai, chef de produit senior chez Google, et Bala Narasimhan, chef de produit chez Google, expliquent :

Les intégrations vectorielles sont des représentations numériques généralement utilisées pour transformer un contenu complexe généré par l'utilisateur, tel que du texte, de l'audio et de la vidéo, en une forme pouvant être facilement stockée, manipulée et indexée. Ces représentations sont générées par des modèles d'intégration tels que, si deux éléments de contenu sont sémantiquement similaires, leurs intégrations respectives sont situées près l'une de l'autre dans l'espace vectoriel d'intégration. Les intégrations vectorielles sont ensuite indexées et utilisées pour filtrer efficacement les données en fonction de leur similarité.

Par exemple, les développeurs peuvent utiliser les modèles pré-entraînés de Vertex AI sur du texte et des images pour générer des intégrations, puis les stocker et les indexer dans une base de données, simplifiant ainsi la recherche d'enregistrements similaires.

L'extension pgvector peut désormais être installée dans une base de données existante à l'aide de la commande CREATE EXTENSION :

Source : https://cloud.google.com/blog/products/databases/using-pgvector-llms-and-langchain-with-google-cloud-databases

La nouvelle fonctionnalité peut également aider les développeurs à tirer parti des LLM pré-entraînés, comme l'expliquent Ghai et Narasimhan :

Une chose à noter à propos des LLM est qu’ils n’ont aucune notion d’État. (...) Les intégrations vous permettent de stocker des contextes volumineux tels que de la documentation ou des historiques de discussions à long terme dans votre base de données et de les filtrer pour trouver les informations les plus pertinentes. Vous pouvez ensuite alimenter le modèle avec les éléments d'historique de discussion ou de documentation les plus pertinents pour simuler la mémoire à long terme et les connaissances spécifiques à l'entreprise.

Google Cloud a publié un bloc-notes Colab et une vidéo pour créer des applications basées sur l'IA à l'aide de pgvector, du framework open source LangChain et de LLM. Montrant comment ajouter des fonctionnalités d'IA générative à un exemple d'application Python, Saket Saurabh, ingénieur logiciel senior chez Google, écrit :

L'extension pgvector introduit également de nouveaux opérateurs pour effectuer des correspondances de similarité sur les vecteurs, vous permettant de trouver des vecteurs sémantiquement similaires. Deux de ces opérateurs sont : '<->' : renvoie la distance euclidienne entre les deux vecteurs. (...)'<=>' : renvoie la distance cosinus entre les deux vecteurs.

Google Cloud n'est pas le seul fournisseur de cloud à cibler les bases de données vectorielles au cours des derniers mois, Amazon RDS pour PostgreSQL prenant en charge l'extension pgvector et Microsoft montrant comment Azure Data Explorer (ADX) peut être utilisé comme base de données vectorielle et discutant de plusieurs connecteurs aux bases de données vectorielles. .

Codez, déployez et faites évoluer Java à votre manière. Microsoft Azure prend en charge votre charge de travail avec de nombreux choix, que vous travailliez sur une application Java, un serveur d'applications ou un framework. Apprendre encore plus.

Écrire pour InfoQ a ouvert de nombreuses portes et augmenté les opportunités de carrière pour moi. J'ai pu interagir en profondeur avec des experts et des leaders d'opinion pour en savoir plus sur les sujets que j'ai abordés. Et je peux également diffuser mes apprentissages à la communauté technologique au sens large et comprendre comment les technologies sont utilisées dans le monde réel.

J'ai découvert le programme de contributeurs d'InfoQ plus tôt cette année et je l'apprécie depuis ! En plus de me fournir une plateforme pour partager mes connaissances avec une communauté mondiale de développeurs de logiciels, le système d'évaluation peer-to-peer d'InfoQ a considérablement amélioré mon écriture.