Cours accéléré sur LangChain

1. À propos du cours: Dans ce cours vidéo, découvrez le lang-chin et ses concepts. LangCHN est un framework conçu pour créer des applications basées sur de grands modèles de langage Il fournit des outils et des abstractions pour faciliter l'intégration des LLM dans les applications, en permettant des tâches telles que la réponse, génération de texte, Rag, les chatbots, Dans ce cours, nous avons abordé les leçons suivantes à l'aide d'exemples de course en direct. Commençons par la première leçon. 2. LangChain - Introduction, fonctionnalités et cas d'utilisation: Dans cette leçon, nous allons apprendre ce qu'est le Lang Chin. Nous aborderons également les fonctionnalités ainsi que ses cas d'utilisation. Commençons. Lang Chain est un framework conçu pour développer des applications basées sur de grands modèles de langage. Il simplifie l' ensemble du cycle de vie des applications LLM, du développement au déploiement et à la surveillance Il est utile pour créer des applications sensibles au contexte et basées sur le raisonnement. Vous pouvez facilement intégrer des LLM dans des applications permettant des tâches telles que la génération de texte, Rag, la réponse par quotien, etc. En enchaînant plusieurs modèles et processus, chaîne ang permet à un utilisateur de créer des flux de travail complexes Grâce à cela, vous pouvez facilement gérer les différents composants d'un système EA à l'aide de la chaîne Lang. Commençons par comprendre ce qu' interprète Lang Chin ? Cela signifie chaîne Lang plus. Cela signifie que les grands modèles linguistiques pour Lang ainsi que la chaîne servent à combiner ces LLM, comme le chaînage de ces chaîne est donc construite autour de LLM tels que les modèles Open Es, GPT, HuggingPase Avec la chaîne Lang, vous pouvez facilement enchaîner plusieurs étapes ou composants, tels que la récupération de données d'une base de données ou d'un magasin de documents, traitement de ces données pour générer des intégrations Vous pouvez également générer des réponses à l'aide d'un LLM, interagir avec des API et des bases de données Voici les caractéristiques de la chaîne Lang. Vous pouvez facilement vous intégrer aux LLM. Il fournit une interface unifiée pour interagir avec différents modèles. Créez des chaînes d'opérations dans lesquelles le résultat d'une étape est ajouté en tant qu'entrée à l'étape suivante. Par exemple, une chaîne qui récupère les documents pertinents et répond à l'aide d'un LLM La chaîne Lang prend également en charge la mémoire. Comme son nom l'indique, la mémoire est utilisée pour stocker et récupérer le contexte des interactions. Grâce à cela, vous pouvez facilement créer des forums de discussion ou des applications qui nécessitent le contexte des interactions précédentes, comme la mémoire Lang Chin fournit également des outils d'indexation et de récupération de documents Vous connaissez donc Rag, donc Rag est une génération augmentée par récupération Lang Chin aide également à créer des systèmes de chiffons, comme un vecteur stocké pour récupérer documents pertinents pour une requête. Lang Chin soutient également les agents qui sont systèmes utilisant des LLM pour décider des actions à entreprendre et dans quel Comme un agent pour faciliter le travail de vente, un agent capable d'interagir avec des API ou des bases de données externes. LangCHN fournit également des outils pour les invites afin que vous puissiez facilement gérer et Lang Chin est un système modulaire qui permet aux développeurs de mélanger et d'associer des composants afin créer facilement des flux de travail personnalisés. Voyons maintenant les cas d'utilisation de Lang Chin. Si vous souhaitez créer un système de réponse par quotien, vous pouvez facilement y parvenir avec Lang chin Cela permettra de récupérer les informations pertinentes et de générer des réponses. Créez facilement des agents conversationnels qui maintiennent le contexte des interactions, comme un forum de discussion. Implémentez également Rag avec la chaîne Lang afin obtenir un texte plus précis et basé sur vos propres documents Vous pouvez également résumer des textes, résumer facilement de longs documents ou articles avec Lang Chin, créer facilement des outils permettant de générer des citations. Grâce à cela, créez facilement un assistant virtuel personnel pour des tâches telles que la planification, la récupération d'informations, la rédaction d'un e-mail, etc. Dans cette leçon, nous avons donc vu ce qu'est le Lang Chin, ses caractéristiques. Nous avons également vu les cas d'utilisation. Merci d'avoir regardé la vidéo. 3. Qu'est-ce que le chaînement dans LangChain: Dans cette leçon, nous allons comprendre ce qu'est le chaînage en lang chin Nous avons déjà vu comment interpréter Lang Chin comme Lang Plus Chain. Voyons donc ce qu'est une chaîne. La chaîne Lang est un processus combine plusieurs composants ou étapes dans une séquence afin que vous puissiez accomplir une tâche spécifique. Le chaînage est important pour pouvoir mélanger et associer les composants afin de faciliter la création de flux de travail personnalisés et de créer facilement des systèmes qui utilisent le contexte des étapes précédentes, créer facilement des systèmes qui utilisent le contexte des comme l'historique des discussions Grâce à cela, vous pouvez également facilement décomposer les tâches difficiles en étapes plus petites et plus faciles grâce au chaînage Voici un exemple rapide de chaînage dans une chaîne Lang. Construisons un chiffon qui est un système de génération augmentée par récupération Dans ce cas, quelle est la première étape qui est récupérée ? Vous pouvez utiliser un récupérateur pour récupérer les documents pertinents. Ensuite, ils transmettent les documents pertinents et un quotien qui est une invite, demandé à un LLM de générer une réponse Et quel en sera le résultat ? La réponse sera renvoyée à l'utilisateur. La séquence d' étapes que nous avons observée est donc une chaîne qui combine la récupération et génération en un seul flux C'est donc le concept de chaînage. Le chaînage revient à lier plusieurs composants eux pour créer une séquence d' opérations, comme la récupération de documents Donc, les gars, nous avons vu ce qu'est le chaînage dans la chaîne Lang. Merci d'avoir regardé la vidéo. 4. Composants/modules de LangChain: Dans cette leçon, nous allons comprendre quels sont les composants du lang chin. Considérez-les également comme les modules du lang chin. Voyons comment créer des flux de travail complexes, y compris des LLM, Lang chin a fourni certains composants Laissez-nous les voir. Le premier est le prétraitement Comme son nom l'indique, il prépare vos données brutes comme vos documents afin que vous puissiez les utiliser dans des flux de travail en chaîne. Cela inclut également la tâche de diviser le texte en morceaux, nettoyer les données et de générer des intégrations Viennent ensuite vos modèles. Il s'agit de vos LLM, c' est-à-dire de grands modèles linguistiques ou même des modèles d'intégration Vous devez avoir entendu parler du GPT, embrasse également les modèles faciaux avec cela, il inclut également vos modèles personnalisés et affinés Vient ensuite le composant d'instructions. Ce sont vos requêtes sur les instructions ou considérez-les comme des entrées, qui sont données au LLM pour générer des réponses Voici les instructions que vous saisissez sur Chat GBT. Il peut être statique ou généré dynamiquement en fonction du contexte ou des données saisies par l'utilisateur. Puis vient la mémoire. Comme son nom l'indique, il stocke et récupère comme l'historique de vos discussions Cela permet également aux applications de maintenir la continuité et la connaissance du contexte. changement, comme nous l'avons vu précédemment, consiste à combiner plusieurs composants en une séquence d'étapes. L'idée est de transmettre la sortie d' un composant comme entrée au suivant, formant ainsi un flux de travail structuré. Grâce à cela, vous pouvez facilement contourner des flux de travail complexes tels que la réponse aux quotiens, génération de texte, la synthèse, etc. index, ce sont les outils permettant d' organiser et de récupérer les données Vous pouvez le relier à une définition profane des index C'est pourquoi nous utilisons des index afin de pouvoir récupérer les données rapidement Dans ce cas également, vous pouvez facilement permettre une récupération rapide des informations pertinentes agents, ce sont les systèmes qui utilisent LLM pour décider des actions et interagir avec des outils externes ou des API Vous pouvez ainsi effectuer des tâches telles que l'appel d'API, l' interrogation de la base de données, etc. Alors, les gars, nous avons vu quels sont les composants de la chaîne Lang. Dans les leçons à venir, nous les aborderons un par un, puis nous verrons un exemple en direct de la chaîne Lang. 5. Composant de prétraitement de LangChain: Dans cette leçon, nous allons comprendre le premier composant de l'ang chin, le prétraitement. Laissez-nous voir. Comme son nom l'indique, le processus Lang Chin commence par les chargeurs de documents et les séparateurs de texte Cela peut inclure des documents PDF. Le chargement et le prétraitement des données sont inclus dans le composant de prétraitement Ensuite, la sortie est transmise à d'autres composants tels que le modèle, les index et les chaînes Généralement, dans le cadre des composants ang chin, ce composant des chargeurs de documents et des séparateurs de texte n'est pas inclus, mais il reste un élément essentiel de l'écosystème Lang Cela facilite votre travail de création de flux de travail. Alors pourquoi devrions-nous commencer par l'étape du chargeur de documents et du séparateur de texte ? Cette étape d'ingestion de données inclut le point d'entrée pour introduire vos données externes dans le système Le rôle des séparateurs de texte est s' assurer que vos données sont au bon format afin qu'elles puissent être facilement traitées par le modèle, qu'il s'agisse d'un LLM ou d'un modèle s'agisse d'un LLM ou d'un Lorsque vous divisez le document en plusieurs parties, cela permet un traitement parallèle et une extraction efficace Cela vous permet également de gagner en évolutivité. Le fractionnement des données permet de gérer de grands ensembles de données. Les gars, nous avons vu quel est le composant de prétraitement de la chaîne Lang. 6. Composants de modèles de LangChain: Dans cette leçon, nous allons comprendre quel est le composant des modèles de la chaîne Lang. Laissez-nous voir. Les modèles, comme leur nom l'indique, font référence à vos LLM, c' est-à-dire aux grands modèles linguistiques Il peut également inclure vos modèles d'intégration. Ces modèles sont en fait responsables de la gestion, compréhension, de la génération et de la transformation du texte en fonction des entrées reçues. Voyons quels types les modèles Lang Chin peuvent inclure des LLM, et cela peut également inclure les modèles d'intégration Certains des exemples de LLM sont les modèles GPT, les métas et les modèles Ils sont le cerveau des applications Lang Chain vous permettent de générer du texte, de le résumer, de le traduire, résoudre des problèmes, etc. Il a la capacité de générer du texte semblable à celui d'un humain. Il peut également répondre aux ions, résumer le contenu et effectuer d'autres opérations. Viennent ensuite vos modèles d'intégration. Ceci est utilisé pour convertir votre texte en représentations numériques. C'est ce qu'on appelle les intégrations Ceci est utilisé pour des tâches telles que l'évaluation documentée clustering afin que vous puissiez facilement permettre aux systèmes trouver rapidement les informations pertinentes. Voyons maintenant pourquoi ces modèles sont importants. Ils fournissent en fait l'intelligence et sont le cerveau des applications Lang Chin. Ainsi, des tâches telles que la création de contenu, la synthèse de texte ou la réponse rapide peuvent être facilement réalisées. En combinant à la fois le LLM et vos modèles d' intégration, chaîne Lang peut être utilisée pour créer des systèmes puissants Alors, les gars, nous avons vu quel est le composant des modèles dans la chaîne Lang ? 7. Composant de messages de LangChain: Dans cette leçon, nous allons comprendre quel est le composant prompts de la chaîne Lang. Laissez-nous voir. Les invites sont donc essentiellement les requêtes d'entrée, les instructions ou le contexte que vous fournissez au LLM Chaque fois que vous tapez une invite sur Chat GPT ou Copilot, c'est ce que nous appelons Cela agit essentiellement comme un pont entre l' utilisateur et le LLM, et permet en fait au modèle interpréter et de répondre à une tâche spécifique Quel est le rôle des invites dans Lang Chin ? Nous savons tous ce qu'est une invite. Nous avons obtenu de nombreuses réponses sur les invites de saisie sur Copilot, Claude AI, chat, GPT, Gemini Mais quel est le rôle des instructions dans Lang Chin ? Il guide en fait le LLM lorsqu'il répond à une question ou qu'il résume un texte Ces instructions peuvent également inclure un contexte supplémentaire, comme l'historique des discussions, récupération de documents, etc. afin que la pertinence puisse être annoncée et que la réponse des LLM soit plus précise Grâce à cela, vous pouvez également personnaliser vos invites en fonction de tâches ou de domaines spécifiques Cela les rend très flexibles. Donc, pourquoi les instructions sont importantes dans la chaîne linguistique, elles déterminent en fait la manière dont le LLM interprète et répond à Cela permet d'obtenir des résultats plus précis et plus pertinents. Si les proms sont bien conçus, peuvent améliorer considérablement les performances des applications Lang Chain Des invites bien conçues sont utiles dans les flux de travail complexes tels que Rag, les forums de discussion ou autres Donc, les gars, nous avons vu ce que sont les invites et le rôle du composant des invites dans la chaîne Lang 8. Composant de mémoire de LangChain: Dans cette leçon, nous allons comprendre le composant mémoire du lang gin. Laissez-nous voir. Comme son nom l'indique, la mémoire fait référence à la capacité de stocker et récupérer le contexte à travers les interactions. Ainsi, le système mémorise les entrées, sorties ou autres informations pertinentes précédentes . Il existe donc deux types de mémoire, à court terme et à long terme. Comme son nom l'indique, si le contexte est stocké pendant la durée d' une seule interaction ou session, on parle de mémoire à court terme, c'est-à-dire ne mémoriser que le quotien précédent d'un utilisateur dans un chatbot, afin de maintenir facilement le flux de la conversation Ensuite vient votre mémoire à long terme. Il stocke le contexte ou les données au cours de plusieurs sessions ou interactions , par exemple en enregistrant les données historiques des saisies par un utilisateur dans un chatbot afin de générer des réponses personnalisées Cela permet également de sauvegarder les préférences de l'utilisateur. Pourquoi la mémoire est-elle importante ? Il permet facilement de multiples interactions afin que le système puisse référencer les entrées ou sorties précédentes. C'est facile de fournir des réponses plus pertinentes et plus précises. Si vous créez des agents conversationnels, assistant virtuel personnel, la mémoire est vraiment importante Alors, les gars, nous avons vu quel est le composant mémoire de Lang Chin. Nous avons également vu les types. 9. Composants de chaînes de LangChain: Dans cette leçon, nous allons comprendre la composante chaîne de la chaîne Lang. Il s'agit donc d'une séquence d'opérations ou d' étapes combinant plusieurs composants. Cela revient à transmettre la sortie d' un composant comme entrée au suivant, afin de former un flux de travail structuré. Voici les deux types de chaînes simples et complexes. Lorsque chaque puce est exécutée l'une après l'autre, on parle de chaîne simple. Cela ressemble à une séquence linéaire. Par exemple, une chaîne qui récupère des documents puis génère un résumé Viennent ensuite vos chaînes complexes. Ils ne sont pas linéaires et peuvent inclure le branchement, bouclage ou la prise de décision Par exemple, une chaîne qui récupère des documents. J'évalue également la pertinence et génère une réponse. Pourquoi les chaînes sont-elles importantes ? Ils fournissent un moyen structuré d' organiser des flux de travail complexes. Grâce à cette fonctionnalité, vous pouvez facilement créer des applications complexes. Ils permettent également la modularité et la réutilisabilité afin que les développeurs puissent mélanger et associer les composants pour différents cas d'utilisation Alors, les gars, nous avons vu quel est le composant de la chaîne de Lang Chin. Merci d'avoir regardé la vidéo. 10. Composant d'index de LangChain: Dans cette leçon, nous allons comprendre ce que sont les indices composant une chaîne. Laissez-nous voir. Si vous souhaitez stocker les données de manière à permettre une extraction efficace et rapide des données, utilisez les index la même manière, les index chaîne Lang sont des outils d'organisation et stockage des données qui permettent une extraction et une recherche efficaces Ils facilitent la recherche rapide d' informations pertinentes et constituent un référentiel structuré pour les documents et les intégrations Voici les deux types d' index, vectoriel et document. Les index vectoriels stockent des représentations numériques. Il s'agit d'intégrations de texte. Pour permettre la recherche sémantique et la récupération basée sur la similitude, comme une bibliothèque, FAI double pour une recherche de similarité efficace dans des vecteurs denses Le deuxième type est le document. Il stocke des documents bruts ou des réservoirs de texte, comme une base de données de PDF ou articles indexés par titre Pourquoi les index sont-ils importants ? Pour les tâches basées sur la récupération, elles sont très importantes et permettent aux systèmes de trouver et d' utiliser rapidement les informations pertinentes Ils sont importants pour créer des applications efficaces et évolutives. Si vous avez affaire à de grands ensembles de données ou à des requêtes complexes, le composant d'index est vraiment utile Les gars, nous avons vu quels sont les composants indiciels d'une chaîne. Nous avons également vu les types d'index. 11. Composant agents de LangChain: Dans cette leçon, nous allons comprendre le composant agent de la chaîne Lang. Laissez-nous voir. Les agents sont des systèmes basés sur l'IA qui utilisent des LLM pour décider des actions à entreprendre Ils agissent comme des décideurs intelligents qui interagissent de manière dynamique avec les outils, les API ou les sources de données pour atteindre un objectif Voici les deux types d'agents, action unique et à action multiple. L'agent à action unique exécute une tâche ou une action spécifique en fonction de l'entrée, comme un agent qui récupère les données météorologiques d'un APA Le second est multi-actions utilisant les agents multi-actions, effectuant facilement une séquence d'actions, de manière itérative pour résoudre des problèmes complexes Comme un agent qui planifie un voyage. Quelles sont donc les choses nécessaires pour planifier un voyage ? Comme un agent est utilisé pour réserver des vols, des hôtels et même le transport, pourquoi les agents sont-ils importants ? Ils sont importants car comportement autonome et intelligent est activé. Cela permet au système de gérer des tâches complexes en plusieurs étapes sans aucun flux de travail prédéfini et de manière indépendante. Si vous créez des applications qui nécessitent un raisonnement, planification ou une interaction avec des systèmes externes, les agents sont très utiles. Alors les gars, nous avons vu ce que sont les agents à Lang Chin. Nous avons également vu les types. Merci d'avoir regardé la vidéo. 12. LangChain avec RAG - Processus: Dans cette leçon, nous allons voir le processus d'une chaîne quelconque avec RAG Nous discuterons étape par étape œuvre de la chaîne Lang avec RAG. Commençons. Nous venons de voir la chaîne Lang avec le flux de travail RAG. Nous allons simplement utiliser la même chose pour implémenter la chaîne Lang avec RAG Le premier était les chargeurs de documents. Ils étaient chargés du chargement des données provenant de diverses sources externes, telles que téléchargement d'un ou de plusieurs PDF, de bases de données, etc. Donc, pour ce code interne, nous utiliserons le chargeur PDF Pi pour charger les documents PDF. Viennent ensuite vos séparateurs de texte. Dans ce cadre, nous décomposons les gros documents en petits morceaux afin qu'ils puissent être traités par les LLM Pour cela, nous avons utilisé le séparateur de texte récursif pour diviser les documents en morceaux . Viennent ensuite les modèles. Il s'agit des modèles LLM ou des modèles d'intégration. Pour cela, nous avons utilisé la classe d'intégration de phase d'étreinte pour le modèle d' intégration Ceci est utilisé pour configurer le modèle d'intégration. Dans notre cas, nous avons utilisé les transformateurs de phrases. Pour le LLM, nous avons utilisé la classe de pipeline de phase d' étreinte afin de pouvoir configurer le LLM local Dans ce cas, nous avons utilisé ce qui suit. Puis vient votre invite. Il s'agit invites du demandeur d'entrée utilisées pour interagir avec le LLM dont nous avons déjà parlé Pour cela, nous avons créé une fonction personnalisée answer underscore qui afin qu'elle prenne une question en entrée et fasse office de bal pour le Qahin Puis vient votre mémoire. Il s'agit de stocker des données ou du contexte intermédiaires. Dans cette implémentation, nous n'avons pas utilisé de mémoire, mais le magasin de traits de soulignement vectoriels et les fragments de soulignement de document peuvent être considérés comme faisant partie Chaînes, il s'agit d'un composant qui fait référence à la séquence des opérations. La Qchain de récupération est utilisée dans notre code pour combiner le retriever et le LLM Index, l'histoire vectorielle FAI double est utilisée pour indexer les fragments du document Cela permet d'indexer les documents pour une extraction efficace Agents, ce composant fait référence à l'entité décisionnelle qui interagit avec le système. Dans notre code, nous avons utilisé la classe du système RAC local qui agit comme un agent de haut niveau pour planifier notre flux de travail. Alors, les gars, nous avons vu le processus. Dans la dernière leçon, nous allons voir l' exemple de codage et exécuter une chaîne Lang avec le système Rack sur Google Colab 13. LangChain avec RAG - Exemple de codage final: Dans cette leçon, nous verrons le dernier exemple de codage pour implémenter la chaîne Lang avec Rag Nous verrons le code et comprendrons également les étapes sous forme d'extraits de code Et à la fin, nous exécuterons également le code. Nous téléchargerons plusieurs PDF et résumerons à l'aide de notre système Lang chain with Rag. Commençons. Voici donc notre Google Colab, nous avons créé un nouveau carnet de notes et voici notre code Laissez-nous donc comprendre le code. Tout d'abord, nous allons installer les packages nécessaires. J'espère que vous savez que dans Google Collab, nous utilisons la commande suivante pour installer une bibliothèque ou un package à installer une bibliothèque ou un partir de l'index des packages Python installons ici les packages nécessaires , tels que les transformateurs de phrases anhain Le code importe ensuite divers modules et classes à partir de ces packages, comme ici, OK. Les modules importés activent des fonctionnalités telles que le fractionnement de texte, le chargement de documents, l'intégration et le modèle de langue Configurons maintenant la journalisation ici à la deuxième étape. Ce code est utilisé pour configurer le module de journalisation en Python. La première ligne définit la configuration de base du module de journalisation. La ligne suivante crée une instance d'enregistreur. L'enregistreur G renvoie une instance d'enregistreur. Ici, ce qui suit est une variable Python intégrée qui contient le nom du module actuel. Dans la première ligne, cette fonction est utilisée pour configurer le module de journalisation. Ce qui suit définit le niveau de journalisation sur info. Cela signifie que tous les messages de journal contenant un niveau d' information ou supérieur seront traités. Nous allons maintenant créer une classe représentant un système Rag local Initialisons maintenant objet du système Rag local en utilisant Okay Voici les documents, considérez-les comme une liste pour stocker les documents chargés. Le magasin Vector Underscore stocke les documents d'intégration. Nous allons maintenant télécharger le PDF depuis la machine locale pour collaborer. Le téléchargement par points des fichiers de fonctions suivants est utilisé à cette fin. Les noms des fichiers téléchargés sont enregistrés et renvoyés. Toute exception pendant le téléchargement est détectée, enregistrée et effacée D'accord, la méthode fait partie d'une classe et utilise un enregistreur pour enregistrer les messages Il renvoie une liste qui est une liste des chemins PDF téléchargés. Vient ensuite votre fonction de chargement de documents soulignés. Cela chargera et analysera les documents PDF. Elle définit une méthode de chargement de documents soulignés pour charger et coller des documents PDF à partir de chemins de fichiers donnés Le chemin d'accès à chaque fichier PDF suivant tente de charger le document à l' aide du chargeur Pi PDF et ajoute les pages chargées à la liste des chemin d'accès à chaque fichier PDF suivant tente de charger le document à l' aide du chargeur Pi PDF et ajoute documents à points automatiques Toutes les exceptions pendant le chargement sont enregistrées et la méthode continue avec le fichier suivant. Le nombre de pages chargées pour chaque fichier et le nombre total de pages sont enregistrés. La méthode met à jour la liste des documents à points automatique avec les pages de document chargées. Maintenant, l'étape suivante consiste à diviser les documents en morceaux. Cette méthode divisera les documents chargés en morceaux à l'aide d'un séparateur de texte corrigé récursif Le séparateur divise les documents en morceaux, qui sont stockés dans des segments de soulignement de documents à points automatiques C'est ici. Cela nécessite des paramètres facultatifs, taille de soulignement de segment et un chevauchement de traits de soulignement de morceaux La valeur par défaut est 1 000 et la valeur par défaut est 200. Le nombre de fragments créés est enregistré. Étape suivante, configurez le modèle d'intégration. Ce code configure le modèle d'intégration à l'aide de transformateurs Hugging Face Il prend un modèle facultatif, un paramètre de nom de soulignement. Le modèle choisi est utilisé pour créer une instance d'intégration de visages étreintés. Le processus de configuration est enregistré, y compris le nom du modèle. Toutes les exceptions lors de l'installation sont interceptées, enregistrées et effacées. Ensuite, à l'étape suivante, nous allons créer un magasin vectoriel à partir des fragments du document Ce code crée un magasin de vecteurs à partir de fragments de documents à l'aide du FAI. Il utilise le modèle d'intégration précédemment configuré pour générer des vecteurs à partir des fragments de document, le point fs de la méthode Underscore Documents crée le magasin de le modèle d'intégration précédemment configuré pour générer des vecteurs à partir des fragments de document, le point fs de la méthode Underscore Documents crée le magasin de vecteurs. Le processus de création est enregistré et toutes les exceptions sont enregistrées et effacées. À l'étape suivante, nous allons configurer un LLM local à l'aide de Hugging Face Ce code met en place un modèle local de grande langue l'aide de transformateurs faciaux étreints Il charge un modèle et un tokenizer pré-entraînés à l'aide de l'ID de soulignement du modèle spécifié Un pipeline de génération de texte est créé avec le modèle chargé et le tokenizer Le pipeline est encapsulé dans une instance de pipeline en phase d'étreinte et stocké dans Self point LLM Le processus de configuration est enregistré dans toutes les exceptions, le processus de configuration est enregistré et toutes les exceptions sont détectées, enregistrées et effacées. Créons maintenant un Qchin en utilisant le magasin vectoriel et LM. Ce code met en place un QA qui est une chaîne de réponses par quotient utilisant le magasin vectoriel et le LLM Il crée une instance Q de récupération avec l'élément spécifié et le magasin de vecteurs comme récupérateur Le récupérateur est configuré pour renvoyer les K meilleurs résultats. Le processus de configuration de Qin est verrouillé avec la valeur K. Toutes les exceptions pendant la configuration sont verrouillées et rétablies. Nous allons maintenant répondre à une question en utilisant le système AC. Le code suivant définit une méthode pour répondre à une en utilisant un système AC. Il prend un quotien comme entrée et utilise la chaîne de soulignement QA pour générer une réponse Le quotien et la réponse sont enregistrés à des fins La réponse est renvoyée par la méthode. Toute exception pendant le processus de réponse est détectée, enregistrée et supprimée. Laissons maintenant exécuter le processus de configuration complet. OK. Ce code définit une méthode, exécutez underscore setup pour exécuter le processus de configuration complet d'un système RAG Il fait appel à différentes méthodes en séquence pour télécharger des PDF, charger des documents, diviser des documents, configurer des intégrations, créer un magasin vectoriel, configurer un LLM local et configurer un QHN et Cette méthode utilise des paramètres facultatifs pour personnaliser le processus de configuration. La fin du processus de configuration est enregistrée. Toutes les exceptions lors de l'installation sont détectées, enregistrées et reproduites. Maintenant, voici un exemple d'utilisation. Cela crée une instance du système Rag local et exécute son processus de configuration. Le processus de configuration configure le système avec paramètres spécifiques tels que taille des blocs et le modèle de langue Après la configuration, le code pose deux questions. Le premier est ici et le second est là et affiche la réponse. Les questions démontrent la capacité du système à comprendre le sujet principal et résumer les points clés des documents. Les réponses sont générées avec succès à l'aide du système Rag. Voici donc ce que je vais faire. Je vais juste exécuter le code complet. Vous pouvez également sélectionner le runtime à partir d'ici, sélectionner changer le type d'exécution, sélectionner T pour GPU et cliquer sur Enregistrer. Maintenant, je vais le lancer. Attendons. Maintenant, téléchargeons les documents. Cliquez sur Choisir des fichiers. Supposons donc que je télécharge au milieu d'un exemple de PDF à points et de certification Python. Je vais cliquer sur Ouvrir. Nous avons maintenant téléchargé deux documents. Il va maintenant extraire le résultat. Il présente les principaux sujets et résume les points clés des documents. Donc, dans ce domaine, nous pouvons travailler avec Lang Chin. Nous avons vu l'exemple de Lang Chin avec Rag. Merci d'avoir regardé.