Développement d'applications commerciales par des LLMs

1. Promo prêt pour le produit: Et si je vous disais qu'au lieu de dépenser des dizaines de milliers de dollars pour que quelqu'un réponde aux questions de vos clients 8 heures par jour, cinq jours par semaine, au cours de la prochaine heure, vous pourriez apprendre à créer un chatbot en utilisant la puissance de grands modèles linguistiques pour faire de même avec une plus grande précision, 24 heures par jour, sept jours par semaine, 365 jours par an Je suis le professeur Reza et j'enseigne aux étudiants de premier cycle et des cycles supérieurs des sujets liés à l'informatique et à l'intelligence artificielle J'ai également des milliers d' étudiants en ligne. Je fais des recherches sur l'IA et j'ai collaboré avec des instituts prestigieux tels que le MIT Media Lab, Carnegienon, l'université Harvard et l'université de Californie Et ces œuvres ont été publiées dans des sites tels qu'ACM et Spring Nature Je vais utiliser toute cette expérience et tout ce que j'ai appris jusqu'à présent pour vous aider à comprendre comment vous pouvez utiliser de grands modèles linguistiques pour créer un espace de discussion avec le service client qui vous permet de répondre aux questions de vos clients à tout moment de la journée. la prochaine heure, nous allons passer en revue ce que sont les grands modèles linguistiques et nous allons aborder de nombreux sujets qui y sont liés, tels que le PNetEngineering et l'éthique de l'utilisation de grands modèles linguistiques Je parlerai différentes plateformes qui seront très utiles à tout développeur d' applications ou à toute personne souhaitant apprendre à développer applications avec de grands modèles de langage. Nous allons parler de plateformes comme Hugging Face et de technologies comme la radio pour créer des interfaces faciles pour les programmes Python Et je vais vous suivre à travers toutes les étapes de création d' un chatbot basé sur le LLM capable récupérer les données de vos documents commerciaux et de répondre questions que vos clients de récupérer les données de vos documents commerciaux et de répondre à toutes les questions que vos clients pourraient se poser. Ça t'intéresse ? Alors rejoignez-moi dans la prochaine vidéo, et je vous expliquerai comment faire. 2. Lesson1Video1- Explorer les avantages et les applications en LLM: Dans cette vidéo, nous allons découvrir ce que sont les grands modèles linguistiques et comment ils fonctionnent. À la fin de cette vidéo, vous découvrirez les principales fonctionnalités et avantages des LLM, ainsi que certaines applications remarquables LLM sont un type de modèle d' apprentissage profond qui est décrit sur des ensembles de données de texture massifs Ils sont ensuite affinés pour des tâches spécifiques. Ils sont appelés grands en raison de deux de leurs principales caractéristiques. La première est qu'ils sont formés sur d'énormes quantités de données à l'échelle des ptabtes Cela leur donne une connaissance approfondie des langues. Et deuxièmement, ils ont un très grand nombre de paramètres. Nous parlons de milliards de paramètres. Cela leur confère une forte capacité de raisonnement, y compris la compréhension du langage et la génération. En résumé, leur formation préalable approfondie, complétée par réglages précis spécifiques aux tâches, en font systèmes d'IA incroyablement polyvalents et puissants Les LLM passent par deux étapes principales. l'entraînement préalable, le modèle ingère ensembles de données très divers tels que Wikipedia ou Common Crawl, afin de développer une large compréhension Deux réglages précis. Le modèle pré-entraîné est ensuite personnalisé pour des applications spécifiques en utilisant ensembles de données spécifiques à des champs plus petits Ce processus de torsion permet aux LLM d'acquérir à la fois des connaissances sur les blancs grâce à leur pré-entraînement général et une précision spécialisée grâce à leurs réglages précis Explorons maintenant certains des principaux avantages et fonctionnalités des LLM Premièrement, ils peuvent comprendre les langages nuancés et générer textes remarquablement humains. Deuxièmement, ils excellent dans des tâches telles que la traduction, la synthèse, l'analyse des sentiments et les réponses aux questions. Troisièmement, ils ne peuvent être affinés pour des tâches spécifiques qu'en s' entraînant sur un petit ensemble de données. Quatrièmement, ils s'améliorent grâce plus de données et à des modèles de plus grande taille. Et cinquièmement, grâce à leurs capacités génératives, ils rendent l'IA plus accessible, même aux personnes ayant des connaissances techniques limitées. LLM sont les nouveaux moteurs capables de transformer divers secteurs Regardons quelques exemples. Dans le secteur de la santé, ils peuvent être utilisés pour extraire des informations de dossiers médicaux ou de documents de recherche Dans le domaine de l'éducation, ils sont capables de fournir un tutorat et un feedback personnalisés aux étudiants Dans le domaine de la finance, vous pouvez utiliser des LLM pour analyser les rapports sur les bénéfices et prévoir les tendances du marché Et dans le domaine du divertissement, les LLM nous aident à générer du contenu créatif, comme des histoires ou même des scripts Enfin, dans le commerce de détail, ils peuvent être utilisés pour recommander des produits en fonction des données et des avis des clients De nombreuses possibilités passionnantes nous attendent alors que les LLM continuent d'évoluer Leur polyvalence permet applications d'intelligence artificielle révolutionnaires dans différents secteurs En conclusion, les grands modèles linguistiques représentent une révolution dans les capacités de l'IA. Leur pré-entraînement à grande échelle, suivi d'un ajustement précis spécialisé leur confère des capacités linguistiques exceptionnelles Cela permet d'avoir des impacts transformateurs sur les secteurs, de la finance à l'éducation À mesure que ces modèles gagnent en puissance, l'avenir s'annonce prometteur pour démocratiser l'IA grâce à de grands modèles linguistiques polyvalents et acceptables 3. L1V2- Comprendre l'ingénierie rapide: Cette vidéo explorera l'ingénierie rapide, son rôle dans l'utilisation des LLM et la manière d'intervenir de manière efficace et responsable À la fin de cette vidéo, vous découvrirez les différents types d'instructions et de méthodes d'optimisation, ainsi que leurs limites Tout d'abord, qu'est-ce que l'ingénierie rapide exactement ? Il fait référence à l'optimisation stratégique des instructions que nous envoyons aux systèmes d'IA Nous le faisons dans le but d' améliorer les performances de ces modèles. Prompt Engineering utilise des techniques spécialisées pour produire les résultats les plus précis, pertinents et utiles possibles. L'ingénierie rapide consiste à communiquer clairement notre intention. Les instructions jouent un rôle crucial dans le façonnement du comportement d'un système d'IA Nous pouvons les considérer comme l'interface entre nous et les modèles d'IA pour nous aider à communiquer clairement nos intentions et à donner des directives au modèle. Vous vous demandez peut-être pourquoi une ingénierie rapide est importante. Eh bien, sans l'incitation stratégique, les modèles doivent interpréter des instructions ambiguës ou vagues Cela risque de produire des résultats inutiles , voire dangereux. D'autre part, instructions bien conçues permettent un contrôle plus précis afin d' exploiter toutes les capacités de l'IA Vous avez peut-être également entendu le terme « prompt design ». Il existe une différence importante entre conception rapide et une ingénierie rapide. La conception rapide implique d'adapter les instructions à des tâches spécifiques telles que la traduction ou Prompt Engineering utilise des stratégies spécialisées pour optimiser les performances du modèle. Je peux inclure des techniques telles que la terminologie du domaine, mots clés efficaces, des exemples et d'autres techniques pour améliorer la précision et la pertinence du modèle. Examinons maintenant différents types d'instructions. Demande d'instructions. Il s'agit d' instructions simples. Par exemple, résumez brièvement ce texte ou traduisez le passage en français. Il existe également des instructions par mots clés, qui incluent l'utilisation d'indices utiles Par exemple, veuillez expliquer les événements clés dans l' ordre dans lequel ils se sont produits. Il existe également des instructions de domaine. Il utilise des connaissances et une terminologie technique spécifiques au domaine connaissances et une terminologie technique spécifiques Par exemple, diagnostiquez ce cas médical à l'aide d'un langage clinique ou évaluez ce contrat juridique l'aide de cadres et de termes juridiques. Nous proposons également des suggestions de rôles. Ce type d'incitation incite le modèle à adopter un personnage Par exemple, répondez en tant qu'économiste expert. Chaîne de pensée qui incite. Il décompose une demande complexe en un ensemble logique d'actions ou de tâches. Résumez par exemple brièvement les points essentiels de l'article. Expliquez ensuite le point de vue de l' auteur. Enfin, fournissez votre analyse critique. Nous avons également des instructions de prise de vue. invite de prise de vue fournit une configuration contextuelle avant l'invite elle-même Nous n'avons aucun tir, un seul coup et quelques instructions. Dans l'invite Zero Shot, nous ne donnons aucun exemple Par exemple, écrivez un court poème sur la nature. Dans un plan d'invite, un exemple est donné Par exemple, voici un court poème sur les arbres, puis nous proposons un court poème. Ensuite, nous continuons maintenant à écrire un court poème sur l'océan. Dans Fus Shot, plusieurs exemples sont fournis Par exemple, voici deux courts poèmes sur la météo, puis nous allons fournir deux courts poèmes au modèle. Ensuite, nous continuons. Maintenant, écris un court poème sur la neige. Le fusiaMPting est une technique puissante. Les LLM sont assez bons pour suivre les modèles. En fait, j'ai une amie qui donnait à Claude ses vieux poèmes et qui lui demandait d' écrire des poèmes dans son propre style. Elle en a été très impressionnée. Donc, si vous aimez également utiliser l'IA pour la poésie, vous devriez probablement consulter Claude. Une bonne ingénierie rapide peut nous donner beaucoup de pouvoir, et une grande puissance s'accompagne de grandes responsabilités. Voyons donc quelques-unes des pratiques responsables et éthiques en matière d'ingénierie rapide. Tenez compte des biais et des limites potentiels des LLM. Validez les résultats à haut risque tels que les informations juridiques ou médicales. Ils devraient être validés par des experts en la matière. Veillez à itérer avec soin pour optimiser les instructions avant Nous ne voulons pas faire passer une application en phase de production avant de l'avoir testée correctement. De toute évidence, une ingénierie rapide comporte ses propres limites. Voyons quelles sont certaines de ces limites. Tout d'abord, une ingénierie rapide n' est pas une solution miracle. Par exemple, il ne peut pas nous protéger contre tous les comportements imprévisibles du modèle qui peuvent encore se produire. Ensuite, même avec les meilleures instructions, certaines tâches peuvent dépasser les capacités du modèle Nous devons également nous rappeler que pour optimiser l'invite, nous devons comprendre le modèle. Il est très difficile de trouver un modèle efficace si nous ne savons pas comment il fonctionne et quel type de message fonctionne le mieux pour ce modèle. Enfin et surtout, nos instructions sont bien conçues, les résultats nécessitent toujours une validation humaine finale, en particulier pour les domaines à enjeux élevés En conclusion, l'ingénierie rapide stratégique nous permet de mieux diriger les systèmes d' IA et de libérer leur potentiel tout en suscitant des suggestions de manière responsable Reconnaître à la fois le pouvoir et les limites de l' ingénierie rapide nous permet d'intervenir efficace, responsable et éthique 4. L1V3- Comment les LLM sont déployés: Dans cette vidéo, nous allons découvrir comment les grands modèles linguistiques sont déployés. À la fin de cette vidéo, vous découvrirez en quoi le développement du LLM est différent de l'apprentissage automatique traditionnel Examinez les trois types différents de LLM et discutez du concept de raisonnement fondé sur la chaîne de pensée pour concevoir de meilleures instructions de LLM OK, plongeons plus profondément. L'apprentissage automatique traditionnel implique une expertise technique étendue, des données de formation massives, une formation de modèles complexes et certaines connaissances matérielles pour la gestion des ressources informatiques. développement du LLM se concentre plutôt sur l'élaboration d'instructions efficaces, aucune formation technique n' L'accent est mis sur des instructions claires, concises et informatives, plutôt que sur les détails et les nuances de la conception du modèle et de la formation Il existe trois catégories principales de LLM en fonction de leurs fonctionnalités : générique, adapté aux instructions et adapté au dialecte Modèles linguistiques génériques. Ces modèles prédisent les mots suivants à la manière d'une fonction de saisie semi-automatique Leurs prédictions sont uniquement basées sur les modèles linguistiques qu'ils trouvent dans leurs données d'entraînement. Les modèles adaptés aux instructions génèrent des réponses basées sur des instructions spécifiques intégrées dans les invites de saisie Ils peuvent résumer, composer de la poésie, analyser des sentiments et bien plus encore. Les modèles adaptés aux dialectes sont des sous-ensembles spécialisés de LLM axés sur les interactions conversationnelles, ce que nous voyons souvent C'est le type de LLM que j'ai choisi de présenter dans ce cours Un concept intéressant du LLM est le raisonnement par chaîne de pensée Dans le raisonnement par chaîne de pensée, le modèle génère une chaîne de raisonnement avant de conclure et de fournir une réponse. Cela ressemble à la façon dont nous décomposons un problème en petits morceaux afin de mieux le comprendre. Pour avoir une meilleure idée, demandons un exemple à Chat GPT Je suis donc allé de l'avant et j'ai demandé à CHAT GPT. Donnez-moi un exemple de la façon dont un LLM peut traiter une demande complexe en utilisant un raisonnement fondé sur la chaîne de pensée Il s'agit de la réponse qu'il a fournie. L'idée est donc d'imaginer une ville où tous les bâtiments sont faits de matériaux transparents. Comment cela affecterait-il la vie des personnes qui y vivent, la consommation d'énergie des bâtiments et la conception urbaine globale ? C'est donc ce qui se passerait en arrière-plan. Le LLM diviserait le problème en parties et essaierait de l'examiner sous un angle différent Dans cet exemple, il peut s' agir de la relation entre les bâtiments transparents et l'intimité la lumière et la consommation d'énergie, ou l'esthétique et l'atmosphère urbaine, ou la sûreté et la sécurité. Ainsi, après avoir pris en compte toutes ces perspectives, le modèle va de l'avant et produit une réponse finale. Dans cet exemple, le LLM décompose le message en différents aspects, tels la confidentialité, la consommation d'énergie, l'esthétique et la sécurité Il analyse ensuite les effets sur les personnes et le design urbain pour chaque aspect, et enfin combine toutes ces informations pour fournir une réponse complète. Examinons maintenant quelques points essentiels à prendre en compte pour créer des instructions LLM efficaces Le cadre vous invite à suivre des instructions claires et concises adaptées au modèle Tirez parti des forces et des limites du modèle. Commencez par des instructions simples, augmentez progressivement la complexité et continuez à expérimenter pour apprendre phrasé optimal et des structures qui En conclusion, le développement du LLM est différent de apprentissage automatique traditionnel en privilégiant les instructions bien conçues par rapport aux complexités techniques Les LLM sont disponibles en trois variétés principales : générique, adapté aux instructions et adapté aux dialectes Et il est important de savoir que des concepts tels que le raisonnement fondé sur la chaîne de pensée améliorent les capacités du LLM pour générer des réponses plus précises et cohérentes en suivant systématiquement les étapes d'un problème ou d'un argument 5. L1V4- Ce que signifie la préparation à la production: Dans cette vidéo, nous allons explorer les composants essentiels au développement d'une application basée sur le LLM prête à la production, une application offrant une fiabilité et une évolutivité réelles À la fin de cette vidéo, vous découvrirez les performances, l' évolutivité, la fiabilité et la sécurité des applications . Le déploiement d'applications basées sur le LLM se limite pas à l'IA elle-même. Pour créer des applications LLM prêtes à être mises en production, certaines pratiques clés sont cruciales Tout d'abord, l'application doit être efficace. Cela signifie qu'il peut gérer le trafic et l'utilisation dans le monde réel sans ralentir ni se bloquer Les tests de résistance de l' application à un stade précoce nous aident à simuler une utilisation élevée et à détecter les problèmes de performance. Ensuite, il y a l'évolutivité. L'infrastructure doit automatiquement augmenter ou diminuer en fonction de la demande. L'utilisation de l'hébergement cloud et des conteneurs permet une mise à l'échelle rapide des applications. Troisièmement, l'application doit être fiable et stable. Des tests approfondis devraient être effectués pour détecter les tourbières, ainsi qu'une surveillance de la production pour suivre les accidents Un système de gestion des erreurs robuste garantit que l'application gère correctement les défaillances Quatrièmement, la facilité de déploiement et de mise à jour. Par exemple, les pipelines automatisés permettent des déploiements rapides et reproductibles Le cinquième est la visibilité opérationnelle. Nous pouvons le faire grâce aux métriques et à la journalisation. Ces journaux nous donnent un aperçu des habitudes d'utilisation et des erreurs. Enfin, la sécurité est indispensable. Les données doivent être cryptées et l'accès doit être contrôlé. Les tests tels que les tests de vulnérabilité permettent d'identifier les risques et les protections telles que la limitation du débit permettent de se défendre contre les attaques. La plateforme Hugging Phase fournit un grand nombre de ces fonctionnalités prêtes à l'emploi, ce qui facilite la création d'applications prêtes pour la production Les modèles Hugging Face sont optimisés en termes de performances et d'évolutivité L'API d'inférence gère les pics de trafic avec élégance et des fonctionnalités de sécurité telles que l'authentification et le cryptage sont intégrées C'est pourquoi nous organisons la démo de Discourse on Hugging Pase En conclusion, le respect des meilleures pratiques de déploiement permet une application basée sur le LLM qui est efficace, évolutive, fiable, déployable, observable Cela nécessite des efforts d'ingénierie supplémentaires, mais c'est essentiel pour être prête à la production dans le monde réel. Et grâce à une ingénierie assidue et à des plateformes comme Hugging Face, IA prête à la production est à portée 6. L2V1- Se familiariser avec la plateforme HuggingFace: Dans cette vidéo, je vais parler de la plateforme Hugging Face Hugging Face est une communauté comme Github, mais destinée aux développeurs d'IA Leur produit le plus remarquable est la bibliothèque Transformers. Ces bibliothèques fournissent de nombreuses fonctionnalités différentes telles que la classification, la traduction et la réponse aux questions. Il existe également de nombreux modèles fournis par les utilisateurs qui peuvent être utilisés pour la génération d'images, de vidéos et de sons. Hugging face est une plateforme open source, ce qui signifie que les développeurs du monde entier peuvent contribuer à ces modèles et ensembles de données, et qu'ils peuvent améliorer toutes ces nouvelles technologies d'IA actuellement disponibles Avec cette approche, Huggingface réduit les obstacles à l'entrée pour le développement Il y a donc trois composants différents dans Hugging Face, qui sont distincts mais également interconnectés Nous avons donc des modèles. Nous avons des ensembles de données et des espaces. Jetons un coup d'œil aux modèles. Ces modèles sont donc d'apprentissage automatique pré-entraînés et de grands modèles linguistiques, les utilisateurs peuvent cloner dans leur propre espace de travail, et qu'ils peuvent personnaliser ou même améliorer. Il existe également un référentiel d'ensembles de données qui est utilisé pour la formation et l' évaluation des modèles Les utilisateurs peuvent également contribuer et ajouter leurs propres ensembles de données à la plateforme Nous avons des espaces qui sont un ajout relativement récent à la plateforme Hugging Face À l'aide des espaces, les utilisateurs peuvent créer, partager et explorer des applications Web interactives. Ces espaces permettent d'interagir en temps réel avec les modèles disponibles sur Hugging Face Et comme pour les modèles, vous pouvez cloner chacun de ces espaces et le personnaliser ou l'améliorer comme vous le souhaitez. Créer un espace de travail sur Huggingface est assez simple. Il vous suffit donc de créer une inscription, puis avec un e-mail et un mot de passe, nous pouvons créer un compte Voici à quoi ressemble mon espace de travail. Je peux accéder à mon profil et voir tous les espaces, modèles et ensembles de données dont je dispose Ici, je n'ai ni modèles ni ensembles de données, mais il y a quelques espaces dans lesquels je joue. En fait, ce chatbot FAQ est l'application que je vais vous présenter dans ce cours Donc, en ce moment, cet espace est endormi parce que tous ces espaces et tous les modèles utilisent du matériel réel. Ainsi, lorsque nous ne les utilisons pas, ils s'endorment pour réduire les coûts, à la fois côté des câlins et des nôtres Dans chacun des espaces, il est possible de consulter les fichiers. Il s'agit donc du référentiel de l'espace, et nous pouvons modifier et personnaliser chacun de ces espaces en éditant le code dans le fichier point py de l'application. Il existe également une fonctionnalité communautaire. Dans cette fonctionnalité communautaire, nous pouvons créer de nouvelles discussions et interagir avec d'autres développeurs. Nous pouvons en tirer des leçons et nous pouvons également aider nos collègues développeurs. Et nous pouvons également accéder au paramétrage de notre espace. Et ici, nous avons la possibilité d'améliorer le matériel que nous utilisons. Nous avons une sélection de différents processeurs et GPU, et nous pouvons également définir quantité de stockage que nous voulons utiliser pour notre Il existe également d'autres paramètres, tels que le redémarrage de l'espace ou changement de sa visibilité de privé à public ou inversement. Nous pouvons également définir différentes variables, telles que différentes API, dont nous parlerons dans les prochaines vidéos de cette leçon. En conclusion, dans cette vidéo, nous vous avons présenté la plateforme Huggingfas, et nous avons parlé de l'importance de l' open source dans le développement rapide d' open source dans le développement rapide Nous avons également abordé certains composants de Hugging pace, à savoir les modèles , les ensembles de données et les espaces 7. L2V2- Créer des interfaces Web en utilisant Gradio: Dans cette vidéo, nous allons explorer la radio, une bibliothèque Python, qui permet de réaliser des démos interactives avec seulement quelques codes en Python Je vais vous présenter différents composants qui peuvent être utilisés dans une interface radio, et je vais vous montrer quelques espaces faciaux étreintants à titre d'exemples concrets de ce dont ces interfaces sont capables Expliquons comment fonctionne Gario à l'aide d'un exemple de Hello World Ici, sur le site web de Gario, nous pouvons voir les instructions d'installation de Gario C'est assez simple. C'est uniquement avec une seule ligne de commande. Je vais passer par ici parce que je veux me concentrer sur ce que propose cette interface. Donc, en regardant le code ici, nous voyons que nous avons une interface, une interface Gradio qui a une entrée de texte et une sortie de texte Comme nous pouvons le voir ici, il existe une entrée appelée nom et une sortie qui peut générer la sortie pour nous. Donc, si je saisis mon nom ici puis que je clique sur Soumettre, un message d'accueil s'affichera. La classe d'interface que vous utilisez possède donc trois paramètres différents. Vérifions-les. La première est donc FN, qui est la fonction qui permet d' intégrer l'interface utilisateur. Nous avons également des entrées et des sorties. Chacune de ces entrées et sorties peut être de différents types. Par exemple, il peut s'agir de texte, d'image, d'audio, de vidéo, etc. Nous pouvons également définir des attributs différents pour chacun des composants. Ainsi, par exemple, dans ce manuel, nous pouvons avoir deux lignes au lieu d'une Alors maintenant, ce manuel de saisie a une hauteur de deux lignes au lieu d'une Nous pouvons également avoir plusieurs composants d'entrée et de sortie. Par exemple, nous avons ici une fonction Grit qui possède différentes entrées et différentes sorties Voici donc à quoi ressemble l' interface. Nous avons une saisie de texte. Nous avons une case à cocher, et nous avons une autre entrée, qui est un curseur pour régler la température Je peux donc régler la température. Je peux saisir mon nom ici. Je peux saisir mon nom ici. Et disons que ce n'est pas le matin. Donc, si je clique sur Soumettre, il est écrit « Bonsoir, Reza Il fait 70 degrés aujourd'hui. Et en bas, il y a une autre sortie, qui est une conversion de degrés Fahrenheit Nous pouvons également utiliser des composants d'image. Voici donc à quoi ressemble le code . Donc, à l'heure actuelle, dans l'application radio, le composant utilisé pour l'image génère une erreur, mais ce n'est pas un problème. C'est pourquoi nous avons un visage câlin. Voyons donc une interface de phase d' étreinte, qui utilise un composant d'image Cet espace est donc appelé diffusion d' illusions. Et en fonction de l'un de ces modèles, disons que nous choisissons ce modèle, je peux créer une illusion d'optique fonction de l'invite que nous saisissons ici. Utilisons donc la même invite ici. Faisons un village médiéval. Et je clique sur Exécuter. À présent, il a créé l'image d' un village médiéval en suivant ce schéma d'illusion d'optique. Donc, si je fais un zoom arrière à partir d'ici, j'espère que vous pourrez maintenant voir plus facilement le motif dans l'image créée. Bien, revenons à Gadio. Les chatbots sont une autre fonctionnalité que nous pouvons utiliser dans Gario. Voici à quoi ressemble le code. Donc, dans ce chatbot, nous générons simplement une réponse aléatoire, qui serait soit oui, soit non Mais dans le scénario du monde réel, nous allons utiliser un grand modèle de langage pour générer des réponses appropriées en fonction des instructions de l'utilisateur Donc, par exemple, ici, je peux dire bonjour, ça dit , non, disons, comment allez-vous ? Donc, pour l'instant, nous recevons simplement une réponse aléatoire non ou oui, car c'est la seule réponse que le chatbot peut générer Plus tard, nous pourrons ajouter un modèle linguistique de lodge pour nous aider à générer une véritable interaction de chat avec l'utilisateur. Dans Gario, nous pouvons tirer parti de la fonctionnalité des blocs, qui nous donne plus de flexibilité et de contrôle Ainsi, traditionnellement, nous pouvons utiliser une interface ou une interface de chat pour interagir avec un modèle via une bibliothèque radio. Mais en utilisant des blocs, nous pouvons créer différents blocs et placer différents composants dans chacun de ces blocs. Cela permet des interactions plus complexes entre les différents composants de Gario. Regardons un exemple d'utilisation de blocs. Nous sommes donc en train de créer un bloc. À l'intérieur de ce bloc, nous avons deux zones de texte. Nous avons un bouton, et nous pouvons également attribuer une fonction à la fonctionnalité de clic du bouton. Ainsi, chaque fois que vous cliquez sur ce bouton, la fonction de grille est appelée et elle transmet ces paramètres à la fonction Nous pouvons donc maintenant voir que tous ces composants sont réunis dans un seul bloc. Et c'est ainsi que nous pouvons ajouter de la complexité à nos blocs. Donc, dans ce code, nous pouvons voir que nous créons un bloc, mais nous créons également deux onglets différents. Et dans chacun de ces onglets, nous avons différents composants. Voyons donc à quoi ressemble l' interface. Nous avons donc maintenant un bloc, et il y a un onglet ici et un autre onglet ici. Dans cet onglet, nous avons donc une image d'entrée et un composant d'image de sortie. Mais dans un premier temps, nous avons un texte d'entrée et un texte de sortie. Ci-dessous, nous avons également un menu d'accordéon. Nous pouvons le fermer et l'ouvrir. Et à l'intérieur, nous pouvons ajouter d'autres composants selon nos besoins. C'était donc un bref aperçu de ce que la radio peut nous offrir. Voyons maintenant quelques exemples réels de récompenses dans Hugging Face 8. L2V3- Créer les étapes initiales du chatbot FAQ: Dans cette vidéo, nous allons commencer à créer un chatbot de support client Nous passerons en revue les fichiers nécessaires pour gérer l' espace sur Inning Face, et nous passerons également en revue le code Python dont nous avons besoin pour que ce chatbot fonctionne pour nous Voici à quoi ressemble notre chatbot d' assistant du service client ressemble notre chatbot d' assistant Pour avoir cet espace dans notre propre espace de travail, nous pouvons soit cliquer sur les trois points ici et cliquer sur le dépôt Clone, soit créer un nouvel espace. Pour cela, nous devons nous rendre dans notre espace de travail. Et à partir de là, je peux cliquer sur ma photo de profil, aller dans Nouvel espace. Je peux sélectionner le nom de l'espace, choisir la licence que je souhaite. Nous devons également choisir un SDK, un kit de développement logiciel Dans notre cas, nous voulons donc utiliser la radio. Nous avons la possibilité de sélectionner le matériel pour notre espace et de décider si nous voulons qu'il soit public ou privé. Une fois que nous avons terminé, nous pouvons cliquer sur Créer un espace. J'ai déjà cet espace, je n'ai donc pas besoin de le créer. Revenons-y. Jetons maintenant un coup d'œil à ce chat bot et voyons comment il fonctionne. Disons bonjour. Oui, bien sûr. Bonjour. Je suis le chatbot de l' Imaginary Mechanics Shop. Je suis là pour répondre à toutes vos questions concernant nos services. Comment puis-je t'aider ? Alors permettez-moi de vous le demander. Parlez-moi de l'histoire de la boutique. Et le chatbot fournit des informations sur la date de création de l'atelier et sur le nombre d'années que les mécaniciens y travaillent Demandons-nous quelles sont les heures d'ouverture. Et il répondra correctement aux heures d'ouverture de la boutique. Quels sont les services que vous offrez ? Il s'agit donc de nous parler des différents services qu'ils fournissent, tels que les changements, réparation des freins, la permutation des pneus , etc. C'est bon. Maintenant, examinons les fichiers et voyons ce dont nous avons besoin pour que ce chat fonctionne Le premier fichier que nous voulons voir est donc les attributs Git. Ce fichier configure le stockage de gros fichiers Git ou LFS, une extension de Git qui vous permet de gérer efficacement des fichiers volumineux et des actifs binaires Cette configuration peut être utilisée pour une variété de types de fichiers et de chemins, particulier pour les fichiers binaires et les grands ensembles de données couramment utilisés dans l'apprentissage automatique, la science des données et le développement de logiciels Cela permet de gérer la taille du dépôt Git et d'améliorer les performances clonage et d' extraction des modifications Le fichier suivant est le fichier CSV imaginaire de l'atelier de mécanique. Nous pouvons donc voir ici différentes questions et réponses sur notre atelier de mécanique imaginaire. Il s'agit du fichier que le modèle de langage large utilisera comme référence, et il sera en mesure de répondre à toutes les questions auxquelles sera possible de répondre sur la base des informations fournies dans ce fichier. Nous avons également un fichier Lisez-moi qui fournit différentes informations sur l'application, les versions du kit de développement logiciel et l'auteur. Les exigences selon lesquelles le fichier TXT est couramment utilisé dans les projets Python pour spécifier une liste de dépendances qui doivent être installées pour que le projet fonctionne correctement. Chaque ligne du fichier indique un package et éventuellement une version ou une plage de versions acceptables pour ce package. Enfin, il y a le fichier Pi de l'application, qui contient tout le code dont nous avons besoin pour exécuter l'application sur l'espace de phase d'étreinte Examinons donc plus en profondeur le code Python lui-même. Au début, nous importons différentes bibliothèques. Nous importons la radio pour l'interface utilisateur. Nous importons Open AI pour le modèle de langage étendu, qui alimente notre chatbot, et nous importons également des systèmes d'exploitation, CSV et JSON pour la gestion des fichiers Nous configurons également l' API de manière cryptée. Cela a à voir avec la sécurité car nous ne voulons pas que notre clé d'API soit visible dans le code. J'expliquerai cela dans la prochaine vidéo lorsque je parlerai meilleures pratiques en matière de développement d'applications basées sur le LLM Nous voulons donc tout d'abord définir le chemin d'entrée du fichier CSV. Le modèle de langage Large sait donc où accéder à ce fichier. Ensuite, nous initialisons une liste vide pour stocker les données. Ensuite, nous ouvrons le fichier CSV pour le lire. Nous créons un objet de lecteur CSV nous parcourons les données CSV de manière itérative et les ajoutons à la liste Ensuite, nous convertissons la liste des dictionnaires en chaîne JSON Notre fonction de réponse est celle qui prend le message de l'utilisateur et génère une réponse appropriée en fonction du texte saisi. Nous avons donc configuré notre fichier JSON. Nous fournissons une directive au chatbod afin de lui indiquer comment se comporter et comment répondre à une question C'est également un autre aspect que je vais approfondir dans la prochaine vidéo, car il concerne l' ingénierie rapide et que notre chatbod produit des réponses appropriées Ensuite, pour produire une réponse, nous appelons openai point completion point create et c'est ici que nous pouvons décider quel moteur utiliser Nous utilisons donc ici Take Deven G 03. Nous déterminons quelle est notre invite et nous pouvons définir différents paramètres pour le modèle. Par exemple, je règle le jeton maximum à 300 et la température à 0,1. Ensuite, nous extrayons et imprimons le texte généré. Et à la fin, nous créons un bloc radio. Dans ce bloc, nous avons donc le chatbot. Nous avons une zone de texte pour le message de l'utilisateur, et nous avons un fond clair Chaque fois que l'utilisateur clique sur Soumettre, nous appelons la méthode de réponse en transmettant le message et l' historique du chatbot jusqu'à ce point Et pour lancer tout cela, il suffit d' écrire demo point launch. En conclusion, dans cette vidéo, nous avons commencé à créer un chatbot de support client Nous avons passé en revue les fichiers nécessaires pour exécuter l'espace sur HigingFace et nous avons examiné code Python dont nous avons besoin pour créer l'application 9. L2V4- Compléter et déployer le chatbot FAQ: Dans cette vidéo, nous allons vous montrer comment déployer un chatbot sur un point de terminaison évolutif Nous discuterons également de la manière d' appliquer des considérations éthiques et d'autres meilleures pratiques de production au développement de votre chatbot Pour ce faire, nous devons accéder à l' application Paramètres de notre espace. Nous pouvons voir que nous avons des options pour différentes unités de processeur et de stockage. Il existe également des options pour redémarrer ou redémarrer En modifiant la visibilité de l'espace, nous pouvons passer d'un espace privé à un espace public. Parlons plus en détail de la clé API et autres informations sensibles qui doivent être stockées sur notre plateforme Hugging Face Ainsi, si votre application nécessite des variables d' environnement, par exemple clés secrètes ou des jetons, ne les codez pas en dur dans votre application Vous pouvez plutôt vous rendre sur la page de configuration de votre espace et ajouter une nouvelle variable ou un nouveau secret. Utilisez des variables si vous devez stocker valeurs de configuration non sensibles et des secrets pour stocker des jetons d'accès, des clés d' API ou toute autre valeur ou information d'identification sensible. Dans l'application Paramètres, nous avons également d'autres options, comme renommer ou transférer cet espace Nous pouvons également activer ou désactiver la fonctionnalité de contribution à la communauté ou supprimer l'espace si vous ne souhaitez plus l'avoir. Les webhooks constituent un autre point d'intérêt concernant leurs paramètres. Les webhooks de Hugging Face vous permettent donc de configurer des réponses automatisées ou toute autre action susceptible d'être déclenchée par des événements spécifiques sur la plateforme Hugging Face Vous pouvez configurer un webhook pour avertir votre système lorsqu'une nouvelle version d'un modèle est disponible sur Hugging face ou lorsqu' une tâche de formation que vous avez commencée sur la plateforme est terminée webhooks sont comme des rappels automatiques qui nous aident à suivre les bonnes pratiques Ils agissent en coulisse pour vérifier notre travail chaque fois que nous apportons des modifications, afin de s'assurer que tout fonctionne bien. Ils peuvent faciliter une collaboration fluide et réussie en nous faisant gagner du temps, en assurant la cohérence de notre projet et en tenant toute l'équipe informée des nouveaux changements. Examinons maintenant quelques pratiques d'ingénierie rapides pour aider nos chatbots à agir correctement et à fournir des réponses pertinentes OK, donc dans le fichier point Pi de l'application nous fournissons quelques directives relatives aux chatbots Décomposons-le. Voici donc le détail des directives. Voyons comment ces instructions aident le chatbot à fournir des réponses appropriées et pertinentes La première chose que nous voulons faire est de donner un rôle au chatbot Nous pouvons donc dire que vous êtes un chatbot conversationnel, agissant en tant que mécanicien dans un atelier de mécanique imaginaire Ensuite, nous devons lui donner une fonction. Votre fonction principale est de répondre toutes les questions qui sont facilement à toutes les questions qui sont les messages fournis par l'utilisateur. Répondez aux demandes strictement liées au contenu du document fourni, qui se trouve dans le fichier JSON que nous avons créé. Pour aider le chatbot, nous pouvons également fournir un exemple L'utilisateur peut utiliser le mot « to you » en tant que représentant de la boutique. Donc, si l'utilisateur demande vous réparez des pneus crevés, votre réponse devrait être quelque chose comme « oui, nous réparons des pneus crevés dans un atelier de mécanique imaginaire ». Nous devrions également définir des limites pour le chatbot. Vos réponses ont leurs limites. Ne participez pas à des discussions répondez pas à des questions concernant des activités illégales , du contenu explicite ou tout autre sujet non lié à l'atelier de mécanique ou à la réparation de voitures en général. Tenez-vous uniquement aux informations disponibles dans le fichier désigné et aux questions auxquelles vous pouvez répondre à l'aide de ces informations. Nous pouvons également fournir des instructions pour traiter les demandes inappropriées ou non pertinentes. Vous devriez être capable de traiter les requêtes inappropriées ou hors sujet. Si la question est complètement hors sujet, informez poliment les utilisateurs que vous ne pouvez fournir l'aide et des réponses que concernant l'atelier de mécanique imaginaire S'abstenir d' sujets non pertinents ou inappropriés Si la question n' est pas hors sujet, mais que vous n'avez pas de réponse, veuillez fournir une courte réponse à la question et demander à l'utilisateur d'appeler le magasin pour plus d'informations. Enfin, nous pouvons indiquer au chatbot quel doit être le ton de l'interaction Maintenez le respect et le professionnalisme. Assurez-vous que les interactions sont polies, constructives et pertinentes, afin de une expérience utilisateur professionnelle et respectueuse. Ces instructions nous aident à créer un chatbot qui reste concentré sur le sujet et fournit des réponses appropriées En conclusion, dans cette vidéo, nous avons exploré comment déployer le chatbot sur un point de terminaison évolutif Nous avons également appris comment appliquer des considérations éthiques et d'autres meilleures pratiques de production au développement de votre chatbot 10. L3V1- Problèmes éthiques clés dans les applications de LLM: Dans cette vidéo, nous explorerons les risques liés au déploiement de systèmes d'IA éthiques et responsables. À la fin de cette vidéo, vous découvrirez les principaux risques éthiques liés à la création d' applications prêtes à la production à l'aide de LLM Les sujets que nous abordons dans cette vidéo sont les biais, les réponses peu sûres, les problèmes de transparence et d'explicabilité, ainsi que les risques de une des principales préoccupations est le biais potentiel dans les données d' entraînement codées dans le comportement du modèle. Les modèles formés à partir de textes provenant d'Internet peuvent par inadvertance amplifier les stéréotypes néfastes liés à la race, au sexe ou à d'autres Cela pourrait donner lieu à des productions discriminatoires qui dénaturent le monde réel. Un autre problème est la probabilité que les LLM génèrent occasionnellement du contenu toxique, dangereux ou mensonger , également appelé hallucinations Sans un contrôle approprié, cela pourrait avoir des conséquences dangereuses dans le monde réel. Il existe également des problèmes de transparence et d'explicabilité liés aux grands modèles de réseaux neuronaux On ne sait pas pourquoi un LLM produit un résultat ou une recommandation spécifique d'un point de vue humain Cette nature de boîte noire rend difficile l'audit des résultats du modèle. En outre, la nature humaine des modèles conversationnels peut entraîner une perte de confiance ou un attachement des utilisateurs à un système d'IA La gestion des attentes concernant les capacités du système est une tâche importante pour présenter notre application basée sur le LLM prête à être produite Au cours de mon doctorat, alors que j'étudiais la confiance entre les humains et les agents artificiels, j'ai découvert que la confiance globale envers un agent, y compris le niveau de pardon de l'utilisateur pour cet agent en cas d'erreur, dépend de manière significative la perception initiale et des attentes de cet agent. Ainsi, afin de partir du bon pied avec vos utilisateurs, lorsque vous leur présentez votre application, il est important de définir des attentes réalistes. Reconnaître ces risques et probablement d'autres risques dont nous ne sommes peut-être pas conscients signifie qu'en tant que praticiens de l'IA, nous avons l'obligation éthique relever ce type de défis de manière proactive par le biais de la recherche, de la conception et des tests Et il est important que les nouveaux développeurs soient attentifs aux risques potentiels et aux directives éthiques élaborées par les scientifiques de l'IA. En conclusion, certains risques potentiels liés aux applications basées sur le LLM sont les biais, les réponses non sécurisées, les problèmes de transparence et d'explicabilité et les attentes mal informées et Avec diligence et soin, nous pouvons utiliser le pouvoir des LLM à bon escient tout en contrôlant ces risques potentiels 11. L3V2- Stratégies pour minimiser les risques liés à l'IA: Dans cette vidéo, nous allons explorer les stratégies d' atténuation des biais et de sécurité. À la fin de cette vidéo, vous découvrirez des pratiques d'application saines pour résoudre problèmes de biais et de sécurité tout au long du cycle de vie du développement. Les pratiques que nous aborderons sont la conservation de divers ensembles de données, le suivi du processus de formation, le signalement des résultats et des comportements inappropriés, l'accent sur la sécurité, la rapidité de l' ingénierie Avant de commencer à former un LLM, une étape clé consiste à sélectionner avec soin un ensemble de données diversifié à utiliser pour entraîner le modèle Les données doivent provenir de sources fiables et être filtrées pour détecter tout contenu préjudiciable. Afin de lutter contre les biais, nous pouvons utiliser des fonctionnalités telles que les filtres de diversité pour aider à éliminer les distributions asymétriques. Nous pouvons également utiliser l'augmentation des données, une autre technique pour inclure perspectives sous-représentées dans l' Ensuite, le modèle peut être contrôlé pour garantir l'équité entre les différents groupes démographiques au cours de la phase de formation. Nous pouvons utiliser des algorithmes d'atténuation des biais, qui peuvent ajuster les paramètres du modèle afin de réduire les performances équitables. Pour les modèles déployés, des techniques telles que le cliquet de probabilité et les filtres de marquage de contenu peuvent détecter et réduire la génération de résultats biaisés ou toxiques Il est important de savoir que le suivi ne se limite pas à la phase de formation. surveillance continue aide à identifier les nouveaux problèmes qui doivent être résolus. De plus, l'ingénierie rapide axée sur la sécurité enseigne au modèle des normes de conduite acceptables et le guide vers un comportement bienveillant en cas Les développeurs peuvent consulter les documents d'orientation destinés aux développeurs les aider à établir ces pratiques saines. Enfin, les tests constituent également une étape très importante pour atténuer les biais Cela doit être fait tout au long du cycle de développement afin d'analyser les résultats du modèle pour détecter les problèmes de biais et de sécurité avant lancer l'application en production. En outre, les audits réalisés par des chercheurs externes peuvent ajouter un niveau de supervision supplémentaire, ce qui est crucial pour les demandes à enjeux élevés. En conclusion, aucune approche n'est parfaite, mais la combinaison des meilleures pratiques telles que la conservation de divers ensembles de données, le suivi du processus de formation, le signalement des résultats et des comportements inappropriés, ingénierie rapide axée sur la sécurité et les tests nous aide à créer les freins et contrepoids nécessaires pour des applications de LLM éthiques et représentatives 12. L3V3- Promouvoir la transparence dans les systèmes d'IA: Cette vidéo explorera les avantages de la transparence et de l' explicabilité pour les applications de LLM À la fin de cette vidéo, vous découvrirez différentes stratégies pour améliorer la transparence et l'explicabilité de vos applications Nous aborderons la question de la visibilité des données de formation, des techniques d'explication locales, des scores de confiance, des tests utilisateurs et de la supervision humaine. grands modèles de langage peuvent produire des résultats impressionnants de type humain, mais le fonctionnement interne des réseaux neuronaux complexe et ressemble beaucoup à une boîte noire L'une des approches pour accroître la transparence consiste à fournir une visibilité sur les données et les paramètres d'entraînement utilisés pour entraîner le modèle. Le partage de modèles de cartes est donc une bonne pratique pour fournir des informations sur le processus de développement. Une autre façon d'accroître la transparence consiste à utiliser des méthodes connues sous le nom de techniques d'explication locales. Ils peuvent aider les utilisateurs à comprendre quelle partie de l' entrée, par exemple l'invite de l' utilisateur, a joué un rôle important dans l'obtention de la sortie fournie. En surlignant ou en pointant du doigt les sections spécifiques de l'entrée qui ont eu une influence majeure sur le résultat du modèle, les utilisateurs peuvent comprendre clairement pourquoi le modèle a répondu d'une certaine manière. Nous pouvons également nous appuyer sur certaines réponses pour plus de transparence. Nous pouvons utiliser les scores de confiance pour aider à indiquer quand le modèle est susceptible de deviner par rapport aux moments où il est très certain quant à un résultat Et il y a les tests utilisateurs, qui permettent d'identifier les cas où la logique du modèle est vague et ne répond pas aux attentes. journalisation de ces instances peut servir de guide pour les améliorations futures du modèle. En fin de compte, nous ne devons pas oublier que la supervision humaine est toujours nécessaire pour vérifier la justification du modèle et prouver les décisions incorrectes Une autonomie complète ne doit pas être accordée aux LLM sans garde-fous D'accord, nous avons vu que ces techniques peuvent nous aider à renforcer la transparence du modèle. Il convient de noter que toute explication doit être adaptée en fonction des connaissances techniques du public. Pour les développeurs, des explications techniques détaillées peuvent être préférables. Mais pour les utilisateurs finaux, des interprétations simplifiées de l'intention du modèle sont généralement suffisantes. En conclusion, la transparence et explicabilité contribuent à établir une confiance durable, garantissant ainsi que notre application fonctionne comme prévu Des fonctionnalités telles que la visibilité des données de formation, techniques d'explication locales, les scores de confiance, tests utilisateurs et la supervision humaine aident à créer des applications LLM plus transparentes et explicables 13. L3V4- Techniques pour maintenir la confiance des utilisateurs: Dans cette vidéo, nous allons explorer certains des défis liés à la création interactions fiables entre les utilisateurs humains et les applications LLM Nous passerons en revue les conseils importants pour maintenir la confiance des utilisateurs et respecter les normes de communication Comme nous en avons discuté précédemment, définition des attentes est cruciale. Nous devons clairement expliquer les capacités et les limites du modèle afin que les utilisateurs sachent quand se fier aux résultats et quand rechercher un aperçu humain. Nous devons nous assurer de ne pas trop promettre. L'interface utilisateur elle-même a également une influence sur le renforcement de la confiance. éléments de design de type humain, par exemple, l'utilisation d'un avatar ou d'une voix humaine peuvent induire les utilisateurs en erreur en leur faisant croire que le système est plus intelligent qu'il ne l'est réellement Les interfaces utilisateur minimalistes aident les utilisateurs à se concentrer sur leur tâche. L'établissement d'un caractère et d'une voix cohérents pour le modèle permet d' aligner les attentes des utilisateurs et d' éviter les changements de personnalité désorientants Nous pouvons tirer parti des tests utilisateurs pour identifier ces incohérences problématiques De plus, le respect des normes de communication attendues permet d'éviter toute confusion. Pour favoriser un dialogue productif, le système doit suivre des conventions telles que la prise de tour de rôle, la clarification de demandes ambiguës ou l'aveu de son ignorance La transparence est également très importante. De manière transparente, la divulgation du rôle du LLM et la fourniture informations sur ses données de formation aux utilisateurs un contexte approprié En outre, expliquer ses limites contribue à établir une confiance crédible. Et le fait de permettre aux utilisateurs de faire part de leurs commentaires permet d' identifier les défaillances de confiance ou les problèmes de communication. Nous devons surveiller en permanence les interactions et prendre en compte les commentaires des utilisateurs lors des prochaines itérations afin d'améliorer la relation au fil du temps En conclusion, grâce à une conception réfléchie et à la transparence, les développeurs de LLM peuvent créer des systèmes dignes de la confiance des utilisateurs Ces considérations réduisent le risque de conséquences imprévues et de biais dans les applications basées sur le LLM Prioriser ces facteurs est crucial pour créer des solutions d' IA fiables et universellement applicables J'espère que vous avez apprécié ce court cours avec moi et que vous avez trouvé le contenu intéressant. J'espère vous voir bientôt dans un autre cours passionnant sur l' IA générative. Continuez à explorer.