Ollama Masterclass : lancer des LLM localement

1. À propos du cours: Dans ce cours vidéo, découvrez Olama et ses concepts Oma est une plateforme open source permettant de télécharger, d'installer, gérer, d'exécuter et de déployer de grands modèles linguistiques. Tout cela peut être fait localement avec Olama. Les LLM populaires tels que Lama de Meta, Mistral, Gemma de DeepMind de Google, F de Microsoft, Quin d' Alibaba Cloud peuvent être exécutés localement Alibaba Cloud peuvent être LLM est l'abréviation de « grands modèles linguistiques ». Ces modèles sont conçus pour comprendre, générer et interpréter le langage humain à un haut niveau. Ils sont formés sur de vastes ensembles de données et peuvent effectuer des tâches telles que la génération de texte, la synthèse, la traduction et la réponse à des questions Ici, le modèle LLM traite une invite d'entrée et génère réponse comme si une invite était tapée sur le chat Dans ce cours, nous avons abordé les leçons suivantes à l'aide d'exemples de course en direct. Nous avons également montré comment créer un GPT personnalisé qui est un modèle de chat GPT sous la forme d'un assistant Commençons par la première leçon. 2. Ollama - Introduction et fonctionnalités: Dans cette leçon, nous allons apprendre ce qu'est Oma ? C'est son introduction et ses fonctionnalités. Voyons voir. Lama est donc essentiellement une plate-forme open source qui permet à un utilisateur de télécharger, installer, d'exécuter et de déployer de grands modèles linguistiques, et tout cela peut être fait sur votre système local. Vous vous demanderiez donc ce que sont les LLM. LLM est donc synonyme de grands modèles linguistiques. Il s'agit de modèles conçus essentiellement pour comprendre, générer et interpréter les langages humains. D'accord. Il inclut donc des milliards de paramètres. Vous devez donc avoir entendu parler de modèles LLM tels que Lama, Phi, Gemma, Mistral avec des milliards Ainsi, lorsque les paramètres augmentent, les performances du modèle s'améliorent également. D'accord, il contient généralement des milliards de paramètres, ce qui leur permet de saisir des modèles linguistiques complexes et de générer du texte. Ok, donc actuellement, nous avons Lama 3.2 mistrl seven B, OK, ces modèles sont entraînés sur vastes ensembles de données tels que des articles sur Internet, des livres, ainsi que par le biais Et ces modèles de LLM, lorsque vous leur posez une question rapidement, génèrent une réponse. OK, donc le LLM traite les informations et génère un nouveau contenu pour vous, c'est pourquoi nous l'appelons IA générative D'accord, je peux effectuer des tâches telles que répondre à des questions, traduire, résumer. D'accord, il peut générer du texte pour vous. Vous pouvez écrire un article, des blogs, un e-mail à partir de celui-ci. D'accord. Vous pouvez exécuter ces LLM à l'aide d'Olama Telles sont les caractéristiques d'Olama. Il s'agit d'une bibliothèque de modèles prédéfinie qui inclut votre ama par méta, Mistral par MtoAI, votre Phi LLM par Microsoft D'accord, je vous permet également de personnaliser et de créer votre modèle. Nous verrons dans ce cours comment créer notre propre modèle. Il est assez facile de l' exécuter et de le gérer. Il inclut des API simples. Il est multiplateforme. Vous pouvez contourner Olama sous Windows localement sur Windows, Mac et Linux. OK, il y a un fichier modèle. Nous créerons un fichier de modèle plus tard lorsque nous créerons notre propre modèle. D'accord, le fichier modèle contient tout ce dont vous avez besoin pour exécuter un LLM Il s'agit donc d'un fichier unique que nous allons créer et que nous utiliserons pour gérer et exécuter notre modèle. Voyons donc ce que Oma peut faire et pourquoi il est si populaire. Il peut vous permettre d'exécuter des LLM sur votre système local. C'est sur votre Windows 10, Windows 11, Mac et Linux. OK, c'est donc une interprétation de base de ce qu' Olama peut faire En installant Olama localement, ce que nous ferons plus tard. Vous pouvez facilement télécharger, exécuter, même déployer et gérer votre Lama Gemma Mistral Phi Quin Tous ces LLM, Quinn OK, Pi est de Microsoft, mStrol est de MiTrol Gamma est OK, Lama est de Meta. Ainsi, vous pouvez facilement exécuter tous ces modèles en utilisant Olama localement. Nous le verrons plus tard. Alors, les gars, dans cette vidéo, nous avons vu qu'est-ce qu'Olama ? Pourquoi est-il largement utilisé. Quelles sont ses caractéristiques ? Merci d'avoir regardé la vidéo. 3. Installer Ollama sur Windows 11 localement: Dans cette vidéo, nous allons apprendre comment installer Olama sur Windows 11 Olama est une plateforme open source permettant de télécharger, d' installer, de déployer et d'exécuter des LLM Voyons comment installer Olama, accédez au navigateur Web sur Google Type, Olama et appuyez En appuyant sur Entrée, le site officiel est visible. Cliquez dessus. Vous pouvez maintenant voir que le site officiel est visible. Nous voulons la version pour Windows, donc je vais directement cliquer ici. Télécharger. Le bouton de téléchargement pour Windows est maintenant visible. C'est sur cela que nous devons cliquer. Cliquez sur le téléchargement démarré (664 Mo). Attendons. Nous avons téléchargé le fichier EXE. Maintenant, cliquez avec le bouton droit de la souris et cliquez sur Ouvrir pour commencer l'installation. Minimiser, cliquez sur Installer. Maintenant, le programme d' installation va s'installer, attendons. Y Les gars, nous avons installé Olama Vous pouvez maintenant démarrer Type CMD, cliquez sur Ouvrir. Maintenant, laissez-nous vérifier Tapez Olama et appuyez sur Entrée. Si ce qui suit est visible, cela signifie que nous avons installé Olama avec succès OK, voici les commandes disponibles. Donc, de cette façon, les gars, nous pouvons facilement installer Oma. 4. Installer Llama 3.2 sur Ollama Windows 11 localement: Dans cette vidéo, nous allons apprendre comment installer ama 3.2 sous Windows 11. Pour cela, nous allons d'abord installer Olama, une plateforme open source pour exécuter des LLM Ensuite, dans un deuxième temps, nous installerons Lama 3.2 sur Olama Nous avons déjà installé Olema dans les vidéos précédentes. Nous allons donc maintenant installer directement Lama 3.2. Commençons. Nous allons maintenant utiliser Olama pour installer notre Lama 3.2. Pour cela, les gars, nous devons utiliser la commande. Ici, il s'agit d'exécuter un modèle, c'est-à-dire exécuter une commande. Il suffit donc de taper lama, exécuter le nom du modèle. C'est donc Lama 3.2. Vous pouvez également le vérifier. Si vous vous souvenez que nous l'avons ouvert , allez dans la section Modèles. Maintenant, sous le modèle, vous pouvez voir que nous installons Lama 3.2 de Meta. Cliquez dessus. Et ici, vous pourrez retrouver la même commande. Allez ci-dessous. Vous pouvez voir toutes les commandes ou tous les détails concernant Lama 3.2, et voilà, nous sommes en train d'installer la version 3.2, afin que vous puissiez comparer la commande suivante. C'est pareil. OK. Olama Lama, 32 ans. C'est ça. Il vous suffit d' appuyer sur Entrée et l' installation prendra un certain temps. Il indiquera également le nombre de Go qui seront téléchargés. Appuyez sur Entrée. Ou vous pouvez voir qu'il tire. Ici, c'est deux Go, cela prendra donc un certain temps. Attendons. Les gars, maintenant vous pouvez voir que nous l'avons installé. Le succès est visible. OK, maintenant vous pouvez directement taper votre message ici. Disons que je vais demander. Qu'est-ce que le générateur I ? Cela me donnera donc une réponse. Vous avez donc installé Lama 3.2 avec succès sur votre système à l'aide d'Olama et vous pouvez tout demander Alors, les gars, dans cette vidéo, nous avons vu comment installer Oma. Nous avons installé Lama 3.2 sur Olama et nous avons également essayé une invite Merci d'avoir regardé la vidéo. 5. Installer Mistral 7b sur Ollama Windows 11 localement: Dans cette vidéo, nous allons apprendre comment installer l'IA Mistral sur Windows 11 localement Donc, dans un premier temps, nous devons télécharger et installer Olama, une plateforme open source pour exécuter des LLM Dans un deuxième temps, nous allons les installer Mistral AI. Commençons par la première étape. Installation d'Olama. Commençons. Nous avons déjà installé Olama dans les vidéos précédentes pour exécuter votre modèle Mistle AI Vous devez taper cette commande run command. Alors laisse-moi le taper. Ici, c'est Olama run puis mentionnez le nom du modèle. Mais nous voulons le nom exact du modèle. Donc, sur ce même site Web, allez aux modèles. Ici, vous pouvez rechercher le modèle que vous souhaitez ou vous pouvez aller ci-dessous. Lorsque vous descendez en dessous, vous pouvez voir que Mistral est visible. OK, nous voulons les sept B. Je vais cliquer dessus. OK, alors voilà, et voici la commande. Vous devez saisir cette commande. Si vous souhaitez une autre version, vous pouvez cliquer ici. Mais pour le moment, le 7 B est le dernier en date. Vous pouvez copier cette commande directement ou taper directement Mistral en appuyant sur Entrée Il faudra un certain temps pour le tirer. Voyons combien de Go. C'est quatre Go, donc cela prendra un bon nombre de minutes. Attendons. Maintenant, vous pouvez voir que c'est réussi. C'est visible. Maintenant, vous pouvez directement demander n'importe quoi. Disons, je vais demander, qui êtes-vous ? D'accord, tu peux voir, je suis une grande langue que je n'apprends pas à mistro Alors laissez-moi vous demander ce qu'est Python ? Voyons la réponse selon le modèle. Ça y est, les gars, nous avons installé Miss Trolley avec succès. Merci d'avoir regardé la vidéo. 6. Listez localement les modèles de course sur Ollama: Dans cette vidéo, nous allons apprendre comment répertorier facilement les modèles en cours d'exécution sur OlaMaf qui, pour démarrer, tapez CMD, tapez CMD, OK, tapez Olama et vous verrez toutes les commandes. Nous voulons donc énumérer. Nous voulons donc répertorier les modèles en cours d'exécution. Je vais donc taper OlaMaps et appuyer sur Center. C'était donc le dernier Mistral. D'accord, de cette façon, vous pouvez facilement répertorier le modèle courant. Merci d'avoir regardé la vidéo. 7. Listez tous les modèles installés sur votre système avec Ollama: Dans cette vidéo, nous allons voir comment lister les modèles sur lama. Cela signifie que tous les modèles que nous avons installés à l'aide d'Olama sur notre système local. Voyons comment nous pouvons les répertorier. Pour cela, commencez par taper CMD, puis cliquez sur Ouvrir. Alors maintenant, tapez Olama et vous pouvez voir toutes les commandes Nous voulons répertorier les modèles, pas les modèles courants. Nous voulons uniquement répertorier tous les modèles. Pour cela, je vais taper Olama List. C'est ça. Et centre de presse. Nous avons donc installé deux modèles à ce jour, Mistral, ainsi que Lama 3.2 Ce sont donc les modèles visibles ce moment car nous les avons installés à l'aide d'Olama Sur ce Maguis, vous pouvez facilement répertorier les modèles que vous avez installés à l'aide d'Olama Merci d'avoir regardé la vidéo. 8. Afficher les informations d'un modèle en utilisant Ollama localement: Dans cette vidéo, nous allons voir comment afficher les informations relatives à un modèle. Nous l'avons installé sur notre système à l'aide d'Oma. Donc, sur Command prom, nous avons tapé lama, et toutes les commandes sont visibles Donc, pour montrer, nous devons utiliser la commande show. D'accord ? À l'heure actuelle, nous avons deux modèles ici. Nous avons effectué la liste en utilisant la commande Oma space list. OK, maintenant disons que je veux des informations concernant Lama 3.2, le type de sol, lama, show, Lama 3.2, et voyons quelles informations sont visibles. Voilà, toutes les informations sont visibles. Les paramètres de l'architecture sont 3,2 milliards, nous le savons tous, la longueur du contexte ainsi que la quantification pour l'optimisation sont visibles, de même que les licences De cette façon, les gars, nous pouvons également consulter notre deuxième. Ça veut dire « Lama Show ». Alors Miss Troll Et laissez-moi vérifier à nouveau. C'est Miss Troll, c'est vrai, Prayer Center. Et voici les informations. C'était pour 7,2 milliards de paramètres, ainsi que pour la longueur du contexte et la longueur d'intégration Avec la quantification est également visible et la licence également Alors, les gars, nous avons vu comment montrer les informations d'un modèle avec Ulama Merci d'avoir regardé la vidéo. 9. Comment arrêter un modèle de running sur Ollama: Dans cette vidéo, nous allons apprendre comment arrêter notre modèle de course à Olama OK, vous pouvez voir ici que nous avons réutilisé notre modèle. OK, Olama lance Lama 3.2. Nous pouvons également le vérifier à l' aide de la commande list running models, commande ps. Donc, lorsque je tape OlamasPacps, il affichera Voilà, il est visible car nous l' utilisions actuellement. Voilà, je montre à nouveau que Lama 3.2 était en cours d'exécution. OK, maintenant nous devons arrêter ça. Pour ce type de lama, arrêtez. Et la même commande est également visible ici. Vous pouvez taper lama ici. Appuyez sur Entrée pour que toutes les commandes soient visibles. Il s'agit de la commande d'arrêt. Modèle d'arrêt ou de fonctionnement. Mentionnez maintenant le nom du modèle que vous devez arrêter. C'est Lama 3.2 et appuyez sur Entrée. Maintenant, c'est stop. Vous pouvez à nouveau vérifier en utilisant lama Ps, commande lama space ps, et rien ne sera visible. Maintenant, un modèle en cours d'exécution stop D. À l'aide de la commande stop, merci d'avoir regardé la vidéo. 10. Comment exécuter localement un modèle déjà installé sur Ollama: Dans ce fil d'actualité, nous allons apprendre comment exécuter localement un modèle déjà installé sur Olama Pour cela, allez démarrer Type CMD. Cliquez sur Ouvrir. Le voici donc maintenant Type Oma. OK. Nous allons donc d'abord lister les modèles que nous avons déjà installés ici Tapez donc Olama et la commande list OK. Presenter et vous pouvez voir que nous en avons installé deux. Maintenant, aucun d'entre eux n'est en cours d'exécution, nous devons également vérifier la liste des modèles en cours d'exécution. Voyons quels sont tous ceux qui exécutent des PSP Oma pour les modèles utilisant des listes Je vais appuyer sur Entrée et vous pouvez voir qu'aucun d'entre eux n'est en cours d'exécution pour le moment. Donc, ce que je vais faire, c'est le lancer en premier. Maintenant, disons que je vais lancer Lama 3.2 pour cela. Utilisez la commande Exécuter un modèle. Cela signifie que je vais taper Olamarun Lama 3.2. Nous devons également mentionner les paramètres exactement 3.2, appuyez sur Entrée. Maintenant, il va l'exécuter à nouveau, et il a démarré. OK. Maintenant, vous pouvez taper n'importe quoi, et disons que nous avons donc commencé avec Lama. Je vais taper quelque chose pour vous demander. OK. Ainsi, vous pouvez à nouveau exécuter vos modèles LLM sur Ulama à l'aide de la commande run Merci d'avoir regardé la vidéo. 11. Créer un GPT personnalisé ou personnaliser un modèle avec OLLAMA: Dans cette vidéo, nous allons apprendre comment créer un GBT personnalisé ou vous pouvez dire personnaliser un modèle avec l'Oma. Donc, sur Google Type, Olama et Prey Center, cliquez ici Voici le site officiel. Nous avons déjà téléchargé Olama. OK, allez maintenant sur Github, leur Github officiel. Ici, dans Go, ci-dessous. Et ici , vous pouvez voir personnaliser un modèle. D'accord ? Nous devons créer ce fichier modèle. Nous créerons dans le code VS, puis nous créerons un modèle et exécuterons le modèle ultérieurement avec notre nom. Bien, nous allons d'abord créer un fichier modèle. Alors allons-y. Nous avons besoin du code VS pour cela, laissez-nous d'abord l'installer. Commençons. Dans un premier temps, accédez au navigateur Web sur Google Tapez VS Code et appuyez sur Entrée. Maintenant, le site officiel est visible code.visualstudio.com Cliquez dessus. Vous pouvez maintenant voir que la version est visible. Vous pouvez directement cliquer sur Dwload à partir d'ici, et voici les versions pour Windows, Linux et Mac. Je vais cliquer ici. Et maintenant, le code VS sera téléchargé. Voici le fichier d'installation. Attendons. Maintenant, cliquez avec le bouton droit de la souris et cliquez sur Ouvrir pour commencer l'installation, minimisez, acceptez le contrat, cliquez sur Suivant. Cela prendra 373 Mo. Cliquez sur Next. Cliquez sur Next. Cela créera également un dossier du menu Démarrer. Si vous souhaitez créer une icône Dextrop, vous pouvez cliquer ici, mais je ne la créerai pas, alors cliquez sur Suivant. Cliquez maintenant sur Installer. Les gars, nous avons installé VSCode avec succès. Je vais cliquer sur Terminer, mais je vais décocher cette option pour pouvoir l'ouvrir depuis un autre endroit. Cliquez sur Terminer. Donc, les gars, nous avons installé VSCode avec succès, laissez-nous l'ouvrir. Pour commencer, tapez VSCode et ouvrez-le. Maintenant, les gars, je vais cliquer ici et ouvrir un dossier. Disons que mon dossier est dans le lecteur D. Je vais créer un nouveau dossier, Amit project. D'accord. Je vais cliquer et cliquer sur Sélectionner un dossier. Comme je le crois. Maintenant, cliquez avec le bouton droit de la souris, créez un nouveau fichier, nommez-le fichier modèle. OK, c'est ici. Vous pouvez maintenant voir ici que nous avons créé un fichier modèle. Code, il suffit de le copier et de le coller ici. OK, je l'ai collé, et j'ai également apporté quelques modifications Donc, au lieu de cet assistant de Mario, je viens de mentionner que vous êtes analyste de cricket. Répondez uniquement en tant qu' assistant Amid Demand, vous savez comment jouer au cricket, entraîner d'autres joueurs de cricket et tous les termes liés au OK, archivez, sauvegardez. Maintenant, cliquez avec le bouton droit de la souris et copiez le chemin, minimisez. D'accord. Accédez à l' heure de début CMD, cliquez sur Ouvrir Maintenant, vous pouvez voir vos modèles Quels modèles fonctionnent ? Faltye-Olama. Je vais vérifier les modèles à l'aide de PS Command, du centre de presse lama PS et vous verrez notre Lama 3.2 fonctionne. OK, c'est ici. Maintenant, je vais juste atteindre le chemin, cliquer avec le bouton droit de la souris et coller. Voilà, c'est notre lecteur D. Je peux également le faire directement décolonner et nous sommes à l'intérieur de D Drive. Maintenant, faites DIR sur CMD, et vous avez un projet Amit Espace CD du projet Amith, et vous êtes dans votre dossier C'est ici. Tapez la commande create. Vous devez mentionner le nom de votre modèle. Disons que je vais mentionner l' analyste de cricket Ameth Hyphen F, puis Model File et J'ai donc juste pris le code d'ici. Voilà, Mari Hyphen M, crée par Olama . Je viens de mentionner le nom de mon modèle Voyons maintenant le présentateur Désolé, je viens de rater Olama De toute évidence. OK, donc lama create est la commande. Vous pouvez le vérifier ici. Créez un modèle à partir d'un fichier de modèle. C'est ce que nous sommes en train de faire. Et je vais juste appuyer sur Entrée maintenant. Et vous pouvez voir le succès. D'accord. OK, alors maintenant je vais m'en occuper. Notre modèle est créé par Ametho, analyste de cricket OlmaRun, donc je viens de créer votre modèle d'analyste de cricket Appuyez sur Entrée. OK, nous utilisons donc notre modèle maintenant. La commande Exécuter. De toute évidence, vous savez que c'est ici. Vous pouvez vérifier toutes les commandes à l'aide de l'Olama. C'est ça. Maintenant, je vais appuyer sur Entrée. Vous pouvez le voir, nous allons l'exécuter. Maintenant, c'est notre GPT personnalisé, qui est comme notre assistant Votre GPT personnalisé est maintenant prêt. Tapez Bonjour, comment allez-vous aujourd'hui ? Ici, vous pouvez voir qu'il est visible que je suis analyste de cricket. OK, alors laissez-moi vous demander comment jouer à un parfait ou à un lecteur de couverture parfait. OK, donc l' assistant pédagogique ou l' assistant de cricket répond OK. Y Alors, les gars, de cette façon, vous pouvez facilement créer votre GPT personnalisé Nous avons créé un assistant pédagogique sous la forme d'un analyste de cricket. Voici donc nos dossiers. N'oubliez pas, Indiv au milieu du projet, et c'était notre fichier modèle Insider, code S. OK, nous venons d'ajouter cette invite ici, et cela a été configuré pour plus de créativité. OK, température 1. D'après Laman 2, c' est le nom du modèle, et c'est notre message Si vous voulez le prendre, vous pouvez le prendre depuis le Github officiel Et voici le code. C'était notre fichier modèle, et voici les commandes pour l'exécuter. 12. Retirer n'importe quel modèle avec Ollama localement: Dans cette vidéo, nous allons apprendre comment supprimer n'importe quel modèle sur Olama localement Pour cela, allons démarrer et tapez CMD, ouvrez-le. Maintenant, laissez-moi taper la commande Olama et trouver facilement toutes les commandes ici. Je vais d'abord lister tous les modèles de ce système. Liste des espaces Olama. Liste Olmaspace et appuyez sur Entrée. Voici les deux modèles que nous avons installés mistro et Lama 3.2. Le premier est de mistro et le second de Meta. Maintenant, ce que je vais faire, je dois le supprimer. OK, alors utilisez la commande RM. Oma space RM et mentionnez le nom du modèle. Disons que je vais mentionner Mistral. Je vais mentionner Mistral et voici le nom. Il vous suffit donc de taper mistrl et de presser le centre. Si vous tapez Lama, vous devez également mentionner le paramètre. Cela signifie que dans ce cas, le nom est Lama 3.2. OK, alors laisse-moi le désinstaller, d'accord ? Oma space RM Space Lama 3.2 supprimé. OK, maintenant, remplissez à nouveau la liste des lamas. Vous pouvez voir qu'un seul d'entre eux est visible. Ici, mistroll est visible car nous venons de supprimer Lama 3.2. Donc, les gars, de cette façon, vous pouvez facilement supprimer n'importe quel modèle avec lama. Merci d'avoir regardé la vidéo.