Ollama Masterclass: corra LLMs localmente

1. Sobre o curso: Neste curso em vídeo, aprenda Olama e seus conceitos O Oma é uma plataforma de código aberto para baixar, instalar, gerenciar, executar e implantar grandes modelos de linguagem. Tudo isso pode ser feito localmente com o Olama. LLMs populares, como Lama da Meta, Mistral, Gemma da DeepMind do Google, F da Microsoft, Quin da Alibaba Cloud, podem ser executados localmente usando Alibaba LLM significa grandes modelos de linguagem. Esses modelos são projetados para entender, gerar e interpretar a linguagem humana em alto nível. Eles são treinados em vastos conjuntos de dados e podem realizar tarefas como geração de texto, resumo, tradução e resposta Aqui, o modelo LLM está processando um prompt de entrada e gerando uma resposta como se um prompt fosse digitado no chat Neste curso, abordamos as seguintes lições com exemplos de execução ao vivo. Também mostramos como criar uma GPT personalizada que é um modelo GPT de bate-papo na forma de um assistente Vamos começar com a primeira lição. 2. Ollama: introdução e características: Nesta lição, aprenderemos o que é Oma? É introdução e recursos. Vamos ver. Então lama é basicamente uma plataforma de código aberto que permite ao usuário baixar, instalar, executar e implantar grandes modelos de linguagem, e tudo isso pode ser feito em seu sistema local. Então você deve estar se perguntando o que são LLMs. Portanto, LLM significa grandes modelos de linguagem. Esses são modelos que são basicamente projetados para entender, gerar e interpretar linguagens humanas. OK. Portanto, inclui bilhões de parâmetros. Então você deve ter ouvido falar sobre modelos LLM como Lama, Phi, Gemma, Mistral Portanto, quando os parâmetros aumentam, o desempenho do modelo também melhora. Ok, ele normalmente contém bilhões de parâmetros, permitindo que eles compreendam padrões complexos de linguagem e gerem Ok, então atualmente, temos o Lama 3.2 mistrl seven B. Ok, esses modelos são treinados em vastos conjuntos de dados, como artigos da Internet, livros e outras fontes E esses modelos LLM, quando você faz uma pergunta a eles imediatamente, eles geram uma resposta Ok, então o LLM processa as informações e gera um novo conteúdo para você, é por isso que o chamamos de IA generativa Ok, eu posso realizar tarefas como responder perguntas, traduzir, resumir Ok, ele pode gerar texto para você. Você pode escrever um artigo, blogs, um e-mail a partir dele. OK. Você pode executar esses LLMs usando o Olama Essas são as características do Olama. Ele consiste em uma biblioteca de modelos pré-construída que inclui seu ama by meta, Mistral da MtoAI, seu Phi LLM Ok, eu também permite que você personalize e crie seu modelo. Veremos neste curso como podemos criar nosso próprio modelo. É muito fácil executá-lo e gerenciá-lo. Ele inclui APIs simples. É multiplataforma. Você pode contornar o Olama no Windows localmente no Windows, Mac e Linux. Ok, ele tem um arquivo de modelo. Criaremos um arquivo de modelo mais tarde quando criaremos nosso próprio modelo. Ok, o arquivo de modelo empacota tudo o que você precisa para executar um LLM. Portanto, este é um único arquivo que criaremos e o usaremos para gerenciar e executar nosso modelo. Então, vamos ver o que Oma pode fazer e por que é tão popular. Ele pode permitir que você execute LLMs em seu sistema local. Isso está no seu Windows 10, Windows 11, Mac e Linux. Ok, então essa é uma interpretação básica de Olama do que Olama pode fazer Usando a instalação local do Olama, o que faremos mais tarde. Você pode facilmente baixar, executar, até mesmo implantar e gerenciar seu Lama Gemma Mistral Phi Quin. Todos esses LLMs, Quinn até mesmo implantar e gerenciar seu Lama Gemma Mistral Phi Quin. Todos esses LLMs, Quinn é da Alibaba Cloud. Ok, Pi é da Microsoft, MSTrol é da MiTrol Gamma Ok, Lama é da Meta. Dessa forma, você pode executar facilmente todos esses modelos usando o Olama localmente. Vamos ver isso mais tarde. Então, pessoal, nesse vídeo, vimos o que é Olama? Por que está sendo amplamente utilizado. Quais são suas características? Obrigado por assistir ao vídeo. 3. Instale o Ollama no Windows 11 localmente: Neste vídeo, aprenderemos como instalar o Olama no Windows 11 Olama é uma plataforma de código aberto para baixar, instalar, implantar e executar LLMs Vamos ver como instalar o Olama, acesse o navegador no Google Type, Olama e pressione Enter Ao pressionar Enter, o site oficial fica visível. Clique nele. Agora você pode ver que o site oficial está visível. Queremos a versão para Windows, então vou clicar diretamente aqui. Baixar. Agora o botão de download para Windows está visível. É nisso que precisamos clicar. Clique em download iniciado em 664 MB. Vamos esperar. Nós baixamos o arquivo EXE. Agora, clique com o botão direito do mouse e clique em Abrir para iniciar a instalação. Minimize, clique em Instalar. Agora a configuração será instalada, vamos esperar. E pessoal, instalamos o Olama Agora você pode iniciar o Tipo CMD, clique em Abrir. Agora vamos verificar o tipo Olama e pressionar Enter. Se o seguinte estiver visível, isso significa que instalamos o Olama com sucesso Ok, esses são os comandos disponíveis. Então, dessa forma, pessoal, podemos instalar facilmente o Oma. 4. Instale o Llama 3.2 no Ollama Windows 11 localmente: Neste vídeo, aprenderemos como instalar o ama 3.2 no Windows 11. Então, para isso, primeiro, instalaremos o Olama, que é uma plataforma de código aberto para executar LLMs Em seguida, na segunda etapa, instalaremos o Lama 3.2 no Olama Já instalamos o Olema nos vídeos anteriores. Então, agora vamos instalar diretamente o Lama 3.2. Vamos começar. Agora, usaremos o Olama para instalar nosso Lama 3.2. Para isso, pessoal, precisamos usar o comando. Aqui é executado um modelo, ou seja, execute o comando. Então, basta digitar lama, executar o nome do modelo. Então esse é o Lama 3.2. Você também pode verificar isso. Se você se lembra que abrimos isso, vá até os modelos. Agora, no modelo, você pode ver que estamos instalando o Lama 3.2 da Meta. Clique nele. E aqui, você poderá encontrar o mesmo comando. Vá abaixo. Você pode ver todos os comandos ou detalhes sobre o Lama 3.2, e aqui está, estamos instalando o 3.2, para que você possa comparar o comando a seguir. É o mesmo. OK. Olama Lama, 3.2. É isso mesmo. Você só precisa pressionar Enter e a instalação levará algum tempo. Também mostrará quantos GBs serão baixados. Pressione Enter. Ou você pode ver que está puxando. Aqui são dois GB, então levará algum tempo. Vamos esperar. Gente, agora vocês podem ver que o instalamos . O sucesso é visível. Ok, agora você pode digitar diretamente sua solicitação aqui. Então, digamos que eu pergunte. O que é I generativo? Então , isso me dará uma resposta. Então você instalou o Lama 3.2 com sucesso em seu sistema usando o Olama E você pode perguntar qualquer coisa Então, pessoal, neste vídeo, vimos como podemos instalar o Oma. Instalamos o Lama 3.2 no Olama e também tentamos um prompt Obrigado por assistir ao vídeo. 5. Instale o Mistral 7b no Ollama Windows 11 localmente: Neste vídeo, aprenderemos como podemos instalar o Mistral AI no Windows 11 Então, primeiro, precisamos baixar e instalar Olama, que é uma plataforma de código aberto para executar LLMs Na segunda etapa, instalaremos o Mistral AI. Vamos começar com a primeira etapa. Instalando o Olama. Vamos começar. Já instalamos o Olama nos vídeos anteriores agora para executar seu modelo Mistle AI Você precisa digitar este comando run command. Então, deixe-me digitar. Aqui está Olama run e depois mencione o nome do modelo. Mas queremos o nome exato do modelo. Então, neste mesmo site, acesse modelos. Aqui e você pode pesquisar o modelo que deseja ou pode ir abaixo. Ao descer, você pode ver que Mistral está visível. Ok, queremos os sete B. Vou clicar nele. Ok, então aqui está, e aqui está o comando. Você precisa digitar esse comando. Se você quiser qualquer outra versão, você pode clicar aqui. Mas agora, sete B é o mais recente. Você pode copiar esse comando diretamente ou digitar diretamente Mistral e pressionar enter Levará algum tempo para puxar. Vamos ver quantos GBs. São quatro GB, então levará uma boa quantidade de minutos. Vamos esperar. Agora, aqui você pode ver que é bem-sucedido. É visível. Agora você pode perguntar qualquer coisa diretamente. Digamos, eu vou perguntar, quem é você? Ok, você pode ver, eu sou um grande idioma não treinado por um mestre. Então, deixe-me perguntar o que é Python? Vamos ver a resposta pelo modelo. É isso aí, pessoal, instalamos com sucesso o Miss Trolley. Obrigado por assistir ao vídeo. 6. Listar os modelos em funcionamento no Ollama localmente: Neste vídeo, aprenderemos como podemos listar facilmente os modelos em execução no OlamAF que vão para iniciar, digite CMD Ok, digite Olama e você poderá ver todos os comandos. Então, queremos listar. Então, queremos listar os modelos em execução. Então, vou digitar OLAMaps e pressionar Center. Então esse foi o mais recente Mistral. Ok, dessa forma, você pode listar facilmente o modelo em execução. Obrigado por assistir ao vídeo. 7. Listar todos os modelos instalados em seu sistema com o Ollama: Neste vídeo, veremos como podemos listar os modelos no lama. Isso significa que todos os modelos que instalamos usando o Olama em nosso sistema local Vamos ver como podemos listá-los. Para isso, vá para iniciar, digite CMD, clique em Abrir. Então agora aqui no tipo Olama você pode ver todos os comandos Queremos listar os modelos, não listar os modelos em execução. Queremos apenas listar todos os modelos. Para isso, vou digitar Olama List. É isso mesmo. E centro de imprensa. Então, instalamos dois modelos até agora, Mistral, bem como o Lama 3.2 Então, esses são os modelos visíveis agora porque os instalamos usando o Olama Neste Maguis, você pode listar facilmente os modelos que você instalou usando Obrigado por assistir ao vídeo. 8. Exibir as informações de um modelo usando Ollama localmente: Neste vídeo, veremos como podemos mostrar as informações de um modelo. Instalamos em nosso sistema usando o Oma. Então, no Command Prom, digitamos lama e todos os comandos estão visíveis Então, para mostrar, precisamos usar o comando show. Está bem? No momento, temos dois modelos aqui. Listamos usando o comando Oma space list. Ok, agora digamos que eu queira informações sobre Lama 3.2, tipo de solo, lama, show, Lama 3.2, e vamos ver quais informações são visíveis. Aqui está, todas as informações estão visíveis. Parâmetros de arquitetura de 3,2 bilhões, todos sabemos, o comprimento do contexto e a quantização para otimização são visíveis e as licenças Dessa forma, pessoal, também podemos conferir nosso segundo. Isso significa show de lama. Então, senhorita troll E deixe-me verificar novamente. É a Srta. Troll, certo, Centro de Oração. E aqui estão as informações. Foi para 7,2 bilhões de parâmetros e o comprimento do contexto e o comprimento da incorporação. Com a quantização também é visível e a licença Então, pessoal, vimos como podemos mostrar as informações de um modelo com o Ulama Obrigado por assistir ao vídeo. 9. Como parar um modelo em andamento em Ollama: Neste vídeo, aprenderemos como parar nosso modelo em execução em Olama Ok, então aqui você pode ver que executamos nosso modelo novamente. Ok, Olama execute o Lama 3.2. Também podemos verificar isso usando o comando list running models, comando ps. Então, quando eu digito OlamaSpacps, ele mostra que mostra o Lama 3.2 Aqui está, está visível porque o estávamos executando atualmente. Aqui está, estou mostrando novamente que o Lama 3.2 estava em execução. Ok, agora precisamos parar com isso. Para esse tipo de lama, pare. E o mesmo comando também está visível aqui. Você pode digitar lama aqui. Pressione Enter e todos os comandos estarão visíveis. Esse é o comando stop. Pare ou execute o modelo. Agora mencione o nome do modelo que você precisa parar. Esse é o Lama 3.2 e pressione Enter. Agora é parar. Você pode verificar novamente usando o comando lama Ps, lama space ps, e nada ficará visível. Agora, um modelo stop D em execução. Usando o comando stop, obrigado por assistir ao vídeo. 10. Como rodar um modelo já instalado no Ollama localmente: Neste feed, aprenderemos como podemos executar localmente um modelo já instalado no Olama Para isso, vá para iniciar o Tipo CMD. Clique em abrir. Então aqui está agora o Tipo Oma. Ok. Então, primeiro, listaremos os modelos que já instalamos aqui, então digite Olama e o comando list Ok. Apresentador e você pode ver que instalamos dois deles. Agora, nenhum deles está em execução, devemos verificar também listar os modelos em execução. Vamos ver quais estão executando PSPs Oma para modelos em execução de listas Vou pressionar Enter e você pode ver que nenhum deles está em execução no momento. Então, o que eu vou fazer é executá-lo primeiro. Agora, digamos que eu execute o Lama 3.2 para isso. Use o comando Executar um modelo. Isso significa que vou digitar Olamarun Lama 3.2. Precisamos mencionar os parâmetros também exatamente 3.2, pressione Enter. Agora ele o executará novamente e ele será iniciado. Ok. Agora você pode digitar qualquer coisa, e digamos que então começamos com Lama. Vou digitar algo como um prompt. Ok. Dessa forma, você pode executar novamente seus modelos LLM no Ulama usando o comando run Obrigado por assistir ao vídeo. 11. Crie um GPT personalizado ou personalize um modelo com OLLAMA: Neste vídeo, aprenderemos como podemos criar um GBT personalizado ou digamos, personalizar um modelo com o Oma Então, no Google Type, Olama e Prey Center, clique aqui Aqui está o site oficial. Já baixamos o Olama. Ok, agora vá para o Github, seu Github oficial. Aqui em Go below. E aqui você pode ver como personalizar um modelo. Está bem? Precisamos criar esse arquivo de modelo. Criaremos no código VS e, em seguida, criaremos um modelo e também executaremos o modelo posteriormente com nosso nome. Ok, primeiro criaremos um arquivo de modelo. Então, vamos fazer isso. do código VS para isso, primeiro vamos instalar. Vamos começar Primeiro, acesse o navegador da web no Google Type VS Code e pressione Enter. Agora, o site oficial está visível code.visualstudio.com Clique nele. Agora você pode ver que a versão está visível. Você pode clicar diretamente em Dwload aqui, e aqui estão as versões para Windows, Linux e Mac. Vou clicar aqui. E agora o código VS será baixado. Aqui está o arquivo do instalador. Vamos esperar. Agora, clique com o botão direito do mouse e clique em Abrir para iniciar a instalação, minimizar, aceitar o contrato e clicar em Avançar. Serão necessários 373 MB. Clique em Avançar. Clique em Avançar. Ele também criará uma pasta do Menu Iniciar. Se você quiser criar um ícone do Dextrop, você pode clicar aqui, mas eu não vou criá-lo, então clique em Avançar. Agora clique em Instalar. Pessoal, instalamos o VSCode com sucesso. Vou clicar em Concluir, mas vou desmarcar isso para poder abri-lo de outro lugar. Clique em Concluir. Então, pessoal, instalamos o VSCode com sucesso, vamos abri-lo. Vá para iniciar, digite VSCode e abra-o. Agora, pessoal, vou clicar aqui e abrir uma pasta. Digamos que minha pasta esteja na unidade D. Vou criar uma nova pasta, projeto Amit. Ok. Vou clicar e clicar em Selecionar pasta. Como eu confio. Agora, clique com o botão direito, crie um novo arquivo, chame-o de arquivo modelo. Ok, aqui está. Agora você pode ver aqui que criamos um arquivo de modelo. Código, basta copiá-lo e colá-lo lá. Ok, eu colei e também fiz algumas alterações Então, em vez desse assistente de equipe de Mario, acabei de mencionar que você é analista de críquete. Responda apenas como assistente do Amid Demand, você sabe jogar críquete, treinar outros jogadores de críquete e todos os termos relacionados ao Ok, arquivo, salve. Agora, clique com o botão direito do mouse e copie o caminho, minimize. Ok. Vá para a hora de início do CMD e clique em Abrir Agora você pode ver seus modelos, quais modelos estão em execução? Falty Yeolama Vou verificar os modelos usando o PS Command, centro de imprensa do lama Ps e você pode ver nosso Lama 3.2 está funcionando. Ok, aqui está. Agora vou chegar ao caminho, clicar com o botão direito do mouse e colar. Aqui está, é o nosso drive D. Eu também posso fazer isso diretamente dois pontos e estamos dentro do D Drive. Agora faça DIR no CMD e você terá um projeto Amit Espaço no CD do projeto Smith, e você está dentro da sua pasta Aqui está. Digite o comando create. Você precisa mencionar o nome do seu modelo. Digamos que eu mencione o analista de críquete Ameth hífen F e, em seguida, o arquivo de modelo e Então, acabei de pegar o código daqui. Aqui está, Olama criou Mari Hyphen M. Acabei de mencionar o nome do meu modelo Agora vamos ver o apresentador Desculpe, acabei de perder Olama Obviamente. Ok, então lama create é o comando. Você pode verificar isso aqui. Crie um modelo a partir de um arquivo de modelo. Isso é o que estamos fazendo. E vou pressionar Enter agora. E você pode ver o sucesso. Ok. Ok, então agora eu vou executá-lo. Nosso modelo foi criado pelo analista de críquete OlmaRun, Ametho, então acabei de criar seu modelo Ath de analista então acabei de criar Pressione Enter. Ok, então estamos executando nosso modelo agora. O comando Executar. Obviamente, você sabe que aqui está. Você pode verificar todos os comandos usando o Olama. É isso mesmo. Agora vou pressionar Enter. Você pode ver, nós vamos executá-lo. Agora, este é nosso GPT personalizado, que é como nosso assistente Agora seu GPT personalizado está pronto. Digite Oi, como você está hoje? Aqui, você pode ver que sou analista de críquete Ok, então deixe-me perguntar como jogar um perfeito ou jogar um cover drive perfeito. Ok, então o assistente de ensino ou assistente de críquete responde E Então, pessoal, dessa forma, você pode criar facilmente seu GPT personalizado Criamos um assistente de ensino na forma de analista de críquete. Então, aqui estavam nossos arquivos. Lembre-se, Indiv em meio ao projeto, e esse era nosso arquivo de modelo Insider, código S. Ok, acabamos de adicionar esse prompt aqui, e isso foi configurado para mais criatividade. Ok, temperatura um. Do Lamã dois, esse é o nome do modelo e essa é a nossa mensagem Se você quiser fazer isso, pode obtê-lo no Github oficial E esse é o código. Esse era o nosso arquivo de modelo, e esses eram os comandos para executá-lo. 12. Remova qualquer modelo com Ollama localmente: Neste vídeo, aprenderemos como remover qualquer modelo no Olama localmente Para isso, vamos começar e digitar CMD, abri-lo. Agora deixe-me digitar o comando Olama e encontrar todos os comandos aqui facilmente Primeiro, listarei todos os modelos desse sistema. Lista espacial de Olama. Liste Olmaspace e pressione enter. Aqui estão os dois modelos em que instalamos o mistro e o Lama 3.2. A primeira é da mistro e a segunda é da Meta. Agora, o que eu vou fazer é removê-lo. Ok, então use o comando RM. Oma space RM e mencione o nome do modelo. Digamos que eu mencione Mistral. Vou mencionar Mistral e aqui está o nome. Então, você precisa apenas digitar mistrl e pressionar center. Se você digitar Lama, também precisará mencionar o parâmetro. Isso significa que, nesse caso, o nome é Lama 3.2. Ok, então deixe-me desinstalá-lo, ok? Oma space RM space Lama 3.2 excluído. Ok, agora preencha a lista de verificação do Lama novamente. Você pode ver que apenas um deles está visível. Aqui está o erro que está visível porque acabamos de excluir o Lama 3.2 Então, pessoal, dessa forma, você pode remover facilmente qualquer modelo com o lama. Obrigado por assistir ao vídeo.