Curso rápido de LangChain | Amit Diwan | Skillshare

Velocidade de reprodução


1.0x


  • 0.5x
  • 0.75x
  • 1x (Normal)
  • 1.25x
  • 1.5x
  • 1.75x
  • 2x

Curso rápido de LangChain

teacher avatar Amit Diwan, Corporate Trainer

Assista a este curso e milhares de outros

Tenha acesso ilimitado a todos os cursos
Oferecidos por líderes do setor e profissionais do mercado
Os temas incluem ilustração, design, fotografia e muito mais

Assista a este curso e milhares de outros

Tenha acesso ilimitado a todos os cursos
Oferecidos por líderes do setor e profissionais do mercado
Os temas incluem ilustração, design, fotografia e muito mais

Aulas neste curso

    • 1.

      Sobre o curso

      0:40

    • 2.

      LangChain — introdução, recursos e casos de uso

      4:20

    • 3.

      O que é encadeamento no LangChain

      1:42

    • 4.

      Componentes/módulos do LangChain

      2:59

    • 5.

      Componente de pré-processamento do LangChain

      1:42

    • 6.

      Componente de modelos do LangChain

      1:57

    • 7.

      Componente Prompts do LangChain

      1:59

    • 8.

      Componente de memória do LangChain

      1:38

    • 9.

      Componente Chains do LangChain

      1:31

    • 10.

      Componente de índices do LangChain

      1:57

    • 11.

      Componente Agents do LangChain

      1:49

    • 12.

      LangChain com RAG — processo

      2:56

    • 13.

      LangChain com RAG — exemplo de programação final

      10:47

  • --
  • Nível iniciante
  • Nível intermediário
  • Nível avançado
  • Todos os níveis

Gerado pela comunidade

O nível é determinado pela opinião da maioria dos estudantes que avaliaram este curso. Mostramos a recomendação do professor até que sejam coletadas as respostas de pelo menos 5 estudantes.

75

Estudantes

--

Projetos

Sobre este curso

Boas-vindas ao curso LangChain. LangChain é uma estrutura projetada para criar aplicativos alimentados por modelos de linguagem grandes (LLMs). Ele fornece ferramentas e abstrações para facilitar a integração de LLMs em aplicativos, permitindo tarefas como resposta a perguntas, geração de texto, geração aumentada de recuperação (RAG), chatbots e muito mais.

LangChain — casos de uso

Aqui estão alguns dos casos de uso do LangChain:

  1. Resposta a perguntas: crie sistemas que respondam a perguntas recuperando informações relevantes e gerando respostas usando LLMs.
  2. Chatbots: crie agentes conversacionais que podem manter o contexto entre as interações.
  3. Geração aumentada de recuperação (RAG): combine a recuperação de documentos relevantes com a geração de texto para respostas mais precisas e conscientes do contexto.
  4. Resumo de texto: crie resumos de documentos ou artigos longos.
  5. Geração de código: crie ferramentas que gerem código com base em descrições de linguagem natural.
  6. Assistentes pessoais: crie assistentes virtuais que podem realizar tarefas como agendamento, elaboração de e-mails ou recuperação de informações.

Aulas do curso

LangChain — introdução

  • LangChain — introdução, recursos e casos de uso
  • O que é encadeamento no LangChain

LangChain – Componentes

  • Componentes/módulos do LangChain
  • Componente de pré-processamento do LangChain
  • Componente de modelos do LangChain
  • Componente Prompts do LangChain
  • Componente de memória do LangChain
  • Componente Chains do LangChain
  • Componente de índices do LangChain
  • Componente Agents do LangChain

LangChain com RAG

  • LangChain com RAG — processo
  • LangChain com RAG — exemplo de programação final

 O que você vai aprender

  • Aprenda LangChain do zero
  • Entenda o fluxo de trabalho da LangChain
  • Resuma vários documentos em PDF com LangChain e RAG
  • Entenda encadeamento no LangChain
  • Conheça os componentes LangChain com exemplos
  • Carregue e analise os documentos PDF
  • Divida os documentos em partes
  • Configure os modelos de incorporação
  • Aprenda a criar um repositório de vetores a partir de blocos de documentos
  • Configure um LLM local
  • Aprenda a criar uma cadeia de controle de qualidade

Para quem é este curso

  • Pessoas que querem iniciar sua jornada de IA
  • Entusiastas de IA iniciantes
  • Aprenda LangChain com RAG
  • Pessoas que querem entender o encadeamento em LangChain
  • Pessoas que querem resumir vários documentos em PDF

Nota: anexamos o caderno Google Colab que usamos no curso

Conheça seu professor

Teacher Profile Image

Amit Diwan

Corporate Trainer

Professor

Hello, I'm Amit,

I'm the founder of an edtech company and a trainer based in India. I have over 10 years of experience in creating courses for students, engineers, and professionals in varied technologies, including Python, AI, Power BI, Tableau, Java, SQL, MongoDB, etc.

We are also into B2B and sell our video and text courses to top EdTechs on today's trending technologies. Over 50k learners have enrolled in our courses across all of these edtechs, including SkillShare. I left a job offer from one of the leading product-based companies and three government jobs to follow my entrepreneurial dream.

I believe in keeping things simple, and the same is reflected in my courses. I love making concepts easier for my audience.

Visualizar o perfil completo

Level: Beginner

Nota do curso

As expectativas foram atingidas?
    Superou!
  • 0%
  • Sim
  • 0%
  • Um pouco
  • 0%
  • Não
  • 0%

Por que fazer parte da Skillshare?

Faça cursos premiados Skillshare Original

Cada curso possui aulas curtas e projetos práticos

Sua assinatura apoia os professores da Skillshare

Aprenda em qualquer lugar

Faça cursos em qualquer lugar com o aplicativo da Skillshare. Assista no avião, no metrô ou em qualquer lugar que funcione melhor para você, por streaming ou download.

Transcrições

1. Sobre o curso: Neste curso em vídeo, aprenda Lang chin e seus conceitos LangChn é uma estrutura projetada para criar aplicativos alimentados por grandes modelos de linguagem Ele fornece ferramentas e abstrações para facilitar a integração de LLMs em aplicativos, permitindo tarefas como resposta, geração de texto, Rag, chatbots Neste curso, abordamos as seguintes lições com exemplos de execução ao vivo. Vamos começar com a primeira lição. 2. LangChain — introdução, recursos e casos de uso: Nesta lição, aprenderemos o que é o queixo de Lang. Também discutiremos os recursos e seus casos de uso. Vamos começar. Lang chain é uma estrutura projetada para desenvolvimento de aplicativos alimentados por grandes modelos de linguagem Ele simplifica todo o ciclo de vida dos aplicativos LLM, desde o desenvolvimento até a implantação e É útil para criar aplicativos baseados em raciocínio e com reconhecimento de contexto Você pode integrar facilmente LLMs em aplicativos permitindo tarefas como geração de texto, Rag, resposta diária e Ao encadear vários modelos e processos, essa cadeia permite que o usuário crie fluxos de trabalho complexos Com isso, você pode gerenciar facilmente vários componentes de um sistema EA usando a cadeia Lang Vamos primeiro entender o que o queixo de Lang interpreta? Significa Lang mais corrente. Isso significa que grandes modelos de linguagem para Lang Chain servem para combinar esses LLMs, como encadear esses LLMs como encadear Portanto, qualquer cadeia é construída em torno de LLMs, como modelos Open Es, GPT, HuggingPase Com a cadeia Lang, você pode facilmente encadear várias etapas ou componentes, como recuperar dados de um banco de dados ou armazenamento de documentos, processando esses dados para gerar Você também pode gerar respostas usando uma interação LLM com APIs e bancos de dados Aqui estão as características da cadeia Lang. Você pode se integrar facilmente aos LLMs. Ele fornece uma interface unificada para interagir com diferentes modelos. Crie cadeias de operações nas quais a saída de uma etapa é adicionada como entrada para a próxima etapa. Por exemplo, uma cadeia que recupera documentos e respostas relevantes usando um LLM A cadeia Lang também suporta memória. Como o nome sugere, a memória é usada para armazenar e recuperar o contexto nas interações Com isso, você pode criar facilmente painéis bate-papo ou aplicativos que exijam contexto de interações anteriores, como memória Lang chin também fornece ferramentas para indexação e recuperação de documentos Então você saberia sobre Rag, então Rag é geração aumentada de recuperação Lang chin também ajuda na criação de sistemas de trapos, como um vetor armazenado para recuperar documentos relevantes para uma consulta. O Lang chin também oferece suporte a agentes que são sistemas que usam LLMs para decidir quais ações Como um agente para facilitar o trabalho de vendas, um agente que pode interagir com APIs ou bancos de dados externos LangChn também fornece ferramentas para solicitações para que você possa gerenciar e otimizar facilmente as Lang chin é modular e permite que os desenvolvedores misturem e combinem componentes para que fluxos de trabalho personalizados possam ser facilmente criados Vamos agora ver os casos de uso do queixo Lang. Se você quiser criar um sistema para responder diariamente, você pode facilmente conseguir isso com Isso recuperará informações relevantes e gerará respostas Crie facilmente agentes conversacionais que mantenham o contexto em todas as interações, como um quadro de bate-papo. Implemente o Rag também com a cadeia Lang para que você possa obter um texto mais preciso e baseado em seus próprios documentos Você também pode resumir textos, resumir facilmente documentos ou artigos longos com Lang chin, criar ferramentas facilmente para que as citações possam ser Com isso, crie facilmente um assistente virtual pessoal para tarefas como agendamento, recuperação de informações, elaboração de um e-mail Então, nesta lição, vimos o que é o queixo de Lang, suas características Também vimos os casos de uso. Obrigado por assistir ao vídeo. 3. O que é encadeamento no LangChain: Nesta lição, entenderemos o que é encadeamento no queixo comprido Já vimos como interpretar lang chin como lang plus chain Então, vamos ver o que é cadeia. cadeia de Lang é um processo para combinar vários componentes ou etapas em uma sequência para que você possa realizar uma tarefa específica O encadeamento é importante para que você possa misturar e combinar componentes para facilitar o trabalho de criar fluxos de trabalho personalizados e criar facilmente sistemas que usem o contexto de etapas anteriores, como histórico de bate-papo Com isso, você também pode dividir facilmente tarefas difíceis em etapas menores e mais fáceis com o encadeamento Aqui está um exemplo rápido de encadeamento em cadeia lang. Vamos construir um pano que é um sistema de geração aumentada de recuperação Nesse caso, qual é a primeira etapa recuperada? Você pode usar um recuperador para buscar documentos relevantes. Em seguida, o gerador passa os documentos relevantes e um quotien, que é uma solicitação, solicitado a um LLM para gerar E qual será a saída? A resposta será devolvida ao usuário. Portanto, a sequência de etapas que vimos é uma cadeia que combina recuperação e geração em um único fluxo Então esse é o conceito de encadeamento. O encadeamento é como vincular vários componentes para criar uma sequência de operações, como recuperadores de documentos Então, pessoal, vimos o que é encadeamento na cadeia Lang. Obrigado por assistir ao vídeo. 4. Componentes/módulos do LangChain: Nesta lição, entenderemos quais são os componentes do lang chin Também os considere como os módulos do lang chin. Vamos ver para criar fluxos de trabalho complexos, incluindo LLMs, Lang chin forneceu alguns componentes Deixe-nos vê-los. O primeiro é o pré-processamento Como o nome sugere, ele prepara seus dados brutos, como seus documentos , para que você possa usá-los em qualquer fluxo de trabalho Também inclui a tarefa de dividir o texto em partes, limpar os dados Depois vêm seus modelos. Esses são seus LLMs, ou seja, grandes modelos de linguagem ou até mesmo os modelos de incorporação. Você já deve ter ouvido falar sobre o GPT, que também combina com modelos faciais, mas também inclui seus modelos personalizados e ajustados Em seguida, vem o componente de prompts. Essas são suas perguntas sobre instruções ou considere-as como a entrada, que é fornecida ao LLM para gerar respostas Essas são as instruções que você digita no Chat GBT. Ele pode ser estático ou gerado dinamicamente com base no contexto ou na entrada do usuário Depois vem a memória. Como o nome sugere, ele armazena e recupera como seu histórico de bate-papo Ele também permite que os aplicativos mantenham a continuidade e o reconhecimento do contexto Mudança, como discutimos anteriormente, é combinar vários componentes em uma sequência de etapas. A ideia é passar a saída de um componente como entrada para o próximo, formando um fluxo de trabalho estruturado. Com isso, você pode facilmente contornar fluxos de trabalho complexos, como resposta diária, geração de texto, resumo, etc Índices, essas são as ferramentas para organizar e recuperar dados Você pode relacioná-lo com uma definição leiga de índices, por que usamos índices para que possamos recuperar Além disso, você pode habilitar facilmente recuperação rápida de informações relevantes Agentes, esses são os sistemas que usam LLMs para decidir ações e interagir com ferramentas externas ou APIs Com isso, você pode realizar tarefas como chamar APIs, enfileirar o banco de dados e outras Então, pessoal, vimos quais são os componentes da cadeia de Lang. Nas próximas aulas, vamos discuti-las uma a uma e, depois disso, veremos um exemplo de execução ao vivo da cadeia Lang 5. Componente de pré-processamento do LangChain: Nesta lição, entenderemos o primeiro componente do queixo, que é o pré-processamento. Deixe-nos ver. Como o nome sugere, o processo Lang chin começa com carregadores de documentos e divisores Isso pode incluir documentos PDF. O carregamento e o pré-processamento de dados são o que o componente de pré-processamento inclui Depois disso, a saída é passada para outros componentes, como modelo, índices e cadeias Geralmente, sob os componentes ang chin, esse componente de carregadores de documentos e divisores de texto não está incluído, mas ainda é uma parte essencial do Isso facilita seu trabalho na criação de fluxos de trabalho. Então, por que devemos começar com a etapa do carregador de documentos e divisor de texto, então essa etapa ingestão de dados inclui o ponto de entrada para trazer seus dados externos para trazer seus dados externos A função dos divisores de texto é garantir que seus dados estejam no formato correto para que possam ser facilmente processados pelo modelo, seja ele LLM ou Quando você divide o documento em partes, ele permite o processamento paralelo e a recuperação eficiente Com isso, você também pode obter escalabilidade. Dividir os dados permite lidar com grandes conjuntos de dados. Pessoal, vimos qual é o componente de pré-processamento da cadeia Lang 6. Componente de modelos do LangChain: Nesta lição, entenderemos qual é o componente dos modelos da cadeia de Lang. Deixe-nos ver. Modelos, como o nome sugere, se referem aos seus LLMs, ou seja, grandes modelos de linguagem Também pode incluir seus modelos de incorporação. Esses modelos são, na verdade, responsáveis por gerenciar, entender, gerar e transformar texto com base na entrada recebida Vamos ver os tipos em que os modelos em Lang chin podem incluir LLMs e também podem incluir os modelos de incorporação Alguns dos exemplos de LLMs são os modelos GPT, metas e modelos Lama Eles são o cérebro dos aplicativos lang chain para que você possa realizar geração de texto, resumo de texto, tradução, resolução de problemas Ele tem a capacidade de gerar texto semelhante ao humano. Ele também pode responder íons, resumir o conteúdo e realizar outras operações Em seguida, vêm seus modelos de incorporação. Isso é usado para converter seu texto em representações numéricas. Isso é incorporação. Isso é usado para tarefas como avaliação documentada e agrupamento, para que você possa facilmente permitir que os sistemas encontrem informações relevantes em um ritmo rápido Agora vamos ver por que esses modelos são importantes. Na verdade, eles fornecem a inteligência e são o cérebro por trás das aplicações do queixo de Lang Assim, tarefas como criar conteúdo, resumir texto e responder podem ser Ao combinar o LLM seus modelos de incorporação, cadeia Lang pode ser usada para criar Então, pessoal, vimos qual é o componente dos modelos na cadeia de Lang 7. Componente Prompts do LangChain: Nesta lição, entenderemos qual é o componente de prompts da cadeia de lang. Deixe-nos ver. Portanto, os prompts são basicamente as consultas de entrada, instruções ou contexto que você fornece ao LLM Sempre que você digita um prompt no Chat GPT ou no copilot, isso é o que chamamos de Isso basicamente atua como uma ponte entre o usuário e o LLM e, na verdade, permite que o modelo interprete e responda a uma tarefa específica Qual é o papel das instruções no queixo de Lang? Todos nós sabemos o que é um aviso. Recebemos muitas respostas sobre como digitar instruções no copilot, Claude AI, chat, GPT, Gemini Gemini Mas qual é o papel das instruções no queixo de Lang? Na verdade, ele orienta o LLM ao responder a uma pergunta ou ao resumir Essas solicitações também podem incluir um contexto adicional, como histórico de bate-papo, recuperação de documentos e outros para que a relevância possa ser anunciada e tornar a resposta dos LLMs Com isso, você também pode personalizar seus prompts de acordo com tarefas ou domínios específicos Isso os torna altamente flexíveis. Então, por que os prompts são importantes na cadeia de idiomas, eles realmente determinam como o LLM interpreta e responde Isso ajuda a obter resultados mais precisos e relevantes Se os proms forem bem projetados, podem melhorar significativamente o desempenho das aplicações de cadeia longa Prompts bem projetados ajudam em fluxos de trabalho complexos, como Rag, fóruns de bate-papo Então, pessoal, vimos o que são prompts e o papel do componente prompts na cadeia de lang 8. Componente de memória do LangChain: Nesta lição, entenderemos o componente de memória do lang gin. Deixe-nos ver. Como o nome sugere, a memória se refere à capacidade de armazenar e recuperar o contexto nas interações Assim, o sistema se lembra de entradas, saídas ou outras informações relevantes anteriores ou outras informações relevantes Portanto, existem dois tipos de memória, curto e longo prazo. Como o nome sugere, se o contexto for armazenado durante uma única interação ou sessão, ele é chamado de uma única interação ou sessão, memória de curto prazo, como lembrar apenas o quotien anterior de um usuário em um chatbot, para que o fluxo da conversa Depois vem sua memória de longo prazo. Ele armazena contexto ou dados em várias sessões ou interações, como salvar os dados históricos do que um usuário digita em um chatbot para que respostas personalizadas possam ser geradas Isso também ajuda a salvar as preferências do usuário. Por que a memória é importante? Ele permite facilmente várias interações para que o sistema possa referenciar entradas ou saídas anteriores fácil é o trabalho de fornecer respostas mais relevantes e precisas. Se você está criando agentes conversacionais, assistentes virtuais pessoais , a memória é muito importante Então, pessoal, vimos qual é o componente de memória do lang chin Também vimos os tipos. 9. Componente Chains do LangChain: Nesta lição, entenderemos o componente de cadeias da cadeia lang Portanto, essas são sequências de operações ou etapas que combinam vários componentes. É como passar a saída de um componente como entrada para o próximo, forma que um fluxo de trabalho estruturado seja formado. Aqui estão os dois tipos de cadeias simples e complexas. Quando cada chip é executado um após o outro, ele é chamado de cadeia simples. É como uma sequência linear. Por exemplo, uma cadeia que recupera documentos e depois gera um resumo Depois vêm suas cadeias complexas. Eles não são lineares e podem incluir ramificação, loop ou tomada de decisão Por exemplo, uma cadeia que recupera documentos. Eu também avalia a relevância e gera uma resposta. Por que as correntes são importantes. Eles fornecem uma forma estruturada de organizar fluxos de trabalho complexos Por meio desse recurso, você pode criar facilmente aplicativos complexos. Eles também permitem modularidade e reutilização para que os desenvolvedores possam misturar e combinar componentes para diferentes Então, pessoal, vimos qual é o componente da cadeia do queixo de Lang Obrigado por assistir ao vídeo. 10. Componente de índices do LangChain: Nesta lição, entenderemos quais são os índices componentes de qualquer cadeia. Vamos ver. Se você quiser armazenar dados de uma forma que permita a recuperação rápida e eficiente dos dados, use os índices De forma semelhante, os índices na cadeia de Lang são ferramentas para organizar e armazenar dados que permitem recuperação e pesquisa eficientes Eles facilitam a localização rápida de informações relevantes e atuam como um repositório estruturado para documentos e incorporações Aqui estão os dois tipos de índices, vetoriais e documentos. Os índices vetoriais armazenam representações numéricas. Isso é incorporação de texto. Para permitir a pesquisa semântica e a recuperação baseada em similaridade, como uma biblioteca, a FAI duplica a busca eficiente por similaridade O segundo tipo é documento. Ele armazena documentos brutos ou tanques de texto, como um banco de dados de PDFs ou artigos indexados por título Por que os índices são importantes? Para tarefas baseadas em recuperação, elas são muito importantes e permitem que os sistemas encontrem e usem rapidamente as informações relevantes Eles são importantes para criar aplicativos eficientes e escaláveis Se você está lidando com grandes conjuntos de dados ou consultas complexas , o componente de índice realmente ajuda Gente, vimos quais são os componentes de índice de qualquer cadeia. Também vimos os tipos de índices. 11. Componente Agents do LangChain: Nesta lição, entenderemos o componente de agentes da cadeia de lang. Deixe-nos ver. Os agentes são sistemas baseados em IA que usam LLMs para decidir quais ações tomar Eles atuam como tomadores de decisão inteligentes que interagem dinamicamente com ferramentas, APIs ou fontes de dados para atingir uma meta Aqui estão os dois tipos de agentes ação única e ação múltipla. O agente de ação única executa uma tarefa ou ação específica com base na entrada, como um agente que recupera dados meteorológicos de um APA A segunda é multiação, usando os agentes de ação múltipla, executa facilmente uma sequência de ações, iterativamente, para resolver problemas complexos Como um agente que planeja uma viagem. Então, quais são as coisas necessárias para planejar uma viagem? Assim como um agente está acostumado a reservar voos, hotéis e até mesmo o transporte, por que os agentes são importantes? Eles são importantes porque comportamento autônomo e inteligente está habilitado. Isso permite que o sistema gerencie tarefas complexas de várias etapas sem nenhum fluxo de trabalho predefinido Se você está criando aplicativos que exigem raciocínio, planejamento ou interação com sistemas externos , os agentes são bastante úteis Então, pessoal, vimos o que são agentes em Lang Chin. Também vimos os tipos. Obrigado por assistir ao vídeo. 12. LangChain com RAG — processo: Nesta lição, veremos o processo de qualquer cadeia com RAG Discutiremos passo a passo como a cadeia Lang com o RAG é implementada. Vamos começar. Acabamos de ver a cadeia Lang com o fluxo de trabalho RAG. Vamos apenas usar o mesmo para implementar a cadeia Lang com o RAG O primeiro foram os carregadores de documentos. Eles foram responsáveis por carregar dados de várias fontes externas, como carregar um PDF ou vários PDFs, bancos de dados e outros Então, para esse código interno, usaremos o carregador de PDF Pi para carregar documentos PDF Em seguida, vêm seus divisores de texto. Nisso, dividimos os documentos grandes em menores para que possam ser processados por LLMs Para isso, usamos o divisor de texto recursivo para dividir documentos em partes. Depois vêm os modelos. Esses são os modelos LLM ou modelos de incorporação. Para isso, usamos modelo de incorporação classe de incorporação da fase de abraço para o Isso é usado para configurar o modelo de incorporação. Em nosso caso, usamos os transformadores de frases. Para o LLM, usamos a classe de pipeline de fase de abraço para que possamos configurar o Nesse caso, usamos o seguinte. Em seguida, vem sua solicitação, esta é a entrada que os prompts de querer usam para interagir com o LLM que já discutimos Para isso, criamos uma função personalizada answer underscore qui para que ela receba uma pergunta como entrada e atue como o baile do Depois vem sua memória. Isso serve para armazenar dados ou contextos intermediários. Nessa implementação, não usamos memória, mas os fragmentos de sublinhado vetorial e sublinhado do documento podem ser considerados como Cadeias, esse é um componente que se refere à sequência de operações. O Qchain de recuperação é usado em nosso código para combinar o recuperador e o LLM Índices, a história vetorial de duplas da FAI é usada para indexar os pedaços do Isso ajuda na indexação de documentos para uma recuperação eficiente Agentes, esse componente se refere à entidade tomadora de decisão que interage com o sistema Em nosso código, usamos a classe de sistema RAC local que atua como um agente de alto nível, planejando nosso fluxo Então, pessoal, vimos o processo. Agora, na última lição, veremos o exemplo de codificação e executaremos uma cadeia Lang com o sistema Rack no Google 13. LangChain com RAG — exemplo de programação final: Nesta lição, veremos o exemplo final de codificação para implementar a cadeia de Lang com Rag Veremos o código e também entenderemos as etapas na forma de trechos de código E, no final, também executaremos o código. Faremos o upload de mais de um PDF e resumiremos usando nossa cadeia Lang com o sistema Rag . Vamos começar. Então, aqui está nosso Google Colab, criamos um novo notebook e aqui está nosso código Então, vamos entender o código. Primeiro, instalaremos os pacotes necessários. Espero que você saiba que no Google Collab, usamos o comando a seguir para instalar qualquer biblioteca ou pacote do índice de pacotes do Python Aqui estamos instalando os pacotes necessários, como os transformadores de frases anhain O código então importa vários módulos e classes desses pacotes , como aqui, Ok. Os módulos importados permitem funcionalidades como divisão de texto, carregamento de documentos, incorporação Agora, vamos configurar o registro aqui na etapa dois. Esse código é usado para configurar o módulo de registro em Python A primeira linha aqui define a configuração básica para o módulo de registro. A linha a seguir cria uma instância do registrador. O registrador G retorna uma instância do registrador. Aqui, a seguir está uma variável Python incorporada que contém o nome do módulo atual Na primeira linha, essa função é usada para configurar o módulo de registro. O seguinte define o nível de registro como info. Isso significa que todas as mensagens de registro com um nível de informação ou superior serão processadas. Agora vamos criar uma classe representando um sistema Rag local Vamos agora inicializar o objeto do sistema Rag local usando em Aqui estão os documentos, considere-os como uma lista para armazenar os documentos carregados. A loja Vector Underscore armazena os documentos incorporados. Agora, faremos o upload do PDF da máquina local para colaborar. Os seguintes arquivos de função dot upload são usados para isso. Os nomes dos arquivos enviados são registrados e retornados. Todas as exceções durante o upload são capturadas, registradas e apagadas Ok, o método faz parte de uma classe e usa um registrador para registrar mensagens Ele retorna uma lista que é uma lista de caminhos de PDF enviados. Em seguida, vem a função de carregar documentos com sublinhado. Isso carregará e analisará os documentos PDF. Ele define um método de carregamento de documentos sublinhados para carregar e colar documentos PDF de determinados caminhos de arquivo A seguir, percorre cada caminho de arquivo PDF, tenta carregar o documento usando o carregador de PDF Pi e anexa as páginas carregadas à lista de documentos com pontos próprios Todas as exceções durante o carregamento são registradas e o método continua com o próximo arquivo O número de páginas carregadas para cada arquivo e o número total de páginas são registrados O método atualiza a lista de documentos com pontos próprios com as páginas do documento carregadas. Agora, a próxima etapa para dividir os documentos em partes. Esse método dividirá os documentos carregados em usando o divisor de texto corrigido recursivamente O divisor divide os documentos em partes, que são armazenadas em partes de sublinhado de documentos com pontos próprios Isso está aqui. Ele usa parâmetros opcionais, tamanho do sublinhado do fragmento e sobreposição do sublinhado do fragmento O padrão é 1.000 e um padrão para isso é 200. O número de blocos criados é registrado. Na próxima etapa, configure o modelo de incorporação. Esse código configura o modelo de incorporação usando transformadores faciais que se abraçam Ele usa um modelo opcional, parâmetro de nome de sublinhado. O modelo escolhido é usado para criar uma instância de incorporação facial abraçada O processo de configuração é registrado, incluindo o nome do modelo. Todas as exceções durante a configuração são registradas e apagadas. Em seguida, na próxima etapa, criaremos um armazenamento vetorial a partir dos fragmentos do documento Esse código cria um armazenamento vetorial partir de partes do documento usando o FAI Ws . Ele usa o modelo de incorporação previamente configurado para gerar vetores a partir das partes do documento. O ponto fs do método Underscore Documents ponto fs do método Underscore a partir de partes do documento usando o FAI Ws. Ele usa o modelo de incorporação previamente configurado para gerar vetores a partir das partes do documento. O ponto fs do método Underscore Documents cria o armazenamento vetorial. O processo de criação é registrado e todas as exceções são registradas e apagadas Na próxima etapa, configuraremos um LLM local usando o Hugging Esse código configura um modelo de linguagem local grande usando transformadores faciais que se abraçam Ele carrega um modelo e um tokenizador pré-treinados usando o ID de sublinhado do modelo especificado Um pipeline de geração de texto para texto é criado com o modelo carregado e o tokenizador O pipeline é encapsulado em uma instância de pipeline de fase de abraço e armazenado no SELF dot LLM O processo de configuração é registrado em todas as exceções, o processo de configuração é registrado e todas as exceções são capturadas, registradas e todas as exceções são capturadas, Agora vamos criar um Qchin usando o armazenamento vetorial e o LM. Esse código configura um QA que é uma cadeia de respostas de quociente usando o armazenamento vetorial e o LLM Ele cria uma instância Q de recuperação com o elemento especificado e o vetor armazenado como recuperador O recuperador está configurado para retornar os principais resultados K. O processo de configuração do Qin é bloqueado com o valor de K. Todas as exceções durante a configuração são bloqueadas e Agora, responderemos a uma pergunta usando o sistema AC. O código a seguir define um método para responder a usando um sistema AC. Ele usa um quociente como entrada e usa a cadeia de sublinhados do QA para gerar uma resposta O quociente e a resposta são A resposta é retornada pelo método. Todas as exceções durante o processo de atendimento são detectadas, registradas e apagadas Agora vamos executar o processo completo de configuração. OK. Esse código define um método, execute a configuração de sublinhado para executar o processo completo de configuração de um sistema RAG Ele chama vários métodos em sequência para fazer upload de PDFs, carregar documentos, dividir documentos, configurar incorporações, criar um armazenamento vetorial, configurar um LLM local e configurar um QHN e configurar Esse método usa parâmetros opcionais para personalizar o processo de configuração. A conclusão do processo de configuração é registrada. Todas as exceções durante a configuração são detectadas, registradas e Agora, aqui está o exemplo de uso. Isso cria uma instância do sistema Rag local e executa seu processo de configuração O processo de configuração configura o sistema com parâmetros específicos, como tamanho do bloco e modelo do idioma Depois da configuração, o código faz duas perguntas. O primeiro está aqui e o segundo está aqui e imprime a resposta. As perguntas demonstram a capacidade do sistema de entender o tópico principal e resumir os pontos-chave dos documentos As respostas são geradas com sucesso usando o sistema Rag. Então, aqui está o que eu vou fazer. Vou apenas executar o código completo. Você também pode selecionar o tempo de execução aqui, selecionar alterar o tipo de tempo de execução, selecionar T para GPU e clicar em Salvar Agora vou executá-lo. Vamos esperar. Agora, aqui, vamos fazer o upload dos documentos. Clique em Escolher arquivos. Então, digamos que eu faça o upload em meio a uma amostra de PDF com pontos e certificação Python Vou clicar em Abrir. Agora, enviamos dois documentos. Agora, ele extrairá o resultado. Ele está exibindo os tópicos principais, bem como resumindo os pontos-chave dos documentos Então, nesses caras, podemos trabalhar com Lang chin. Vimos o queixo de Lang com o exemplo Rag. Obrigado por assistir.