Transcrições
1. Introdução: Bem-vindo ao nosso curso sobre avaliação de resultados de grandes modelos de
linguagem Como a IA e o processamento de
linguagem natural influenciam
cada vez mais a tecnologia, uma compreensão profunda
da avaliação de grandes modelos de linguagem é crucial para qualquer desenvolvedor
moderno Orientaremos você sobre métodos
básicos de avaliação, técnicas
avançadas
usando ferramentas como e
métricas
automáticas, site por site, e considerações éticas
no desenvolvimento de IA Este curso enfatiza aplicações
práticas, integrando o julgamento humano
com métodos automáticos e prepara você para tendências
futuras na avaliação de
IA em vários Olá, sou o professor Reza com mais de dez
anos de
experiência docente na área de ciência da computação e inteligência
artificial. Ao fazer meu doutorado, colaborei
com o MIT Media Lab, a
Carnegie Melon University, a HCII, a
Harvard University Harvard e a University of California San Diego. Publiquei em
locais de prestígio, como IAE, Springer Nature Meu trabalho foi apresentado
por vários meios de comunicação,
incluindo o Neck
Web e a CBS News incluindo o Neck
Web e a CBS Este curso é ideal
para você, se você
tiver interesse em
aprender as habilidades para
avaliar os resultados dos
LLMs de forma eficaz, a
fim de aprimorar suas estratégias de
negócios
e inovação pessoal Os objetivos
de aprendizagem deste curso são
compreender os pontos fortes e os desafios das ferramentas de
avaliação do LLM Conheça alguns dos serviços de avaliação de
modelos de IA da Vertex. Otimize a seleção de modelos para se adequar ao seu aplicativo e
prepare-se para o futuro,
entendendo como as ferramentas e
os serviços de
avaliação em evolução podem afetar
o desenvolvimento e a implantação de
grandes modelos de linguagem Para ser bem-sucedido neste curso, você deve ter um conhecimento
básico conceitos
de aprendizado de máquina, incluindo métricas de
avaliação de modelos e familiaridade com LANs
e seus aplicativos Este curso é fornecido
a você em três aulas. Primeira lição, noções básicas sobre métodos de
avaliação de grandes modelos de linguagem Lição dois,
avaliação de LLM sobre IA de vértices e lição três, o futuro dos modelos generativos
de avaliação de IA Ao final deste curso, você obterá uma
compreensão completa da
avaliação dos resultados dos LLMs Você aprende a avaliar
a eficácia e precisão do
conteúdo gerado pelo LLM em vários domínios Conhecer essas habilidades
ajudará você a avaliar a qualidade dos
diferentes modelos de IA. Você poderá selecionar a opção
certa para suas necessidades. Isso permitirá que você
projete, desenvolva e implemente
aplicativos eficazes e eticamente responsáveis para fins pessoais, profissionais e
comerciais. Então, vamos começar e
explorar como a avaliação dos resultados do
LLM pode melhorar a confiabilidade e a
eficácia das soluções de
2. L1V1 Introdução aos LLMs e seus métodos de avaliação: Neste vídeo,
exploraremos o conceito de modelos de linguagem de hospedagem,
ou LNS, para abreviar Imagine um sistema de IA tão
avançado que possa escrever histórias, responder perguntas complexas
e até mesmo manter conversas. Isso não é fascinante? Entender como esses modelos
funcionam e como avaliar sua produção é crucial, pois essas tecnologias estão
remodelando nossas vidas diárias Ao final deste vídeo, você entenderá como os grandes modelos de
linguagem diferem dos modelos
tradicionais de PNL ou de processamento de
linguagem natural Vamos compará-los
em escala e complexidade. Também discutiremos
a importância de métodos de avaliação
confiáveis e as possíveis consequências da avaliação
inadequada em aplicações do mundo
real Grandes modelos de linguagem ou LLMs são um grande avanço na inteligência
artificial Esses modelos aprendem com
grandes quantidades de dados de texto, o que lhes permite entender e criar uma linguagem semelhante à humana. É quase como se eles pudessem pensar de
forma semelhante aos humanos. Os LLMs podem lidar com tarefas muito
mais complexas em comparação com modelos de
linguagem mais simples Eles podem realizar
conversas, resumir textos longos e até criar conteúdo
original Eles fazem tudo isso com um nível
impressionante de fluência e precisão que não
era possível antes O verdadeiro poder dos LLNs
vem de sua profundidade e escala. Ao contrário dos modelos tradicionais de
PNL que funcionam com dados limitados, regras
predefinidas
e se concentram em tarefas específicas, e se concentram em tarefas específicas LLNs são treinados em conjuntos de dados
muito Esses conjuntos de dados contêm
bilhões de palavras. Isso permite que os LLNs
entendam melhor as nuances da linguagem e lidem com
várias tarefas de forma eficaz Os LLNs usam técnicas avançadas de
aprendizado profundo, como arquitetura de
transformadores,
para aprender padrões forma autônoma, sem serem
programados Ao construir uma compreensão profunda da linguagem diretamente dos dados, os LLNs podem ir muito além dos recursos
dos modelos
anteriores, que dependem técnicas
mais simples
e entradas estruturadas Os recursos avançados
dos LLNs permitem que eles executem uma variedade de
tarefas linguísticas simultaneamente, desde a tradução do idioma até a
geração de escrita criativa Eles podem se adaptar a
diferentes contextos e gerar respostas relevantes e coerentes. Isso os diferencia das tecnologias de PNL
anteriores, que normalmente lidam com
textos mais curtos Outra diferença importante é que grandes
redes neurais do
LLM permitem eles mantenham o contexto durante longas conversas
ou documentos Isso foi bastante desafiador para os modelos tradicionais de PNL
anteriores Agora vamos ver por que é importante avaliar
a produção de evidências É importante avaliar os resultados porque
esses modelos estão sendo usados cada vez mais
em áreas em que obter
informações ricas realmente importa Áreas como saúde, direito, atendimento ao cliente,
notícias e educação. Nesses campos, é fundamental que os
resultados sejam precisos, justos e apropriados para
manter a confiança e tornar
essas ferramentas úteis Boas avaliações ajudam a manter as informações confiáveis,
verificando se os LLMs entendem a
entrada corretamente e garantindo que as respostas
estejam corretas e relevantes Também proteja contra os efeitos negativos
de resultados incorretos, como a divulgação de informações erradas ou
enganosas, HA fake news Outra razão pela qual avaliar
LLMs é crucial é porque a saída desses modelos representa o viés nos
dados nos quais eles foram treinados Queremos ter certeza de que
estamos seguindo os padrões éticos. Os LLMs podem amplificar os preconceitos
dos dados nos quais
os treinamos e isso pode levar injustos ou
preconceituosos Boas avaliações podem identificar
e mitigar esses preconceitos, garantindo justiça e Por meio da avaliação,
também podemos verificar se as respostas são apropriadas e
alinhadas às normas sociais, especialmente em interações públicas As avaliações regulares
melhoram esses modelos e incentivam o uso
ético da inteligência
artificial
e ajudam a
construir a confiança do público nas tecnologias
interativas Então, para concluir, neste vídeo, examinamos os conceitos básicos dos
grandes modelos de linguagem
e como eles são diferentes dos modelos
tradicionais de PNL Também conversamos sobre
a importância de
avaliá-los e
aprendemos que
garantir que os resultados do LM
sejam precisos e éticos é fundamental para garantir que funcionem bem em
diferentes aplicações
3. L1V2 - Benefícios e desafios dos métodos de avaliação de LLM: Neste vídeo,
exploraremos as etapas envolvidas na avaliação de
grandes modelos de linguagem Imagine que sua agência de notícias precisa da melhor IA para gerar resumos de
artigos Como você escolhe o certo? Orientaremos você na
definição de metas, na
seleção de métodos, na escolha de conjuntos de dados
e na interpretação dos resultados em um cenário
real Ao final deste vídeo, você entenderá
as etapas e os desafios associados a cada etapa da avaliação de grandes modelos de
linguagem Imagine que você trabalha em uma
agência de notícias que deseja utilizar LLMs para gerar resumos de
uma linha para seus artigos de notícias Para incorporar com sucesso o
LLMs dessa maneira, você tem a tarefa de avaliar vários modelos para determinar
o mais adequado À primeira vista, avaliar LLMs pode parecer simples, mais ou menos semelhante à
avaliação de um modelo tradicional de avaliação Primeiro, você define metas
de avaliação. Em seguida, você escolhe os métodos de
avaliação. A terceira etapa é selecionar os conjuntos de dados
apropriados
e, finalmente, analisar
e interpretar os resultados Então, vamos detalhar
cada uma dessas etapas. Na primeira etapa, você
deseja fazer perguntas como qual tarefa específica
você deseja que o LLM execute Você também quer ver quais métricas são mais
importantes para você, fluência
geral, coerência, precisão
factual Na segunda etapa, você precisa escolher o método
de avaliação. Você pode escolher entre
diferentes métodos como métricas específicas de tarefas, benchmarks de
pesquisa, avaliações baseadas em
LLM
e avaliações humanas com
base em suas metas de avaliação Quanto à seleção do conjunto de dados
apropriado, você deseja definir
um conjunto de dados dourado que se alinhe às suas metas e métricas de
avaliação Um bom lugar para procurar são
os conjuntos de dados de referência que são projetados especificamente
para avaliação de Para analisar e
interpretar os resultados, você deseja combinar resultados
quantitativos e
qualitativos para fornecer
informações abrangentes para sua avaliação Certifique-se de anotar os
pontos fortes e fracos de
cada método de avaliação e forneça uma justificativa
para sua conclusão Então, espero que isso também pareça uma boa abordagem para
avaliar LLMs No entanto, também existem vários desafios
nesse processo, especialmente quando se trata da avaliação dos
resultados desses LLS O primeiro desafio é
definir as metas de avaliação. Em nosso exemplo, definir metas de
avaliação para LLMs em tarefas
como resumir artigos de
notícias é
um desafio devido à natureza subjetiva do que
constitui É difícil confiar
em um número limitado de métricas para avaliar a
qualidade de uma produção. Além disso, na escolha dos métodos de
avaliação, há restrições de tempo e
recursos Será
computacionalmente caro e demorado experimentar
vários métodos de avaliação Além disso, novos métodos de avaliação estão sendo introduzidos com
muita frequência , o que torna
difícil decidir qual método é o
melhor para nosso caso de uso. Ao selecionar conjuntos de dados
apropriados, o tamanho e a qualidade dos conjuntos de dados
disponíveis
podem representar desafios Em modelos preditivos,
sabemos que os grandes
conjuntos de dados com o mínimo de ruído
levam a um melhor desempenho Mas no mundo dos modelos
generativos, ainda não
temos certeza de qual tamanho e qualidade do conjunto de dados são E, finalmente, ao analisar
e interpretar os resultados, podem surgir
desafios na
explicabilidade, especialmente ao lidar com métodos de avaliação
mais Ainda não temos uma forma
padrão de interpretar os resultados ou avaliar a confiabilidade desses métodos de
avaliação Concluindo, este
vídeo abordou as etapas
e os desafios essenciais envolvidos na avaliação de
grandes modelos de linguagem Analisamos essas
avaliações para tarefas como resumir artigos de
notícias Exploramos como definir metas
claras de avaliação, escolher os métodos de
avaliação corretos, selecionar conjuntos de dados apropriados e
interpretar os resultados com eficácia Cada etapa apresenta desafios
distintos que devem ser
cuidadosamente gerenciados para garantir a
integração bem-sucedida de grandes modelos de linguagem em aplicativos do mundo
real.
4. L1V3 LLM - avaliação na Vertex AI: Neste vídeo,
exploraremos as ferramentas que o Vertex AI oferece para
avaliar resultados de grandes modelos de
linguagem Imagine avaliar modelos de
IA com ferramentas que destacam a
precisão e a imparcialidade Essas ferramentas permitem
descobrir preconceitos
ocultos e comparar desempenhos
ocultos lado a
lado Também exploramos alguns
insights para tornar seus modelos de IA não apenas
eficazes, mas também éticos. Ao final deste vídeo, você saberá como usar o
Vertex AI de
forma eficaz para avaliar
a saída de grandes modelos de
linguagem Como mencionamos anteriormente,
neste curso, usaremos o Google
Cloud como um exemplo de plataforma que fornece
ferramentas para avaliação de LLM IA de vértice do Google
pode ajudar você a avaliar todo
o ciclo de vida de um grande modelo
de linguagem, do início ao fim Na IA de vértice, você pode
criar protótipos, personalizar, avaliar e implantar modelos de muitas tarefas diferentes e
em diferentes No entanto, para o
propósito deste curso, focaremos apenas nos recursos de avaliação
que
a IA de vértices fornece Alguns dos recursos
disponíveis no Vertex AI para ajudar a agilizar o processo de
avaliação incluem métricas automáticas, que usam dados de referência para calcular métricas específicas da tarefa Auto site por site, que imita a
avaliação humana comparando o desempenho de dois modelos
com um modelo árbitro. E o viés de segurança,
que destaca os preconceitos dos modelos contra
um determinado grupo de identidade Na segunda lição,
vamos nos aprofundar nas métricas
automáticas e
nas métricas automáticas lado a lado. Na lição três, também
abordaremos brevemente o viés de segurança. Por enquanto, vamos examinar cada um desses três métodos de
avaliação. As métricas automáticas na avaliação de
IA são medidas
quantitativas usadas para avaliar o desempenho
dos modelos, especialmente em tarefas como geração de
texto ou tradução
automática. Eles geralmente são rápidos, eficientes e podem fazer parte de
um método padronizado usado na academia e na indústria para
comparar diferentes romances Algumas das métricas
automáticas mais comuns incluem avaliação
azul ou bilíngue, que mede quantas
palavras e frases em uma tradução gerada por máquina
correspondem a uma tradução correspondem Também temos Rouge ou orientado ao
recall
para avaliação de sting, que é outra métrica
usada para avaliar o resumo do
texto contando resumo do
texto contando as
unidades sobrepostas, como gramas, sequências de palavras e pares de
palavras, entre
o resumo
gerado por computador e resumo
gerado por computador um substituto orientado ao
recall
para avaliação de sting,
que é outra métrica
usada para avaliar o resumo do
texto contando
as
unidades sobrepostas, como gramas, sequências de palavras e pares de
palavras, entre
o resumo
gerado por computador e
um conjunto de resumos de referência. Há também o Auto Side by Side, que é uma ferramenta usada para avaliação
automática lado a lado de modelos de IA,
particularmente modelos generativos de IA
no registro de modelos de IA de vértice Essa ferramenta permite a comparação do desempenho
de diferentes modelos, fornecendo informações
sobre qual modelo tem melhor desempenho e sob
quais circunstâncias. Auto side by side
visa fornecer métricas de desempenho
consistentes que se alinham às avaliações humanas, mas oferece as vantagens
de ser
mais rápido, econômico e
disponível sob demanda Por último, mas não menos importante, a IA de vértice também fornece avaliação de
viés de segurança Essa avaliação verifica
e modela os resultados busca de preconceitos contra
grupos de identidade, como gênero Esta análise visa garantir
que a produção do
LLN não perpetre
estereótipos prejudiciais ou perpetre
estereótipos prejudiciais ou
tratamento injusto em relação a nenhum grupo. Concluindo, a IA de vértice do Google
Cloud fornece ferramentas abrangentes para avaliar modelos de
linguagem de hospedagem, com foco em
métricas de desempenho e viés de segurança Métricas automáticas como Blue
e rouge oferecem maneiras padronizadas, rápidas e eficientes de
avaliar os resultados do modelo em
relação aos avaliar os resultados do modelo em
relação Auto site by site compara
dois modelos lado a lado, imitando o
julgamento humano, mas com os benefícios de velocidade
e eficiência de custos Além disso, o
viés de segurança verifica a justiça entre grupos de
identidade, como gênero, para garantir
que os LLNs não reforcem estereótipos
prejudiciais Essa abordagem holística de avaliação
permite que os desenvolvedores refinem os LLNs
alinhando-os aos padrões
éticos e às expectativas da
sociedade em relação sociedade
5. L2V1 - Métricas automáticas: Neste vídeo, daremos uma
olhada nas métricas automáticas e entenderemos seu papel na avaliação dos modelos
linguísticos das lojas Imagine um desenvolvedor enfrentando dificuldades com o desempenho
de seu modelo de IA. Eles passam horas testando e ajustando o
modelo sem ter nenhum feedback claro sobre o efeito de seus ajustes
no resultado do LLM Acredito que a maioria de
vocês que está fazendo este curso já sabe o quão
frustrante isso pode ser Mas e se eu dissesse que
existem ferramentas que nos fornecem dados de desempenho
precisos e destacam as
áreas exatas de melhoria. Ao final deste vídeo, você entenderá as
várias métricas automáticas usadas na avaliação do LLM, por que elas são usadas e
como elas podem orientar o refinamento do
desempenho do modelo para diferentes tarefas Eles podem ser classificação, resumo, geração de texto
ou qualquer coisa parecida Portanto, as métricas automáticas fornecem uma maneira rápida e econômica de
avaliar o desempenho do seu
modelo usando uma variedade de métricas
específicas de tarefas. Essa abordagem avalia os
modelos com base nos pares
de solicitação de entrada e resposta de
saída, permitindo que você
avalie rapidamente sua eficácia As métricas automáticas são
uma metodologia padrão amplamente usada em pesquisas acadêmicas e em muitos benchmarks abertos Eles utilizam métricas comumente
aceitas para várias tarefas gerais de IA, tornando os resultados comparáveis em diferentes estudos e plataformas. O processo de avaliação
envolve o ajuste de um conjunto de dados de avaliação
no modelo para gerar resultados de
previsão Esses resultados são
então avaliados usando as
métricas de avaliação selecionadas para medir o desempenho do modelo
na tarefa específica em questão. Ao aproveitar as métricas automáticas, você pode avaliar com eficiência recursos do
seu modelo
e identificar áreas de melhoria sem a necessidade de uma ampla revisão
manual No momento, os
modelos disponíveis no Vertex AI incluem versões básicas e ajustadas das versões Palm
Takes Bison As tarefas suportadas incluem
classificação,
resumo, resposta a perguntas e geração de texto Há pelo menos uma métrica
para cada uma dessas tarefas. Cada tarefa tem uma
métrica específica para garantir a precisão. pontuações do microfone e do medem a
precisão geral da classificação Por classe F, é
avaliado por categoria. Rouge L avalia a
proximidade do resumo de uma referência,
enquanto a correspondência exata pontua azul mede a precisão da geração de texto em relação a
um padrão humano. Usar métricas automáticas é
bem simples. Primeiro, preparamos o
conjunto de dados de avaliação com pares de entrada/saída Em seguida, enviamos o conjunto de dados para o
Google Clouds and Storage. Por fim, realizamos a avaliação do
modelo
usando a biblioteca Vertex AI
Python para enviar o trabalho No próximo vídeo,
mostrarei uma demonstração de como executar
cada uma dessas etapas. Mas, por enquanto, vamos analisá-lo
rapidamente. Para o conjunto de dados,
você deve fornecer ao prompt
instruções e contexto, bem
como uma verdade básica, que será usada junto com as
respostas geradas para calcular métricas relacionadas
à tarefa selecionada É uma boa ideia oferecer pelo
menos dez exemplos semelhantes à forma como o
aplicativo será usado. Depois de
preparar seu conjunto e enviá-lo para o
Google Cloud Storage, vertex AI tem um modelo para o pipeline de
avaliação do modelo Os parâmetros para executar o pipeline de avaliação incluem a localização do conjunto de dados de
avaliação, a tarefa que será executada e o modelo que deve
ser utilizado para a Com esses parâmetros, você pode então executar o trabalho do pipeline
de avaliação do modelo. Veremos uma demonstração da execução de uma tarefa de avaliação
no próximo vídeo. Concluindo, neste vídeo, examinamos as
métricas automáticas na IA de vértice, uma abordagem eficiente e
padronizada para avaliar Exploramos os modelos e tarefas
suportados, entendemos a aplicação
de cada métrica de avaliação e descrevemos o processo de
preparação e execução de um pipeline de avaliação Por meio dessas métricas, você pode medir e refinar
objetivamente desempenho
do
seu modelo para
garantir que ele atenda às demandas dos aplicativos
do mundo real
6. L2V2 - Demonstração de métricas automáticas: Neste vídeo,
veremos uma
demonstração ao vivo do uso do SDK de avaliação
rápida para avaliar a saída
do Gemini e do
LLM desenvolvidos Por meio dessa demonstração,
você verá em primeira mão como aplicar
métricas automáticas
para avaliar a produção do
seu modelo
e entender
os pontos fortes e fracos
dos diferentes modelos de Ao final deste vídeo, você saberá exatamente como usar o SDK de avaliação rápida para
avaliar a saída de um LLM Abordaremos
o carregamento do seu conjunto de dados, início da avaliação do modelo, aplicação de
métricas automáticas e
a interpretação dos resultados para obter informações sobre o desempenho do seu
modelo Vamos ver a demonstração. O
link para este tutorial é fornecido para que você mesmo possa executar
a avaliação. Nesta demonstração, veremos como usar
a ferramenta de avaliação rápida para analisar o
desempenho de um LLM Esta demonstração usará o notebook
Google Callb para orientá-lo no uso
da avaliação rápida Começaremos primeiro preparando os componentes necessários
para executar essa ferramenta. Primeiro, criaremos uma conta
do Google Cloud. Na criação da conta, você
será direcionado para o
Google Gmail e a senha Depois de criar a conta, você verá uma
tela de saudação semelhante a esta Abra a guia do menu à
esquerda e selecione Faturamento. A partir daí, você
precisará ativar o faturamento. Você precisa colocar um cartão de crédito
ou débito
para ativar o faturamento.
Mas não se preocupe. haverá um
crédito no valor de $300 início, haverá um
crédito no valor de $300 para
qualquer pessoa Portanto, você não precisa gastar dinheiro para executar esta demonstração. Depois, você
abre a guia do menu novamente e seleciona APIs e
serviços na tela Você clicará no
menu suspenso que diz biblioteca e pesquisará
a palavra Vertex Em seguida, você clicará em
Ativar para permitir que a API seja visualizada. Por fim, você
criará um projeto no Google Cloud neste
menu suspenso aqui no Clique nele e você
seleciona um novo projeto. A partir daí, o Google orientará você na criação
do primeiro projeto. Depois de criar
o primeiro projeto, você verá que há uma ID exclusiva
associada ao projeto. Certifique-se de salvar o ID, pois isso é necessário para a tarefa
de avaliação. Agora estamos
prontos para começar a configuração. Comece executando a
primeira célula aqui embaixo. Agora vamos
executar o pacote para executar a avaliação rápida. Observe que talvez seja
necessário reiniciar o kernel para que o
pacote seja reconhecido Em seguida, executaremos essa
célula para autenticar. Use o ID do projeto que você viu anteriormente e cole-o na variável
do ID do projeto. Quanto à localização, esta demonstração
usará o US Central V. Você pode
pesquisar os locais de suporte
para essa variável. Você receberá uma janela pop-up indicando que precisa
fazer login no Google. Aqui você pode fazer login usando
sua conta do Google Cloud. Em seguida, ele solicitará que
você acesse determinados recursos que você
permitirá e continuará. Você deve terminar com uma página indicando que
você se
autenticou com sucesso no Google Cloud e , em seguida, poderá
voltar para a Rede Em seguida, configuraremos as informações do projeto do Google
Cloud e inicializaremos o Vertex
AISDK usando Depois de configurar o ID e a localização
do projeto, execute a célula, que
inicializará o vértice AISDK Em seguida, importaremos as bibliotecas
necessárias. Execute a célula para obter todas
as bibliotecas necessárias. Observe que as
bibliotecas principais estão listadas abaixo, que são as que
processam as informações. Em seguida, execute a célula de
configuração da biblioteca e as funções
auxiliares Observe que essas células servem para formatar informações
e ajustar a configuração de avisos
e registros, bem como
para e registros, bem como Agora estamos prontos para executar
o trabalho de avaliação. Antes disso, vamos examinar os requisitos necessários
para executar essa avaliação. Primeiro, precisamos dos dados
que estão sendo avaliados. Para formatar adequadamente os dados
para a tarefa de avaliação, criaremos o quadro de dados do
pandas usando matrizes de dados
armazenadas em um No dicionário, você
pode ter uma instrução, um contexto, uma referência, uma previsão e uma resposta. Cada valor de índice corresponde
à outra matriz com
o mesmo valor de índice. Por exemplo, o índice zero
e a matriz de resposta correspondem à outra
matriz, índice zero e assim por diante. Nesta demonstração,
usaremos duas linhas de dados. Insira esses dados como uma
matriz em um dicionário, que deve ser convertido em um quadro
de dados do pandas Em seguida, decidiremos quais métricas escolher
para avaliar
as respostas As respostas são medidas por várias métricas automáticas fornecidas pela
ferramenta de avaliação rápida. Aqui, podemos ver todas
as métricas possíveis na coluna central, junto com o tipo
de medidas à esquerda e a entrada necessária do
quadro de dados à direita. Por exemplo, a coerência mede a capacidade do modelo de produzir uma resposta clara e sólida cumprimento mede o quão bem
o modelo respondeu e completou as instruções fornecidas com uma previsão predeterminada, e Blue e Rouge comparam
a semelhança entre a previsão de referência fornecida
e
a resposta em Você pode analisar essas métricas por conta própria, se
estiver interessado. Depois de selecionar as métricas, você deseja medir a entrada, cada um dos nomes das métricas e
inserir as matrizes mostradas aqui Você também inserirá o conjunto de dados de
avaliação no argumento
do conjunto de dados necessário e fornecerá um nome
para o experimento No último segmento da célula, executamos a tarefa de
avaliação real. Ao executar a célula, você verá que um
experimento foi criado. Clicar no botão Exibir
experimento será redirecionado para o Google Cloud, onde você poderá ver o status do pipeline de
avaliação O tempo necessário para a tarefa de
avaliação depende
do número de métricas, pois mais métricas levam mais
tempo para serem concluídas. Concluindo, vimos
como o
SDK de avaliação rápida facilita a avaliação
de modelos generativos de IA, fornecendo uma
maneira eficiente de analisar desempenho do
modelo por meio Essa abordagem ajuda a identificar
pontos fortes e fracos, garantindo que seu modelo
atenda aos padrões esperados para aplicações do mundo
real
7. L2V3 - AutoSxS: Neste vídeo, analisaremos de perto o
Auto side by side, uma ferramenta de avaliação comparativa
para grandes modelos de linguagem Imagine trabalhar em um projeto de
IA em que você precisa escolher o melhor
modelo para resumir. Sem comparações claras, parece que o cachorro está
adivinhando. boa notícia é que, com o
autost by side, você pode realizar avaliações
lado a lado das saídas
de dois Ao final deste vídeo, você poderá entender
como o Auto side by side funciona, o papel do atorador e como usá-lo para
comparar as saídas do modelo Você obterá insights sobre a
avaliação de LLMs com uma compreensão clara do que torna a resposta de um modelo
melhor do que a Auto side by side é uma ferramenta de avaliação que
compara dois LLMs lado a lado Ele utiliza um aerador ou um modelo de avaliação para
determinar a melhor
resposta a uma solicitação Usando essa ferramenta, você pode
avaliar o desempenho de
qualquer modelo generativo de IA para uso
resumidos e de
respostas a perguntas Auto site by site também fornece explicações e
pontuações de certeza para cada decisão No centro do
autost by side está o autoator, o que torna possível essa avaliação comparativa O autoator é uma LAN projetada
especificamente
para avaliar a qualidade
das respostas geradas por outros modelos quando recebem um prompt de inferência
original Auto side by Side pode avaliar qualquer modelo com
previsões pré-geradas e
gerar respostas automaticamente para qualquer modelo no registro de modelos de IA de vértice que ofereça suporte Atualmente, ele pode avaliar
o desempenho de modelos em tarefas de resumo e resposta
a perguntas Para cada avaliação lado a
lado, a avaliação automática lado a lado emprega critérios de avaliação
predefinidos Por exemplo, alguns critérios
de resumo incluem o quão bem o modelo
segue as instruções imediatas Quão fundamentada está a resposta no contexto
de inferência
e Até que ponto o modelo
captura os principais detalhes do resumo e quão
concisa é a resposta Usar o automático lado a lado é
bastante simples. Primeiro, preparamos um conjunto
de dados de solicitações, contextos
e respostas
geradas correspondentes, e respostas
geradas correspondentes, somente se forem necessárias solicitações de entrada Em seguida, armazenamos o conjunto
de dados de avaliação no Google Clouds of Storage
ou em uma tabela do Big Query Em seguida, realizamos a avaliação do modelo
executando o trabalho do
pipeline de avaliação. No próximo vídeo, você verá uma demonstração do autoste
by side in action, comparando o Gemini Pro com outro LLM para uma Mas antes disso, deixe-me explicar como cada uma
dessas etapas funciona. O Auto site by site aceita um
único conjunto de dados de avaliação. O conjunto de dados deve incluir pelo
menos um exemplo, mas para uma tarefa de avaliação adequada, algo em torno de 400 a 600
exemplos são recomendados Cada exemplo exclusivo tem uma ID exclusiva e inclui
conteúdo e respostas. Também podemos adicionar uma coluna
adicional para levar
em consideração as preferências humanas. Em seguida, devemos definir parâmetros para realizar
a avaliação do modelo. Por exemplo, em uma avaliação de modelo
sem preferência humana, os parâmetros podem especificar
o conjunto de dados de avaliação, as colunas a serem usadas, a
tarefa, por exemplo,
resumo ou
resposta a perguntas, e parâmetros de
solicitação do operador, como
o contexto de inferência e as instruções as Também devemos fornecer
as colunas contendo previsões
predefinidas
para calcular a métrica de
avaliação Depois de definir nossos parâmetros, podemos iniciar um trabalho de pipeline de
avaliação usando um modelo
fornecido pelo Google Os valores dos parâmetros são passados para configurar
o trabalho do pipeline. Auto side by Side
utiliza o Vertex AI Python SDK para Depois de concluir com êxito uma avaliação automática lado a lado, você pode ver os resultados da
avaliação. Auto site by side gera três tipos principais de resultados de
avaliação, tabela de
julgamentos, métricas
agregadas e matriz de alinhamento, se a
preferência humana for fornecida tabela de julgamentos indica
a resposta superior e cada escolha é acompanhada
por uma pontuação de confiança, que é um valor de 0 Os
julgamentos automáticos lado a lado incluem uma explicação de cada uma das
opções de aeradores Auto side by Side pode gerar e comparar várias saídas para uma determinada tarefa para
selecionar a resposta considerada melhor com base em
critérios como coerência, fluxo
lógico e
captura Por exemplo, ao escolher entre a resposta
A e a resposta B, o aerador pode explicar que, embora ambas forneçam
bons resumos, resposta B faz um trabalho um pouco
melhor ao capturar
a história geral de uma forma mais coerente e
organizada, em uma forma mais coerente e
organizada, comparação com a resposta mais focada em
estatísticas A. O lado a lado
automático também fornece métricas agregadas Essas métricas de taxa de vitórias são derivadas
da tabela de julgamento como uma porcentagem de vezes o operador preferiu um
modelo em vez do Essas métricas ajudam a identificar
rapidamente
o modelo superior. Além disso, como mencionei anteriormente, lado a lado
automático permite
a validação de julgamentos
com a preferência humana Isso significa que é possível fornecer informações e
parâmetros
adicionais dentro do
pipeline de avaliação
lado a lado. Para fazer isso,
no conjunto de dados, uma coluna deve ser adicionada de acordo com
a preferência humana Também precisamos definir a coluna de preferência
humana
dentro dos parâmetros. O resto do processo
continua o mesmo. Incluir a
preferência humana resulta em métricas
adicionais para o alinhamento das preferências
humanas O resultado inclui todas
as métricas regulares, mas também inclui uma taxa de vitória da preferência
humana
junto com a taxa de vitória do
externo
e uma pontuação do Chenes Cape,
que indica o nível de
concordância entre o operador e o
avaliador e uma pontuação do Chenes Cape, que indica o nível de
concordância entre o operador e o Novamente, esse é um valor de 0-1, com zero sendo escolha aleatória e
um sendo concordância perfeita Em conclusão, o Auto Side by Side se destaca como uma ferramenta
inovadora em IA de
vértice para avaliar e comparar o desempenho
de modelos generativos de Vimos como isso traz precisão ao processo de
avaliação com comparações
lado a lado e recursos
explicativos detalhados Ele simplifica a avaliação
de LLNs, garantindo que o modelo de melhor desempenho possa ser identificado com base em critérios específicos da
tarefa
8. L2V4 - Demonstração de AutoSxS: Neste vídeo,
demonstraremos como usar o Auto
site a site dentro da IA de vértice para avaliar o modelo Gemini em
relação a outro Este guia prático
mostrará cada etapa da configuração e execução de uma avaliação usando as ferramentas fornecidas pelo
Google Cloud Platform. Ao final deste vídeo, você entenderá como
navegar pela ferramenta autoste
by side, configurar seus conjuntos de dados de avaliação e interpretar os resultados
da análise comparativa autoste por site Isso o equipará com
as habilidades para
avaliar com eficácia o desempenho dos modelos generativos
de IA Agora vamos começar a demonstração. O link para este tutorial é fornecido para que você mesmo possa executar
a avaliação. Nesta demonstração, veremos como
usar o Auto lado a
lado para avaliar e comparar o desempenho de
grandes modelos de linguagem. Para começar, primeiro instalaremos o seguinte pacote
executando este comando. Usaremos esse pacote para chamar a API do Google Club. Depois de executar o comando, certifique-se de
reiniciar o tempo
de execução para usar o pacote
recém-instalado. Uma célula foi fornecida para o usuário reiniciar o tempo de execução. Depois de
executar a célula com sucesso, você receberá um
pop-up indicando que o kernel morreu e
será reiniciado automaticamente Agora vamos configurar os componentes
necessários. Primeiro, criaremos uma conta
do Google Cloud. Na geração da conta, ele solicitará seu
Gmail e sua senha Depois de
criar a conta, você será recebido com
uma tela semelhante a esta Abra a guia do menu à
esquerda e selecione Faturamento. A partir daí, você
precisará ativar o faturamento. Você precisaria inserir um cartão de crédito ou débito
para ativar o faturamento,
mas haverá um
crédito no valor de $300 ,
então não se preocupe com Depois, você
abrirá a guia do menu novamente e selecionará
APIs e serviços Clique na biblioteca e
pesquise a API Vertex AI. Em seguida, você clicará em Ativar para permitir que
a API seja usada. Em seguida, você criará um
projeto no Google Cloud. Clique no menu suspenso
no canto superior esquerdo e
selecione novo projeto. A partir daí, o Google orientará você na criação
do primeiro projeto. Por fim, abra a guia do menu
novamente e selecione IAM e Admin. Você verá o projeto
recém-criado. Clique em Conceder acesso e,
na entrada principal o nome do diretor do seu projeto criado e,
no menu suspenso de rolos, pesquise no objeto de filtro Aqui, você verá
a opção administrador do
ambiente e do
objeto de armazenamento. Adicione isso ao
principal e salve. É assim que deve ser a função de administrador
de objetos de armazenamento.
Agora estamos prontos para começar. Como estamos trabalhando no
Vertex AI Workbench, você não precisa realizar
nenhuma etapa adicional Para começar,
definiremos o ID do projeto. Você pode encontrar o ID do projeto
voltando ao
menu suspenso do projeto e encontrando a
coluna onde ele exibe o ID. Nesse caso, esse é
o ID do projeto. Execute a célula depois alterar o ID para o ID do
seu projeto. Em seguida, definiremos a região. Nesta demonstração, a região
está configurada para o título central dos EUA. Agora, execute o bloco de células. Agora vamos gerar
um UUID aleatório. Isso será usado para identificar
o projeto de
forma exclusiva e evitar
possíveis colisões de nomes Agora usaremos o UUID para criar um nome de URI de bucket exclusivo Agora vamos prosseguir com a
configuração do processo. Primeiro, importaremos as bibliotecas e
definiremos nossas constantes. Também definiremos nossos ajudantes. Em seguida, inicializaremos o vértice AISDK
fornecendo o ID do projeto, a
região e o URI do nosso bucket Conforme definimos
em nossas constantes, compararemos um
conjunto de dados do Gemini com outro LLM, um produzindo a resposta A
e o outro a resposta B. Cada linha dos dados contém
um ID e um documento para
resumir , e as
duas versões da resposta
ao Podemos dar uma
olhada nisso usando Pandas para ler o
JSON e Em seguida, executaremos o trabalho de avaliação do
modelo. Aqui estão os parâmetros
exigidos pelo pipeline. O conjunto de dados de avaliação para
indicar a localização dos dados, colunas de
ID para distinguir exemplos de
avaliação
que são exclusivos, que são
campos de ID e documento neste caso A próxima é a tarefa. A tarefa que estamos avaliando
é a sumarização. E há os parâmetros do
prompt do operador, que são usados para
configurar o comportamento da tarefa do operador, como definir o contexto
e as instruções. Em seguida, você precisará fornecer
à coluna de resposta A e à coluna de resposta B os nomes das colunas que contêm previsões
predefinidas
para calcular as métricas de
avaliação Nesse caso, é a resposta A e a
resposta B. Depois de definirmos os parâmetros de
avaliação do modelo, agora
podemos executar o trabalho do pipeline de
avaliação do modelo com esse determinado modelo usando
o Vertex AI Python SDK Deixe isso funcionar, pois a
tubulação pode demorar um pouco para terminar. Você pode clicar no link para ver o pipeline em ação na plataforma
Google Cloud. É assim que seu
funil se parece. Depois que a
execução da tubulação for concluída, você poderá usar o segmento de código abaixo para ver o julgamento de cada resposta e como ela se compara de
acordo com o aerador Ele oferece informações
como explicações sobre as preferências e
a
pontuação de confiança do aerador Em seguida, também podemos mostrar as métricas agregadas usando
os segmentos de código abaixo. Isso é bastante
útil para determinar qual modelo é melhor no
contexto da tarefa em questão. O aerador também apoia preferência
humana para validar a avaliação
do aerador Agora usaremos o outro URI, que inclui uma coluna adicional de preferência
humana. No parâmetro de
requisitos do pipeline, agora
incluiremos a
coluna de preferência humana e executaremos a mesma tarefa de execução do pipeline
com a nova coluna de dados. Agora podemos obter as métricas agregadas
alinhadas ao ser humano. Novamente, é assim que o pipeline se parece no Google Cloud. Usando os segmentos de código abaixo, obtemos o desempenho
do aerador automático lado a
lado com base na preferência de um ser humano Por fim, limparemos
os recursos do Google Cloud. Podemos executar a célula abaixo e ela limpará todos
os recursos que usamos
neste projeto. Em conclusão, esta
demonstração ilustrou as aplicações práticas
do autoste by site na avaliação do modelo
gemini no vértice Percorremos
o processo de configuração, demonstramos como
configurar e executar a avaliação e interpretamos
o resultado comparativo Essa
abordagem prática garante que você possa
aproveitar efetivamente o autoset by site para avaliar e aprimorar o desempenho de modelos
generativos de IA, o
que, por sua vez, ajuda a tornar suas soluções de IA mais
robustas e confiáveis
9. L3V1 - Modelos de avaliação baseados em texto parte1: Neste vídeo, exploraremos modelos
básicos de
avaliação baseados em texto para LNS, como meteoro e
perplexity, juntamente com métricas de avaliação de perplexity Você sabia que
modelos tendenciosos de IA podem impactar negativamente aplicativos em áreas críticas como aprovações de empréstimos
e decisões de contratação Usando meteoros e perplexidade, você pode mitigar
os riscos desses preconceitos garantindo que seus modelos Ao final deste vídeo, você entenderá como diferentes métricas de
avaliação, como meteoros e perplexidade, funcionam
e Você também aprenderá sobre a importância das
métricas de furness para garantir
que os aplicativos de IA tratem que os aplicativos de IA tratem todos os
grupos demográficos O meteoro ou métrica para avaliação da tradução
com ordenação explícita melhora as
métricas anteriores, como o azul, ao considerar sinônimos,
paráfrases Ele avalia a
qualidade da tradução com
base na precisão, fluência
e intenção literais, o que o
torna valioso para aplicativos que exigem Vamos considerar um exemplo
prático para entender como o meteoro Imagine que temos duas traduções
da frase em inglês, a rápida raposa marrom
pula sobre o cachorro preguiçoso Meteor pontuaria a tradução A mais do que a tradução B. Embora ambas as traduções
transmitam significados semelhantes, tradução A mantém
uma estrutura mais precisa e
fluente com o uso adequado de sinônimos, saltos saltos e rápida por rápida O Meteor avalia
essas traduções analisando a ordem das palavras, a sinonímia e a semelhança
semântica geral com o analisando a ordem das palavras, a
sinonímia e a semelhança
semântica geral com o texto de referência. Isso enfatiza a fluência
e a
compreensibilidade das traduções e perplexidade é outra
medida usada para avaliar modelos de
linguagem
avaliando o quão bem um modelo pode prever
uma É baseado na distribuição de
probabilidade, o modelo atribui a uma
sequência de palavras com valores
mais baixos, indicando que o modelo prevê a
sequência com mais precisão A perplexidade essencialmente
quantifica a incerteza
do modelo Ele fornece um indicador
de sua eficácia nas tarefas de compreensão
e geração de idiomas Vamos dar uma olhada em um exemplo. Considere um modelo encarregado prever a próxima
palavra na frase,
o gato sentado no o gato sentado no Suponha que nosso modelo preveja quatro
conclusões possíveis: Matt,
janela, carro e lua, com probabilidades
respectivas
de 0,5, 0,2, 0,2 e probabilidades
respectivas
de 0,5 A perplexidade do modelo
para essa predição pode ser calculada tomando o inverso da probabilidade
da palavra correta,
mat, neste caso, elevada
à potência Aqui, a perplexidade seria
duas que indicariam uma incerteza relativamente
baixa Valores mais baixos de perplexidade demonstram a confiança e a
precisão do modelo em suas previsões, sugerindo uma melhor
compreensão do contexto que
o CAT
define no Também temos métricas de
avaliação de imparcialidade, que são ferramentas essenciais
usadas para avaliar se modelos de
IA funcionam de forma equitativa em diferentes Essas métricas ajudam a
identificar vieses nas previsões do
modelo que podem
prejudicar determinados
grupos com base em sexo,
raça, idade ou Isso pode ser feito avaliando
diferenças nas taxas de erro, proporções
positivas de previsão e outros
indicadores de desempenho Por exemplo, considere um modelo de IA de aprovação de
empréstimos que usa dados pessoais para
prever a capacidade de crédito Para avaliar a justiça,
poderíamos analisar. Um, diferença nas proporções
positivas
nos rótulos previstos. Se 40% dos candidatos do
grupo A, por exemplo, candidatos do
sexo masculino forem
considerados dignos de crédito em comparação com apenas 20% do
grupo B, neste exemplo, candidatos do
sexo feminino, essa métrica destacaria um potencial viés nas previsões do
modelo favorecendo a diferença de memória do grupo A, dois Se o modelo identificar 90% dos
indivíduos reais dignos de crédito no grupo A, mas apenas 70% no grupo B, a
métrica de diferença de recall
indicaria que o modelo é menos
eficaz para o grupo B, potencialmente levando
a um tratamento injusto Três, diferença específica. Examinando o quão bem o modelo evita falsos positivos
entre grupos, podemos descobrir que ele rotula
incorretamente indivíduos
não dignos de crédito como dignos crédito em
taxas diferentes entre os grupos, que pode afetar a justiça do processo de tomada
de decisão de Concluindo, este vídeo
demonstrou os
papéis cruciais que as
métricas de avaliação de desempenho e imparcialidade desempenham
no desenvolvimento e na implantação
de modelos de linguagem Vimos como métricas
como meteoro e Perplexity ajudam a garantir que modelos tenham um desempenho ideal, enquanto as métricas de imparcialidade abordam
preconceitos para
promover equidade e preconceitos para
10. L3V2 - Modelos de avaliação baseados em texto parte 2: Neste vídeo,
expandiremos nossa exploração de
modelos de avaliação baseados em texto para LLMs, com foco em métricas de diversidade
e avaliação zero Provavelmente, você
notou que muitas
vezes o
conteúdo gerado por IA carece de diversidade, que o torna menos envolvente
ou entediante para os usuários Ao aplicar métricas de diversidade, você pode garantir que sua IA gere respostas variadas e
interessantes. Também abordamos a avaliação
zero, que testará ainda mais adaptabilidade de
seus modelos a tarefas
novas e imprevistas Ao final deste vídeo, você poderá entender
a importância e a aplicação das métricas de diversidade na geração resultados
variados e criativos Além disso, você aprenderá como a avaliação
zero ajuda a
avaliar a capacidade do LLM de
se adaptar a tarefas para as quais não foi
explicitamente treinado As métricas de diversidade
avaliam o alcance e exclusividade das respostas
geradas por um modelo de linguagem Essas métricas são particularmente importantes para
aplicativos que exigem resultados
criativos ou variados, como geração de conteúdo
ou sistemas de diálogo Ao medir aspectos
como riqueza lexical, variação na estrutura das frases e a novidade dos conceitos
introduzidos nas respostas, as métricas de
diversidade garantem que os resultados do modelo não sejam apenas precisos, mas também envolventes e reflitam uma ampla variedade de Vamos imaginar um cenário. Pense que você tem um
modelo de IA encarregado de
gerar ideias para histórias com base em um único aviso
por dia na praia Suponha que o modelo gere
as seguintes respostas. Ao avaliar essas respostas
usando métricas de diversidade, procuraríamos a
variedade de temas, personagens envolvidos e
atividades descritas A resposta B teria
uma pontuação alta em diversidade por oferecer vários subgráficos
e interações variadas Enquanto a resposta C
teria uma pontuação mais baixa devido à sua redundância
com a resposta A. resposta D introduz
um novo elemento, que aprimora sua pontuação na introdução de Essas métricas ajudam a avaliar criatividade e
o apelo
dos resultados dos modelos, garantindo que eles forneçam conteúdo
novo e envolvente para Agora vamos dar uma olhada na avaliação de tiro
zero. avaliação Zero Shot mede a capacidade de
um modelo lidar com tarefas para as quais não foi
explicitamente treinado Essa métrica é
fundamental para avaliar
as capacidades de generalização dos modelos de linguagem
de hospedagem Ele revela o quão bem um modelo pode aplicar o conhecimento aprendido a novos contextos ou tipos de problemas sem
ajustes ou treinamento adicionais Ele demonstra a adaptabilidade
e flexibilidade do
modelo em
várias aplicações Vejamos um exemplo. Considere um
modelo de linguagem treinado predominantemente em textos literários em
inglês Se você receber uma tarefa
em um domínio completamente
diferente, como gerar descrições
técnicas para novos aplicativos de software. avaliação zero
avaliaria o quão bem o modelo executa
essa tarefa imediatamente Vamos dar uma olhada nesse exemplo. Podemos ver que,
apesar desse modelo
não ter nenhum treinamento prévio em descrições de
software, o modelo gera uma descrição coerente
e relevante Ele demonstra boa capacidade de tiro
zero. Essa capacidade de generalizar
da literatura para a redação técnica sem
nenhum treinamento específico mostra a robustez
e a utilidade do modelo em cenários do
mundo real, nos quais os dados de treinamento nem sempre são abrangentes
para todas as tarefas Em conclusão, discutimos
como as métricas de diversidade e avaliação
zero desempenham papéis
cruciais na
avaliação de LLMs As métricas de diversidade ajudam
a garantir que o conteúdo gerado
atenda às demandas criativas aplicativos do mundo
real, enquanto a avaliação
zero avalia a adaptabilidade desses
modelos a novas tarefas, mostrando a robustez e a utilidade de aplicativos do mundo
real, enquanto a avaliação
zero avalia
a adaptabilidade desses
modelos a novas tarefas,
mostrando a robustez e a utilidade em vários cenários.
11. L3V3 - Avaliação de modelos de IA generativa sem texto: Neste vídeo, falaremos
sobre como avaliar modelos de
IA que criam
imagens, sons e vídeos. Imagine assistir a um
filme gerado por IA em que as cenas parecem instáveis ou o som parece
estranho. Seria frustrante. Vamos explorar como avaliar esses modelos para garantir que
o conteúdo que eles geram seja suave, realista e envolvente. Ao final deste vídeo, você saberá como identificar maneiras importantes pelas quais
os
especialistas avaliam os modelos de IA de imagem, som e vídeo. Você se familiarizará com
as habilidades para examinar e avaliar a mídia que esses
modelos generativos de IA geram avaliação dos modelos de
geração de imagens de IA envolve métodos subjetivos
e objetivos As avaliações subjetivas são
baseadas no julgamento humano de fatores como
apelo visual e impacto emocional Avaliações objetivas,
em contraste, usam ferramentas especializadas para medir aspectos
como resolução da imagem, precisão
das
cores e presença de visuais ou falhas
conhecidas Considere uma
imagem gerada por IA de uma paisagem. Para avaliá-lo, podemos usar uma métrica baseada em pixels, como PSNR, que significa a relação
sinal/ruído de pico Avalie objetivamente a nitidez e a
nitidez da imagem. Ao mesmo tempo, conduzimos
uma pesquisa em que os participantes
avaliam a imagem em termos de realismo, beleza e ressonância emocional para coletar dados Essa
avaliação abrangente ajuda a determinar o sucesso geral
do modelo de geração de imagens na criação de imagens visualmente atraentes
e precisas Agora vamos passar para o som. Avaliar os modelos de
geração de som de IA significa
observar atentamente a qualidade, precisão e o efeito emocional
dos sons que eles criam Você pode usar medidas objetivas,
como nivelamento espectral e taxa de cruzamento zero para avaliar tecnicamente a qualidade
do som Também é importante coletar feedback
subjetivo
dos ouvintes sobre o quão reais e emocionalmente envolventes sons gerados
pela IA parecem Imagine avaliar uma música gerada por
IA destinada
a evocar relaxamento análise objetiva pode medir a consistência do
tempo e a clareza do som usando ferramentas como um medidor de volume ou
um analisador de espectros Para uma avaliação subjetiva,
um grupo de ouvintes poderia avaliar a música por suas qualidades
calmantes a música por suas qualidades
calmantes e efeitos emocionais. Coisas assim podem
fornecer uma visão sobre a eficácia da música em atingir o objetivo
emocional pretendido. Que tal vídeos? Ao avaliar os modelos de
geração de vídeo de IA, você precisa observar
duas coisas principais a qualidade visual
do vídeo e
como os quadros fluirão
juntos ao longo do tempo, que também é chamado de
coerência temporal Para medir a qualidade visual, você pode usar métricas como Ks
e R, das quais falamos. Essa métrica verifica a nitidez
e a quantidade de detalhes
no vídeo Há outra métrica chamada SSIM,
que diz respeito a um índice de
similaridade estrutural Essa métrica analisa os detalhes e compara o vídeo de IA com um vídeo de
referência Para avaliar a coerência
temporal, você quer ver com que
facilidade os
quadros de vídeo passam
de um para o outro Isso ajuda a garantir
que o movimento
no vídeo pareça
natural e lógico. Outra
coisa importante a ser
avaliada é a relevância contextual O conteúdo do vídeo realmente corresponde à história ou cena
pretendida? O vídeo gerado pela IA deve refletir
com precisão o que
deveria estar sendo exibido. Por exemplo, considere avaliar um vídeo gerado por IA que
mostra um mergulhador no oceano As métricas objetivas analisariam a resolução do vídeo
e a
consistência quadro a quadro para
garantir suavidade no movimento e clareza
nos detalhes visuais Subjetivamente, os espectadores
poderiam avaliar o quão bem o vídeo captura a
essência do cenário, considerando elementos como
o realismo das ondas do mar,
o movimento natural
do mergulhador
e o ambiente geral e Essa avaliação combinada ajuda a determinar se o modelo de
geração de vídeo replica
efetivamente uma experiência de
mergulho realista e envolvente Conclusão: avaliar modelos de
IA
não geradores de texto para imagens, sons e vídeos
é essencial para
promover a IA em aplicações criativas e
práticas Ao combinar
medidas objetivas com feedback humano subjetivo, obtemos uma visão abrangente da capacidade
de um modelo de IA Essa abordagem garante que
o conteúdo gerado pela IA seja tecnicamente sólido e
ressoe com as pessoas, que é crucial para o desenvolvimento úteis e atraentes
12. L3V4 - Notas finais A importância da avaliação humana: Neste vídeo, resumiremos
nosso curso e enfatizaremos importância crítica
da avaliação
humana na avaliação de modelos
generativos de IA Você já se perguntou por que alguns conteúdos gerados pela IA são
enganosos ou Vamos nos aprofundar no que a IA
generativa faz bem, onde ela dá errado e por que supervisão
humana é necessária para detectar e corrigir
esses Para garantir que a saída
desses modelos seja útil
e confiável Ao final deste vídeo, você entenderá
as limitações da IA generativa, especialmente sua
tendência de produzir informações
falsas
ou alucinações Discutiremos por que reconhecer as falhas é fundamental para usar a IA forma eficaz e garantir que ela forneça resultados confiáveis e
úteis IA generativa pode realizar
muitas tarefas bem, mas também tem
grandes fraquezas Um grande problema é que ele pode gerar informações falsas
ou alucinações Isso significa que o modelo gera informações
erradas ou inventadas Esses modelos geralmente não conhecem os limites de
seu próprio conhecimento, é por isso que é tão importante
avaliá-los cuidadosamente. Para usar a
IA generativa de forma eficaz, precisamos entender
suas limitações Isso significa estar ciente de que o modelo pode cometer
erros e descobrir maneiras de reduzir esses problemas ao
usá-lo na vida real. Como precisamos reconhecer e abordar as limitações
da IA generativa, introduzimos uma
ferramenta útil chamada teste IVO, que significa
validar imediatamente os resultados É uma maneira simples, mas
eficaz, de
verificar se um modelo generativo de
IA é confiável Um modelo passa no
teste IVO se os usuários puderem verificar com facilidade e rapidez se a saída está correta
e atende às suas necessidades Dessa forma, até mesmo usuários
que não são especialistas podem usar e validar
com eficácia o
conteúdo criado pela IA Para implementar o teste IVO, os usuários avaliam a saída gerada
pela
IA comparando-a com recursos
confiáveis, um método conhecido como
pós-aterramento Isso permite que os usuários verifiquem se as informações são precisas analisando os fatos estabelecidos. Isso garante que a saída da IA não
seja apenas relevante
, mas também confiável. Essa etapa é fundamental para aplicações em que a precisão
é muito importante. Ele permite que os usuários usem
as ferramentas com confiança. Digamos que um modelo de IA seja feito para resumir artigos
científicos Para usar o teste IVO, os usuários podem interagir com o resumo
gerado pela IA em um aplicativo especial Se quiserem verificar uma parte específica do
resumo, podem clicar nela. O aplicativo então mostra a seção correspondente
no artigo original. Esse recurso facilita que os usuários comparem o
resumo com a fonte, garantindo que a saída da IA reflita
com precisão
o conteúdo original. Esse método cria confiança na IA e ajuda
os usuários a entender melhor, conectando o conteúdo
gerado pela
IA às suas fontes confiáveis Ao fazer com que humanos
supervisionem os sistemas de IA, podemos garantir que eles não avaliados
apenas pelo desempenho, mas também pela
justiça e ética. Essa abordagem ajuda a impedir
a disseminação de preconceitos e garante que a IA seja desenvolvida de
uma forma que respeite os valores
humanos. Então, para concluir, discutimos
a importância de fazer com que os humanos avaliem modelos
generativos de IA junto com métodos automatizados Ao combinar insights humanos com a eficiência
dos
algoritmos, podemos avaliar aspectos
como criatividade, contexto e ética que
os computadores podem perder. Essa abordagem não apenas torna as avaliações mais
precisas e confiáveis, mas também garante que a
IA seja desenvolvida de acordo com nossos valores e
expectativas como sociedade
13. Conclusão: Ótimo trabalho. Você fez isso. Você concluiu a avaliação de
grandes resultados de modelos de linguagem. Não estou aqui só
para dizer adeus. Quero que você reserve um momento e celebre sua conquista
ao longo deste curso. Juntos,
exploramos novos conceitos, enfrentamos tarefas desafiadoras
e crescemos significativamente Olhe para trás e veja o que você sabe agora que não sabia
no início do curso. Seu compromisso levou
a um progresso significativo e você deve se orgulhar
dessa conquista Este curso é apenas uma etapa em sua jornada contínua de
aprendizado. Os conceitos que você
aprendeu aqui
servirão como base
para seu crescimento futuro. Continue aplicando essas habilidades e
mantenha sua curiosidade Para continuar sua jornada, recomendo o seguinte. Primeiro, revisitando os materiais do
curso para refrescar sua memória
sobre o conteúdo Em segundo lugar,
certifique-se de interagir com seus colegas nos fóruns
da comunidade Em terceiro lugar, certifique-se de assumir novos projetos desafiadores
para manter suas habilidades aprimoradas. Obrigado por
fazer parte deste curso
sobre avaliação dos resultados do LMS. Seu engajamento significa muito
para mim e para toda a nossa equipe. Quando nosso curso termina, sua jornada está apenas começando Estou ansioso para ouvir
o que você achou
deste curso e o que planeja alcançar
no futuro. Continue avançando, mantenha-se curioso e aproveite
a jornada à frente Parabéns novamente e espero ver você
em um curso diferente Estou assinando, Professor Reza.
Reza Moradinezhad, AI Scientist
