IA e jogos: modelos de linguagem grandes

1. IntroAndDescriptionAttempt3 feito com a Clipchamp: Bem-vindo ao meu curso. Meu nome é Adam Peterson Sou um profissional de tecnologia e um jogador de longa data. A IA faz parte dos jogos há muito tempo, mas o recente advento dos LLMs está prestes a mudar completamente o setor Se você é um jogador, um desenvolvedor, um técnico de TI ou um especialista em tudo o que é tecnologia, venha comigo para aprender sobre as mudanças empolgantes que os LLMs estão trazendo para o LLMs estão trazendo Não espero que você chegue a este curso com um conjunto específico de atributos. Eu criei esse curso para todos. Mas um pouco sobre mim pode ajudar a explicar um tipo de pessoa que gostará desse curso. Sou jogador e técnico profissional de TI. Trabalho em TI há cerca de 20 anos e jogo há mais de 30 anos. Minhas primeiras lembranças de um videogame, na verdade, foram comprar um sistema de entretenimento Nintendo, então o NES original para Natal e jogar Mario and Duck hunt com meu irmão Meu irmão é cerca de dois anos mais velho que eu, então eu tinha seis anos. Eu assisti principalmente, mas ainda me diverti. E eu tenho gostado muito de videogames desde então. Profissionalmente, observei o surgimento da IA e LLMs em minha função em uma grande agência federal de TI e gostei de aprender e implementar soluções de IA No empolgante projeto no final deste curso, veremos você usando uma estrutura chamada AI Dungeon, criando um jogo baseado em LLM semelhante a um RPG de mesa, em que você terá o LLM interpretando os outros jogadores e também o mestre do jogo você terá o LLM interpretando os outros jogadores e também o mestre do Isso permitirá que você experimente como os LLMs podem criar um mundo de jogo na experiência do teatro da mente Você também poderá compartilhar suas experiências por meio da galeria de projetos do curso, bem como diretamente por meio do AI Dungeon, se desejar Então, com tudo isso dito, vamos começar a aprender. 2. LLMsInGamingAndPlayer: Os jogos usam a tecnologia de IA há algum tempo. Tenho fortes lembranças da IA que foi usada em um jogo de estratégia em tempo real chamado Total Annihilation para criar oponentes para o jogador lutar Essas IAs do passado não eram alimentadas por LLMs e foram criadas de forma trabalhosa pelos programadores De certa forma, se você quisesse mover uma unidade daqui para lá, a IA teria, na verdade uma rotina de busca de caminhos que a ajudaria a se mover, não o uso de LLMs, mas ainda a inteligência artificial de uma maneira geral No jogo de estratégia em tempo real, um programador configurava a IA para se mover uma certa maneira e, muitas vezes, criava caminhos previsíveis de ataque Depois de um tempo, o jogador criativo começaria a entender as ações que o oponente de IA poderia realizar e poderia se ajustar adequadamente. Os pesquisadores agora estão explorando como usar os novos avanços da IA, incluindo LLMs e jogos Os jogos são importantes para testar a IA e para usar a IA e formas divertidas que envolvam o público. Isso também aconteceu com os avanços do passado. Esta apresentação fala sobre como os LLMs são usados em jogos e o que eles podem fazer no futuro. Discutimos os desafios e a direção futura do uso de LLMs em jogos No passado, a IA em jogos era usada para três coisas principais: jogar, projetar o jogo ou entender os jogadores. Eles fizeram esse trabalho usando caminhos de código conhecidos que haviam sido incorporados ao programa pelos programadores humanos que o criaram O jogo não seria capaz de agir ou reagir de maneiras inovadoras para as quais os programadores não haviam programado Uma boa IA dessa variedade mais antiga pode ser difícil de vencer para jogadores de baixo e médio nível, como eu. Mas jogadores avançados geralmente enfrentavam poucos desafios, pois a IA era previsível. Muitas vezes, o programador tinha que permitir que a IA trapaceasse para criar um desafio para esses jogadores Os LLMs, por outro lado, têm um nível de criatividade funcional um pouco semelhante ao dos humanos, embora muito mais estreito e menos Um LLM pode produzir resultados que não são óbvios ao analisar a Por exemplo, fiz ao co-piloto esta pergunta: qual é o melhor lugar na Terra? Se eu tivesse feito essa pergunta a um bot de bate-papo semelhante de cinco anos atrás, a resposta poderia ter sido prevista pela compreensão do programador que criou o bot de bate-papo Por exemplo, um site de viagens que estava tentando vender viagens para a América do Sul daria uma resposta diferente de um site que vende móveis domésticos Mas o que diria o co-piloto? Quando eu o executei, ele relatou, como você pode ver na captura de tela , que o co-pilot retirou parte de seu conhecimento de sites externos, mas criou uma resposta que foi uma síntese de seu treinamento e do conteúdo desses sites Em um jogo, um LLM pode atuar como um jogador tomando o lugar de um jogador humano e tentando vencer o jogo Também pode ser um personagem não jogador, como um inimigo ou um amigo no jogo. Um LLM pode ajudar os jogadores dando dicas ou realizando tarefas simples Também pode ser um mestre de jogo controlando o fluxo do jogo ou estar escondido nas regras do jogo, controlando algumas partes do jogo. Fora do jogo, um LLM pode ajudar a projetar o jogo, seja substituindo um designer humano ou auxiliando Ele também pode interagir com jogadores ou o público de maneiras diferentes, como comentar sobre um jogo, se ele está sendo jogado ou contando a história de eventos anteriores do jogo Algumas dessas funções, como ser jogador ou designer autônomo, são bem conhecidas na pesquisa de IA e jogos. A pesquisa do LLM tem se concentrado muito nessas funções. Outras funções, como ser comentarista ou varejista, ainda estão sendo exploradas A empolgação dessa nova IA é que ela pode e trará o mesmo tipo de pensamento e respostas criativas aos videogames. Jogadores de grandes modelos de linguagem precisam de uma transformação de sua sequência típica de tokens no espaço de saída para o espaço de entrada do jogo. Além disso, aspectos do jogo e seu estado atual devem ser fornecidos ao LLM para que ele jogue de forma eficaz Dependendo do jogo, esses mapeamentos podem ser intuitivos ou complexos Existem três classes gerais de jogos para as quais os jogadores de LLM são adequados Jogos com estados e ações representados como sequências de fichas Jogos baseados em turnos, jogos como Chess, Go e Othello se enquadram nessa categoria O conjunto discreto de posições e movimentos do tabuleiro pode ser transformado em uma representação compacta, como a notação portátil de jogos Ao tokenizar sequências de movimentos de um banco de dados de jogos, o problema de seleção de ações pode ser mapeado para o objetivo de aprendizado agressivo de auditoria padrão no qual os LLMs são treinados, prevendo o próximo movimento, considerando o contexto dos considerando O agente generalista do GATO pode jogar uma variedade de jogos da Atari em níveis humanos ou próximos aos humanos, processando entradas visuais como sequências de valores de pixels No entanto, essa abordagem requer grandes conjuntos de dados de vídeo de jogabilidade, que podem ser difíceis de coletar Além disso, confiar em traços de jogabilidade humana pode tornar difícil para um jogador de LLM alcançar um desempenho sobre-humano sem avanços significativos pode tornar difícil para um jogador de LLM alcançar um desempenho sobre-humano sem avanços significativos no raciocínio e na generalização. jogos que já estão computadorizados são os mais fáceis de adicionar jogadores de LLM Mas imagine um smartphone voltado para um tabuleiro de xadrez. Eu posso imaginar um aplicativo que incorporou um LLM com outro código, como visão computacional, para poder captar o estado atual da placa e determinar o próximo passo Esse aplicativo poderia então produzir um movimento, embora o movimento físico da peça possa precisar de uma ação humana e jogar xadrez de forma eficaz. Na verdade, você deve pedir ao co-piloto ou ao GPT que jogue uma partida de xadrez e veja o que acontece O outro tipo de jogo que seria mais adaptável ao LLM são os jogos com entrada e saída em linguagem natural Os jogos de aventura em texto são jogos como o Zork, que apresentam os estados do jogo como descrições em linguagem natural e são equipados com analisadores para lidar com respostas em linguagem natural Os LLMs podem ser consultados para ações de jogos, aproveitando seu pré-treinamento em grande escala em linguagem natural A primeira aplicação de LLMs em jogos de texto é o CALM, um sistema GPT de dois sistemas ajustado com precisão em um conjunto de dados de transcrições de jogabilidade humana O modelo gera várias ações de candidatos e um profundo aprendizado por reforço RL é usado para otimizar uma política que seleciona ações entre os No entanto, os LLMs sozinhos podem ter dificuldade em generalizar para jogos ou situações invisíveis Investigações recentes do Chat GPT como jogador do ZoC indicam que o desempenho do LLM está melhorando, mas ainda há espaço para melhorias na aplicação de LLMs em jogos A capacidade dos LLMs de jogar jogos de texto inteiramente novos ou inéditos permanece amplamente Basicamente, a capacidade dos LLMs de jogar jogos baseados em texto que não foram treinados para jogar não é conhecida, mas o rápido avanço da tecnologia LLM pode muito bem apresentar uma experiência melhor do que a esperada Observe que muitos jogos baseados em texto são um jogador e a diversão do jogo é ser esse jogador. LLM AI, que pode jogar sozinho , pode não ter um caso de uso forte para jogos para um jogador CIC ERO é um jogador de LLM para a diplomacia do jogo, que envolve negociação e subterfúgios . Os jogadores conversam em mensagens privadas para organizar planos, negociar ou CSRo se baseia em um LLM pré-treinado e está ajustado a um grande corpus Ele usa um módulo de raciocínio estratégico para prever as ações de outros jogadores e selecionar ações com base nas intenções do jogo inferidas das transcrições O espaço de ação diplomática é dividido entre expressões e movimentos em linguagem natural em um jogo de tabuleiro discreto, demonstrando como um LLM pode ser integrado a um sistema maior para jogos de alto nível AIs do LLM permitiriam que um único jogador humano jogasse jogos que normalmente são apenas para vários jogadores O sistema voyager aproveita as habilidades de geração de código do Chat GPT four, desculpe, do GPT four para jogar minha arte interagindo com a API Mind Voyager gera blocos de código que aproveitam chamadas para a API para executar habilidades de alto nível, que são automaticamente convertidas em entradas de jogo de baixo nível GPT quatro também é usado como um gerador e planejador de metas de alto nível, informando a geração do código Essa abordagem foi bem-sucedida com Voyager completando vários desafios de naves de minas no jogo No entanto, a disponibilidade de uma API robusta e uma grande quantidade de discussões na Internet sobre Minecraft contribuem para seu sucesso A capacidade dessa abordagem de se generalizar em jogos menos populares ou invisíveis ainda Essencialmente, jogos que não são tão populares online e, portanto, aos quais o LLM tem menos exposição, podem não funcionar tão bem No meu tempo jogando Minecraft, achei um pouco chato não ter outras pessoas no meu servidor LLM AI poderiam ser esses outros jogadores. Os LLMs podem jogar transformando sua saída no espaço de entrada do jogo e aproveitando as informações do estado do jogo Eles são adequados para jogos de tabuleiro baseados em turnos, jogos aventura em texto e jogos com APIs robustas No entanto, os desafios permanecem em generalizar para jogos invisíveis e alcançar 3. NPCandGameAssistant: Personagens não jogadores, os NPCs são agentes em mundos virtuais de jogos, cujas ações não são controladas diretamente pelos jogadores Eles enriquecem a experiência dos jogadores e aprofundam a imersão, aumentando o ambiente do mundo e tornando-o NPCs podem desempenhar várias funções, como animais de estimação, aliados, inimigos, comerciantes, doadores de missões Ao contrário dos jogadores controlados por IA, cujo objetivo é vencer, NPCs têm agências diferentes e seu objetivo é melhorar o ambiente do jogo Minha opinião, o papel do NPC, incluindo a função de assistente do jogador implementada como um NPC aliado ao jogador, mais no próximo slide, são os usos mais interessantes de curto prazo dos LLMs Projetar IA para NPCs é interessante porque seu objetivo é interagir com o mundo do jogo uma forma que pareça natural e envolvente Quando feito corretamente, os NPCs pegam um jogo monótono e chato e dão vida real a ele Fazendo com que o mundo do jogo pareça vivido e possuindo uma profundidade além dos limites estreitos do personagem do Essa realidade pode ser criada por jogos cuidadosos e introspectivos sem o uso de LLMs No entanto, em grandes modelos de linguagem, os LLMs oferecem vantagens exclusivas nessa tarefa devido à sua capacidade de compreender as configurações do mundo do jogo e adaptar suas respostas de acordo Os LLMs podem desempenhar papéis em diferentes cenários, tornando-os uma ferramenta flexível para emular comportamento humano de maneiras que não podem ser feitas usando métodos tradicionais Os LLMs podem controlar NPCs de duas maneiras principais. LLMs são naturalmente adequados para conversação em linguagem natural Como sistemas de diálogo de NPC, eles podem gerar respostas dinâmicas e contextualmente apropriadas com base na Isso torna as interações com NPCs mais envolventes e realistas, reduz o discurso repetitivo e proporciona uma experiência mais exploradora LLMs podem envolver os jogadores na narrativa do mundo do jogo como NPCs em primeiro plano, NPCs em segundo plano ou NPCs segundo plano ou NPCs NPCs em primeiro plano. Esses NPCs fazem parte da narrativa abrangente do jogo ou de suas jogo ou Eles podem ser inimigos, aliados, informações, doadores de missões ou fornecedores de itens Seu diálogo é fortemente limitado pelo escopo da narrativa, seu papel nela e pelas ações dos jogadores O processo de geração de texto para NPCs em primeiro plano deve considerar o contexto geral do jogo e a interação com o Acompanhar os eventos que acontecem durante o jogo. NPCs de fundo. Esses NPCs povoam a maior parte do mundo virtual, mas não fazem parte de nenhuma tarefa específica o jogador esteja realizando O objetivo deles é tornar o ambiente mais crível e agir de forma independente dos jogadores Sua geração de diálogos é menos limitada apenas pela identidade do falante e sua formação Sua credibilidade depende de sua capacidade de manter a ilusão de que têm sua própria agência no mundo e não podem interagir O comportamento está relacionado à seleção de ações do jogo. As heurísticas e os objetivos do comportamento do NPC são diferentes dos de um jogador de IA tentando vencer Estudos mostraram que vários agentes podem seguir as regras do jogo e se envolver na jogabilidade com diferentes modelos exibindo suas próprias atitudes e fraquezas quando aplicados a Essa capacidade de interagir dentro de restrições é útil para incutir comportamentos confiáveis NPCs em primeiro e segundo plano, fundamentando suas ações e fundamentando suas ações e para incutir comportamentos confiáveis em NPCs em primeiro e segundo plano, fundamentando suas ações e diálogos nas regras do ambiente de jogo. Embora os LLMs ofereçam um potencial significativo para aprimorar as interações com NPC, existem desafios Capacidade de memória dos LLMs e o impacto de possíveis alucinações Declarações plausíveis, mas falsas, são ambas preocupações. Além disso, os LLMs realizam algo como improvisação teatral, que pode levar à Não seria bom que um NPC baseado em LLM enganasse o jogador até um beco sem saída do Isso pode ser mitigado fornecendo ao LLM o histórico de conversas e o estado atual do ambiente, como itens contidos nele e seus recursos, bem como outros personagens e suas ações bem como outros personagens e Acredito que algo como diretrizes primárias precisam ser fornecidas ao LLM usando uma técnica como RAG ou geração aumentada de recuperação para garantir que o LLM possa ser criativo, mas não levar o PC a uma caça ao ganso selvagem Isso geralmente é feito usando mensagens de texto como mensagens de estado. Em resumo, os LLMs podem melhorar significativamente o papel dos NPCs nos mundos virtuais dos jogos, fornecendo diálogos e comportamentos dinâmicos e contextualmente apropriados No entanto, persistem desafios garantir a consistência e credibilidade de suas interações. Os assistentes de jogadores são uma ideia que pode ser semelhante aos NPCs, mas não precisa É um papel um pouco menos explorado para grandes modelos de linguagem em jogos Basicamente, um agente interativo destinado a enriquecer ou guiar a experiência do jogador de alguma forma Isso pode ser na forma de uma sequência de dicas de estilo tutorial, um personagem que não interage causalmente com o mundo do jogo ou um agente capaz de interagir com o mundo do jogo em um nível semelhante ao do jogador Eu jogo um jogo chamado Star Citizen, que deveria ter uma economia grande e dinâmica. Um LLM que foi aperfeiçoado para atuar como assistente de jogo e treinado em princípios econômicos e no mundo do jogo poderia ser usado para criar um aprofundamento dessa Os jogos existentes usam a assistência do jogador de maneiras diferentes. Por exemplo, no SIMs electronic Arts 2000, um assistente sem corpo fornece dicas específicas para o contexto do jogo por meio Civilization six, Faxis Games, 2016, usa assistência diferente com uma representação visual para fornecer conselhos semelhantes, sugerindo a melhor opção de construção de acordo com sua heurística idiossincrática Eles podem, portanto, aliviar algumas tomadas de decisão do jogador Em jogos de gerenciamento, a IA pode automatizar tarefas domésticas, como alinhar trabalhos à população de um planeta, intellis paradoxo Interactive 2016 intellis Essa assistência reduz a carga cognitiva do jogador. Mas o jogador sempre pode microgerenciar essa tarefa, se desejar LLMs provavelmente serão atraentes como assistentes de jogadores dadas suas potenciais capacidades expressivas e de conversação, juntamente com métodos baseados em LLM ou baseados em heurística para encontrar a melhor política ou ação, dado o contexto atual do jogo, um assistente de jogador com LLM pode construir a ação sugerida e a explicação como uma pode Os LLMs provavelmente serão atraentes como assistentes de jogadores, dadas suas potenciais capacidades expressivas e de conversação, juntamente com métodos baseados em LLM ou baseados em heurística para encontrar a melhor política ou ação, dado o contexto atual do jogo, um assistente de jogador com LLM pode construir a ação sugerida e a explicação como uma linguagem natural. enunciado emitido por um agente desencarnado ou incorporado Expresso com um sentimento correspondente e manifestado por meio de sua postura corporal, gestos Da mesma forma, os LLMs podem ajudar o jogador a realizar algumas tarefas menores no jogo por meio de um papel menor e personalizado como jogador dentro dessa descrição menor da tarefa No entanto, o potencial da assistência ao jogador com LLM não é explorado nas pesquisas atuais 4. NarratorAndGM: Modelos de idiomas grandes são ideais para comentaristas ou varejistas Esses papéis envolvem produzir e narrar uma sequência de eventos para o benefício de jogadores ou espectadores humanos Esse agente pode considerar apenas eventos e contextos do jogo, atuando como uma entidade dentro do jogo como um comentarista esportivo na Fifa, EA Sports 1993, ou também considerar eventos e contextos fora do jogo, como as ações, estratégias e motivações dos jogadores O varejista narra exclusivamente eventos passados , geralmente agrupados em uma parte concisa, como uma sessão de jogo ou uma missão O comentarista, por outro lado, narra eventos atuais em andamento, semelhante a um streamer discutindo suas ações atuais ou um jogo esportivo em A visão da geração automatizada de comentários no estilo Let's play não é nova Ele foi proposto e implementado por meio de métodos clássicos de aprendizado de máquina, mas com sucesso limitado. Por exemplo, um sistema de memória de longo prazo, LSTM, com entrada de texto, visão e estado do jogo foi treinado para gerar personagens para um script de comentários em um Mas os resultados apresentaram texto gerado repetitivo e irrelevante para o contexto LSTMs também foram usados para gerar texto em um nível de personagem para o jogo, superando isso com Bennett Foti, um jogo desafiador de escalada lateral LLMs para comentários também são explorados por Renella e Eager, que argumentam que os LLMs podem ajudar streamers de jogos, semelhantes ao Twitch, enquanto o streamer executa a jogabilidade multitarefa com a interação do público Os LLMs para comentários também são explorados por Renella e Eager, que argumentam que os LLMs podem ajudar streamers de jogos, semelhantes ao Twitch, enquanto o streamer executa a jogabilidade multitarefa com a interação do público. Eles desenvolveram um pipeline para comentar automaticamente sobre lendas jurídicas, Rot games 2009. Essa abordagem multifásica envolveu treinar um modelo em mãos, anotar dados para reconhecer os principais eventos e, em seguida, solicitar ao Chat GPT que gerasse comentários zero sobre esses eventos no estilo de um personagem fictício específico e, finalmente, enviasse o texto gerado o texto comentários zero sobre por meio de um personagem fictício específico sobre lendas jurídicas, Rot games 2009. Essa abordagem multifásica envolveu treinar um modelo em mãos, anotar dados para reconhecer os principais eventos e, em seguida, solicitar ao Chat GPT que gerasse comentários zero sobre esses eventos no estilo de um personagem fictício específico e, finalmente, enviasse o texto gerado por meio de a falsa API U two deve ser imposta na madeira do mesmo personagem Por exemplo, uma vez que o modelo de detecção de eventos identificou uma dupla morte inimiga, GPT respondeu no estilo de Rick Sanchez de Rick and Que diabos? Essa equipe inimiga acabou de matar duas vezes. Eu não posso acreditar nisso. Eles devem ser muito bons. É melhor eu tomar cuidado com eles. Um loop adicional armazena os eventos detectados, atrasando os comentários sobre uma eliminação dupla, caso ela se transforme em uma eliminação tripla, ou priorizando entre uma enxurrada rápida de eventos, e faz com que o Chat GPT gere preenchimentos aleatórios, como pensar em novos assinantes fictícios priorizando entre uma enxurrada rápida eventos, e faz com que o Chat GPT gere preenchimentos aleatórios atrasando os comentários sobre uma eliminação dupla, caso ela se transforme em uma eliminação tripla, ou priorizando entre uma enxurrada rápida de eventos, e faz com que o Chat GPT gere preenchimentos aleatórios, como pensar em novos assinantes fictícios. Apesar desses estudos, a pesquisa sobre LLMs como comentaristas de jogos permanece limitada O apelo é óbvio. Jogos baseados em simulação de narrativa emergente já geram histórias narrativas ricas, que são remixadas por jogadores humanos para produzir conteúdo secundário que geralmente é popular por si só Em princípio, os LLMs poderiam ser usados para gerar recontagens mais sucintas ou destacar Solicitar aos LLMs atuais histórias sem qualquer especificação adicional de estilo ou substância tende a produzir resultados que parecem Eventos passados registrados em jogos de simulação poderiam , em última análise, fornecer especificidade e coerência narrativa a esses resultados Explorar mais conceitos além de automatizar os comentários dos streamers, como ajudar os streamers por meio de comentários do LLM sobre as reações do público, em vez de nas ações do jogo reações do público, em vez de nas ações do além de automatizar os comentários dos streamers, como ajudar os streamers por meio de comentários do LLM sobre as reações do público, em vez de nas ações do jogo, permanece inexplorado. Em resumo, os LLMs têm um potencial significativo como comentaristas ou varejistas de jogos, fornecendo uma narração dinâmica e contextualmente apropriada potencial significativo como comentaristas ou varejistas de jogos, fornecendo uma narração dinâmica e contextualmente apropriada dos eventos do jogo. No entanto, persistem desafios para garantir a relevância e a coerência de seus comentários, e mais pesquisas são necessárias para explorar todo o seu potencial nessa função Mestre de jogos, GM, em RPGs de mesa, TT RPGs é responsável por criar o enredo, os personagens e a personagens e Os GMs usam muitos chapéus durante a sessão de jogo, bem como antes e depois da sessão, preparando e adaptando aventuras e histórias e conversando com o grupo Os jogos digitais geralmente têm histórias prescritas ou progressões de nível, e seus jogadores têm uma gama restrita de recursos em comparação com os jogadores de TT RPG, cujas ações são limitadas apenas A história contada ao redor da mesa pode tomar qualquer direção. Já que os GMs humanos se comunicam principalmente sobre o mundo do jogo, a história, o estado do jogo e resoluções de ação por meio de linguagem natural Embora instruções como mapas, miniaturas e folhetos também sejam comuns, o potencial dos LLMs como GM é frequentemente mencionado nos círculos de pesquisa e nos e LLMs como GMs também abrem o potencial para jogar sozinho. Bem, um RPG TT requer pelo menos um jogador e o GM humano Uma das primeiras aventuras notáveis baseadas em texto gerenciadas por uma versão refinada do GPT two é AI AI Dungeon é um aplicativo de narração de histórias baseado em bate-papo interativo on-line no qual o jogador realiza ações apenas por meio de entradas semânticas O LLM continua a história com base na opinião do jogador no estilo de um GM humano O jogo evoluiu desde sua criação para fazer uso de modelos LLM mais recentes, que o jogador pode escolher antes de iniciar uma sessão de jogo Diferentes configurações do mundo do jogo também são oferecidas, e os jogadores também podem compartilhar as histórias que criam. Jogos semelhantes surgiram online desde então. E um repositório de código disponível gratuitamente, cliente C bold AI permite instalação local ou remota de um cliente Alguns desses jogos também usam modelos de difusão estável de texto em imagens para gerar imagens que acompanham diferentes partes da narrativa Em vez de substituir um GM humano, LLMs também foram empregados como Calypso é um conjunto de ferramentas executadas em um servidor de discórdia, que o GM pode consultar para gerar encontros aleatórios, debater ideias ou, alternativamente, conversar com um personagem fictício em um um Calypso destaca que as alucinações do GPT três podem ter efeitos positivos ao gerar detalhes plausíveis, não incluídos nas descrições publicadas no manual original do jogo, não incluídos nas descrições publicadas no por exemplo, nas formas dos olhos das criaturas, e efeitos negativos quando os e efeitos negativos quando três podem ter efeitos positivos ao gerar detalhes plausíveis, não incluídos nas descrições publicadas no manual original do jogo, por exemplo, nas formas dos olhos das criaturas, e efeitos negativos quando os detalhes criados estão totalmente incorretos. EG, descrevendo as asas de uma criatura canonicamente sem asas Além disso, descobriu-se que o pré-condicionamento do modelo para evitar preconceitos raciais ocasionalmente impedia que ele gerasse ocasionalmente impedia que ele gerasse detalhes raciais de criaturas fantásticas no jogo Outro trabalho usou modelos GPT menores para improvisar em conversas de jogos, monitorando e transcrevendo trocas verbais entre o GM e os jogadores e tentando para improvisar em conversas de jogos, monitorando e transcrevendo trocas verbais entre o GM e os jogadores e tentando gerar respostas apropriadas. Este exemplo foi integrado ao Shoelaces, que em si é uma ferramenta auxiliar de GM , ajudando na análise do conteúdo criando um plano baseado em nós dos encontros do jogo A versatilidade dos LLMs, dada sua capacidade de processar rapidamente a entrada de texto, abre caminho para sua integração na infinidade de ferramentas e auxílios existentes Em resumo, os LLMs têm um potencial significativo como GMs ou assistentes de GM em RPGs Fornecendo narrativas e interações dinâmicas e contextualmente apropriadas Os desafios permanecem para garantir a precisão e a relevância de suas contribuições, e mais pesquisas são necessárias para explorar todo o seu potencial nessa função. 5. GameDesignAndGameDesign: Também pode ser construído em torno uma mecânica específica que depende de LLMs. Uma mecânica óbvia gira em torno das interações sociais facilitadas por conversas e PCs baseados em LLM Nesse sentido, um LLM foi empregado para preencher uma vila virtual com 25 personagens, permitindo que eles se comuniquem e se envolvam em comportamento social em um ambiente sandbox Os jogadores puderam interagir com esses agentes usando uma interface baseada em texto. O ambiente, o estado e as ações de cada agente foram armazenados em um formato baseado em linguagem e resumidos a fim de reter o conhecimento cada agente quando solicitado por suas Isso levou ao surgimento de interações sociais verossímeis, como agentes convidando espontaneamente outros agentes para uma festa, que um deles estava organizando Da mesma forma, uma boa IA está desenvolvendo um videogame AI P, que opera como uma simulação de sandbox em que NPCs baseados em LLM interagem entre si e com seu ambiente, formando relacionamentos e formando relacionamentos e O jogador pode interagir com os agentes por meio de um bate-papo em linguagem natural, desencadeando reações e potencialmente interrompendo o relacionamento entre os As interações em linguagem natural formam um conjunto natural de mecânicas para criar jogos Como gamificar as tentativas dos usuários de violar LLMs. O jogo 1001 noites exemplifica isso ao fazer com que um LLM crie uma história a partir de instruções humanas, onde o objetivo do jogador é tentar orientar a história para incluir palavras-chave específicas para que o personagem principal as transforme em itens tangíveis para as transforme em itens tangíveis Da mesma forma, Gandel six desafia o jogador a induzir um LLM a revelar O jogo aumenta a dificuldade da tarefa à medida os níveis progridem, ajustando as especificações do prompt, como forçar o LLM a reexaminar a resposta gerada para garantir que ela não inclua Outro ponto forte dos LLMs é a síntese de linguagem, que é alavancada pelo infinito ofício sete Infinite craft é um próximo jogo em que o jogador combina elementos para produzir novos. Em infinite craft, o jogador combina o que começa como um simples conjunto de elementos atômicos em entidades cada vez mais complexas com um LLM ditando o produto resultante de combinações arbitrárias com um conjunto de elementos centrais, água, fogo, vento Mas enquanto as primeiras têm um conjunto de interações definidas manualmente pelo designer, Infinite craft faz com que Lama two imagine o produto da combinação desses elementos A julgar pela jogabilidade, parece que para cada combinação distinta, Lama é solicitado a produzir o resultado apenas uma vez, com os produtos armazenados em um banco de dados para referência futura Assim, aparentemente, qualquer coisa no vocabulário dos modelos de linguagem pode surgir da combinação desses elementos, incluindo todos os 50 estados, o sonho e o fictício super Stonosurs, Ocasionalmente, o modelo pode optar por devolver um dos elementos combinados ou se recusar a combinar, em particular, elementos muito longos ou complexos Um papel fundamental da IA em um futuro potencial nos jogos é a geração algorítmica de conteúdo de jogos, como níveis, imagens ou até mesmo Ao contrário de um mestre de jogos que cria um jogo por meio de uma linguagem natural destinado a existir no teatro da mente dos jogadores. O objetivo da geração processual de conteúdo, PCG, é criar conteúdo destinado ao uso em um Restrições satisfatórias, como jogabilidade Qualquer método PCG treinado nos corpora de conteúdo disponíveis se encaixa processual de geração de conteúdo via aprendizado de máquina PC A estrutura original do PCG ML de 2018 não considerou LLMs Em vez disso, ele se baseou em métodos de aprendizado de máquina, como codificadores automáticos e No entanto, desafios importantes do PCG ML permanecem ao considerar LLMs para Notavelmente, a dependência de conjuntos de dados legíveis por máquina de alta qualidade de conjuntos de dados legíveis Embora existam alguns conjuntos de dados para níveis de jogos de arcade, maioria dos jogos, o conteúdo permanece indisponível e protegido pelas leis de propriedade intelectual Trabalhos anteriores em PCG demonstraram que níveis de jogo baseados em blocos podem ser gerados de forma confiável com modelos de predição baseados em sequência, por exemplo, LSTMs a partir de um conjunto modesto de exemplos, tratando esses níveis como sequências lineares de tipos de blocos Mais recentemente, os LLMs modernos foram aproveitados de forma semelhante para obter um sucesso geralmente maior Por exemplo, um modelo GPT two foi ajustado em um grande conjunto de dados do Sco Ban, pensando nos níveis de Rabbit, 1982 e, na época do teste, em amostras do modelo Curiosamente, os resultados indicaram que, embora o modelo GPT two tenha dificuldades, quando o conjunto de dados de ajuste fino é restrito em tamanho, o GPT três e, presumivelmente, os modelos maiores lançados desde então são mais capazes que, embora o modelo GPT two tenha dificuldades, quando o conjunto de dados de ajuste fino é restrito em tamanho, o GPT três e, presumivelmente, os modelos maiores lançados desde então são mais capazes de acomodar conjuntos de treinamento limitados. Uma abordagem semelhante, Mario GPT, treina um modelo GPT two em um conjunto de dados relativamente pequeno dos níveis de Super Mario Brothers, Nintendo 1985 Mario GPT supera o problema da dispersão de dados usando o conjunto de dados inicial como ponto de partida para um algoritmo evolutivo Os níveis existentes são selecionados e, em seguida, as seções do nível são alteradas pela amostragem do modelo GPT e, em seguida, pela correção da borda entre a seção regenerada e o resto do nível com um BERT ou modelo bidirecional treinado de forma semelhante alteradas pela amostragem do modelo GPT e, em seguida, pela correção da borda entre a seção regenerada e o resto do nível com um BERT ou modelo bidirecional treinado de forma semelhante. Essa abordagem produz um conjunto grande e diversificado de níveis jogáveis, apesar de partir de menos de 20 níveis Ambas as abordagens de geração de nível baseadas em GPT mencionadas acima também mostram a promessa de incorporar instruções de linguagem natural para produzir geradores Prefixando os níveis do jogo no conjunto de dados de treinamento com as características de nível desejadas ou incorporando as instruções do usuário e permitindo que o modelo atenda à incorporação durante a geração Parece provável que técnicas mais sofisticadas, como o aprendizado por reforço com feedback humano, possam produzir geradores de nível ainda mais capazes de acomodar a orientação do usuário Em resumo, os LLMs têm um potencial significativo na geração de conteúdo processual para jogos, fornecendo conteúdo dinâmico e contextualmente No entanto, persistem desafios para garantir a qualidade e a jogabilidade do conteúdo gerado, e mais pesquisas são necessárias para explorar todo o seu potencial nessa função 6. Novos limites e desafios: O uso de grandes modelos de linguagem levanta questões éticas relacionadas à sustentabilidade, direitos autorais, explicabilidade Cada um desses problemas tem sérias implicações no campo dos videogames. Sustentabilidade. A confiança dos LLMs em dados de treinamento e tempo de treinamento levanta preocupações em relação à sua Além dos custos de treinamento, a inferência sobre a vida útil dos modelos tem um impacto ambiental maior devido à consulta constante Fatores como energia renovável e local, melhores arquiteturas de modelos e dados de treinamento mais significativos e, portanto, menos dispendiosos podem mitigar No contexto dos LLMs para jogos digitais, a sustentabilidade continua sendo crucial Considerando a pegada de carbono de consultas frequentes durante o jogo, por exemplo, para respostas do Game Master ou NPC ou para jogadores poderosos do LLM Isso é especialmente pertinente se o LLM se destina a ser executado localmente em hardware de nível de consumidor, que geralmente é alimentado por fontes não renováveis . Direitos autorais. Quando se trata de direitos autorais, problemas se aplicam aos dados de entrada, aos dados de saída e ao próprio modelo. LLMs treinados em dados protegidos por direitos autorais são uma prática comum infeliz, que merecidamente gera indignação pública Os modelos em si têm diferentes licenças de direitos autorais aplicadas, o que também pode fazer com que os artefatos que eles geram caiam no domínio público Para a indústria de jogos, questões de propriedade intelectual e direitos autorais são extremamente importantes. Essa é tanto uma preocupação em ter o conteúdo protegido por direitos autorais da empresa usado de alguma forma como treinamento pelos concorrentes quanto em usar LLMs que possam produzir material que a empresa não pode material que a empresa É importante observar aqui que pelo menos quando se trata desta última preocupação, o papel que o LLM assume é muito pertinente Se um LLM ou LMM produz conteúdo automaticamente, consenso legal anterior nos EUA indica que o material não pode ser Se um LLM ou LMM atua como uma ferramenta auxiliar para um designer, especialmente para assistência conceitual, especialmente para assistência conceitual o extenso e impactante esforço humano necessário para transformar esses conceitos em design de jogos e arte de jogos provavelmente torna o produto final protegido arte de jogos provavelmente As decisões limitadas dos tribunais de direitos autorais sobre isso, no entanto, compreensivelmente fariam com que as empresas de jogos hesitassem em entrar em águas não testadas em busca de grandes IPs de jogos compreensivelmente fariam com que as empresas de jogos hesitassem em entrar em águas não testadas em busca de grandes IPs de jogos, além de produções independentes de pequena escala. Para os pesquisadores, no entanto, as questões éticas de violação e exploração de direitos autorais por grandes corporações e o clamor público por isso deixam um gosto ruim e tornam a deixam um gosto ruim e tornam pesquisa em LLMs Explicabilidade. Em aplicações, entender como um resultado final ou produto é alcançado é extremamente crucial, especialmente quando um produto é refinado de forma iterativa, como acontece com a assistência de design Esse é um problema de explicabilidade, enquanto os LLMs são inerentemente opacos Diferentes métodos para melhorar a explicabilidade dos modelos de linguagem incluem explicações baseadas em conceitos ou Particularmente para LLMs, a autoexplicação aplicada por meio do raciocínio da cadeia de pensamento tem recebido atenção da comunidade de pesquisa Se esse método adicionar uma camada de raciocínio explicado ao resultado gerado, há vários exemplos na literatura que demonstram como esse raciocínio pode ser apenas uma ilusão de capacidades de Esses exemplos incluem desconsiderar o raciocínio fornecido na saída final ou alcançar a solução correta por meio etapas incorretas em problemas matemáticos Nos videogames, a explicabilidade é fundamental em todas as funções, garantindo a coerência da jogabilidade e o envolvimento do usuário, garantindo a coerência da jogabilidade e preconceitos surgem quando os LLMs são treinados em um grande corpus, geralmente extraído da parte ocidental da Internet. Isso permite que os modelos capturem um instantâneo da realidade atual, o que é vantajoso para um modelo de conversação ou de resposta a perguntas Embora exija a seleção desses dados a partir de diferentes tipos de preconceitos Alguns preconceitos, como estereótipos sociais, podem ser Outras, como as normas de exclusão apresentam maiores desafios Nos videogames, identificamos duas preocupações principais ao interagir com um LLM comportamento tóxico e estereótipos O comportamento tóxico é uma propriedade prejudicial que o modelo de linguagem pode aprender em seu corpus de treinamento, que geralmente contém texto de fóruns comunitários ou plataformas sociais As ferramentas que combatem a linguagem tóxica em videogames estão em constante evolução, com algumas até bloqueando mensagens de bate-papo antes de serem entregues ao usuário Portanto, aplicativos semelhantes poderiam teoricamente ser desenvolvidos para direcionar saídas tóxicas de modelos de linguagem Ao contrário dos jogadores humanos, no entanto, quando um LLM desempenha o papel de um NPC, ele deve se alinhar aos temas do jogo e evitar qualquer tipo de linguagem tóxica ou Isso exige que os desenvolvedores garantam comportamento adequado do modelo por meio da limpeza de dados. Se o modelo for treinado do zero ou fornecendo dados personalizados, se o ajustando às suas necessidades, lidar com preconceitos, como estereótipos e noções incorretas, é complexo, pois eles não estão necessariamente relacionados a palavras ou expressões únicas, mas se apresentam como relacionados a palavras ou expressões únicas, uma coleção de ideais que podem estar errados na melhor das ideais que podem estar errados Um NPC, LLM, pode exibir estereótipos do mundo real que podem Em resumo, os LLMs oferecem um potencial significativo para aprimorar vários aspectos dos videogames Eles também levantam questões éticas importantes que precisam ser cuidadosamente consideradas e tratadas. Como foi mencionado no início deste curso, passei muito tempo em TI como profissional, assim como fui jogador durante a maior parte da minha vida Eu seria negligente, no entanto, se não reconhecesse a imensa dívida que tenho com os pesquisadores que você vê na tela. Seu maravilhoso artigo contribuiu em grande parte para o desenvolvimento deste 7. Projeto do curso: Olá. Então, bem-vindo ao meu explicador de produção um pouco menor sobre o projeto do meu curso Estou usando apenas uma webcam antiga e, na verdade, Microsoft Clip chap, o que é muito bom se você nunca experimentou Isso facilita muito a criação de vídeos, mas à parte. A primeira coisa que você precisará é uma conta para o AI Dungeon Eu faço você ir para AI Dengon, e você vai usar o sistema de fundos para que você possa criar uma conta de qualquer que você possa criar uma conta No entanto, se você ver, acabei de executar coisas aleatórias lá. Eu recomendaria usar um serviço como Temp e mail para criar um e-mail temporário e você pode obter seu código de verificação aqui Apenas mantém as coisas um pouco mais limpas. Se você for usar o AI Dendon no futuro, sinta-se à vontade para criar uma conta completa Mas você vai embora quando vier aqui, você estará na página inicial Agora, estou gravando isso em 30 de 2024 e, atualmente, é assim que parece, pode parecer diferente mais tarde, mas tudo deve estar na mesma área Eu vou jogar. Eu vou criar um cenário. Você pode escolher qualquer cenário que lhe interesse. Vou escolher aleatoriamente. Para este curso, você criará uma abertura. Essa será a abertura da história. Você vai criar uma nota do autor. Isso fornecerá um tema e estilo de escrita da melhor maneira que você puder. Isso está dando ao LLM por trás disso uma ideia de como é o mundo Isso geralmente é semelhante ao que você faria se estivesse criando um sistema real aumentado ou algo assim, seria como uma mensagem de estado Eu quero que você adicione um componente de enredo adicional e exclusivo. Pode ser qualquer um desses. Quanto mais especificidade você der ao sistema, melhor será seu resultado Eu encorajo você a enlouquecer e adicionar os quatro, se é isso que você quer, e é para isso que você tem tempo. Quanto mais tempo você dedicar a isso, mais aprenderá com isso. É assim que a maior parte do aprendizado na vida funciona. Quanto mais você coloca, mais você sai . Depois, cartões de história. É aqui que você vai criar personagens, locais, facções, todas essas coisas. Tente fazer duas a quatro aqui. Duas quantas você quiser, na verdade. Então, meu personagem se chama Guth Red. Ei, eu posso até usar a IA para gerar uma nova entrada. Sim, isso é muito bom. Dorf Blacksmith, coloque as armas mais poderosas lá dentro Eu gosto disso. Como isso desencadeia a forma como ele entraria É assim que o A saberá e depois será interrompido, mas é assim que o AO saberá quando Guthd entrar na história Que você não tem uma nota gerada por IA aqui, mas isso pode ser uma mesa de ferreiro, uma espécie de anel especial de poder, algo parecido Sempre que a IA os ouve, há uma probabilidade, mas não definitiva, de que ela Em seguida, notas, não visíveis do A. Basicamente, a IA não usa as notas para criar nenhuma parte da história No entanto, ele ficará visível para os jogadores. Se você quiser contar aos jogadores alguma coisa sobre Guth Red, coloque isso aqui Termine isso. Agora, o tópico de Guth é especificamente um NPC na minha história, um personagem não jogador na minha Você adicionaria outro. Eu não queria, eu queria. Foi assim que eu mudei isso. Se você quiser mudar, quero adicionar um local, Heights of Lofty. Heights of Lofty Eu vou gerar algo. Heights of Lofty é uma série, novamente, muito boa. Eu posso acrescentar a isso, eu posso mudar um pouco disso. Digamos que eu queira fazer com que as alturas de Lofty sejam um ponto baixo na terra que tem caranguejos, lagostas ou algo Eu poderia colocar isso aqui e fazer com que fosse uma loucura. Agora, gatilhos, como isso vai acontecer. Eu poderia adicionar uma altura do gatilho. Soletrar corretamente? Suba as partículas, qualquer uma delas. Notas, novamente, eu poderia adicionar notas aos jogadores se quisesse. Agora, se formos até aqui para ver o gerador, temos modelos e outras coisas diferentes. Eu o encorajaria a dar olhada em todas as guias que estão aqui, tudo o que você pode ver. Então, eu não faço esse vídeo muito longo. Eu não vou, não vou menosprezar cada um. Detalhes. Posso acrescentar que posso adicionar uma arte. Agora, eu diria que uma boa coisa a fazer neste curso é ir para algo como co-piloto ou chat GPT, ou Dolly e gerar uma imagem que você pode colocar Você pode carregar sua própria imagem ou selecionar uma. Isso seria uma coisa muito boa de se fazer. Agora você dá um título ao seu mundo. Este não será o título do seu mundo. Essa será sua experiência de IA. Quando os usuários o procuram , você fornece uma descrição. Você pode atribuir a ele as tags que quiser e definir a visibilidade como privada. Você pode publicá-lo se quiser. Eu provavelmente diria que, como parte deste curso, podemos fazer o não listado e depois postar esse link diretamente nos comentários Para que outras pessoas possam ver sua criação. Então, dependendo do que você tem, você deve fornecer uma classificação. Obviamente, se você puder criar o que quiser aqui, deixarei isso como seu melhor julgamento sobre o que você cria. Depois, você pode até mesmo criar scripts que façam as coisas um pouco mais profundamente. Vou deixar isso para você. Com isso, você clicará em Salvar e não sei se isso vai me levar volta para lá. OK. Então, quando terminar, você clicará Concluir e ele criará algo, e estará aqui e você poderá postar onde está para acessá-lo . Então, muito obrigado pelo seu tempo, e estou ansioso para ver suas criações. Para resumir o que é necessário para o projeto do curso, precisarei que você acesse agon.com O link está no slide e crie uma conta. Você pode usar um serviço de e-mail temporário , Você pode usar um serviço de e-mail temporário como o tmail do, para criar essa conta, ou pode usar um endereço de e-mail que já tenha Mas, no final, você precisa de uma conta para o AI Dungeon. Depois de ter essa conta, você criará um novo cenário. Na aba de abertura desse novo cenário. Você completará a nota do autor. Você adicionará pelo menos um componente do gráfico. Em seguida, você mudará para a guia História. Você adicionará pelo menos duas cartas, quanto mais, melhor, e explorará todas as outras guias. Depois de concluir tudo isso, clicar em Enviar e criar o cenário. Você pegará o link desse cenário e o publicará na galeria de projetos da classe no Skillshare Tudo isso, com exceção de publicá-lo na galeria do projeto, está no início deste vídeo. Então, se você tiver alguma dúvida, eu o encorajo a assistir ao vídeo. Obrigada.