Análise de sentimento do Twitter e processamento de linguagem natural (PNL) para iniciantes | Engineering Tech | Skillshare
Pesquisar

Velocidade de reprodução


  • 0.5x
  • 1x (Normal)
  • 1.25x
  • 1.5x
  • 2x

Análise de sentimento do Twitter e processamento de linguagem natural (PNL) para iniciantes

teacher avatar Engineering Tech, Big Data, Cloud and AI Solution Architec

Assista a este curso e milhares de outros

Tenha acesso ilimitado a todos os cursos
Oferecidos por líderes do setor e profissionais do mercado
Os temas incluem ilustração, design, fotografia e muito mais

Assista a este curso e milhares de outros

Tenha acesso ilimitado a todos os cursos
Oferecidos por líderes do setor e profissionais do mercado
Os temas incluem ilustração, design, fotografia e muito mais

Aulas neste curso

    • 1.

      Apresentação

      1:11

    • 2.

      Como converter texto em valores numéricos usando modelo bag-of-words

      4:31

    • 3.

      Modelo tf-idf para converter texto em valores numéricos

      4:11

    • 4.

      Núcleo de PNL e como criar um classificador de texto

      10:07

    • 5.

      Como se candidatar a uma conta de desenvolvedor no Twitter

      2:21

    • 6.

      Análise de sentimento do Twitter usando o classificador de texto

      5:37

    • 7.

      Como criar um classificador de texto usando PyTorch

      3:32

    • 8.

      Como criar um classificador de texto usando TensorFlow

      1:43

  • --
  • Nível iniciante
  • Nível intermediário
  • Nível avançado
  • Todos os níveis

Gerado pela comunidade

O nível é determinado pela opinião da maioria dos estudantes que avaliaram este curso. Mostramos a recomendação do professor até que sejam coletadas as respostas de pelo menos 5 estudantes.

67

Estudantes

--

Sobre este curso

Há em média 500 milhões de tuítes por dia! Pessoas tweetam em vários tópicos , temas que vão desde política, esportes até filmes até quase todos os temas sob o sol. A análise de sentimento é o processo de determinar se um texto (revisão, tweet, feedback etc.) é positivo ou negativo. A análise de sentimento nos ajuda a obter feedback dos clientes em determinados produtos ou serviços. Ele é usado para obter o humor geral do público em vários assuntos do dia a dia. A análise de sentimento também pode ser usada para prever resultados eleitorais.

Neste curso, você vai aprender o seguinte

  1. Como converter texto em valores numéricos usando modelos bag-of-words e tf-idf
  2. Técnicas básicas de PNL - palavras paradas, caução, tokenização
  3. Como criar um classificador de texto usando técnicas de classificação de Machine Learning
  4. Como exportar e implementar os modelos de Machine Learning
  5. Como configurar uma conta de desenvolvedor no Twitter
  6. Como criar tuítes em tempo real do twitter e predizer sentimentos.

Pré-requisitos:

Você deve ter conhecimento prévio em Python e técnicas básicas de Machine Learning, como Classificação

Conheça seu professor

Teacher Profile Image

Engineering Tech

Big Data, Cloud and AI Solution Architec

Professor

Hello, I'm Engineering.

Visualizar o perfil completo

Level: Beginner

Nota do curso

As expectativas foram atingidas?
    Superou!
  • 0%
  • Sim
  • 0%
  • Um pouco
  • 0%
  • Não
  • 0%

Por que fazer parte da Skillshare?

Faça cursos premiados Skillshare Original

Cada curso possui aulas curtas e projetos práticos

Sua assinatura apoia os professores da Skillshare

Aprenda em qualquer lugar

Faça cursos em qualquer lugar com o aplicativo da Skillshare. Assista no avião, no metrô ou em qualquer lugar que funcione melhor para você, por streaming ou download.

Transcrições

1. Introdução: Bem-vindo a este curso de análise de sentimentos do Twitter. Neste curso será buscar tweets em tempo real do Twitter e prever sentimento de tweets usando processamento de linguagem natural e técnicas de aprendizado de máquina Python. Primeiro entenderá as técnicas de classificação e construirá um classificador de texto que possa ler qualquer texto e prever se o sentimento é positivo ou negativo. Uma vez que isso é feito vai esgotar os mortais para análise de sentimentos no Twitter. Este curso é projetado para alguém que já conhece aprendizado de máquina e lavagem Python para entender como fazer a classificação de texto e aplicar várias técnicas de PNL para fazer a análise de sentimentos do Twitter. Se você é completamente novo em Python e machine learning, você pode querer conferir nosso outro curso que é projetado para testemunha absoluta. Então vamos mergulhar e começar. 2. Convertendo texto em valores numéricos usando modelo bag-of-words: Todos os modelos de aprendizado de máquina são projetados para trabalhar em dados numéricos. Se você tiver dados numéricos, salário do agente é mostrado aqui, então podemos facilmente construir um modelo de aprendizado de máquina que pode prever a saída para um novo conjunto de dados. Agora, como aplicamos essa técnica para classificar o texto? Por exemplo, poderíamos ter revisado dados para um restaurante como serviços bons ou ambientes muito agradável, difícil. Nós os categorizamos como avaliações positivas ou negativas. Se formos capazes de construir um modelo de classificação com base nesses dados de revisão, então podemos prever se uma nova remoção, por exemplo, o prato principal foi bom, se é bom ou ruim. O problema que precisamos resolver é como convertemos isso? Leva os dados para o formato numérico. Isso nos leva ao processamento de linguagem natural ou PNL. É uma área de ciência da computação que lida com interação de computadores e linguagens humanas. Nlp pode ser usado para processar texto ou fala. Uma das maneiras de converter leva para o formato numérico é usando saco de palavras modelo que você representa texto é saco de palavras, desconsiderando a gramática e a ordem em que eles ocorrem, mas mantendo a multiplicidade, você dá maior peso a atribuir se ocorrer mais número de vezes em uma determinada frase. Vamos entender o saco de palavras através de um exemplo simples. Temos três frases. Serviço, bom, ambiente agradável, boa comida. Agora vamos ver como podemos representá-los em formato numérico usando a modelagem de saco de palavras. Vamos identificar todas as palavras a espreitar em todas as três frases. Estes são serviço, bom, agradável, ambiente. E por agora vamos ver quantas vezes cada palavra ocorre em cada uma das frases. A primeira frase Serviço ocorre uma vez. Então vamos capturar um. Nice não ocorre na primeira frase. Então vamos capturar 02. Da mesma forma, você pode fazer isso para todas as palavras em todas as três frases. E então você pode criar uma matriz de valores numéricos. Vejamos um exemplo um pouco mais complexo. Temos três frases, e essas frases têm muitas palavras mostradas aqui. As primeiras frases serviços bom hoje, em seguida, ambiente é realmente bom. Então o terceiro é hoje para seu casaco e salada é bom. Vamos criar um histograma de palavras e capturar quantas vezes cada palavra está ocorrendo. Quando você converter uma frase para o formato numérico, você não necessariamente tomar todas as palavras. Você terá que encontrar as palavras principais e, em seguida, criar uma matriz a partir disso. Existem várias bibliotecas disponíveis para você escolher Top 1000 ou 10 mil palavras em inglês para o seu texto e criar um vetor numérico. Por enquanto, vamos tentar entender como o modelo é criado tomando esses exemplos simples e, em seguida, escolhendo potência resistente quatro ou cinco watts. Quando você começa a trabalhar no projeto PNL real, você amava bibliotecas para ajudá-lo a extrair as palavras e criar vetores numéricos. Então, neste caso particular, nós organizamos contagem de palavras por palavras, e vamos escolher essas cinco palavras. É bom, bom hoje em serviço, que ocorrem na maioria das vezes. E vamos escolher este top cinco watts que ocorrem mais número de vezes, e então construir um vetor numérico para nossas três frases. Então, como você pode ver aqui, o que Issachar duas vezes para a terceira frase. Então é aí que o valor é dois aqui. Para o resto das frases, está ocorrendo uma vez, então somos capturados um ano. Da mesma forma, a contagem do número de vezes cada palavra está ocorrendo em cada frase é capturada aqui. A limitação do modelo saco de palavras vê cada um o que é dada a mesma importância. Se você tem que fazer alguma análise usando texto, por exemplo, se você tem que calcular o sentimento do texto, nem todas as palavras podem ter a mesma impotência. Por exemplo, palavras como nice terão maior importância do que hoje quando se trata de análise de sentimentos positivos. Vamos agora olhar para outra técnica usando a qual podemos dar maior importância a certas palavras. 3. Modelo tf-idf para converter texto em valores numéricos: TF-IDF é uma técnica popular para converter tomadas em formato numérico. TF-IDF significa frequência de termo e frequência de documento inverso. É colocado este modelo, se a sua palavra ocorre mais número de vezes em um documento ou uma frase, é dada mais importância. No entanto, se a mesma ordem ocorrer em muitas frases ou muitos documentos, então a palavra recebe menos importância. Vejamos um exemplo. Tf é a frequência do termo, ou seja, o número de ocorrências de uma palavra em um documento dividido pelo número de palavras nesse documento ou frase. Por exemplo, se hoje a comida é boa e salários Nice. Isso é uma frase. Em seguida, o Termo Freqüência do que o bom é um por oito porque a palavra boa ocorre uma vez e há um total de oito palavras. Da mesma forma, a frequência-alvo da palavra 0s é dois por oito porque a palavra iz ocorre duas vezes. E não são apropriadamente para. Então seguir este modelo seria facilmente mais importante do que nós somos bons porque ele está ocorrendo mais número de vezes nesta frase em particular. No entanto, se em direção a agrião comum fácil, várias frases são documentos, sua importância seria menor. Então isso é conduzido pela frequência inversa do documento, que vai olhar em seguida. Idf Frequências de documento inverso calculadas com base nesta fórmula. Base de log C, número de frases dividido pelo número de frases contendo a palavra. Novamente, você não precisa se lembrar desta fórmula. Você adora bibliotecas disponíveis para calcular valores TF e IDF. Por enquanto, entenda os conceitos. Vejamos um exemplo simples para entender o IDF. Imagine que temos três frases. Serviços bons. Hoje ambiente é muito agradável, e hoje a comida é boa e sólida é agradável. Nós já sabemos como calcular a frequência de diferentes palavras que aparecem nessas frases. Agora, para calcular a frequência do documento inverso terá que fazer base de log C, número de frases. Isso é três para todas as palavras divididas pelo número de frases contendo a palavra. Por exemplo, facilita um emparelhamento em todas as três frases. Então, no denominador temos três para cada que base de log e, três por três 0. Agora, a palavra Israel tem menor importância porque é uma palavra comumente ocorrendo. Da mesma forma, para a palavra boa, está ocorrendo. E para documentar, Se aplicarmos a base de log e três por dois, teremos um ponto muito baixo para um. E então podemos calcular para todas as palavras. serviço ocorre apenas em uma frase ou um documento, portanto seu valor é 1,09. Para calcular o valor numérico de cada palavra, levamos em consideração TF e IDF. Simplesmente multiplique TF, IDF, por exemplo, para o que é TAP é 0,25 e IDF é 0. Da mesma forma, você pode calcular o valor TF-IDF para todas as palavras. Agora você pode ver que as palavras recebem importância com base em quantas vezes elas estão ocorrendo em uma frase e quantas vezes elas estão ocorrendo em todas as frases. Ao contrário do modelo saco de palavras, damos mais importância para que ocorrem mais número de vezes em uma frase particular, mas eles são listas espalhadas. Este é o modelo TF-IDF usando o qual você pode converter leva para o formato numérico. Agora, uma vez que você tem este texto em formato numérico, isso podemos caber em um modelo de aprendizado de máquina? Cada uma dessas palavras em um sistema de classificação baseado em texto seria uma característica ou variáveis independentes. E sua variável dependente seria se o sentimento é positivo ou não. Isso pode ser representado em formato numérico é um ou geo em vez de positivo ou negativo. 4. Núcleo de NLP e como criar um classificador de texto: Vamos entender como construir um classificador de texto usando as técnicas que você acabou de aprender também entenderá alguns dos principais conceitos de PNL ou Processamento de Linguagem Natural. Acesse Collab do Google e crie um novo caderno. Vamos chamá-lo de classificador de texto. Existem várias bibliotecas disponíveis para processamento de linguagem natural. Será pré-processado nosso texto usando uma biblioteca popular chamada NLTK. Entenderá o NLTK e alguns dos principais conceitos do Processamento de Linguagem Natural, observando alguns exemplos. Primeiro, precisamos importar NLTK. Depois disso, precisamos baixar bibliotecas NLTK e baixaremos todos os passivos. Enquanto ele está baixando. Vejamos o arquivo de texto em que estaremos trabalhando para entender a PNL e construir um classificador de texto. Estará olhando para os dados da revisão do restaurante. Isso está disponível no Kaggle e em muitos outros lugares online. Estes são dados de reinicialização do restaurante e se os clientes gostam do restaurante ponto nada um significa que eles têm como cavalheiros passo não gosta. Você pode ver algumas das frases positivas como a frase, estamos bem. Essa é uma coisa positiva. Quem não voltaria? É uma frase negativa, é uma crítica negativa. Então isso é marcado como 0. Assim, com base nesses dados terá que construí-lo classificador de texto, usando o qual podemos prever se um novo frases positivo ou não. Vamos clicar na guia para obter o caminho deste arquivo. Precisamos que Pandas carregue o arquivo. Então vamos primeiro importar numpy como NP, depois Pandas como PD. Usando pandas read_csv irá ler este CSV do nosso repositório GitHub. Recebemos um erro porque isso não é separado por vírgula, separado por tabulação, então você tem que especificar esse delimitador. Então o delimitador seria tabulação e, em seguida, capturar revestimento igual a três, o que significa que aspas duplas devem ser ignoradas. Uma vez que ele é carregado para um Pandas DataFrame, podemos ver os registros principais. Agora este anúncio de restaurante carregado para um Pandas DataFrame. No processamento de linguagem natural, removemos algumas das palavras comumente ocorrendo lago, mesmo que elas não nos digam se uma frase é positiva ou negativa, mas elas ocupariam espaço. Essas palavras são chamadas de palavras de parada. E usando NLTK, podemos facilmente nos livrar de todas as palavras de parada. Há um outro conceito chamado stemming usando o qual podemos derivar forma raiz de palavras. Por exemplo, para ambos correndo em execução, podemos ter palavra run para total e total. Podemos ter trabalhado total. Que nós, limitamos o número de palavras em nossa análise. Vamos entender como isso funcionaria. Primeiro, vamos importar a biblioteca stopwords do NLTK. Em seguida, vamos importar portador stemmer, usando o qual você pode derivar rota para as palavras, irá instanciar a classe stemmer. Agora vejamos nosso conjunto de dados em detalhes. É 1000 entradas, terá que percorrer essas entradas elogiadas e remover todas as palavras de parada e aplicar stemming e criar um corpus de tecnologia limpa. Primeiro vamos declarar uma lista vazia que conterá o corpo do texto. Agora para i no intervalo de 0 a mil, vamos declarar uma variável de revisão do cliente que irá conter dados para cada linha, que podemos buscar usando revisão de conjunto de dados I. Em seguida, vamos nos livrar de todas as palavras stop e aplicar stemming usando esta sintaxe. Então vamos obter todas as palavras que estão lá na revisão do cliente. E se a palavra não está na lista de palavras de ordem inglesa fora da biblioteca NLTK, você aplica stemming. Então você pode concatenar as palavras para obter a frase de volta. E então, finalmente, vamos anexar isso à lista de corpus, também vai fazer mais algumas limpezas de dados. Se olharmos para esta reinicialização, existem certos caracteres como ponto de exclamação, que também podemos nos livrar de usar Python. A expressão regular manterá apenas alfabetos em letras maiúsculas menores. E você pode facilmente fazer isso em Python usando expressão regular. E a sintaxe para isso é algo assim. Deve, isso deve se livrar de todos os caracteres que não são alfabeto e também irá converter todas as frases para minúsculas para consistência. Agora vamos dividir a frase no espaço para derivar as palavras. Então a primeira linha é remover todos os caracteres de lixo. Então estamos convertendo as frases em minúsculas, dividindo-as pelo espaço. Para cada palavra. Se não está em palavras de paragem, então estamos a tomar essa palavra e a aplicar o “stemming”. E finalmente juntaremos todo o relógio para recuperar a sentença. Então vamos executá-lo e ver a saída. Precisamos importar a expressão regular também. Isto tem que ser mais baixo. Agora, depois disso, devemos ter um corpus de frases limpas. Vamos verificar os valores. Vamos pegar a primeira frase é que você pode ver agora que temos todos os pontos removidos e toda a frase convertê-lo em minúsculas. Digamos que a linha de acordes sete, que é um índice seis. Você pode ver que os parênteses foram removidos. E também todas as palavras de parada como um no e outras palavras que ocorrem comumente foram removidas. E o domador nos ajudou a derivar a raiz de cada palavra. Vejamos outro exemplo. Então esta é outra frase onde as palavras foram alteradas para sua forma raiz. Observe que a forma raiz pode ou não ter qualquer significado. Mas isso nos ajudaria a reduzir o número de palavras para que possamos fazer o processamento muito mais rápido. Em seguida, vamos converter as frases para o formato numérico usando tesouro vetorial TFIDF. Scikit-learn é TFIDF vetor classe Egito. E podemos especificar quantas palavras queremos, tau 01500 ou qualquer número. Usando DAF médio, estamos especificando que a palavra deve ocorrer ao preço de locação para que isso seja considerado. Então você pode se livrar de palavras que são. Corte com pouca frequência usando o df médio. Usando max D se você pode se livrar de palavras que ocorrem com freqüência em todos os documentos. Assim, por exemplo, MAX da 0.6 iria se livrar de qualquer palavra que ocorresse em mais de 60% dos documentos. Em seguida, usando o vetorizado ou podemos converter o corpus para um portador numérico. Vamos imprimir as tomadas agora. Então estes são os valores TF-IDF. Haverá alguns valores diferentes de zero que não são exibidos neste bloco de anotações. Vamos verificar um registro de amostra. E podemos ver que algumas das palavras têm valores diferentes de zero. Então este vitimizador é criado um transporte numérico bidimensional de todas as frases no arquivo de revisão do restaurante. Neste conjunto de dados, como faz a variável dependente que contém um ou 0. Então vamos criar uma variável dependente, y, que terá dados para esta coluna. Então vamos obter todas as linhas e a segunda coluna, converter isso para uma matriz NumPy. E quando você imprime y, você pode ver todos os valores um ou 0. Depois disso, os estribos para criar modelo de aprendizado de máquina é o mesmo que vimos anteriormente para dados numéricos. Vamos fazer testes de trem, dividir, manter 80% de dados para treinamento, 20% para testes. Vamos usar a técnica K nunca para construir um classificador. Então você também pode usar qualquer outra técnica de classificação como talvez assim que é um classificador popular para dados baseados em texto. Agora vamos prever usando o classificador. Vamos derivar a matriz de confusão. Agora imprimirá a emissão de patrimônio. Em seguida, vamos ter uma frase de exemplo e prever se ela é positiva ou negativa. Usamos o mesmo lazer vetorial para converter esta frase em formato numérico. Então esta é agora a representação TF-IDF da frase. Depois disso, podemos prever o sentimento usando o método de previsão do classificador. Então temos um que é positivo. Vamos ter outra frase de exemplo. Converta isso para o formato TFIDF. Agora preveja o sentimento e chegamos a 0. Então esta é uma frase negativa. É assim que podemos construir um classificador de texto que pode ler frases diferentes e determinar se é positivo ou negativo. Agora, se alguém quiser prever o uso deste classificador, eles precisariam do classificador. Eles também precisariam da medida de vitória. Vamos exportar esses dois arquivos em formato decapado. Então este é o nosso classificador. Vamos chamá-lo de classificador de texto. E vamos criar um arquivo pickle para esse modelo TF-IDF. Agora temos ambos os arquivos pickle e podemos baixar do ambiente colab e levá-lo para outro ambiente onde podemos usar esses arquivos fivela para prever o sentimento de texto. 5. Aplicando uma conta de desenvolvedor do Twitter: Vamos para o desenvolvedor dot twitter.com e solicitar uma conta de desenvolvedor. Então, isso é diferente de ponto to.com que você pode ter. A Pashtun poderia entrar no Twitter e, em seguida, ir ao seu parceiro de advocacia tutor.com. Clique em Aplicar. Clique em Aplicar para uma conta de desenvolvedor. Vou começar a fazer pesquisas acadêmicas. E dê todos os seus detalhes. Especificou o motivo para criar uma conta de desenvolvedor que lhe dará acesso aos dados. A Epa respondeu às perguntas deste vídeo. Clique em Avançar. Leia os termos e condições e clique em Aceitar. E envie a candidatura. Você precisa ir para sua caixa de correio e confirmar que você se inscreveu. Agora haverá com aplicação e aprová-lo. Pode levar algumas horas ou até alguns dias. E você receberá um e-mail recebendo que sua inscrição foi enviada para revisão. Depois que seu aplicativo for aprovado, vá para o desenvolvedor dot Twitter.com. Clique no portal do desenvolvedor. Em seguida, aqui você pode clicar em aplicativos. E você pode limpar a soneca. Dê-lhe um nome, dê-lhe um URL de retorno de chamada, que pode ser o mesmo que o seu URL. E outros detalhes. Uma parada é criada. Você pode ir para chaves e tokens e obter sua EPA de consumidor e chave secreta que você pode usar para recuperar dois. É que você sempre pode voltar para os aplicativos e selecionar um aplicativo específico, e voltar para as teclas e guia Tokens para ver as chaves. E você também pode Região parte de confusão, colocando alguém sabe suas chaves, então você sempre pode lê-los. E você pode gerar token de acesso e chaves de acesso. E você só pode ver esses valores uma vez Sudipto copiar e dá-los em algum lugar. 6. Análise de sentimento no Twitter usando o classificador de texto: Vamos agora para o caderno de classificação de texto no Google Columbian baixar os arquivos pickle que geramos no nível anterior. Primeiro precisamos importar a estabilidade do arquivo. Em seguida, podemos salvar arquivo arquivo download e especificar o nome do arquivo em tribunais, e baixar os arquivos bcl mais rápido baixar o classificador. Em seguida, vamos baixar a modelagem TF-IDF irá carregar os arquivos em conserva para o repositório GitHub. Agora vamos criar um novo caderno para análise de sentimentos do Twitter. Vamos salvar isso. Vamos chamá-lo como Drew não exige análise. Este é um novo caderno, então os arquivos de pickle não estarão presentes aqui. Irá copiá-los do repositório do GitHub. Copiar o endereço do link. Em seguida, primeiro obter ponto TF-IDF modelo, Copiar endereço de link e, em seguida, obter o classificador de texto. Agora ambos os arquivos foram copiados. Para fazer análise de sentimento do Twitter a partir de um programa Python usará para ser responsabilidade. Primeiro 3p clinicamente importante. Então precisamos declarar variáveis de encaminhamento para armazenar a chave do consumidor, segredo do consumidor, token de acesso e segredo de acesso. Vamos copiá-los da nossa conta de desenvolvedor. Vamos selecionar o aplicativo que acabamos de criar e copiar esta chave secreta e acessar token e acessar segredo e regenerar essas chaves. Após este laboratório, você não poderá usar essas chaves. Em seguida, vamos escrever aqueles que acabaram por ser o núcleo para ficar indignado com o Twitter usando o segredo do consumidor chave, token de acesso e segredo de acesso. Em seguida, declarou uma variável APA com determinado tempo limite, especificado 22º tempo limite. Se não houver tweet por 20 segundos, o tempo limite será atingido. Em seguida, vamos buscar tweets para um determinado texto. Será buscar vacina, que é um tópico popular. Agora vamos criar uma lista vazia para armazenar todos os tweets. E, em seguida, usando acorde 2pi padrão , podemos buscar todos os pontos, que a única coisa que você precisa prestar atenção é quantos tweets você deseja buscar ter especificado 500 aqui. Isso continuará sendo executado até chegar a 500 tweets. Você pode verificar o comprimento do número de mercadorias, fase dois, que é 500. Você pode verificar algumas amostras dois, também é, então essas são algumas grades reais que as pessoas estão tweetando agora sobre vacina secreta. Como você pode ver, aquele tweet disse senhor de personagens especiais como cohosh. Na taxa, podemos usar Python, relé, let-expressão periódica, dois pinos que pesam. Então nós realmente não olhamos. Vamos obter tweets um por um, convertê-los em minúsculas, removeremos todos os personagens de John. Você pode ler mais sobre expressão regular e entender como lidar com diferentes tipos de texto. Podemos pegar uma amostra para comer após a limpeza. Vamos verificar este. Veja que ele é ganho em tudo. Os personagens especiais desapareceram. Aprendemos técnicas de vídeos para implantar os arquivos em conserva, como ter IPAs arriscados são EPAs sem servidor para este laboratório, vamos simplesmente Senhor os arquivos pickle para duas variáveis e usá-los para importar tópicos. E baixamos nosso modelo TF-IDF para outra variável. Vamos declarar duas variáveis para manter o controle de tweets positivos e negativos. Em seguida, olhamos para a lista do Twitter e usando método de previsão de pontos classificador irá prever sentimento para cada tweet. E antes de encaixar que leva para o classificador terá que aplicar o modelo TF-IDF para convertê-lo em formato numérico. Vamos executar isso. Depois disso, obteremos o UidCount positivo e negativo. Vamos ver quantos positivos, mas dois, está na vacina, é 97 e, em seguida, 403 negativos dois. Então este é o sentimento do texto analisado para os últimos 500 tweets. 7. Como criar um classificador de texto usando PyTorch: Vamos agora entender como criar classificador de texto ponto usando pelo toque. Se você é novo para comprá-lo deep learning ponto-ponto, você pode conferir nosso outro curso sobre aprendizado de máquina, implantação de modelos de aprendizado profundo. Os estribos para pré-processamento e limpeza de texto são os mesmos que fizemos anteriormente. Uma vez que você tenha o corpus obter texto, você pode usar o vetor TFIDF Ásia para criar uma matriz numérica. E depois disso você pode fazer a divisão de teste de trem usando scikit-learn. Depois disso, em vez de criar um modelo usando a técnica de vizinho k mais próxima, vamos usar Python para construir um classificador de texto. Importe a responsabilidade necessária pelo toque. Você precisa converter x e y variável para o formato tensor. Uma coisa a notar aqui é que temos um total de 1000 frases no corpus. Eles têm 467 características. Então estes são os vetorizes para agora que determinam que nossos sites de nós de entrada terão um tamanho de entrada de 467, porque existem 467 watts ou recursos neste corpus de texto. tamanho da saída seria dois porque você está prevendo que o sentimento é positivo ou negativo. Bem, podemos tentar com um tamanho oculto diferente. Deixe-me tentar com 500. Semelhante ao exemplo anterior, temos duas camadas ocultas, terá três camadas totalmente conectadas, entrada para oculto, oculto para oculto. E então ele fez a saída final. Então, a única mudança aqui é o manipulador de tamanho de entrada escondido sage. Resto das etapas são discutidas anteriormente para definir a classe modelo. Em seguida, você define a otimização da sua taxa de aprendizagem. Digamos que 100 épocas desta vez. E agora vamos treinar a rede neural. Verá que a perda está sendo minimizada. E agora o modelo está treinado e pronto para a previsão. Podemos prever a forma como previmos o nosso anterior. Vamos ter uma frase de exemplo irá convertê-lo em formato numérico. E precisamos converter essa frase para um formato mais denso. Depois disso, você pode prever usando a classe modelo Python. A partir desta saída, podemos ver que é uma frase positiva porque o segundo elemento é maior do que o primeiro. Se tivermos outra frase semelhante à que tínhamos anteriormente, que é uma frase negativa, então obterá a saída em que o primeiro elemento será maior do que o segundo. Então esta é uma frase negativa. Agora você pode exportar o dicionário e integrado com o programa de análise de sentimento tutores. Se você está mais interessado em aprender a implantar por toque Madelon, Como criar GPAs de risco a partir de seu modelo high-touch. Então você pode conferir nosso outro curso sobre aprendizado de máquina, implantação de modelos de aprendizado profundo. 8. Como criar um classificador de texto usando TensorFlow: Agora vamos entender como criar um classificador de texto usando câmeras TensorFlow. Assim que nossos dados estiverem prontos, podemos criar um modelo TensorFlow. Semelhante aos exemplos anteriores, criaremos duas camadas ocultas e uma camada de saída terá 500 nós em cada camada oculta e loci intensivo. Considerando que você não precisa especificar a camada de entrada porque ela irá determinar automaticamente que a partir dos dados de entrada. Agora vamos treinar o modelo com 100 épocas. Qual é o modelo que foi treinado para ser? Pode levar a perda e, e também levar o modelo de alguém. Agora podemos prever a forma como previmos anteriormente para os modelos KNn ou Python. Tenha uma sentença de exemplo. Converta-o para o formato numérico. Em seguida, usando o método TensorFlow model.predict, você prevê este íntimo. É 0,79. Significa que é uma frase positiva. Da mesma forma, para o outro, temos uma célula expoente de número muito baixo menos 07. Então essa é uma frase negativa. Agora você pode salvar e exportar este modelo e integrar com o programa de análise de sentimentos embora. Se estivermos mais interessados em saber como criar riscos, os EPAs para modelos do TensorFlow sobre como implantar modelos do TensorFlow. Então você pode conferir nosso outro curso sobre aprendizado de máquina e implantação de modelos de aprendizado profundo. Obrigado por se inscrever para este curso.