Introdução à Inteligência ArtificiaI Machine Learning e Python

1. Introdução: Olá a todos, todos, e estou feliz em ver dentro desses núcleos inteligência artificial, aprendizado de máquina, aprendizado profundo, redes neurais e big data. Todos esses termos e tecnologias estão sendo usados cada vez mais frequentemente nos dias de hoje. Apenas 40 anos atrás, nós só podíamos ler sobre essas coisas em alguns livros ou revistas futuristas, enquanto agora, quer os entendamos ou não, eles já estão se tornando uma parte importante da nossa vida cotidiana. Quando a pesquisa de notícias, agregadores de notícias na Internet nos mostram exatamente as notícias que podemos estar mais interessados . O mesmo acontece nas redes sociais nos serviços de música do YouTube, onde estamos mostrando exatamente aqueles vídeos, músicas ou imagens que você provavelmente vai gostar. Os computadores já podem reconhecer nosso discurso, e a tradução automática do Google Translate funciona muito melhor do que apenas cinco anos atrás. Técnicas de reconhecimento de imagem e ambiente são usadas em carros autônomos que já dirigem ao redor, ao redor, são muito cidades no número de carros autônomos, está aumentando, obter um espaço tremendo, e quase todos os fabricantes de automóveis estão desenvolvendo essas tecnologias. Além disso, AI é usado por bancos para decidir o valor do crédito fora de uma possível guerra guerra vendas e departamentos de marketing em empresas usá-lo para prever vendas e fazer recomendações mais personalizadas para cada cliente. Enormes orçamentos são gastos em publicidade direcionada, que está se tornando cada vez mais direcionada. Graças às tecnologias de aprendizado de máquina. E. Eu me torna especialmente relevante em medicina, onde as redes neurais podem detectar a presença de doenças graves com muito mais precisão do que os médicos mais profissionais. Como você pode ver, a gama de uso da AI é muito extensa, e essas tecnologias já são usadas em várias indústrias e como a gama de uso abrange quase todas as áreas, isso requer um grande número de especialidades que são bem arredondados em como seus algoritmos de inteligência de divisão e aprendizado de máquina funcionam. E é por isso que hoje, quem quer desenvolver seu portador precisa ter um padre, uma compreensão básica, tosse, tosse, inteligência artificial e aprendizado de máquina. De acordo com várias estimativas, existem apenas cerca de 300.000 especialistas em IA em todo o mundo, e desses, apenas 10.000 são profissionais muito fortes que trabalham em projetos de grande escala. Estima-se que, em um futuro muito próximo, a demanda por tais especialistas crescerá para 30 milhões de pessoas e continuará a crescer no futuro,o futuro, que significa que é para Agora há uma enorme escassez de especialistas que entendem e são capazes de trabalham com as tecnologias da IA e do aprendizado de máquina. Muitos gigantes tecnológicos, como Google, Netflix, Alibaba, Tencent, Facebook queixou-se da falta de especialistas de alta classe e salários para tais vagas são um dos mais altos do mercado hoje, especialmente com dois ou três anos de experiência no campo do Big Data. E a IA pode receber mais de US$150.000 por ano na América, Europa e China, e o melhor especialista aprendeu com US$1.000.000 por ano e mais. Escusado será dizer sobre as inúmeras starups no campo da AI, que são lançadas todas as semanas e atraem enormes rodadas de investimentos, aqueles para resumir A já é usado em nossas vidas por muitas empresas e serviços. Às vezes, mesmo quando não percebemos. Em geral, faz com que a nossa experiência fora do contrato incluem a qualidade circundante, mais personalizado e conveniente. Há muitas áreas e indústrias onde o Norwich off a I pode ser posto em prática, e há uma óbvia escassez de especialistas neste campo, e eles estarão em demanda nas próximas duas décadas, pelo menos neste curso, você vai dar a idéia básica do que um carro I e machine learning dizer-lhe sobre seus principais mergulhos. Algoritmos, que os modelos mostram onde procurar dados para análise e prática com você. Como resolver alguns problemas reais de aprendizado de máquina. Nós também forneceremos uma breve introdução ao uso do por telefone, que é uma linguagem de programação usada para construir a maioria das máquinas em fondles. Depois de passar neste curso, você será capaz de se comunicar livremente sobre esses tópicos, e você será capaz de construir seus próprios modelos preditivos simples de aprendizado de máquina C dentro do curso. 2. História da inteligência artificial: nos últimos anos, os termos inteligência artificial, aprendizado de máquina, redes neurais, big data tornaram-se talvez um dos tópicos mais discutidos em todo o mundo hoje. Sobre as pessoas preguiçosas não estão falando de um I. No entanto, deve-se lembrar que a inteligência artificial não é algo que você e essa disciplina tem sido em torno de várias décadas. Foi em meados do século 20 que os cientistas começaram a pensar se as máquinas podem ter inteligência. Em 1950, o voluntário matemático inglês propôs esse teste auditivo, cujo objetivo era determinar se uma máquina pode pensar e enganar uma pessoa, fazendo-a acreditar que ele está se comunicando com a mesma pessoa que ele mesmo e não com o computador. No mesmo ano, o escritor de ficção científica I Sock Icing Off introduziu as três Leis da Robótica, nas quais ele indicou qual deveria ser a relação entre humanos e robôs. Em 1955, um grupo de cientistas realizou um seminário onde discutiram o futuro dos computadores. Um dos presentes foi John McCarty, que primeiro cunhou o termo inteligência artificial artificial. Portanto, é 1955 que é considerado o ano fora do nascimento de um I. Três anos depois, o mesmo McCarty criou a linguagem de programação menos, que se tornou a linguagem principal para trabalhar com o para os dois próximos anos. Em 1956, o engenheiro Artur Samil criou o primeiro computador estrangeiro do mundo que podia jogar damas. As damas foram escolhidas devido ao fato de terem regras elementares e, ao mesmo tempo, se você quisesse ganhá-las, então você deve seguir uma certa estratégia. Este computador, criado por Samil Learn on Simple books, irá descrever centenas de jogos com bons e maus movimentos no mesmo ano. Em 1956 Helber Simon Alan, You Oh e Clifford Chou criaram um programa chamado The Logic Theories. Acredita-se que este é um dos primeiros programas com um I. As teorias lógicas fizeram um bom trabalho com a gama limitada de problemas, por exemplo, problemas em geometria e foi até capaz de provar o igual, literal Teoria do Triângulo , mais elegantemente do que a tendência deles. O Russell. No ano seguinte, 1957 front krosen lot surgiu com Perceptron, que era um sistema de aprendizagem que agiu não só de acordo com determinados algoritmos e fórmulas, mas também com base na experiência passada. É importante notar aqui que o Perceptron foi o primeiro sistema a usar redes neurais. Mesmo assim, os cientistas entenderam que alguns problemas são vendidos por uma pessoa muito rapidamente enquanto eles levam muito tempo de um computador. Portanto, eles pensaram que talvez seja necessário reproduzir a estrutura do cérebro humano para ensinar o dedo do pé do computador trabalhar tão rápido. Eles chamam os elementos mais simples dos neurônios Perceptron porque eles se comportaram de forma semelhante aos neurônios no cérebro humano. O modelo de computador fora do Perceptron foi implementado em 1960 na forma do primeiro computador mais novo, que foi nomeado Mark um. Quase ao mesmo tempo, um poderoso instituto fundou um laboratório. Vamos dar um exemplo aqui. A pergunta. Como as crianças pequenas aprendem? Eles são mostrados algum tipo de objeto, e eles dizem que este é um touro e este um cubo. Afinal, não explicamos à criança que o Cubo tem todos os ângulos fora de 90 decretos e todos os lados são iguais e a bola tem o conceito de rádios de diâmetro, portanto, o shell simples olha para um monte de semelhantes objetos. Um monte de bolas diferentes e outros objetos uma máquina de escrever, uma mesa, um avião de nós obter. E depois de um tempo, a criança começa a distinguir de forma independente todo esse objeto, mesmo que eles sejam de uma cor diferente ou ligeiramente diferentes em sua forma. Quando o algoritmo de computador aprende com um grande volume de exemplos, isso é chamado de aprendizado de máquina. Inteligência artificial, por sua vez, significa que o algoritmo aprendendo a partir de exemplos pode resolver vários problemas intelectuais. Então vamos passar por isso para a próxima década. Foi em 1961 que a General Motors introduziu o primeiro robô em seu processo de fabricação de carros. Em 1965 o primeiro filho nascido ELISA, foi inventado. ELISA deveria imitar um psicoterapeuta que perguntou ao paciente sobre sua condição e sugeriu possíveis soluções ou simplesmente poderia simpatizar com o interlocutor. Descobriu-se que a conversa com pessoas ELISA experimenta as mesmas emoções e sentimentos que com uma pessoa real. Em 1974, o primeiro veículo não tripulado foi inventado no laboratório da Universidade de Stanford. Logo se tornaria o protótipo para os seguintes modelos de canto em 1978 Douglas Lynn e criou o sistema de guerra Your Risk Yself. O sistema não só esclareceu padrões já conhecidos, mas também propôs novos. Alguns anos mais tarde, você arrisca um aprendido a resolver problemas como mais fazendo evolução biológica, Limpeza do serviço de produtos químicos, colocando elementos em circuitos integrados e assim por diante. Você é Iskan é um conjunto de regras lógicas. Se então Yuri varas e regra que funciona em muitos casos, mas não em todos. Ele permite que você tome uma decisão rapidamente quando não há como realizar uma análise completa da situação. Por exemplo, como distinguir saboroso de alimentos insípidos? Se houver açúcar do que é delicioso, Funciona, mas nem sempre. Por exemplo, vendê-lo ou carne frita ou açúcar também não é sempre permanece profunda. Por exemplo, encontrar com açúcar Yuri varas pode ser complicado ou complementado. Por exemplo, frutas ou alguma combinação de produtos podem se tornar deliciosas. A própria máquina aprendeu a inventá-los com experiência. Nós damos exemplo, então o algoritmo e já encontra padrões. A máquina pode resolver o olhar mais opções do que as pessoas. Se os clientes não gostaram, então talvez esta seja uma má combinação de pato com maçãs. O que? Não há fonte suficiente. Então vamos passar para o final do século 20, em 1989 Carnegie Mellon criou um veículo não tripulado usando redes neurais. Em 1988, o computador de pensamento profundo joga contra Kasparov, Jess Champion, mas perde para ele depois de oito anos. Eles têm outro jogo no jogo. Kasparov é mais forte que o computador, mas apenas o líder do ano. Em 1997, o altamente atualizado A I D azul da IBM derrota Gary Kasparov e se torna o primeiro computador. A vitória contra o atual campeão mundial de xadrez, De Boop, trabalhou muitos movimentos para a frente e tentar encontrar o movimento mais preferido. Cenas de 2000 computadores têm consistentemente superado os humanos. Em 1999 Sunny anuncia o cão Aibo, cujas habilidades e comportamento se desenvolvem ao longo do tempo no mesmo ano. Pela primeira vez, o M.I.T M.I.T mostrou uma IA emocional chamada Kiss significava que pode reconhecer as emoções das pessoas e responder a elas. De acordo limpo. Em 2000 e dois, a produção em massa de Autonomous My Robot Aspiradores começa, que pode se mover em torno da casa por conta própria, evitando obstáculos Em 2000 e nove Google se juntou à corrida de empresas para desenvolver sua próprio veículo não tripulado em 2011. Assistentes virtuais inteligentes como Siri, Google Now e Cortana aparecem em 2014. Alexa, da Amazon, se juntará a eles e, em 2017, pelo menos, da Yandex. Lembre-se, falamos sobre o teste de Turing, que foi inventado por voluntariado em 1950. Foi destinado a entender se um eu posso enganar uma pessoa e convencê-lo de que não é um computador na frente dele pela pessoa. Então, em 2014, o barco infantil de computador Eugene Guzman passou este teste, forçando 1/3 do júri a acreditar que o computador foi controlado por uma pessoa, não um I. Em 2016 o Google Deepmind com um AI chamado Alphago derrotou atrás campeão Go Game é muito mais complicado que xadrez. Há mais opções dentro do jogo e, no entanto, ir tornou-se o segundo jogo em que as pessoas não podem mais ganhar. Em 2017 ofereceu mais de 10 anos de tentativas e sentidores. As duas equipes desenvolveram de forma independente seus próprios modelos de AI, Deep Stack e Liberties computadores, que foram capazes de vencer profissionais de poker. Ao contrário de ir peito onde tudo está sujeito a regras estritas. O fator humano vem à tona no poker porque o poker é em grande parte um jogo psicológico baseado em emoções, comunicação não-verbal, a capacidade de blefar e reconhecer bluffs. Um dos participantes em um jogo de poker com esses computadores descrevem suas impressões da seguinte forma. É como brincar com alguém que vê todos os seus carros. Não culpo a rede neural pela placa completa. É que é realmente tão bom. Em 2015 mal desmascarando Sam Altman presidente Off Y Combinator fundou Open I para criar inteligência artificial aberta e amigável. Em 2017, o Open I uma equipe de desenvolvimento decidiu treinar em Rede Serial na maior filha Eastport Game, também. Neste jogo, equipes de cinco pessoas jogam, e eles usam muitas combinações fora de mais de 100 heróis. Cada um deles tem seu próprio conjunto de habilidades. Em duas semanas, a rede neural foi capaz de aprender e derrotar vários dos melhores jogadores do mundo um a um humor, e agora seus criadores estão se preparando para lançar uma versão para o modo principal. Cinco por cinco. Nos aproximamos ainda mais dos nossos dias no início de 2018. Os algoritmos da Microsoft talibã surpreendem a pessoa no teste de compreensão de leitura em março de 2018 um pequeno robô que semelhante Cubo de Rubik em apenas seus 20180.38 segundos. O recorde entre as pessoas antes era de 4,69 segundos. Um dos avanços mais importantes no desenvolvimento de AI, que pode trazer muitos benefícios para a humanidade, foi que, em maio de 2018, a inteligência artificial tornou-se melhor do que as pessoas para reconhecer o câncer de pele . Além de reconhecer doenças em pacientes, um algoritmo é usado hoje para estudar dobramento de proteínas. Eles tentam encontrar a cura para Alzheimer e doença de Parkinson é também usado para reduzir o consumo de energia e para criar novos materiais revolucionários. A inteligência artificial também é usada ativamente nos negócios. Os bancos usam para aprovar empréstimos em empresas de varejo, usá-lo para campanhas publicitárias mais direcionadas e ofertas para seus clientes. Por que exatamente em nosso tempo? A. Comecei a pegar falar tão rápido. Existem duas razões para isso. Em primeiro lugar, agora uma enorme quantidade de informação está a ser produzida no mundo de dois em dois anos. A quantidade de informação que o mundo dobra. E, como sabemos, IA está aprendendo com os dados disponíveis e a segunda razão é a presença de um forte poder de computação. Nossos computadores hoje são fortes o suficiente para ser capaz de processar grandes problemas fora de informações em um tempo bastante limitado. Então nós olhamos para uma breve história do desenvolvimento fora de um I. Em uma das palestras da Full Inc, vamos ver o que pode ser esperado do desenvolvimento fora no futuro. 3. Diferenciação entre IA, aprendizado de máquinas e aprendizado profundo: hoje, os termos inteligência artificial, aprendizado de máquina, aprendizado profundo, redes neurais e big data são muito comuns ou a partir desses termos são usados de forma intercambiável. E, embora eles estejam realmente muito conectados, vejamos o que cada um desses conceitos significa e como eles diferem um do outro. Em primeiro lugar, para cortar muito curto, IA é uma indústria bastante ampla, que a resistência abrange tanto o aprendizado de máquina pode O aprendizado de máquina de aprendizado profundo é uma parte Considina da IA, e o aprendizado profundo é um parte integrante do aprendizado de máquina. Inteligência artificial implica que um computador pode executar tarefas semelhantes que uma pessoa pode executar e ouvi-los Africano em breve. Não é apenas sobre ações mecânicas. Por exemplo, tomar pode curar algum objeto, mas tarefas que exigem pensamento intelectual. Isso é quando você precisa tomar a decisão certa, por exemplo, que nós podemos estar muito no xadrez ou reconhecer o que é mostrado na imagem ou entender o que foi dito pelo orador e dar a resposta correta. Para fazer isso. Computador é dado um monte de frutas ou algoritmos, seguindo o que ele pode resolver tais problemas intelectuais. Eu posso ser fraco ou também é chamado de ai estreito que é quando a máquina só pode lidar com um tipo limitado de teste melhor do que uma pessoa, por exemplo, reconhecer o que está na imagem ou jogar xadrez e gêmeo. Agora estamos neste mesmo estágio do desenvolvimento fora de um I. O próximo estágio é a IA geral. Quando o pode resolver qualquer problema intelectual, bem como pessoa na fase final. É uma inteligência artificial forte. Quando a máquina lida com a maioria, pede muito melhor do que uma pessoa. Como já dissemos, inteligência artificial é uma área bastante vasta de conhecimento. Ele não fechou o seguinte cuidado s processamento de linguagem natural quando o computador deve entender o que está escrito e dar a resposta correta e relevante. Isso também inclui traduções de texto e até mesmo compilação de texto complexo por computadores, segundo especialistas ou sistemas de computador que, da mesma forma, a capacidade de uma pessoa para tomar decisões principalmente usando as regras se então. Ao invés de usar algum tipo de fala fria, o computador deve reconhecer esse discurso de pessoas e ser capaz de falar ao lado um computador visão computacional deve reconhecer certos objetos na imagem ou quando eles estão se movendo. Robótica também é muito popular área fora a. I. A criação de robôs que podem executar Há funções, incluindo movimento pode comunicar, superar obstáculos, planejamento automatizado. Geralmente é usado por robôs autônomos e veículos aéreos não tripulados quando eles precisam de aprendizado de máquina para realizar infecções de sequência, especialmente quando isso acontece em um espaço multidimensional e quando eles têm que resolver problemas complexos . E, finalmente, aprendizado de máquina apareceu depois que tentamos por muito tempo tornar nossos computadores mais inteligentes, dando-lhes mais e mais regras e regulamentos. No entanto, não foi uma boa ideia porque demorou muito tempo e não conseguimos chegar regras para cada detalhe e para cada situação. E então os cientistas surgiram com a idéia. Por que não tentar os algoritmos que aprendem de forma independente com base em sua experiência? Assim nasceu o aprendizado de máquina. Isso é quando as máquinas podem aprender com grandes conjuntos de dados em vez de instruções explicitamente escritas . E o Truls Machine Learning é a era da IA, onde treinamos nosso algoritmo usando conjuntos de dados, tornando-o melhor, mais preciso e mais eficiente com aprendizado de máquina. Nossos algoritmos são treinados em dados, mas sem instruções pré-programadas, seja, damos à máquina um grande conjunto de dados e dizemos as respostas corretas. E então a própria máquina cria algoritmos que satisfazem essas respostas. E com cada nova quantidade adicional de dados, as metralhadoras ainda mais e continua a melhorar sua previsão. Precisão. Se tomarmos peito na programação de tradição ou em um programa chamado A eu daria à máquina o conjunto de regras lógicas e com base neles, ele está aprendendo a jogar no exemplo da máquina. Aprendizagem é quando damos à máquina o conjunto de exemplos de jogos passados que ele toma, lembra e analisa por que alguns jogadores balançam e outros cujos passos levam ao sucesso e querem derrotar. E com base nesses exemplos, a própria máquina cria algoritmos e regras sobre como jogar xadrez para ganhar. Em um exemplo, suponha que precisamos entender como o preço de um apartamento se comportará ao alterar certos parâmetros. Por exemplo, dependendo da área, a distância do número de metro de histórias da casa e assim por diante. Nós não carregamos dados de diferentes apartamentos no computador, criamos um modelo pelo qual será possível prever preços dependendo desses fatores, atualizamos regularmente os dados e nosso algoritmo será treinado com base nesses novos dados, e cada vez que irá melhorar a sua precisão de previsão. aprendizagem profunda é o subsetor do aprendizado de máquina, onde o computador aprende, mas aprende um pouco de uma maneira diferente da máquina padrão . Aprendendo. Deep Learning usa redes neurais, que representam algoritmos que repetem a lógica dos neurônios humanos no cérebro. Grandes quantidades de dados melhores para essas redes neurais e na saída foram dadas as respostas para a tarefa. As redes neurais são muito mais difíceis de compreender o aprendizado de máquina incomum, e nem sempre podemos entender quais fatores têm mais peso no início. Mas o uso de redes neurais também ajuda a resolver problemas muito complicados. Às vezes, as redes neurais são até chamadas de caixa preta porque nem sempre podemos entender o que está acontecendo dentro dessas redes. Suponha que seu computador avalia o quão bem um ensaio é escrito. Se você estiver usando deep learning, o computador lhe dará a decisão final de que o ensaio é bom ou não, e provavelmente a resposta seria muito semelhante à forma como uma pessoa avaliaria. Mas você não será capaz de entender por que essa decisão foi tomada, porque o deploramento usa vários níveis fora das redes neurais, que torna muito difícil de interpretar. Você não saberá qual nota da rede neural foi ativada e como as neves se comportam juntas para alcançar esse resultado. Onde está se usar aprendizado de máquina, por exemplo, o algoritmo de uma árvore de decisão? Então você pode ver qual fator desempenhou um papel decisivo na determinação da qualidade de sua palavra a dizer. Assim, as redes neurais são conhecidas desde o século 20, mas naquela época não eram tão profundas. Havia apenas uma ou duas camadas, e eles não deram resultados tão bons como outros algoritmos fora do aprendizado de máquina. Portanto, por algum tempo, as redes neurais desapareceram em segundo plano. No entanto, eles se tornaram populares recentemente, especialmente desde cerca de 2000 e seis, quando enormes conjuntos de dados e fortes capacidades de computador apareceram em placas gráficas particulares e processadores poderosos, que se tornou capaz de criar camadas mais profundas fora das redes neurais e fazer cálculos mais rápidos e eficientemente. Pelas mesmas razões. O Poulenc é bastante caro porque, primeiro lugar, é difícil coletar grandes dados em itens específicos e, em segundo lugar, as capacidades de computação sérias dos computadores também são caras para cortá-lo curto. Como supõe a peculiaridade de deplorar? A nossa tarefa é calcular quantas unidades de transporte e qual o transporte específico que é . Ônibus, caminhões, carros ou bicicletas passavam por uma determinada estrada por dia, a fim de distribuir faixas para diferentes tipos de veículos. Para isso, precisamos ensinar nosso computador a reconhecer tipos de transporte. Se resolvêssemos esse problema com a ajuda do aprendizado de máquina, escreveríamos um algoritmo que indicaria a heurística correta de carros, ônibus, caminhões e bicicletas. Por exemplo, se o número de rodas é para então é uma bicicleta. Se o comprimento de um veículo for superior a 56 metros, então é um caminhão ou um ônibus. Se houver muitas janelas, então é um ônibus insolente. Mas como você sabe, há muitas pessoas. Por exemplo, o ônibus pode ser matizado, e será difícil entender onde as janelas estão ou um caminhão pode parecer um ônibus ou vice-versa. Na Flórida, pick-up se parecem com alguns caminhões pequenos, e pode ser difícil para o computador distinguir entre uma bicicleta e uma motocicleta. Portanto, outra opção para resolver esse problema é carregar um grande número de imagens com diferentes tipos de transporte em nosso computador e aparentemente dizer-lhe quais imagens retratam a bicicleta, o carro, caminhão ou ônibus. O próprio computador começará a selecionar as características pelas quais ele pode determinar que tipo de transporte é retratado e como eles podem ser distinguidos um do outro. Depois disso, enviaremos mais algumas imagens e testaremos o quão bem o computador lida com a tarefa. Se cometer um erro, diremos que aqui você cometeu um erro aqui. Não é um caminhão, é de nós. O estagiário de computador voltará aos algoritmos. Isso é chamado pelo caminho de volta propagação e fazer algumas alterações lá, e vamos começar novamente em um círculo até que o computador começa a adivinhar o que é mostrado na imagem com uma precisão de previsão muito alta. Isso é chamado de aprendizado profundo baseado em redes neurais. Como você entende, isso pode levar bastante tempo, talvez várias semanas, dependendo da complexidade da tarefa. Também requer muitos dados. É desejável que haja pelo menos milhões de imagens, e todas essas imagens devem ser marcadas, pois deve ser feito por uma pessoa, mas será muito demorado. Tudo bem. Resumindo, aprendizado profundo é um ramo do aprendizado de máquina, e ambos se enquadram na definição mais ampla da Inteligência Artificial Machine Learning usa algoritmos para aprender com dados e tomar decisões ou previsões informadas no que aprendeu. Deep Learning faz o mesmo, uma vez que também é uma variação do aprendizado de máquina. Mas o que é diferente é que a aprendizagem profunda usa algoritmos, que são estruturados em várias camadas para criar uma rede neural artificial que também pode aprender e tomar decisões inteligentes. Máquina Lauren pode ser usado com pequenos conjuntos de dados e em pequenas quantidades de dados. O zumbido da máquina e o aprendizado profundo têm precisão de previsão quase semelhante, mas com quantidades crescentes de dados. A aprendizagem profunda também é uma precisão de previsão muito maior no aprendizado de máquina. Nós mesmos dissemos as características em que nossos algoritmos serão baseados no exemplo com a determinação do preço de um apartamento, nós mesmos indicamos os parâmetros quando o preço dependerá. Por exemplo, a distância de filmagem da idade do metro da área da casa e assim por diante. E no aprendizado profundo, o computador ou alguém poderia dizer rede neural em si, por tentativa e erro surge com certos parâmetros e o seu peso sobre o qual nossa saída dependerá. Quanto aos algoritmos de tempo livre, o aprendizado profundo geralmente leva mais tempo do que o aprendizado de máquina, decifrar ou interpretar seus algoritmos fora do aprendizado de máquina é mais fácil porque vemos qual perímetro desempenha um papel importante no determinando a saída. Por exemplo, na determinação dimensional do preço de um apartamento, podemos ver que o peso da filmagem no preço é, digamos, 60% em deep learning. Decifrar exatamente o que levou a tal resultado às vezes pode ser muito difícil porque existem várias camadas fora das redes neurais e muitos parâmetros que o computador pode considerar importantes, mas que nós não necessariamente vemos. É por isso que, como dissemos anteriormente, o aprendizado profundo às vezes é chamado de livros negros, já que não sabemos quais parâmetros foram considerados importantes pela máquina no aprendizado profundo . Portanto, o uso de comissão de deploração durante também dependerá do propósito de sua tarefa. Por exemplo, se você precisa entender por que o computador tomou essa ou aquela decisão qual fator desempenhou um papel importante, então você precisará fazer é aprendizado de máquina em vez de aprendizado profundo. Como a implantação requer muito mais dados, bem como recursos de computação mais poderosos do computador e, em geral, leva mais tempo para aprender. Também é mais caro em comparação com o aprendizado de máquina. Assim, se resumir toda a palestra, em seguida, onde quer que o reconhecimento de fala ou imagem é usado robótica, texto ou fala, interpretação ou tradução gráficos fundos significava condução veículos de chamada previsão de alguns parâmetros baseados em dados disponíveis. Todos esses exemplos contêm os elementos I porque AI é um conceito muito amplo que abrange todas essas áreas. Quando um computador imita o pensamento e o comportamento de uma pessoa nos casos em que em vez de dar ao computador instruções escritas e verdade para resolver o problema, damos a ele um conjunto de dados no computador, aprende com esses dados, encontrar alguns padrões em dados e com base em tais Lauren pode então fazer previsões. Tais casos são referidos como aprendizado de máquina, e um dos métodos de análise pode. Encontrar padrões em dados por computador é chamado de deploração, que usa várias camadas fora de redes neurais artificiais, o que torna tais cálculos, por um lado, mais eficientes, mas por outro lado, mais Difícil de decifrar. Espero que o curto verão tenha sido útil. Mas se você ainda tem dificuldades em entender esses conceitos fora da máquina, Gordon pode deplorar. Por favor, não hesite em me perguntar na seção de comentários deste curso e também sinta-se livre para continuar assistindo as pontuações para eles. Vejo você nas próximas palestras. 4. Aprendizado de máquina supervisionado em frente à supervisão: Se você estava interessado no tópico de inteligência artificial e aprendizado de máquina, você pode já ter encontrado tais conceitos uma aprendizagem supervisionada e aprendizagem não supervisionada . Neste vídeo, vamos aprender como esses dois nomes diferem. Em primeiro lugar, ambos são tipos de aprendizado de máquina. Em segundo lugar, aprendizagem supervisionada não implica necessariamente que alguém esteja atrás do computador e controle todas as ações. Aprendizagem resumida significa que já preparamos os dados para trabalhos futuros no computador, seja, cada objeto tem um rótulo. O rótulo distingue o assunto de outros objetos ou lhe dá algum nome ou valor numérico . E o computador pode encontrar veteranos entre os recursos de objetos em seus nomes com base nestes preparados ou, como eles são chamados de dados rotulados. aprendizagem supervisionada inclui dois tipos principais de tarefas. Progressão e classificação. Vejamos um exemplo típico de problema de superclassificação. Este é um exemplo do conjunto de dados de flores irlandesas introduzido pelo estatístico e biólogo britânico Ronald Fisher em seu artigo de 1936, esses dados já se tornaram clássicos e são frequentemente usados para ilustrar o trabalho de muito estatístico algoritmos. Você pode encontrá-lo pela pista indicada na tela ou simplesmente pelo Google crianças na Internet. Então vamos dar uma olhada na natureza. Existem três tipos de flores de íris. Eles diferem um do outro em termos de tamanho da pétala e amostras. As características das flores estão listadas na tabela. As colunas indicam o comprimento e a largura da pétala, bem como o comprimento e a largura das amostras. O último milho mostra um dos três tipos de cerejas irlandês Sentosa, Iris, Iris, Virgínia e Iris Vertical são esses nomes Off tipos são rótulos para o nosso detalhe. Com base nesses dados, dizem que precisamos construir regra de desclassificação que determina o tipo de flor dependendo do seu tamanho. Esta é a tarefa fora da classificação multi classe, uma vez que existem classes livres três tipos de flores de Ari. No algoritmo de classificação, dividimos nossas íris em três tipos, dependendo do comprimento e largura da batalha e amostras. Da próxima vez, se você está vindo, cruzando você é farinha. Com a ajuda do nosso modelo, podemos prever imediatamente a que desempenha essas flores pertencem. Por que consideramos este exemplo uma aprendizagem supervisionada? Porque para cada flor em nosso treinamento Dados disse. Temos um rótulo, se é irlandês, Sentosa, IRS, Virginia Iris particular, seja, Agimos como professor e ensinamos o nosso modelo até que se você ver que a ciência do pétala é tal e tal, e as amostras são tal e tal, então esta é a íris para Jessica. E se a ciência é tal e tal, então esta é Iris, onde sequela ou isso é chamado de aprendizagem supervisionada. Ou às vezes é chamado de Curva de Aprendizagem um professor quando mostramos ao nosso modelo todas as respostas, dependendo das características que o modelo está usando nesses dados e criar uma fórmula ou algoritmo que nos ajudará no futuro a prever o tipo de um novo flor dependendo do seu tamanho. Além dos problemas de classificação, que acabamos de mencionar com o exemplo das flores do artista, há outro tipo de aprendizagem supervisionada. É chamado de regressão em problemas de classificação. Temos várias classes de objetos onde está em problemas de regressão. Temos apenas uma classe, mas cada objeto é diferente dos outros, e precisamos prever o número concreto ou o valor concreto de um novo objeto para objetos dependendo de suas características e com base no conjunto de dados que fornecerá ao nosso computador. O exemplo clássico de progressão é quando prevemos o preço de um apartamento, dependendo conecta filmagens. Então temos algum tipo de tabela com os dados de diferentes departamentos. Em uma coluna é a filmagem, e outra é o preço desses apartamentos. Este é um exemplo muito simplificado de progressão, obviamente, que o preço de um apartamento dependerá de muitos outros fatores, como localização, qualidade do edifício, número de histórias e assim por diante. Mas, no entanto, demonstra claramente o que é a regressão. Então, na última coluna, temos os preços reais ou reais para apartamentos. Foi-nos dado filmagens. Por que é uma aprendizagem supervisionada? Porque nós, como professor, mostramos nosso modelo que se você ver que a filmagem é tal e tal, então o preço será sargento. Tal preço X como rótulo para cada objeto em nosso conjunto de dados e sempre que Diddy rotulá-lo , é um caso de aprendizagem supervisionada. Com base nesses dados, o modelo aprende e, em seguida, produz um algoritmo baseado no qual podemos prever qual será o preço do apartamento dependendo de uma determinada filmagem, resumindo assim na aprendizagem supervisionada. O ponto chave é que nós rotulamos dados em nosso conjunto de dados. Ou seja, carregamos dados com respostas em nosso modelo, seja a classe à qual o objeto pertence ou é um número específico, como no caso do preço do apartamento, dependendo da filmagem com base nisso informações, o modelo aprende e cria um algoritmo que pode fazer previsões. Tudo bem, então vamos seguir em frente. O segundo tipo de aprendizado de máquina é o aprendizado não supervisionado. É quando permitimos que nosso modelo aprenda de forma independente e encontre informações que podem não ser visíveis para uma pessoa. Ao contrário dos modelos de aprendizagem supervisionados que são usados em aprendizagem sem surpresa derivam padrões e fazem conclusões com base em dados não rotulados. Lembre-se, tivemos um exemplo com flores de íris. Então, nos conjuntos de dados que demos ao computador, havia respostas que tipo de vírus temos, dependendo de um ou em outros lados do pedal e amostras e em dados não rotulados. Temos objetos e suas características, mas não temos uma resposta a que tipo ou classe eles pertencem. Portanto assunto oitenta chamado unlabeled em aprendizagem supervisionada, os tipos médios de tarefas ou agrupamento e redução da dimensionalidade. Você sabe que mostrar redução de dimensionalidade significa que removemos recursos desnecessários ou redundantes de nosso conjunto de dados, a fim de facilitar as classificações de nossos dados e torná-los mais compreensíveis para interpretação. E agora vamos olhar para um exemplo de redução cruzada nos problemas de agrupamento. Temos um conjunto de dados de objetos e precisamos identificar sua estrutura interna. Ou seja, precisamos encontrar grupos fora de objetos dentro desses dados disse que são mais semelhantes entre si e diferem de outros grupos fora de objetos do mesmo dia para definir, por exemplo, para classificar todos os veículos em Categorias de todos os veículos semelhantes a uma bicicleta num grupo ou grupo e semelhantes a um autocarro num grupo separado. Além disso, não dizemos ao computador o que é. Ele deve entender por conta própria, para encontrar sinais semelhantes e identificar objetos semelhantes em um grupo particular. Portanto, isso é chamado de Aprendizagem Sem um professor foram aprendizagem não supervisionada porque nós inicialmente não dizer ao computador a que grupo este ou aqueles objetos pertencem, Tais tarefas podem ser muito úteis para grandes varejistas, por exemplo, se eles querem entender quem seus clientes são retirados, suponha que há um grande supermercado, e a fim de fazer promoções direcionadas para seus consumidores, ele precisará dividi-los em grupos ou clusters. E se eles agora têm vendas para esportes bons, só eles enviarão os anúncios. Nem todos os consumidores, mas só aqueles que já têm ambos os esportes vai no passado. Essa é a principal diferença entre a aprendizagem supervisionada e a aprendizagem não supervisionada. Isso está na aprendizagem supervisionada? Usamos dados de rótulo onde cada objeto é marcado e pertence a uma determinada classe ou tem um valor numérico específico. E com base nesses dados de rótulo, nossas contas de modelo e algoritmo que nos ajuda a prever resultados em novos dados e, em resposta ao aumento da aprendizagem, os dados que temos são não rotulados ou não marcados no próprio computador, encontrar certos padrões e feições comuns, e dividir todos os objetos em diferentes grupos semelhantes dentro de um grupo e diferentes de objetos em outros grupos. Existem dois tipos principais de aprendizagem supervisionada de tarefas, que são classificações quando dividimos nosso namoro para classes e progressão quando estamos fazendo uma previsão milagrosa com base em dados anteriores. Os principais tipos de tarefas fora do aprendizado não supervisionado incluem clustering quando um computador divide nosso namoro, os grupos ou clusters e redução de dimensionalidade, que é necessário para uma demonstração mais conveniente de grandes quantidades de dados. Bem, considere cada uma dessas tarefas com mais detalhes nas seguintes fraturas. 5. regression linear e predição de preços flat no Excel: então um dos algoritmos de aprendizado de máquina mais populares é a regressão. É uma tarefa para prever um atributo específico, muitas vezes objeto usando os dados disponíveis e outros atributos do objeto. Por exemplo, podemos prever o peso de uma pessoa com base em sua altura, onde podemos prever preços departamentos com base na distância do metro para a área do apartamento. Neste episódio, vamos ver como podemos resolver nosso problema de agressão no arquivo normal do Excel. Vamos dar um exemplo com a previsão da costa de um apartamento, dependendo das imagens das cornetas. Cada tarefa de aprendizado de máquina precisa de dados em quanto mais dados, melhor. Então é um agente que temos uma tabela Excel com dados em uma coluna, a área do apartamento na outra, o preço deste apartamento. Agradamos esses dados sobre o ofício e, em princípio, podemos notar que há uma certa dependência linear, que é bastante diferente daqueles porque quanto maior a área, o coração, o custo do apartamento. Claro, é claro que muito mais fatores afetarão o preço de um apartamento, como distância do centro da cidade e número mental de histórias, idade da casa e assim por diante, mas por razões de simplicidade, com igualmente um setor, a área do apartamento. Então, nossa tarefa é aprender a prever o preço para fazer estes realmente a fórmula, que pode nos dar o preço previsto com base na área do apartamento. Nos casos em que vemos relação Alina, a seguinte fórmula é geralmente usado, que é por isso que é igual a um X Plus B em que, por física para preço e X é a área. Na verdade, a dependência pode não ser necessariamente linear. Pode ser uma cura ou ter um olhar muito estranho. Então, a fim de ter um formal de trabalho concreto são precisamos encontrar os coeficientes A e B. Como podemos encontrá-los? O peso mais fácil e clássico, que você provavelmente aprendeu nas lições de álgebra ou estatística, é o método dos mínimos quadrados. Na verdade, este método foi inventado há 200 anos, e agora apareceram soluções mais eficazes, mas, no entanto, o método menos pior ainda é bastante relevante e é usado com bastante frequência em regressão problemas. O método menos quadrado é quando você encontra uma fórmula na qual a soma dos desvios quadrados é a menor do desejo de rivais. Vamos ver como ele pode parecer no Excel. Então temos uma mesa com um certo número de apartamentos lá, área e preço. Mas seu lugar esses dados sobre o ofício e ver os pontos com as falhas correspondentes. Vemos que há uma espécie de independência quanto maior a área, o coração, o custo do apartamento. Vamos desenhar uma linha no Excel. Você pode fazer isso da seguinte forma. Nós clicamos no gráfico. Um sinal de adição aparece no site. Clique nele e coloque um tick para mostrar a linha de tendência. Ok, a linha é visível, mas como podemos encontrar a fórmula específica ou eficiente até agora para que possamos prever preços para novos apartamentos? Em teoria, você pode fazer cálculos longos e resolver esta equação Aqui no Excel, usando cálculos de métricas, No entanto, isso pode ser feito muito mais fácil em duas semanas. Mais uma vez, truque no sinal de adição Quicken opções adicionais. E aqui colocamos um carrapato para mostrar a fórmula. Ok, aqui vamos nós. Agora podemos ver o nosso formal, hum, no topo da nave. Por que é igual a 0.715 x plus. Você é um 0,8111 Então 0,7 é o nosso coeficiente A e 0,81 é o nosso coeficiente B. Você também pode ver que há uma letra são quadrados abaixo da fórmula. Significa R ao quadrado valores. Este indicador leva falhas de 0 a 1 e implica o vale de 0 a 100%. Se o valor é um, então isso significa que nossa linha ou são fórmula 100% descreve corretamente a relação para indicadores em nossas chaves. A relação de preço e área. Como você pode ver neste gráfico o indicador são quadrados é o seu 0.976 que é um indicador bastante alto que sugere que o nosso formal é muito eficaz. De acordo limpo. Agora podemos prever preços dependendo da área conhecida esta fórmula e os coeficientes. Nós simplesmente substituir a área fora de alguns novos apartamentos e ver qual o preço deve ser de acordo com a nossa fórmula. Como você entende, esta fórmula também mudará cada vez que você inserir alguns novos dados de apartamentos reais de preços reais . Ele irá mudar e ajustar de forma a melhor corresponder a todos os objetos em nossa amostra. Você pode personalizar sua agressão anterior para que os preços antigos afetam sua fórmula menos porque é aqueles que eles são menos relevantes no novo apartamento. Os preços teriam mais esperando sua amostra, modo a resumir, em problemas de agressão, prevemos o valor numérico específico de um determinado atributo usando dados disponíveis e outros atributos, e fazemos tudo isso através da ajuda de uma fórmula que derivamos de um conjunto existente de dados reais. 6. Problemas de classificação em aprendizado de máquinas: classificações é um grande grupo de testes que são usados com bastante frequência, eu diria que é abrir sua regressão ou ainda mais frequentemente, como podemos entender a partir da especificação nome é usado a fim de atribuir um objeto a uma determinada classe. Por exemplo, a fronteira será capaz de repetir sozinha ou não? Ou é um estivador recebendo a imagem, ou a empresa vai ficar falida ou não? E assim por diante? Se compararmos com regressão em regressão, não temos nenhuma classe. Nós simplesmente prevemos um valor milagroso. Por exemplo, na palestra anterior, previmos preços de apartamentos e os problemas de desclassificação. O número de classes é limitado. Nós fornecemos os nomes das classes para o computador, e o computador determina a qual dessas classes o novo objeto pertence. Vejamos algumas chaves diz, quando as presas de classificação podem ser usadas. Hoje, muitos bancos usam algoritmos de classificação para determinar se deve aprovar um empréstimo a um mutuário ou não. Neste caso, geralmente há duas classes. A primeira classe é um crédito vale o trabalho de Bora, ea segunda classe é um Bora potencialmente não confiável. Trabalhe agora imagine, e seu cliente vem ao banco e quer tomar sozinho como os bancos determinam qual Cristo uma ou outra água de fronteira potencial pertence, especialmente se eles não tiveram experiência anterior interagindo com ele. Isso é certo. Eles olham para um grande banco de dados fora de seus clientes e tirar conclusões sobre qual classe de guerras mundiais . Este novo cliente é mais semelhante a como esses algoritmos de classificação funcionam. O banco tem dezenas ou mesmo centenas de milhares de dados de seus clientes, e eles sabem qual dos clientes pagar a tempo e chegar, atrasar o pagamento ou até mesmo tornar-se insolvente. Eles agregam esses dados com base fora. Por exemplo, aquele que o montante do empréstimo não excede 30% de desconto em sua renda mensal, geralmente baseado regularmente naquele que já tem outro longo atraso órfão. E há muitas cadeias psicológicas baseadas nessa informação. O computador no banco construiu um modelo de especificação, então o computador constrói um modelo. Em seguida, o gerente do banco pede muito poucos para fora um questionário de um novo cliente. Então ele insere todos esses dados no modelo, e o algoritmo dá uma resposta. Este novo cliente é mutuários dignos de crédito ou potencialmente não confiáveis. O modelo pode até indicar com que probabilidade este novo cliente provavelmente atrasará sozinho e se ele vai iscar em todos esses dias. A pontuação de crédito rei a maioria dos bancos é realizada automaticamente, mesmo sem o envolvimento da banca. Clientes especializados simplesmente preenchem um aplicativo on-line, e o computador automaticamente dá aprovação ou não. Em casos complexos e contenciosos, um gerente de banco é, naturalmente,. Wolf, nesse exemplo de problemas de constipação, foi mencionado nas palestras anteriores, onde mencionamos flores irlandesas. Esta é também uma tarefa típica de perguntas catiões. Temos aulas gratuitas de flores, e precisamos aprender a prever a qual classe uma flor pertence. Dependendo do tamanho de suas pétalas e amostras, problemas de desclassificação podem ser resolvidos usando diferentes métodos. Os mais comumente utilizados são a seguinte regressão logística de árvore de decisão e não confundi-lo com a regressão linear usual que já mencionamos. E prevíamos um valor numérico específico. Regressão logística é um pouco diferente. Usando algoritmos, encontramos a linha que divide nosso conjunto de dados em classes, em seguida, uma floresta aleatória, conjuntos e apoio implorando, máquina vetorial e vizinhos ouvidos aguçados. Examinaremos isso com mais detalhes nas seguintes fraturas. Entretanto, em poucas palavras. Nos problemas de constipação, prevemos a qual Cristo e objeto pertence. O número de lugares é limitado. Isto é, por exemplo, aprovar. Sozinho ou não. A imagem mostra um ônibus, carro ou bicicleta, e assim por diante. Hoje em dia, problemas de classificação estão sendo usados cada vez mais em muitas indústrias, talvez até mais frequentemente do que problemas de regressão, e, portanto, é uma boa idéia aprender esta questão métodos Gatien. 7. Aprendendo garagem, aprenda em aprendizado de máquinas: clustering é um dos principais tipos de aprendizado de máquina não supervisionado em tarefas de cluster. Temos um conjunto de dados, e precisamos entender sua estrutura interna. Nós dividimos os dados em grupos ou clusters de tal forma que dentro de cada cluster temos elementos que são mais semelhantes entre si, mas diferem dos elementos nos outros grupos. Você pode ter uma pergunta razoável. Qual é a diferença entre classificações e problemas de agrupamento? Vou tentar explicá-lo com um exemplo. Imagine que temos uma tabela com as características de planetas e estrelas. E graças a cada objeto, temos uma resposta, seja um planeta ou uma estrela. As respostas são os chamados rótulos, que são usados no aprendizado de máquina supervisionado. Com base nesses rótulos, o computador constrói um modelo que pode prever dentro de inútil. Ainda assim, o corpo é um planeta ou uma estrela. Este é um exemplo de problema de classificação porque temos um número limitado e pré-definido de classes que são estrelas e planetas, e nós prevemos a que classe o novo objeto pertence. Mas imagine que não tínhamos respostas. O que são esses objetos no espaço? Nós só tínhamos suas características, como peso, temperatura, temperatura, composição e assim por diante. Neste caso, o computador com apenas objetos bem divididos em dois grupos, dependendo de suas características semelhantes e diferentes. Nosso computador diria que existem dois clusters óbvios que diferem um do outro, e seria nossa tarefa chamar esses dois clusters de alguma forma depois porque o clustering é um exemplo de aprendizado de máquina não supervisionado no qual não temos tags ou respostas para cada objeto. Em nosso conjunto de dados, simplesmente dividimos todos os objetos em grupos, e não estamos tentando prever nada. Em relação a novos objetos, simplesmente dividimos os objetos existentes em clusters. Em que outros tipos de casos precisamos usar clustering, um dos usuários mais ativos da classe? Anel para varejistas e lojas de departamento, que querem descobrir quem são seus clientes? Tomemos, por exemplo, uma grande loja de departamentos que quer fazer promoções direcionadas para seus consumidores. Será necessário dividi-los em grupos ou agrupamentos. Por exemplo, os consumidores podem ser divididos no grupo de família de grupos a seguir. Eles tendem a morder bens domésticos e bom com crianças. Atletas que muitas vezes por produtos esportivos e jardineiros de nutrição esportiva e assim por diante. E da próxima vez, quando houver uma venda, promoção da loja de artigos esportivos enviará as mensagens de problema sobre esta promoção. Nem todos os seus clientes, mas apenas aqueles que já têm ambos os artigos esportivos no passado. A bebida de classe também está usando muito ativamente redes sociais. É feito principalmente para dividir os usuários em grupos com base em seu interesse em que os desertores, e, em seguida, oferecer-lhes vídeos, imagens, uso e outros conteúdos mais apropriados e relevantes imagens, para que eles passem mais tempo nestes APS. Em segundo lugar, isso é feito através da publicidade direcionada de forma mais eficaz para torná-la mais direcionada. Precisamente para esses grupos fora de usuários, ele pode estar mais interessado nos produtos anunciados. Os smartphones também usam algoritmos de agrupamento para separar fotos e vídeos em pastas diferentes , por exemplo, dependendo da data do local onde as fotos tiradas para que os usuários possam encontrar essas fotos com mais facilidade Estes dias. Smartphones podem até distinguir o que é retratado na foto, e eles podem separar fotos com base no que é visto, se são paisagens de pessoas para casa em biologia, chaves de sala de aula usadas para separar recém-descoberto representantes de reinos animais e vegetais em espécies existentes, dependendo das suas características. Muitas vezes, algoritmos de agrupamento são usados na pesquisa genética, em particular para a notação cavalheiro. Qualquer coisa biologia evolutiva, portanto, em agrupamento, não vai prever algo. Mas nós simplesmente distribuímos os objetos existentes em diferentes clusters ou grupos com base em suas características e características semelhantes. Ele nos ajuda a entender a infraestrutura fora do nosso conjunto de dados no dedo do pé mandalas, trabalhar de forma mais eficiente com o nosso mais tarde. 8. Métodos de endêmicos em aprendizado de máquina: Oi lá. Vamos supor que temos um determinado algoritmo e, em princípio, ele lida bem com suas tarefas. Mas e se quisermos melhorar a precisão das previsões de nossos algoritmos? Nesse caso, usaremos alguns métodos adicionais e mais avançados. Nas próximas palestras, vamos aprender algumas delas, incluindo conjuntos, ensacamento e floresta aleatória. Métodos de conjunto. No aprendizado de máquina significa que usamos uma combinação de vários algoritmos diferentes para resolver o mesmo problema, a fim de melhorar a precisão da previsão. O uso de conjuntos no aprendizado de máquina é baseado no teorema do júri de Condorcet, que foi publicado já no século XVIII. De acordo com este teorema, se tivermos um júri e cada membro do júri tiver uma opinião independente, ou seja, suas respostas são independentes e a probabilidade de tomar a decisão certa para cada membro do júri é superior a 50 por cento, então a probabilidade de tomar a decisão certa por antigos jurados geral se aproximará de 100% à medida que o número de membros do júri aumenta. O mesmo se aplica no caso oposto. Se a probabilidade de tomar a decisão certa for inferior a 50%, então um aumento no número de jurados, a probabilidade de tomar a decisão certa tenderá a 0. Outro exemplo ilustrativo é a chamada sabedoria do exemplo da multidão. Em 1906, a cidade de limpeza recebeu um medo que incluiu muitos eventos de entretenimento diferentes. E é um desses eventos, cerca de 800 pessoas participaram de uma competição para adivinhar o peso de um bool. Nenhum dos visitantes da exposição poderia adivinhar o peso exato do touro. Mas o estatístico Francis Galton calculou que a média aritmética de todas as suposições diferem em menos de 1% do peso real do touro. O touro esperou cento e duzentos e sete libras, e a média aritmética era de 1198 libras. Isso levou a uma conclusão surpreendente de que, se uma pessoa não puder dar a resposta correta, então, se você coletar dados de muitas pessoas e mediá-los, obterá um resultado muito bom e muito próximo do verdadeiro. A sabedoria da multidão é usada hoje em muitos setores. Por exemplo, quando o jogador pede ao público para ajudar o famoso programa de TV Who Want to Be a Millionaire. E até mesmo toda a ideia por trás da criação de uma Wikipédia ou Yahoo Respostas ou serviços similares. Todos eles são baseados nas informações fornecidas por um grande número de usuários. E se considerarmos que a maioria dos usuários fornece informações com o melhor de seu conhecimento, então, com cada novo usuário, a confiabilidade e a precisão desse conteúdo e as informações aumentarão e a qualidade das informações tenderá a melhorar. Assim, os cientistas de dados decidiram aplicar este teorema do júri de Condorcet e a ideia da sabedoria das multidões no aprendizado de máquina, a fim de melhorar a precisão dos algoritmos. Vamos supor que temos vários algoritmos. Sabemos que um algoritmo é executado em um segmento de dados e o outro está errado conduzir o segmento de dados. Então, se combinarmos os resultados, podemos mostrar que eles estão combinados. O erro cairá porque eles se cancelam. Assim, ao usar o método de conjunto, o resultado combinado de vários modelos é quase sempre melhor em termos de precisão de previsão em comparação com o uso de apenas um modelo. Vamos dar outro exemplo. Uma história engraçada sobre um grupo de pessoas cegas e um elefante. Na história, várias pessoas cegas são convidadas a tocar um elefante e dizer como parece que alguém toca seus ouvidos, alguém toca seu tronco e alguém toca sua cauda ou pernas. Para cada uma dessas pessoas, a ideia de como o elefante se parece será diferente. No entanto, se combinarmos as opiniões estão cheias delas, teremos uma ideia muito completa de como é um elefante. Este é um exemplo de um conjunto, combinando diferentes modelos juntos, tornará a precisão de nossa previsão melhor. 9. Bagagem e booting: Métodos de classificação de conjunto um pouco mais avançados incluem ensacamento, reforço, floresta aleatória e empilhamento. Bagging significa agregação de bootstrap. Suponha que tenhamos um grande conjunto de dados. Começamos a extrair objetos aleatoriamente do conjunto e criar conjuntos de dados menores deles. Como resultado, obtemos vários conjuntos de dados novos e menores, que em termos de estrutura interna serão muito semelhantes ao nosso conjunto de dados original, mas ao mesmo tempo serão um pouco diferentes. Alguns objetos serão encontrados em vários novos conjuntos de dados. Ou seja, eles se cruzarão e isso é normal. E então treinaremos nossos algoritmos nesses novos conjuntos de dados menores. E esse método tende a melhorar nossa precisão. Suponha que sejamos uma empresa farmacêutica e temos dados sobre 10 mil pacientes e suas reações a um novo medicamento que inventamos. Para alguns pacientes, o medicamento funciona muito bem. Para outros, isso não funciona de forma alguma. Temos uma árvore de decisão e, tendo treinado nosso algoritmo, obtemos um modelo que fornece as previsões corretas em 75% dos casos. Isso certamente não é ruim, mas ainda assim 25% do erro de previsão é um spread bastante grande. Portanto, dividimos nosso conjunto de dados de pacientes, vários conjuntos de dados menores. Por exemplo, cada um contendo 2000 pacientes. E então treinamos nossos algoritmos em cada novo conjunto de dados. E então agregamos os algoritmos obtidos no modelo final, que agora fará as previsões corretas em mais de 80% dos casos. A mendigação geralmente é usada quando a variância do erro do método base é alta. A mendigação também é útil nos casos em que a amostra inicial não é tão grande e, portanto, criamos muitas amostras aleatórias a partir do conjunto de dados original. Embora os elementos em tais Sub conjuntos de dados possam ser duplicados como regra, os resultados após a agregação são mais precisos em comparação com os resultados com base apenas no conjunto de dados original. Aumentar é outra maneira de construir um conjunto de algoritmos quando cada algoritmo subsequente procura compensar as deficiências dos algoritmos anteriores. No início do primeiro algoritmo é treinado em todo o conjunto de dados. E cada algoritmo subsequente é construído sobre as amostras nas quais o algoritmo anterior cometeu um erro. Para que as observações que foram previstas incorretamente pelo modelo anterior tenham mais peso. Nos últimos anos, o reforço continuou sendo um dos métodos de aprendizado de máquina mais populares ao longo das redes neurais cuz. Suas principais vantagens são simplicidade, flexibilidade e versatilidade. Um dos exemplos mais populares do algoritmo de reforço é o algoritmo Adaboost adaptativo desenvolvido por Shapiro e fluido no final dos anos 90 do século passado. 10. Votação de Majority e mediação em mede: conjuntos podem ser visualizados de maneiras diferentes. Os métodos mais simples são a maioria de votação ou média e média ponderada. A votação maioritária significa que cada modelo faz uma previsão para cada instância de teste. E a saída de previsão final será a que será a mais comum ou receberá mais da metade dos votos. Se nenhuma das previsões tiver mais da metade do mundo do que neste caso, podemos concluir que o método do conjunto não foi uma boa escolha para fazer previsão, e provavelmente deveríamos escolher outro método. Veja o exemplo a seguir. Suponha que queremos comprar um novo telefone. Escolhemos entre modelos americanos, chineses e coreanos. Se não usássemos o método do conjunto, iríamos, por exemplo, à loja, perguntaríamos ao CEO resistente o que você recomendaria e tomaríamos esse modelo. Se usarmos um conjunto, antes de escolher qual telefone comprar, primeiro realizaremos uma pesquisa com pessoas diferentes, com todos os amigos, veremos avaliações de usuários na internet, sera uso de modelos no YouTube e especialistas recomendações. Se escolhermos o método de votação majoritária. Nesse caso, escolheremos o modelo de formulário recomendado pela maioria das pessoas. O próximo método é a média simples. Suponha que tenhamos um portal de filmes e atribuímos a classificação de um a dez para cada filme. Ou os usuários que assistiram ao filme enviam suas classificações. E então derivamos uma classificação média com base em todos esses dados. Por exemplo, duas pessoas deram uma classificação de 76 pessoas, certo? A taxa de oito, 12 pessoas em 99 pessoas deu uma classificação máxima de 10. Como resultado, a pontuação média é de 8,96. E o próximo método é a média ponderada. Mais uma vez, vamos dar o exemplo de classificação do filme. Aqui podemos dar diferentes grupos de seus pesos diferentes. Por exemplo, críticos de cinema profissionais receberam um peso de um. Os usuários que estão na plataforma há muito tempo recebem um peso de 0,75. Usuários finais que se registraram, recentemente recebemos um peso de 0,5. Em seguida, obtemos uma média ponderada de suas estimativas. E assim obtemos uma avaliação melhor, já que se supõe que críticos de cinema e frequentadores de filmes regulares são mais bem versados em filmes. 11. Florestas aleatórias: Algoritmos de floresta aleatória são usados com muita frequência em problemas de aprendizado de máquina e podem ser usados em uma ampla gama de tarefas, problemas de agrupamento, regressão e classificação. A floresta aleatória é construída da mesma forma que implorar, mas isto é, é uma versão um pouco complicada. A semelhança com a mendigação é que criamos vários conjuntos de dados menores a partir do nosso grande conjunto de dados original inicial. A diferença é que, no empréstimo, usamos todos os recursos ao construir algoritmos. E em floresta aleatória, selecionamos aleatoriamente apenas alguns recursos com base nos quais construiremos cada árvore individual. Tivemos um exemplo com uma empresa farmacêutica onde precisávamos entender se nosso novo produto médico teria algum efeito sobre pessoas com características diferentes, em particular, idade, sexo, nível de colesterol e sangue pressão. No ensacamento, criamos subamostras e construímos uma árvore de decisão para cada subamostra com base em todos os atributos em uma floresta aleatória, também criaremos subamostras. Mas para cada subamostra, tomaremos aleatoriamente apenas certos recursos, não todos. Por exemplo, sexo e idade unidirecional, ou apenas o nível de colesterol do agente. Então, como de costume, agregaremos nosso resultado e, como regra, obteremos uma precisão ainda maior das previsões de nossos algoritmos. Em problemas de classificação, escolheremos nosso modelo final por maioria votação. E em problemas de regressão, usaremos a média. No entanto, a floresta aleatória tem uma desvantagem significativa. interpretação das previsões se torna muito difícil, pois temos muitas árvores em diferentes estruturas e profundidades. E cada árvore usa uma combinação diferente de recursos. E, portanto, nos casos em que a transparência sobre as chaves de tomada de decisão é necessária, floresta aleatória praticamente não é usada. Por exemplo, na pontuação de crédito quando os bancos decidem se devem dar um empréstimo a um mutuário ou não. Nesse caso, precisamos saber por que nosso modelo deu essa ou sua decisão. E se usarmos a floresta aleatória, ela se torna incompreensível. Assim, uma floresta aleatória é como uma caixa preta. Ele prevê muito bem, mas praticamente não explica nada. Ou seja, não está claro em que essas previsões são baseadas. No entanto, para patos era necessária alta precisão de previsão. A floresta aleatória é um dos algoritmos preferidos. 12. Configuração de Python. Anaconda: Há muitas linguagens de programação. Mas desertor e historicamente, Brighton tornou-se o padrão em diretor de máquinas, analistas candidatos é. Muitas bibliotecas foram coletadas para python. Claro, outros idiomas também podem ser usados, como nosso scaler ou C Sharp. Mas vamos nos concentrar em Python porque é provavelmente o mais popular e simples o suficiente para aprender. Há um lado maravilhoso chamado Anaconda. Neste lado, você pode baixar não só Python, mas também várias bibliotecas para ele, que são usadas por cientistas de dados, bem como todos aqueles que estão envolvidos em aprendizado de máquina . O que é uma mentira? Todas as bibliotecas mordidas são soluções prontas, isto é, modelos com modelos de código. Eles foram criados para que os programadores não têm que aposentar o mesmo código cada vez que eles simplesmente abrir o arquivo, inserir seus dados e obter o resultado desejado, Então considerá-los como depositários fora modelos tribunal. Assim, o em um preservativo inclui todas as ferramentas básicas para escrever código, análise de dados e várias bibliotecas que podem ajudar nesses processos. O primeiro instrumento é Jupiter Notebook. Este é um ambiente em que irá escrever código e testado. Então temos várias bibliotecas. Os gastadores de E mais populares. Esta é uma biblioteca para trabalhar com dados tabulares. É muito semelhante ao Excel. A segunda biblioteca dorme muito. Ele é usado para visualizar dados, criar gráficos e gráficos. A primeira biblioteca é psíquica. Aprender. Ele contém os algoritmos básicos de aprendizado de máquina. Com a ajuda do aprendizado psíquico, você pode usar algoritmos como regressão linear, redes neurais simples e árvores de decisão, e mais um tensor de biblioteca cheio. Ele é usado para trabalhar com redes neurais de várias arquiteturas, então vamos baixar Brighton. última versão indecisa pode ser baixada para Windows, Mac OS e Kleenex. Depois de baixar pode um preservativo, você vê o atalho Anaconda Navigator, na área de trabalho ou no menu Iniciar. Clique nele e esta janela aparecerá. Nós estaremos mais interessados no caderno de Júpiter, e não que você não deve confundi-lo com lâmpada de Júpiter. Então, após o caderno Quicken Colaborador, um navegador será aberto e essa janela aparecerá. Júpiter permite que você crie cadernos, que são arquivos com o código python que você pode executar e testar imediatamente onde você pode criar, agarrar e fazer outras coisas. Vamos criar uma pasta e nomeá-la. Agora, Nesta pasta, criamos um arquivo para um chamado caderno, e você vai escrever código nas células deste caderno. Nos resultados a seguir mantidos, vamos começar a aprender o básico fora da programação Python, os comandos mais básicos para a introdução inicial. Se por algum motivo você não quiser instalar Python ou Anaconda distributive, talvez não haja espaço suficiente em seu computador ou por algum outro motivo, você também pode usar os serviços do Google Collapse. Este é o ambiente que o Google aluga para você e onde você também pode codificar em python sem instalar criança no seu computador. Ou seja, este é um sistema pronto no qual você pode começar imediatamente a trabalhar. Ou seja, seu ambiente da Microsoft funciona da mesma maneira. Se você tiver uma conta da Microsoft, você pode usar seus pontos e notebooks lá no ambiente azure sem instalar nada. Tudo bem, então, no próximo episódio, vamos aprender alguns comandos básicos em Brighton 13. Comandos básicos em Python: Então, se você pior sobre Python, esta é uma linguagem bastante conveniente para aqueles que estão apenas começando a aprender programação, eu diria que tem um Syntex um pouco mais simples. Não há dois pontos e dois pontos e o comum parece-me mais simples. E ele não precisa monitorar constantemente para que todos os suportes estejam abertos nosso fechado e que todos os modelos estejam corretamente empilhados e assim por diante. Vejamos o início mais simples por telefone. Em primeiro lugar, como muitas línguas. Se você colocar o símbolo de hash, então você pode escrever qualquer coisa. Será considerado como comentário e quem pode ser reproduzido como frio. Normalmente, esses comentários são necessários para que você mesmo entenda por que você escreveu este ou aquele código quando você vai revisar quando outros programadores vão olhar para ele para que eles também possam entender por que você montou o casaco desta forma e não caso contrário. Em seguida, o comentário de impressão exibe o que você escreveu entre parênteses no grito. Se este for um texto, então você deve colocá-lo entre aspas para executar o comentário. Você pode pressionar shift plus enter in. Pyfrom está em qualquer linguagem de programação que você pode executar qualquer operação matemática, por exemplo, em deduzir, multiplicar ou dividir. Se imprimirmos $100.300 mudança de preço, entrar e nós obtemos 400. Também podemos declarar de chegadas escrevendo uma carta ou algum nome e, em seguida, colocando a mesma marca. Por exemplo, A é igual a uma aspas colina um mundo. E então podemos imprimir esta chegada escrevendo impressão anti entre parênteses A. Ou podemos dizer que agora a letra A será o número 100 a letra B será o número de 313. E com a ajuda do comando de impressão exibido lá, alguns na tela ou qualquer outro número de eleições matemáticas também podem ser comparados uns com outros. Você também pode saber que se você quiser declarar a chegada, ele colocou um sinal de igual. E se você comparar com os rivais uns com os outros e perguntar onde o um é igual ao outro, então nós usamos para igualar marcas juntos. E se você quiser comparar isso, os dois números são desiguais, colocamos um ponto de exclamação, e uma marca igual é com qualquer linguagem de programação. Existem diferentes tipos de objetos em python. Quais tipos de objetos são os mais comuns? Bem, podemos dividi-los em duas vezes. Objeto mutável e imutável cujo valor pode mudar são chamados mutável. Onde estão os objetos cujo valor é imutável uma vez criados? São chamados de imutável. A mutabilidade de um objeto é determinada pelo seu tempo. Tipos imutáveis incluem float inteiro. Varietais lógicos também chamado seus bilhões que é, por exemplo, turnê cai e força. Tipos bonitos incluem sacerdotes, conjunto e dicionários que é, ao longo do caminho. Podemos mudá-los. Vamos ver como podemos verificar a que horas o objeto pertence. Podemos usar a função de tipo para descobrir a classe de chegada. Além disso, como você pode ver, ao contrário de C Sharp ou Java, por exemplo, a linguagem python também é caracterizada pelo fato de que quando você declarar se chegada mesmo, não precisa inicialmente seguro que tipo de chegada você vai agora declarar por telefone se entende. Você acabou de tentar o nome da chegada e, em seguida, dar-lhe valor. Portanto, por telefone é classificado é uma linguagem digitada dinamicamente. Se escrevêssemos em C Sharp ou Java, quem inicialmente indicaria que tipo de chegada seria, e por telefone. Nós simplesmente declaramos um musical para 10 e por telefone em si, entende que, neste caso, o tipo de chegada é um inteiro e o mantém dessa forma. O que mais podemos precisar. Há tal pensamento como formatação de saída e trabalhar com strings. Esta é uma função muito conveniente que nos permite não escrever constantemente o código, mas de alguma forma modelá-lo, por exemplo, para não escrever o nome cada vez que queremos que nosso casaco substitua o nome sempre que Nós precisamos dele. Ele pode ser projetado de maneiras diferentes, dependendo do python que você instalou. Aqui estão as principais opções de saída, por exemplo, nome, musical, musical, dedo do pé da equipe ou e impressão. Olá mais nome é a maneira mais difícil quando simplesmente adicionar a palavra Olá e o nome varietal, por favor, saiba que nossa frase está entre aspas e não se esqueça de deixar um espaço após a palavra Olá e antes do segundo aspas e o nome de chegada devem estar sem aspas. A segunda e primeira opções estão usando a letra adicional F ou a palavra quatro meses é bem, um seguramente colchetes. Assim, se quisermos mudar o nome do varietal, não precisaremos mais escrever uma nova linha de código. Ele substituirá automaticamente o novo nome e mais uma função básica. Vamos ver qual versão fora python usamos em suas importações vê e, em seguida, imprimir e entre parênteses cessar a versão e apenas por diversão. Vamos ver qual versão desligada por telefone é usada no colapso do Google. Assim, nesta palestra aprendemos como imprimir como executar operações matemáticas e como comparar números uns com os outros, como declarar diferentes chegadas e quais tipos de objeto eles podem se relacionar, como usar para entrada de minutos e como descobrir qual parte da vida e estamos usando agora . Vejo você na próxima palestra, onde vamos aprender alguns comandos mais básicos por telefone 14. Comando IF: para conhecimento básico de programação por telefone. Também precisamos aprender os chamados operadores para controlar o fluxo de comandos. Estes incluem se else while e quatro operadores. Vamos começar com o primeiro operador, se ele for usado para verificar as condições. Se a condição for verdadeira, então executamos o If. Olha, se a condição não for verdadeira, então executamos o bloco else, que significa que estamos dizendo ao computador se uma condição acontecer, então executamos um certo elogio. Caso contrário, execute outro comando. Então vamos ver o que a declaração if parece em um exemplo concreto. Agora vamos verificar se os números dados são pares ou ordem, como sabemos do curso escolar, números pares são aqueles números para os quais o restante, quando dividido por 20 e para os números antigos, o restante, quando dividido por dois, é um por fundo. Há uma pessoa que o operador mostra o restante ao dividir um número por outro número. Por exemplo, se escrevermos 25% para, então vamos ter um, porque se você fizer I 25 por dois você começa 12 e o restante é um. Se escrevermos 26% para então você terá zero porque 26 é dividido por dois sem o restante. Vamos tentar outros números. Então não vamos escrever uma fórmula que nos dê a resposta. Se o número inserido é par número de ordem é igual para deixá-lo ser. Por exemplo, Número 22 se o percentual de número também, é igual a zero impressão. O número é ainda mais impresso. O número é mais neste caso significa que, em todos os outros casos, se o restante não for igual a zero, então você precisa dar a resposta de que o número é antigo. Vamos verificar o casaco em números diferentes. Ótimo, tudo cadáver. Agora, se você quiser também anotar o número que ele forneceu em sua entrada, você também pode usar a função anterior. Parece o seguinte. Tivemos seguramente colchetes para a linha de impressão após o número do mundo e após as aspas , colocar um período anterior e tentou o número entre parênteses. Esse é o número que indicámos. O início será automaticamente inicializado entre colchetes. Número é igual a 22 se o número percentual para impressão física 20. O número de colchetes é ponto par. Ex e em parentis é o número mais. Imprimir o número de colchetes é antigo período anterior e entre parênteses no número de parênteses . Se você receber uma verificação sempre que ele usou puramente parênteses após o número mundial e também colocar a marca de período antes de quatro meses, tente verificar os números apenas alterando seu número de chegada. Vamos adicionar mais uma condição aqui. Por exemplo, se inserirmos zero, muitos argumentariam se zero é um número par ou ímpar. Vamos apenas anotar que ao entrar em zero, vamos ter que você digitou zero por favor sob um número diferente. Então, quando adicionamos uma nova condição, usamos que um operador de folha. Um número de folha é zero impressão que você inseriu zero. Tente um número diferente, mas veja o que acontece. Ainda nos é dado que o seu é Even. Isso ocorre porque Python executa comentários em ordem que é. Primeiro, o programa lê a primeira linha e divide nosso número por dois. E como sabemos ao dividir zero por dois, obtemos zero, isto é. O restante também é zero, então ele nos dá o primeiro comando de que o número é par. O que você acha que pode ser feito para evitar estes e que ao dividir por zero, ele nos dá o comentário que precisamos. Pegue um touros curtos, pare o vídeo e pense sobre isso. Você pode até tentar você mesmo no seu computador. Então, como você provavelmente adivinhou, quem vai apenas varrer as linhas, sede vai colocar o vento para verificar. Se a resposta Tom Berry, zero ou não, e só então vamos verificar o que resta temos. Tudo bem, então. Então aqui está outra tarefa que você fará agora sozinho. Você terá que escrever uma cabra na qual indicaremos a velocidade do carro. E se a velocidade for menor ou igual a 60 quilômetros por hora, então precisamos escrever. Tenha cuidado nas estradas, e se a velocidade for superior a 60 quilômetros por hora, então escreveremos. Por favor, observe o limite de velocidade. 100 por hora é opcional. Não é necessário indicar no frio apenas a velocidade em números e agora posar o vídeo e você pode tentar completar a tarefa. Então, como você está? Conseguiste escrever este casaco e testaste? O tribunal vai parecer que esta velocidade é igual a 61 aqui podemos realmente escrever qualquer número se a velocidade é menor ou igual a 60. Imprima, tenha cuidado na estrada. Se a velocidade for superior a 60. Imprimir, por favor, observe o limite de velocidade aqui, em princípio. Na segunda linha de código, podemos usar mais uma declaração ou outra declaração. Não há diferença real. Vamos verificar as diferentes velocidades e verificar a velocidade de 16. Como você pode ver, tudo funciona se você quiser. Você pode tentar pensar em outros exemplos para si mesmo e praticá-los em casa, por exemplo, tentando escrever o código se é possível vender álcool ou cigarros para um comprador, dependendo de sua idade e na palestra de agradecimentos continuar nossos acordos com outros comandos em Bytom. 15. Enquanto declaração: o próximo operador de fluxo de controle é a declaração selvagem. Ele nos permite realizar os ciclos repetidos de tarefas. Wild Statement funciona da seguinte forma Enquanto a seguinte condição está sendo cumprida, é necessário executar o seguinte comando. O exemplo mais simples é quando pedimos ao computador para exibir todos os números de 1 a 50 o tribunal será parecido com estes. Primeiro declaramos sua chegada dormente e isso é igual a um. Em seguida, escrevemos que, enquanto nossa variável é menor ou igual a 50, então vamos exibir esse número usando o comando print terminando a próxima linha. Nós damos o comando para aumentar esse número por corrida com cada próximo ciclo. O sinal mais e igual significa que damos a nossa variável e você valor pelo agente Kwan Treat. Estas duas linhas, que são escritas sob enquanto imprimir e aumentada de chegada por uma, são chamadas de uma iteração para uma passagem fora do loop. Eles só são executados se a declaração selvagem for verdadeira. Dentro de um ciclo, pode haver qualquer número de afetos e até mesmo ciclos adicionais dentro do ciclo principal. Enquanto declaração é muitas vezes usado em jogos de computador, na transferência de dados e em muitos outros casos, como regra. Dentro da declaração Wild, há uma varietal que muda seu valor dentro do loop porque se ele sempre permanece o mesmo, o grupo será constante e infinito. Vamos tentar fazer outra tarefa semelhante. Tente escrever o código usando o operador while para que agora você recebe números na direção oposta de 52 0, mas para que os números não vão em ordem. Mas depois de um dígito, que é 50 48 46 assim por diante. Pause o vídeo e tente escrever esse frio, então eu acho que você conseguiu fazê-lo. O tribunal vai olhar como estes agora musical para 15 enquanto a mãe é mais ou igual a zero. Imprimir Nam na próxima linha, entorpecido, menos igual a ok e criar. Agora, o que mais precisamos saber quando falamos sobre a declaração selvagem? Em primeiro lugar, como pará-lo? Porque os ciclos podem durar para sempre. Já dissemos que você pode pará-lo especificando uma restrição no início , por exemplo, enquanto o número é menor que 15. Mas e se nós não temos números, Mas em vez disso temos palavras onde temos números, mas eles mudam em ordem aleatória. O que devemos fazer nesta situação? Neste caso, podemos precisar do comando Break, que pára o grupo. Como é que se parece? Vamos dar um exemplo semelhante. Digite números de 1 a 10. Nós dissemos que o número de chegada é igual a um agora para iniciar o loop constante que podemos imprimir. Enquanto verdadeiro, então o comentário imprime o número em si. Na próxima linha, adicionamos um ao número a cada vez. E então usamos a declaração if, que já teria aprendido na palestra anterior. Dê o número é 10. O comentário da pausa irá interromper o nosso ciclo, e depois do ciclo ele parou. Você pode escrever a frase, por exemplo, feito. Não a margem a partir da borda da linha porque a frase feita tem que ser retorno no mesmo nível é a instrução while original e, em seguida, ele será executado somente após o ciclo selvagem é concluída. Então vamos seguir em frente agora. A próxima função é como fazer o computador nos perguntar algo e, em seguida, usar o que é inserido para a operação. Para fazer isso, vamos precisar da função de entrada suponha que queremos jogar um jogo chamado Guess My Age sede forneceria ao computador nossa verdadeira idade. E então o computador pedirá que a pessoa adivinhe. Dependendo da resposta que digitarmos, o computador continuará a perguntar-nos ou a dizer-nos que adivinhamos essa idade. Maneira correta. Como podemos implementar este jogo em algumas linhas de código? Primeiro dissemos a idade varietal, que é qualquer número que não seja igual à nossa verdadeira idade. Em seguida, escrevemos enquanto verdade, o que basicamente significa que damos o comando para executar o ciclo para sempre. Em seguida, a afirmação if mesmo as idades 13 e esta é a idade que nós adivinhamos é verdade. Em seguida, na próxima linha, nós digitamos break, o que significa que nós quebramos o loop. E se esta declaração se não funcionar, então nós escrever idade igual a e, em seguida, a seguinte fórmula int entrada e obter a idade. Este primeiro significa que agora a idade varietal terá um valor que o usuário insere em resposta à idade portões frase. O trabalho no início significa que será um inteiro. É um número na próxima linha e no mesmo nível com a declaração selvagem que escrevemos, você adivinhou. Esta frase será executada somente quando o loop while quebrar porque se as idades não adivinharam, o computador continuará a executar o ciclo e pedir para obter a idade uma e outra vez. Vamos testá-lo como você pode ver tudo peculiaridades. A única coisa aqui é inserir um pequeno espaço após a era mundial. Mais uma coisa, você pode perguntar, Por que escrevemos enquanto verdade? O que isso significa? Isso é feito para definir um loop constante, na verdade, em vez do mundo verdadeiro. Depois de um tempo, você pode colocar qualquer declaração verdadeira, por exemplo, enquanto um é menor que dois e o computador irá executar este loop while enquanto um é menor que dois. Isso é sempre e, portanto, é apenas costume em tais casos para escrever simplesmente, enquanto verdadeiro, então o que aprendemos neste episódio, o loop while como ele pode ser interrompido usando o inicialmente especificado, restrito ou usando o comando break. Nós também revisamos como capturar e usar o que o usuário digitou usando o comando de entrada então agora alguns trabalhos de casa para você. Usando a instrução wild, tente escrever o código para que o computador continue perguntando ao Cue a senha até que você digita corretamente. E se você inseriu a senha correta, o computador exibirá a frase Bem-vindo. Uma pequena dica na linha onde você capturará a senha inserida pelo usuário. Preste atenção ao tipo de chegada, se a sua senha será um número ou um set off letras. 16. Previsão de preços flat com regressão linear em Python: neste episódio, vamos aprender como prever preços de apartamentos usando python e simples em um modelo de regressão. Lembre-se de que fizemos a mesma tarefa em si mesmo. Então vamos usar o mesmo arquivo e ver como ele fica no meu iPhone no final do episódio. Eu também lhe darei outra tarefa a fazer é o seu dever de casa. Aqui temos um arquivo Excel que nos diz o preço de um apartamento, dependendo de sua área. Como você sabe, esta é uma correlação muito simplificada. Todos entendemos que o preço do apartamento é influenciado por um grande número de fatores além da área, como a cidade. Qual é a idade da localização do edifício a partir do centro da cidade e da estação de metro mais próxima, condição do número plano de histórias e assim por diante. Mas por razões de simplicidade, tomamos apenas um fator. A área, porque é obviamente um dos fatores mais importantes, e a correlação é bastante forte quando fazemos tais previsões, onde há uma dependência linear ou precisamos fazer é colocar nossos valores no gráfico e desenhe uma linha entre eles que com mais precisão refletem a correlação. E quando temos essa linha, podemos prever qual será o preço, dependendo de qualquer área. Mas você pode perguntar por que a linha é assim porque não passa por todos os pontos. É a melhor linha que descreve a correlação entre preço e área? Como já dissemos em uma de nossas palestras anteriores sobre a regressão? Para encontrar a linha que descreve nossa dependência como eu caracterizar possível, usamos a fórmula. Por que é igual a um X Plus B em nossas chaves? Por que o preço é e X é a área? E para encontrar os coeficientes, vamos usar o método mais clássico, que é o método dos mínimos quadrados. O método dos mínimos quadrados é o método. Quando você encontra a fórmula enriquecida, a soma dos desvios quadrados de nossos valores reais é a menor da linha que estamos construindo. Vamos ver como vai funcionar. Fife em primeiro lugar treinará nosso modelo usando os dados disponíveis em apartamentos com preços reais, e então fará previsões para outros parceiros com uma área diferente. Lembre-se quando instalamos python em seu pescoço no site, dissemos que Anaconda também contém várias bibliotecas para aprendizado de máquina. Eram modelos de especialistas, dormem por e outros. Essas bibliotecas continham modelos de código prontos para vários algoritmos de aprendizado de máquina. Portanto, a primeira coisa que devemos fazer é muito importante. São bibliotecas no nosso caderno de bisões em Júpiter. Bundle é necessário para trabalhar com dados tabulares como Excel. Agora comprar facilita operações matemáticas em por telefone e será necessário visualizar nossa data em gráficos e gráficos. E mais uma biblioteca importante é aprender psíquica. Ele contém algoritmos básicos, aprendizado de máquina de aprendizagem psíquica. Vamos importar o algoritmo de regressão linear. Próximo. O que precisamos fazer é carregar nosso arquivo Excel em nosso caderno Júpiter. Precisamos carregar esse arquivo na pasta onde nosso caderno Python está localizado. Clique no upload e carregue o arquivo para este mais completo. Agora precisamos fazer upload desses arquivo Excel em nosso pelo notebook usando o seguinte código PD ganância, Excel e em Barrington diz que o nome do arquivo que você tem aqui significará o quadro de dados que estamos criando. Você pode dar-lhe qualquer outro nome como você gosta e com o D de comentário. Agora podemos exibir esta tabela. By the way, se você tiver um incêndio com a extensão CSC, que também é comum ao trabalhar com tabelas, então você precisará usar o pedido de código Trate CSE e o nome do arquivo. Agora vamos visualizar os dados desta tabela no gráfico. Para fazer isso, vamos precisar deles para cima biblioteca Creep, que também foram importantes no início para que o tribunal será por cento mês vai dormir na fila e, em seguida, a próxima linha. Plt não dispersar e em parentis é DF área Kalmadi de preço em BLTs getter entre parênteses ,primeiro indicamos o eixo X e, em , seguida, há eixos y. Ótima. Podemos ver nossos valores no gráfico. By the way, podemos fazer pontos de uma cor diferente comendo em função de dispersão culpada, a cor do mundo ea cor que precisamos entre aspas. Nós também podemos, se você quiser mudar pontos para outros Aikens, por exemplo, vantagens ou estrelas ou até mesmo setas. Para fazer isso, use o marcador de palavras na função skater. O que mais estamos perdendo? Vamos dar aos nossos X e Y Xs seus nomes. Plt dot exe. Rótulo no pai é metro quadrado de área e BLT adulto y rótulo entre parênteses. Preço 1.000.000 de rublos. Ótima. Agora parece um gráfico real. Ok, então agora podemos começar a treinar modelo de carro. Nós já importamos um modelo de modelo linear da biblioteca psíquica Lauren. Vamos criar um varietal chamado trapo, e será o nosso modelo de agressão mais magricela. O freio é igual biqueira linear. Modelo sublinhado ponto Regressão linear. Parentis não é a capitalização na regressão linear do trabalho. Se você inserir letras minúsculas, o tribunal não funcionará. Então, em seguida, precisamos treinar este modelo usando os dados que temos. Grosso modo, precisamos mostrar ao nosso modelo todos os preços dependendo da área. E vamos pedir-lhe para calcular a melhor fórmula de regressão linear que descreve a correlação entre o preço e a área. Então usamos a função pés para carregar em nosso modelo. Nossos dados, quando o ar e os preços em parênteses rectos duplos damos os valores são fatores no nosso caso, a área e depois do coma, as respostas em nossas chaves, os preços. Na verdade, pode haver vários fatores. E então escreveríamos cada fator após o coma. Aqui está a confirmação de que o modelo foi treinado, e agora pode fazer previsões. Aqui está a confirmação de que o modelo foi treinado, Como você pode ver, a tosse do trem, um modelo leva apenas alguns segundos, e no aprendizado de máquina no treinamento geral é apenas uma parte do negócio. O que é ainda mais importante é preparar os dados para treinamento, escolher o modelo certo e, em seguida, interpretar os resultados corretamente. Ok, vamos seguir em frente. E vamos tentar prever quanto um apartamento por 38 metros quadrados custará. Correto, prever e em parentis é 38. Excelente. E se 120 metros, vamos comparar com a nossa previsão feita em excel. Eles são muito parecidos com uma alta precisão. Então mencionamos que uma agressões mais magricelas são baseadas na fórmula. Por que físico X mais B em nosso crepúsculo, que algoritmo de regressão azkadellia usado para encontrar tais coeficientes A e B, ele dará o desvio mínimo de nossos valores da linha que estamos construindo. Vamos ver quais coeficientes são o modelo tem para o coeficiente oito. Nós escrevemos o sublinhado cueva do ponto do naufrágio, e para o coeficiente b, escrevemos sublinhado de interceptação retal. Assim, nosso modelo é o seguinte o preço do apartamento é o seu um 0,71 vezes a área e mais 0,8111 Vamos verificar o que fórmula tivemos. Um Excel. Como você pode ver resultados muito semelhantes. Eles são apenas um pouco em torno dele. No Excel. Vamos verificar de novo. Multiplicamos 120 metros pelo primeiro coeficiente e adicionamos o segundo coeficiente para comer. E sim, temos exatamente o número que nos foi dado na previsão acima. By the way, podemos desenhar a linha que mostra nossas previsões. Usamos o algoritmo de regressão linear, então teremos uma linha reta para vê-lo em nosso gráfico. Vamos copiar o código que usamos acima para obter o gráfico. E na última linha, ed BLT dot plot e em parentis é DF era vírgula Greg. Prever área DF. Este casaco significa que estamos desenhando a linha em que terá uma área ao longo do nosso X X é, eo longo acesso branco terá preços que o nosso modelo previu. Preste atenção ao número de colchetes e parentis é muito fácil se enganar quando você entra neste frio. Bem, como podemos ver esta linha descreve o melhor e muito bem estreito, ligeiro desvio dos valores verdadeiros, mas eles inevitavelmente serão pela polícia. Podemos dizer com certeza que esta é a melhor opção fora de todas as linhas retas possíveis para esses pontos. Então vamos continuar e apoiar isso. Temos um incêndio com apartamentos em que sabemos que eles são área, mas não sabemos os preços. Precisaremos sentir a segunda coluna usando os preços que nosso modelo prevê. Vamos primeiro enviar este arquivo para o nosso caderno de Júpiter. Para fazer isso, esse arquivo deve estar na mesma pasta que seu bloco de anotações. Agora use o comando read Excel para carregar o arquivo em nosso bloco de anotações Python. Chama-se esta nova mesa com novos apartamentos. Pred do mundo previu. Agora vamos mostrar nossa mesa. Existem 10 linhas na tabela, e quando os arquivos são muito longos, podemos simplesmente pedir ao computador para exibir as primeiras linhas usando a cabeça. Comemenda ou podemos até indicar quantas linhas fora da tabela queremos exibir. Por exemplo, cabeça impressa e inferência livre é rosa livre. Em seguida, usamos nosso modelo existente para fazer previsões para essas novas áreas de apartamentos. Usamos o nosso modelo vermelho e enviando a área, ou para um novo apartamento, predizer retal e em parentis é impresso. Está bem. Como você pode ver, estas são as respostas com preços previstos. Grande agora são crepúsculo é fazer outra coluna nesta tabela para que possamos inserir esses preços previstos lá para fazer estes primeiro. Vamos economizar nossos preços previstos. É um p varietal agora criando sua coluna e inserir esses preços lá Para fazer isso? Nós simplesmente escrevemos o nome da nossa mesa de preds. Em seguida, entre colchetes e entre aspas. O nome da nova coluna de preços previstos. E depois disso atribuímos a esta coluna, houve preços previstos que recebemos acima. Como você se lembra, nós os designamos com a letra B. Excelente. Agora é só ver estes arquivos em Excel Oração para dito para excel. Encerrar atual é de Deixe que seja o arquivo que você. Agora este arquivo deve aparecer em nossa pasta em Júpiter. Aqui está. Abrimos muito bem. A única coisa que também exportou. A coluna de índice que é a primeira coluna, que na verdade não é necessária. Podemos remover aqui no excel ou novamente para o código. Ele é removido, como estes índice físico para quedas. Vamos verificar novamente, criar o índice apareceu. Então, o que passamos nesses episódios? Em primeiro lugar, quando se trabalha com o Machine Learning Project quase sempre terá que importar bibliotecas antes do início de cada projeto. As bibliotecas mais comuns são pandas caroço, Eu poderia educadamente, psíquico aprender e outros. Eles permitem que você trabalhe com dados tabulares, visualize a data em gráficos e use modelos prontos de várias máquinas Lauren Calgary polegares. Em seguida, aprendemos como carregar arquivos do Excel em nosso caderno Júpiter e visualizar dados tabulares em um gráfico. Também aprendemos a treinar nosso modelo, usando os dados disponíveis e usando o algoritmo de regressão linear. E estávamos dentro para prever os vários para novos dados. E também aprendemos como criar novas colunas em tabelas por telefone e inserir nossos dados previstos lá e depois salvá-los em um arquivo Excel em nosso computador. Então, agora eu gostaria de lhes dar alguns trabalhos de casa para consolidar o que aprendemos. Todos sabemos que uma parte substancial do orçamento das fracturas é composta por receitas provenientes da venda de energia, petróleo e convidados. Faz parte do nosso dever de casa. Vamos prever a dependência do PIB da Rússia em relação aos preços do petróleo. Para fazer isso, usaremos os dados dos últimos 15 anos. Eu me preparei para arquivar para você no Excel. É anexado a esta palestra. Se alguém estiver interessado, peguei os dados do site do Banco Mundial. Há uma grande quantidade de informação estatística sobre a economia e outro aspecto fora da vida em diferentes países, bem como a partir dos sites que é ponto com. O fogo parece com estes. Temos PIB fora da Rússia, uma coluna e preços do petróleo. Em outra coluna, você precisará carregá-lo em seu novo caderno em Júpiter, exibir esses encontros e artesanato, em seguida, treinou o modelo e, em seguida, tentar prever nosso PIB dependendo dos diferentes preços do petróleo. Bem, isso é tudo por enquanto. Eles têm um arquivo Excel para a tarefa de prever os preços dos departamentos, bem como o arquivo Excel sobre petróleo. Preço e PIB estão em todo o palco. Há um recurso para esta palestra. Espero que você tenha gostado deste episódio vendo os próximos 17. Previsão do PIB do país com base em preços de óleo: Então, como está o seu progresso? Será que você conseguiu treinar o modelo para prever britadores PIB, dependendo dos preços do petróleo, vamos ver como são legais para olhar como lugar, criando você arquivo e você nomeá-lo. A primeira coisa que fazemos é importar as bibliotecas para o nosso projeto. Em seguida, vamos abrir arquivo Excel com a crise do petróleo e PIB. Lembre-se que este arquivo deve estar localizado na mesma pasta é o seu bloco de anotações Python. Tudo bem, vamos começar a construir um gráfico usando-os para cima ou modelo de tweet. Tínhamos os nomes do acesso, do preço do petróleo e do PIB da Rússia em bilhões de dólares. Assim, o gráfico parece bastante realista, como podemos ver com o mesmo preço do petróleo. Mas em anos diferentes, PIB era ligeiramente diferente. Talvez isso se deva ao efeito de que a Rússia foi capaz de diversificar sua economia ou por outras razões. Em seguida, vamos criar nosso modelo de regressão linear, e com a ajuda do comentário dos pés, vamos treiná-lo usando os dados sobre os preços do petróleo no PIB da Rússia. Aqui vamos nós. Temos a confirmação de que nosso modelo foi treinado. Agora podemos fazer previsões. Vamos primeiro prever para todos os anos e comparar o quão perto as falhas previstas estão com os valores verdadeiros. Bem, isso é certamente bastante de cerca de 200 a 400 bilhões de dólares. O que significa provavelmente? Bem, podemos concordar que existe alguma correlação entre o PIB e os preços do petróleo, mas esta correlação está longe de ser muito forte. Bem, é claro que eles devem ter acabado. Há porque a economia russa ainda não está completamente dependente de Lee dos preços da energia . Há muitos outros fatores que devem ser levados em consideração. Mas o que podemos ver com certeza é que os preços mais baixos do petróleo, o PIB menor, tendem a ser a propósito, você pode compará-lo com países que são importadores de petróleo, por exemplo, Índia ou Japão, Coreia do Sul ou Alemanha. Como os preços do petróleo os influenciaram? Se forem importadores líquidos de petróleo, isso significaria provavelmente que os preços baratos do petróleo seriam melhores para eles. Mas é apenas uma hipótese que você contestou, a propósito. Então vamos continuar agora. Podemos construir uma linha que mostrará como é o nosso modelo com o comentário BLT. Não coloque como você pode ver, o patinador é bastante Deke vamos prever usando alguns preços concretos. Por exemplo, qual será o PIB se o preço for de US $10 faculdade livre e 70 bilhões? Bem, isso é muito pequeno para a Rússia. E o preço é $150 quase $3 trilhões? , isto é muito melhor propósito, isto é muito melhor. Agora nós fizemos previsões com base em Lee sobre o preço do petróleo, mas nós também podemos em co-independência no ano em nosso modelo. Afinal, vejamos novamente o nosso detalhe inicial. Você vê, em 2000 e cinco e 2017 o preço do petróleo era o mesmo, cerca de US $54. Mas o PIB está completo com a frente em 2000 e cinco, apenas US $764 bilhões. E em 2017 já mais de 1,5 trilhões quase duas vezes mais, o que significa que você está neste tempo. A economia russa tornou-se provavelmente menos dependente dos preços do petróleo. Então, como podemos treinar nosso modelo para prever com base em para os rivais são modelo neste caso, Will Lucas segue Por que é igual a um X mais B mais C onde por que é o nosso PIB X é o preço do petróleo, e que é o ano e A, B e C são novos coeficientes milagres. E agora como especificamos isso em nosso código? Na verdade, muito símbolo. Lembre-se, nós tínhamos uma linha de código que usamos para treinar o modelo Nós apenas adicionamos aos pés naufragados dentro dos colchetes duplos. Outro fator. A palavra ano. Entre aspas, pressionamos enter. Ok, o modelo foi treinado, e agora vamos prever primeiro a série inteira para todos os anos. Você vê, já é muito melhor imprecisão. A propagação é apenas alguns faz, e assim bilhões. Vamos tentar prever o que será o PIB. Por exemplo, em 2025. E se o preço do petróleo é de $100 certo, prever e em registros, 2025 vírgula, 100 quase 2 trilhões de $700 bilhões quase um realmente mais do que agora. Ok, eu acho que isso é tudo por agressão magricela. Se você tiver alguma dúvida, sinta-se livre para perguntar nos comentários ou escrever diretamente. Você também pode tentar encontrar dados, por exemplo, de diferentes taxas de câmbio ou preços de ações, e tentar criar e treinar um modelo baseado nesses dados, a fim de fazer previsões para o futuro 18. Previsão de sobreviventes do Titanic: tarefa de classificação: Olá, todos nesta palestra, vamos resolver um problema de classificação. Vamos prever quais passageiros sobreviveram no acidente do Titanic. Para começar, vamos lembrar o que a classificação tarefas máquina de lording chaves. Como o nome indica, classificação é usada para atribuir um objeto a um custo específico. Por exemplo, em nossas chaves, quem classifica o melhor cantor é um sobrevivente ou não. A classificação pode ser usada, por exemplo, para entender se a mensagem recebida é um spam ou não, ou para entender se o banco deve conceder o empréstimo para uma possível fronteira se houver apenas duas classes, então o problema é chamado de comprar uma reclassificação. Se houver várias classes, então esta é uma classificação de várias classes. Se compararmos com a regressão, então, em progressão, não temos classes. Nós simplesmente prevemos um valor numérico. Por exemplo, em episódios anteriores, previmos o custo de um apartamento com o volume de PIB fora do nosso país. Há um número específico, e na classificação, o número de respostas ou classes é limitado. Nós mesmos fornecemos essas classes para o computador, e o computador determina a qual dessas classes o novo objeto pertence. Então vamos começar a resolver o problema de classificação de cores. Primeiro, precisamos fazer o download. Os dados serão arquivados sobre os sobreviventes do Titanic no site da Kegel. Este é um site muito útil aqui. Você pode encontrar muitos exemplos de aprendizado de máquina com explicações e soluções de outros usuários. Em seguida, precisamos carregar este arquivo em nossa pasta onde nossos arquivos para Júpiter estão armazenados. Tudo bem, vamos criar uma esposa, um caderno em Júpiter e nomeá-lo. Agora vamos ser importantes. Bibliotecas Fonda e Mumbai Grande. Então, vamos fazer upload de todos os arquivos com detendo sobreviventes em nosso notebook FIFA, os dados são iguais a P D Door Treat CSC e entre parênteses Titanic. TSV Agora vamos ver como é o nosso fogo. Como você pode ver. Aqui estão os dados para 891 passageiros. Temos a idade de sexo deles. Que classe de dar aos ocupados e o problema mais importante para nós é que a coluna sobreviveu. Como você pode imaginar um. Significa que o presente sobreviveu e zero que infelizmente, ele não chamaremos isso de revivido. Chame-o de nossa coluna alvo e vamos pegar mais quatro colunas, o que, em nossa opinião, influenciou se o mensageiro poderia ser salvo ou suficiente. Estas colunas serão idade, sexo, sexo, classe de cabine e medo de bilhetes. Vamos chamá-los de Treinamento Collins. Por favor, saiba que inserimos os nomes de carvão exatamente como eles são indicados no arquivo. Ou seja, , onde há letras maiúsculas, é necessário inserir letras maiúsculas. Caso contrário, os dados não serão lidos, mas não são. Crie os rivais. Ele irá armazenar os dados que está iniciando essas colunas ex dados físicos do dedo do pé e entre parênteses , trem de escolaridade e por que é chamado de dados? E entre parênteses coluna Stargate. Outro ponto muito importante no aprendizado de máquina é que você entende quando criamos modelos, não só os algoritmos corretos são importantes, mas também a qualidade dos dados em que os treinamos. Isso significa que em nossos dados, não deve haver espaços ou valores que certamente não possam estar lá. Por exemplo, quando se sente chamado de estábulo, eles podem simplesmente esquecer o dedo do pé entrar no villian algumas células onde de repente o valor da idade foi transferido para uma célula com um justo por engano. Portanto, em grandes projetos, quando se trata de grandes quantidades, esses dados são muito rigorosamente verificados. Então, no nosso caso. O que podemos fazer para verificar a qualidade do namoro nosso projeto? Pelo menos podemos verificar se não temos células vazias. Isso é feito usando a seguinte fórmula X entre parênteses. O ponto de sexo agora é colchetes, não alguns briquetes, e fazemos isso para todas as colunas. Então, descobriu-se que na coluna de idade há 177 passageiros cuja idade não está em Dickie , que o que devemos fazer se removermos todos esses 177 mensageiros? Estes podem afetar muito a nossa seleção porque, no entanto, já é um número bastante grande . Então, o que podemos fazer? Podemos dar-lhes o valor médio ou médio para estas colunas. Existe uma função especial no panda que alimenta essas células vazias com valores médios ou médios . Na coluna, vamos usar os valores medianos First. Foi-nos dado um pequeno aviso, mas pode ser ignorado com segurança. Vamos verificar se todas as células em cada coluna Arfield novamente. Vamos seguir em frente agora? Não em tudo. Precisamos fazer outra manipulação no nosso modelo assassino. Não podemos usar uma chegada de força como um Dorival categórico. O que quero dizer que se desenvolve na coluna de gênero de passageiros são indicados como o mundo masculino ou feminino. Nosso modelo não será capaz de usá-los para treinamento. Só pode usar os dados milagrosos. Portanto, o que vamos fazer. Vamos simplesmente renomear os Swartz em zeros e uns. Vamos substituir as mulheres pelo número um e os homens pelo número zero. Para fazer isso, precisaremos criar um dicionário. O dicionário é quando você diz que um meribel significa outro Dorival, como em um dicionário real, onde você tem traduções para quarto de um idioma para outro. O dicionário visto por telefone você seguramente suportes e dentro temos que chegadas que eles são separados por dois pontos. Vamos chamar o nosso dicionário, cavar o dedo físico picado puramente colchetes e-mail, dois pontos, zero vírgula fêmea E agora vamos substituir nomes, masculino e feminino, com números zero e um com o seguinte fórmula. Este trabalho Lambda só significa que vamos substituir nossas palavras como em um espelho, como indicado em nosso dicionário. Você pode ignorar estes sendo da Corning. Eles não nos impedem de continuar o nosso trabalho. Mais tarde, eu vou te mostrar como fazer durante eles fora. Então vamos verificar com o nosso Coolum com o sexo dos passageiros. Parece que agora. Bem, agora é o seu envio uma vez que estão em todos os lugares. Isso é o que você precisa. Vamos verificar o nosso encontro de novo. Como você se lembra. Para o conjunto de dados de treinamento, deixamos apenas quatro colunas. Idade, sexo, classe da Karen e do Medo. Então, o que é muito importante no aprendizado de máquina é dividir nosso conjunto de dados em duas partes. A primeira é a parte de treinamento treinará nosso modelo nesta parte, e a segunda parte é uma parte de teste do conjunto de dados. Vamos usá-lo para verificar o quão bem nosso modelo está fazendo sua precisão. Então, vamos importante o modelo, que vai dividir nosso conjunto de dados em amostra de treinamento e amostra de teste de seu modelo de ponto de cor . Seleção de sublinhado Importar trem sublinhado. Sublinhados de teste por favor. Estes são indicadores padrão que tomamos o tamanho da amostra de teste é 1/3 ou, se você quiser, você pode levá-lo 20 ou 30% e o indicador de estado aleatório é 42. Você pode considerá-los como indicadores padrão básicos, então agora precisamos treinar nosso modelo em nosso conjunto de treinamento nosso modelo será baseado no algoritmo de máquina vetorial de suporte mais enxuto que divide linearmente nossos dados em diferentes grupos. A idéia deste assunto é que estamos tentando encontrar tal linha ou se temos várias classes como um hidroavião, a distância a partir da qual para cada classe é máxima. Tal linha reta ou hiper plano é chamado de hiper plano de separação ideal. Os pontos foram, como você pode dizer, representantes de classes ou vetores que, como fecha para a separação Keiper limpar nossos vetores de suporte frio. Este é o lugar onde o nome deste método vem. O que é bom na programação por telefone é que ele tem muitas bibliotecas e modelos de negociação feitos que já continha todos esses métodos. Ou seja, não precisamos compor e calcular todas essas fórmulas nós mesmos. Simplesmente importamos o modelo que precisamos para o nosso projeto. Então, vamos importar. O algoritmo ECM é o nosso pelo notebook e CO são modelo pred da SK Lauren Import SPM. Fred lema é igual a como siendo weiner s V C. Agora vamos treinar nosso modelo com nosso conjunto de treinamento e pés função grande. Foi-nos dada a confirmação de que o modelo é treinado novamente. Ignore essas modificações roxas. Agora é a hora de fazer previsões sobre a amostra de teste. O fato de que entre parênteses é indicado zero chamada em 10 significa que prevemos os primeiros 10 valores da nossa amostra de teste. Bem, vemos zeros e uns, que significa se o Bessinger sobreviveu ou não. Mas como sabemos se o modelo previu corretamente essas falhas? Para fazer isso, usamos a função de pontuação, como você pode ver, quase 77% o que não é ruim para o nosso primeiro modelo. By the way, você pode executar este casaco novamente, e ele terá um pouco de precisão diferente, porque quando a máquina divide sua amostra em amostras de treinamento e teste, ele não treiná-los. Nós pisamos cada vez. A precisão será um pouco diferente. Além disso, lembre-se onde encontramos 177 células vazias com a idade, inserimos a mediana de envelhecimento delas. Qual será a precisão se inserirmos a idade média usando o comentário médio e vermos qual será o resultado? Ainda assim, é um pouco diferente, só isso. Por agora. O código python para esta tarefa é, como de costume, anexado a esta palestra, mas em qualquer caso, tente digitar e executar este tribunal você mesmo para consolidar o material que você aprendeu. 19. Neural Network - Crie sua própria rede neuronal para classificar imagens: Olá, todo mundo. Fico feliz em dizer que até o final deste episódio, você vai construir sua própria rede neural que será capaz de reconhecer imagens de roupas. Para esta tarefa vai usar um conjunto de dados chamado facial Menaced. Ele contém 70.000 imagens de vários tipos de roupas, tais como calções T, calças, sapatos, bolsas, blusas, código sniggers e assim por diante. Qualquer especialista em aprendizado de máquina começa seu treinamento. Com esse conjunto de dados. É o chamado padrão para a formação de especialidades. Vamos lembrar que as redes neurais consistem em várias camadas. Os dados em nossas imagens de chaves são fornecidos para a camada de entrada. Então esses dados passam por várias camadas fora dos neurônios. Durante este processo, seus determinados pesos atribuídos, e então temos uma camada de saída que deve dar respostas. No nosso caso, a camada de saída nos dirá o que é mostrado na imagem. Em termos de aprendizado de máquina, as estrelas relacionam-se com problemas de classificação. Uma imagem é fornecida para a camada de entrada fora de nossa rede neural, e a camada de saída determina a que classe de fechamento esta imagem pertence, seja um código de sapatos, camiseta ou algum outro item de roupa. Há 10 dessas crises. Neste conjunto, esses dados estão abertos e podem ser baixados livremente e usados para criar nossa rede neural . Foi criado pelo salão, a empresa localizada em Berlim, e o conjunto inclui 70.000 imagens diferentes fora da roupa. Em uma das palestras anteriores sobre o deploramento, mencionamos que as redes neurais, para serem bem treinadas, alimentam o máximo de dados possível. Portanto, 70.000 imagens em princípio é um bom número. Você pode baixar este conjunto de dados no get top ou sites Kegel. Mencionamos em palestras anteriores que quando treinamos nossos modelos, dividimos a cabeça de nossos dados em duas partes. A amostra de treinamento e a amostra de teste e, portanto, eles definir também é dividido em duas partes. A primeira parte consistindo em tosse. 60.000 imagens, será usado para treinamento, ea segunda parte de 10.000 imagens será usado para testes A fim de entender quão bem o nosso modelo foi treinado, Estes dados conjunto contém dois arquivos. O primeiro arquivo com imagens no segundo arquivo com rótulos de classe, isto é, com as respostas corretas. Todas as imagens são 28 por 28 pixels de tamanho e são executadas em tons de creme e o pixel de imagem de grande intensidade vários em uma escala de 0 a 255 onde zero é uma célula grande completamente branca e 255 é uma cor craig forte. E como essas imagens são tão simples, isso é apenas 28 por 28 pixels e nos tons de Cray. Isso permite que você trabalhe com eles e esteja com redes neurais, mesmo que seu computador não seja muito poderoso. Então já mencionamos isso na moda. A polícia disse mais tarde. Há 10 aulas de artigos de roupa aqui. Você pode ver lá na tela. Eles são numerados de 0 a 9 no tribunal em Queen, quando submetemos esta ou aquela imagem à nossa rede neural, mas será dado o número de classe a que pertence zero se for uma camiseta, cinco desses sapatos e assim por diante. Então, que tipo de dados de entrada serão alimentados em nossa rede neural? Como já dissemos, Em primeiro lugar, 28 por 28 pixels. Se você multiplicar juntos, é 784 escolhe células, e em segundo lugar, é o em densidade fora dos tons de cinza em cada pixel na densidade irá variar de 0 a 255. Entendemos que tentou que o computador recebe todas as informações em termos numéricos, é por isso que nossa rede neural receberá. Cada imagem é um set off 784 pixels, e cada grande célula terá um número específico de 0 a 255 dependendo da intensidade dos tons de louco. Tudo bem, então, vamos seguir em frente. A arquitetura da nossa rede neural será muito simples. Consistirá em apenas três camadas. A camada de entrada, uma camada oculta e a camada de saída. A camada de entrada só transformará nossas imagens bidimensionais em uma dimensão. Cada camada seguinte consistirá em centenas e 28 neurônios, e esse número pode realmente ser alterado. Por exemplo, você pode fazer 512 ou 800 a camada de saída consistirá em 10 neurônios. Porque temos 10 classes diferentes de cravo, vamos usar uma rede neural de dança, que significa que todos os neurônios do jogador atual estarão conectados a todos os neurônios da camada anterior. Cada um dos 128 neurônios fora da camada principal receberá os valores de todos os 784 pixels fora da imagem e cada um dos 10 Urinson. A camada de saída nos dará a probabilidade de que esta imagem representa a classe dada de roupa. A probabilidade será refletida no intervalo de 0 a 1. Vamos lembrar como uma rede neural pode fazer essas previsões e como tudo funciona. Usaremos conceitos como pesos, retropropagação e oito livros primeiro, como uma urina humana. A tarefa, muitas vezes neurônio artificial, é obter informação, processá-la de uma certa maneira e passá-la para o próximo neurônio e as conexões de tais neurônios em inteligência artificial que recebem dados de entrada, processá-lo e, em seguida, fornecer os dados de saída. Tais estruturas são chamadas de redes neurais, então já mencionamos que cada neurônio recebe uma imagem no formato de 784 células de pico , e cada pixel tem um valor milagroso, dependendo da intensidade de cor que é mais ou menos falando. Cada neurônio recebe uma área específica ou combinação de informações numéricas. Então, no início, cada neurônio ou nenhum mergulho recebe algum tipo de amigo e espera. Isso é significativo, ou quanto do valor do neurônio corresponde a uma ou outra imagem, e desta forma é distribuído aleatoriamente. Eu quero enfatizar novamente que na primeira etapa, a suíte é apenas treinado eles depois disso, quando esses valores transferidos para a camada de saída porque nós realmente sabemos o que é mostrado na imagem. Como temos respostas para cada imagem, dizemos a uma rede neural se a previsão era verdadeira ou falsa. Então, se a rede previu corretamente do que o peso dessa falha para esta conexão entre neurônios em diferentes camadas aumenta. E se nosso modelo fez uma falsa previsão, reduzimos o peso, e isso é chamado de propagação traseira. seja, Ouseja, enviamos informações de volta para as camadas mais recentes e dizemos para aumentar ou diminuir o peso, dependendo se a previsão foi feita corretamente ou não. E este movimento, mudança de portas equivale a garantir constantemente para frente e para trás durante o treinamento. Quando todos os dados disseram, isto é, todas as imagens vão para este procedimento. É chamado um, um livro que perdura o treinamento fora das redes neurais. Vários oito livros geralmente são usados, por exemplo, 10 ou mesmo 100. Essas são as mesmas imagens ou executar 100 vezes através de todas as camadas cada vez, alterando o peso dos neurônios e tornando-os mais precisos, reduzindo assim o erro de previsão. Então vamos ver como você pode criar e treinar essa rede neural incuriosa no fluxo de tensão. Estas são as bibliotecas em por telefone que são projetadas para trabalhar com redes neurais. Sim, e antes de começarmos, quero fazer uma reserva imediatamente que vamos resolver este projeto no colapso do Google . Já mencionamos na primeira palestra por telefone que este é um ambiente de nuvem do Google, que oferece a oportunidade de testar projetos de aprendizado de máquina diretamente no navegador. Por que decidimos escolher o colapso do Google agora? Porque para resolver este problema com redes neurais, precisamos do tensor para a biblioteca e da carícia do meu áudio. E se você quiser instalá-los em seu computador, muitas vezes isso pode ser muito problemático. E há muitos erros com diferentes versões ou compatibilidade com a arte gráfica e outros erros. Onde está se você lidar com o colapso do Google? Você não precisa instalar nada, basta criar um notebook e começar imediatamente a codificar . Portanto, em princípio, se você quiser, você pode tentar baixar o tensorflow no seu computador. Isso pode ser feito usando o peep. Instalar comando tensorflow no Anaconda Common Flynt em tal janela preta, mas eram muito alta probabilidade. Você pode ter algumas dificuldades em importar ainda mais esses modelos para o seu projeto. E se esses erros de instalação fizerem uma cura aqui, você pode ver os erros mais típicos e como eles podem ser vendidos. Portanto, por causa da simplicidade. E, a fim de evitar essas dificuldades com a instalação de tensorflow no computador local, vamos mostrar como fazer isso em um colapso do Google, e aqui você certamente não deve ter nenhum problema. Além disso, este chamado Framework do Google dá-lhe a oportunidade de usar mais rum do que está disponível no seu computador. Ok, vamos começar e foi criado, você sabe, livro no colapso do Google. Agora, no início, precisamos importar as bibliotecas e Mondial Sweeney. Primeiro, vamos importar todas as bibliotecas principais. Nós não precisamos, por e mês ultimamente dedo do pé trabalhar com cerejas e visualizar nossos desenhos. Como mencionamos, Tensorflow e Cara são necessários para construir redes neurais. O conjunto de dados da polícia moda já está disponível nos cuidados porque é um desses conjuntos de dados populares em que os cientistas de dados antigos aprendem redes neurais. Em seguida, importamos o modelo sequencial. Este é um modelo de rede neural em que as camadas vão um desligam saem lá. Então vamos importar o tipo de jogador denso, que significa que nossas camadas estarão totalmente interconectadas. E, finalmente, que também importam vários utilitários que ajudarão a traduzir nossos dados em ex-adequado para cuidar de nós. Certo, que já temos dados importantes do paciente no início, podemos carregar os dados no nosso projeto. Como dissemos em palestras anteriores sobre aprendizado de máquina, nossos conjuntos de dados serão divididos em duas partes de treinamento e amostras de teste. E cada uma dessas partes conterá a parte X. Estas são as imagens e parte por que isso as respostas a que classe estas são que a imagem pertence. Eles também são conhecidos como rótulos. Os nomes dos lugares não estão incluídos no conjunto de dados. Então vamos escrevê-las nós mesmos. , Então,o que vem a seguir? Agora precisamos preparar processar nossos dados antes de criar uma rede neural, e antes de fazer isso, Vamos primeiro ver o que nossas imagens parecem nos colchetes ganha ou o índice de 0 a 59.999. Como temos 60.000 imagens no conjunto de treinamento, algumas imagens são fáceis de entender, e algumas são quase incompreensíveis no lado da imagem. Você também pode ver os valores de intensidade de pixel de 0 a 255. Se o grande assim é tão escuro quanto possível. Tem um valor de zero anticorpos tão leves quanto possível. Tem um valor de 255. Então, tendo visto nossas imagens agora vamos fazer a normalização de dados. O que isso significa? Isso significa que, a fim de melhorar os algoritmos de otimização que são usados no treinamento redes neurais, dividimos a intensidade de cada pixel na imagem por 255 para que a intensidade agora esteja na faixa de 0 a 1, e vamos fazer isso tanto para o conjunto de treinamento e testá-lo. Vamos verificar. Ótima. Agora, o pixel em densidade é de 0 a 1, e será mais fácil para as redes neurais trabalharem com esses valores pela maneira como podemos representar várias imagens em uma tela em uma. Para fazer isso, você precisa escrever algumas linhas de código. Nós vamos mostrar as primeiras 25 imagens cinco em um troll, e nós também vamos exibir os nomes de suas classes abaixo deles. Parece fabuloso, não se você quiser, você pode fazer as imagens em preto e branco, então isso é ótimo. Nós preparamos os dados, e então podemos começar a criar uma rede neural em redes neurais. O livro de construção principal é o linear, e a parte principal do deploring é combinar camadas simples. Incurious, assim como na máquina foram Inc Em geral, redes neurais são chamados de modelos, e como já mencionamos, vamos usar este tipo sequencial de modelo, que significa que o nosso camadas irão em sequência uma por uma. Então vamos criar um modelo sequencial. A primeira camada, que é indicada como achatado converse o formato de imagens de uma área bidimensional onde cada imagem era uma área de 28 por 28 pixels em uma área unidimensional de 28 por 28. Isso é agora a imagem vai entrar no neurônio é uma corda off 784 células de pico próximo ir para camadas muito densas. A primeira camada densa é a camada de entrada totalmente conectada. Aqui temos que decidir quantos neurônios terão nesta camada. Na verdade, muitos experimentos já foram feitos quando esses dados são definidos, e uma das previsões mais bem sucedidas foi a camada de entrada de 128 neurônios. Embora se você quiser, você pode fazer 512 ou 800 neurônios a seu critério. Em seguida, montamos a função de ativação. No nosso caso para a camada de entrada principal, nós especificamos a função de ativação real você. Ele mostrou boa eficiência em tais redes neurais simples, e então a última camada é a camada de saída densa. Ele terá 10 neurônios exatamente como o número de nossas classes. A função de ativação será a função soft marks. Esta função nos permite retornar e muitas vezes a probabilidade estimar alguns dos quais é um. Cada nota na urina conterá uma estimativa que indica a probabilidade de que a imagem atual pertença a uma de nossas 10 classes. Antes de treinar o modelo, precisamos fazer algumas configurações menores. Isso é chamado de compilação mortal. Ao compilar o modelo, especificamos os parâmetros de treinamento. É para optimizador. No nosso caso, usamos o S G D, que significa descida de gradiente estocástico. Este otimizador é muito popular para resolver problemas fora do reconhecimento de imagem. Usando redes neurais ao ar livre instantaneamente Se você quiser, você pode usar o Adam Optimizer. A função de erro é indicada pelo parâmetro de perda em nosso modelo. Em vez da verdade padrão média desvio quadrado, vamos usar entropia cruzada categórica. Essa função de erro funciona bem em problemas de classificação. Quando há mais de duas classes no parâmetro S é a qualidade. Nós indicamos precisão. Essa é a proporção de respostas corretas. Depois que o modelo é compilado, podemos imprimir seus parâmetros usando a função de resumo do modelo. Em princípio, tudo está pronto. Vamos namorar está preparado. Criamos e compilamos uma rede neural. Agora podemos começar seu treinamento. O treinamento fora das redes neurais é feito exatamente como em outras tarefas de aprendizado de máquina com a ajuda da função de pés. E uma vez que temos um problema de classificação que pertence à aprendizagem supervisionada, passamos para esta função. Tanto a amostra de treinamento, próximo trem e as respostas ou rótulos. Por que treinar? Devemos também especificar o perímetro. O número de uma caixa, como mencionamos antes. Um livro é quando todo o nosso líder disse base para uma rede neural. Indicamos 10 8 livros, o que significa que vamos treinar nossa rede neural 10 vezes em todos os dados, disse. Ou seja, em todas as 60.000 fotos, você pode perguntar quantos livros são necessários. A resposta dependerá muito de diferentes conjuntos de dados. Mas o princípio básico é que quanto mais diversas nossas cidades de dados, mais desejável é usar mais oito livros, e também você provavelmente deve levar em conta o desligamento do seu computador. Se você tem uma quantidade muito grande de dados e eles são todos muito diferentes, então cada livro vai demorar mais tempo. Portanto, pelo motivo de simplicidade, usaremos apenas 10 8 livros. Você pode usar mais livros e se quiser. Só levará mais tempo, e a qualidade provavelmente não será significativamente melhor para que possamos ver que nosso treinamento já começou. Aqui vem o primeiro, um livro e, em seguida, da linha de cada um livro que já funciona é indicado através do parâmetro perdido e da precisão das previsões. Como podemos ver enquanto nossa rede neural está sendo treinada, ou seja, com cada livro subsequente, o erro diminui. Onde está a previsão? A precisão aumenta. Então o último livro terminou, e isso significa que o treinamento fora da nossa rede neural também está concluído. Vemos que a precisão é ligeiramente inferior a 90%. Bem, para uma rede neural que consiste em tosse, apenas duas camadas principais, essas qualidades bastante boas. Vamos agora verificar que precisão teria na amostra de teste. Lembre-se que para o treinamento, usamos 60.000 imagens da amostra de treinamento e 10.000 imagens estavam em uma amostra de teste, e nossa rede neural não as viu. Portanto, vamos ver qual será a precisão da previsão nessas imagens de teste. Como você pode ver, a qualidade da previsão é ligeiramente menor, mas ainda bastante alta. Então, parabéns para você você construiu e treinou sua primeira rede neural. Agora, depois de completar o treinamento, podemos usar nossa rede neural para prever o que é mostrado nas imagens. Para fazer isso, usamos o método de previsão fora do nosso modelo. Vamos prever sobre as imagens da amostra de treinamento em que nosso modelo foi treinado. Então nós escrevemos X trem entre parênteses e agora vamos imprimir o que nosso modelo irá prever nos colchetes. Colocamos o índice fora da imagem que começa com a imagem com o índice zero para que possamos ver 10 valores diferentes, cada valor representando a probabilidade de nossa imagem pertencer a cada uma das nossas 10 classes, cada valor e, em seguida, tem um menos oito ou menos nove, que significa que eles estão no decreto menos nove que é, depois de um zero. Temos mais alguns zeros, e essa é a probabilidade é próxima de zero e apenas um valor com o menos um grau, você vê 9.90 algo menos um. Isso significa 0,99 centenas que está muito perto de um. E como você se lembra em nossas chaves, o número um representa 100% de probabilidade. Assim, nosso modelo temos probabilidade off quase 100% prevê que esta imagem corresponde a estas classes no caso de ser difícil para você encontrar qual sobre os vales de nossa saída é o máximo podemos usar a função de marcas ARG da biblioteca de números. Ele só dá o valor máximo. E assim nos é dado o valor máximo com índice nove. Agora vamos verificar e derivar a resposta correta de nossos rótulos. Assim como responder por esta imagem acabou por ser o mesmo que foi previsto pelo nosso modelo. Isso significa que nosso modelo está funcionando. Você pode testar com outras imagens. Basta substituir o número no índice por qualquer outro número de nossa amostra de 60.000 imagens . Vamos dançar número 12. Está bem, diz-nos que esta é uma aula com o Índice 5. Vejamos a imagem. O que é isso? É uma sandália. Na verdade, se você não quiser procurar as imagens cada vez, podemos simplesmente imprimir o nome da classe inserindo o índice de imagem Point Inc de Corey. Tudo bem, isso é criar meus parabéns. Veja, mais uma vez, espero que suas redes neurais funcionem perfeitamente. E agora está resumido o que cobrimos. Nós importamos todos os dados disse com imagens, dividi-los em amostras de treinamento e teste. Então otimizamos um pouco essas imagens. Depois disso, criamos a arquitetura para uma rede neural, que no nosso caso pode ver desencadeada apenas três camadas compiladas o modelo, que significa que especificamos os parâmetros de treinamento. Então treinamos nossa rede neural usando um exemplo de cultura e finalmente testamos oito em nossa amostra de teste. Agora você pode tentar prever outras imagens nas amostras do concurso de treinamento. Você também pode ajustar o modelo um pouco. Por exemplo, você pode usar outro otimizador, digamos, Adam, ou alterar o número de oito livros e assim por diante. By the way, no barril, um site, existem vários Gershon fora de outros tipos de redes neurais com diferentes números fora camadas e arquiteturas diferentes para a moda. Esses projetos, portanto, você pode olhar e tentar fazer outra rede neural para esses conjuntos de dados. Espero que esta lição tenha sido útil e contribuído para uma melhor compreensão do que são as redes neurais , como treiná-las e usá-las, particularmente para o reconhecimento de imagens. Se você tiver dúvidas, seus comentários e estou ansioso para vê-lo dentro de nossas novas palestras e cursos, 20. Networks de neurais para análise de texto: Oi lá. Nesta palestra, vamos aprender a usar redes neurais para analisar texto. Também criaremos nossa própria rede neural que analisará filmes e entenderá se suas opiniões positivas ou negativas. Mas antes de passarmos para a parte prática da criação de nossa rede neural, vamos dar uma olhada em que tipo de tarefas de análise de texto as redes neurais são usadas para hoje. Em primeiro lugar, para classificação de texto. Redes neurais treinadas nos ajudam a definir qual tópico ou obtendo R3, o texto dado se refere. Por exemplo, artigos de notícias podem ser classificados em tal aumento como política e economia, esporte, estilo de vida e assim por diante. Uma das tarefas mais populares hoje é, claro, tradução automática de um idioma para outro. Se você comparar, por exemplo, a tradução do Google Translate, que foi usada há cinco ou sete anos, e a tradução que ele dá hoje, você notará que elas são traduções completamente diferentes em termos de qualidade. Hoje, a tradução automática é realizada com uma alta qualidade, e isso é graças ao uso de redes neurais com arquiteturas complexas. Também é importante que muitas empresas e marcas hoje entendam como seus clientes e usuários os tratam, para entender a fidelidade à marca entre os clientes. E as redes neurais são usadas hoje para determinar o sentimento emocional de textos, como comentários ou resenhas. Sejam elas positivas, negativas ou neutras. A tarefa é chamada de análise de sentimento. E muitas marcas usam análise de sentimento em redes sociais para entender o nível da reputação de sua marca. Tarefas de geração de texto também são populares hoje em dia, quando as redes neurais podem gerar e criar texto completamente novo e se comunicar com os usuários, por exemplo, via chat bots. Como podemos ver, redes neurais podem ser usadas em várias tarefas relacionadas à análise de texto. E as redes neurais mostram os melhores resultados em tais tarefas em comparação com outros algoritmos de aprendizado de máquina. Tudo bem, então, agora algumas palavras sobre como vamos usar redes neurais para analisar textos. Primeiro, vamos usar as bibliotecas Keras e TensorFlow, que já usamos em palestras anteriores para construir redes neurais para classificar imagens. Eles têm módulos pré-instalados que tornarão nosso treinamento muito mais fácil. Em segundo lugar, lembre-se de que uma rede neural só pode operar com números e o texto é um conjunto de caracteres e símbolos. Portanto, precisaremos transformar nosso conjunto de símbolos, palavras e frases em um conjunto de números. Isso pode ser feito de maneiras diferentes. E em terceiro lugar, para construir redes neurais, usaremos a plataforma colaborativa do Google, uma plataforma de nuvem gratuita do Google, onde uma popular biblioteca de aprendizado de máquina já está pré-instalada. E você também obtém GPUs bastante poderosas nesta plataforma gratuitamente. O desempenho do Google Collab é muito maior do que a maioria das placas gráficas que podem ser instaladas em um laptop ou computador pessoal onde ele é o Google fornece esses recursos de computação gratuitamente, trabalhando com máquina problemas de aprendizagem. Então, vamos ver como podemos representar o texto em uma forma digital adequada para uma rede neural. Lembramos que os dados de entrada para a rede neural só podem ser números. E a rede neural só pode funcionar com números. Existem várias operações matemáticas com eles. Portanto, quando usamos uma rede neural para analisar textos, devemos transformar nossos dados de texto em um conjunto de números. Na palestra anterior, quando analisamos imagens de roupas, tudo era bem simples lá porque podemos digitalizar cada imagem como um conjunto de números que correspondem a intensidades de pixels de 0 a 255. Se trabalharmos com dados de forma categórica, por exemplo, é x de um homem ou de uma mulher. Então tudo aqui também é um símbolo bastante. Lembre-se, quando analisamos quais dos passageiros sobreviveram no Titanic, substituímos sexos de passageiros masculinos, femininos por zeros e outros. Ou seja, transformamos palavras em números. Quando lidamos com textos complexos, é um pouco mais complicado aqui. Também convertemos texto em um conjunto de números, e esse processo é chamado de vetorização. Vamos ver como isso é feito. Na primeira etapa, dividimos o texto em partes separadas, cada uma das quais será apresentada digitalmente separadamente. Isso é chamado de tokenização, em que cada parte separada é um token. E pode haver várias opções de como dividir as tags em tokens. Podemos dividir o texto em caracteres separados, como letras, números, pontuação e dar valor numérico a cada um desses caracteres separadamente. Ou podemos dividir o texto em palavras e dar um número ou um conjunto numérico agora para caracteres individuais, mas para palavras inteiras. Ou agora também há uma abordagem quando o texto é dividido em frases inteiras e cada frase é dada como um número separado ou um conjunto de números. No nosso caso, dividiremos o texto em palavras separadas. Na próxima etapa será vetorização, onde cada token será convertido em um conjunto de números, seja por codificação simples ou por vetor uma apresentação no formato de codificação one-hot, ou por vetor denso. 21. Neurais Networks para análise de sentimento (revisões de filme do IMDB): Então, agora que conhecemos um pouco sobre como as redes neurais são usadas para analisar texto. Vamos tentar construir nossa própria rede neural. Neste episódio, vamos criar e usar uma rede neural para determinar se as resenhas de filmes no IMDB são positivas ou negativas. Este site contém informações sobre a maioria dos filmes. São custos de descrição, trailers e, claro, avaliações dos espectadores. Como já mencionamos, a tarefa de análise do sentimento é muito popular no mundo moderno. Muitas empresas e marcas querem saber como seus clientes e usuários os tratam com base em seus comentários em fóruns e redes sociais. O conjunto de dados de resenhas de filmes do IMDB é bastante popular entre aqueles que estudam aprendizado de máquina e redes neurais. Você pode baixar o conjunto de dados deste site. E, alternativamente, podemos baixá-lo imediatamente das bibliotecas em Keras usando apenas uma linha de código. Os desenvolvedores das operadoras já pré-processaram as revisões e, portanto, será mais fácil trabalhar com esse banco de dados. Portanto, esse conjunto de dados é dividido em duas partes, 25000 revisões para treinamento e 25000 do uso para testes. O número de avaliações positivas e negativas é o mesmo. E esse conjunto de dados inclui apenas avaliações positivas e apenas negativas. Avaliações neutras não foram incluídas neste conjunto de dados. Para não complicar o treinamento, as avaliações classificadas com sete estrelas ou mais de 10 foram consideradas positivas. Enquanto eu usei que foram classificados como quatro estrelas são menores. Considere isso negativo. O conjunto de dados tem a seguinte aparência. Em uma coluna, podemos ver que usei e, na próxima coluna, eles estão em fúria positiva ou negativa. Esse conjunto de dados representa o aprendizado supervisionado porque, para cada revisão, temos a resposta correta. 0 significa negativo, um positivo. No aprendizado de máquina, isso é conhecido como uma tarefa de classificação binária porque temos apenas duas classes, seja negativa ou positiva. Tudo bem, então fizemos a parte teórica e nos familiarizamos com o conjunto de dados. Agora vamos passar para o treinamento prático. Primeiro, e vamos importar as bibliotecas necessárias, Keras e TensorFlow. Keras inclui ferramentas para conjuntos de dados populares do grupo de trabalho que codificam conjuntos de dados do IMDB. Também conectamos a biblioteca NumPy para vetorizar nossos dados e visualizar metabolicamente os resultados de nosso treinamento. Então, com essa linha de código, carregamos um conjunto de revisões do IMDB. Entre parênteses. Indicamos que estamos carregando o conjunto de treinamento GAN x trem e trem y e o conjunto de testes x teste, teste y. Também indicamos o número máximo de palavras exclusivas que usaremos para analisar o texto. Porque se não limitarmos esse número, o número de palavras únicas em todas as 50 mil revisões será enorme e será mais difícil e muito mais longo para nossa rede neural analisar grandes conjuntos de dados. Portanto, limitaremos nosso conjunto de dados a 10 mil palavras que são usadas com mais frequência na ordem dos EUA. Guerras menos comuns não serão incluídas neste conjunto de dados. Vamos ver como Keras carregou os dados. Vamos fazer alguma reutilização. Um número nove, vemos que, em vez do texto da revisão, temos um conjunto de números. Cada um desses números representa uma palavra da revisão original. Ou seja, há tokenização no nível da palavra. Cada número corresponde a uma palavra. Como já dissemos, que os desenvolvedores dos cuidadores já traduziram palavras em números e, assim, prepararam esses conjuntos de dados para nós. Vamos agora ver qual é o formato das respostas corretas. Como mencionamos no início, um significa positivo para você e 0 significa que eles usaram negativo. Vamos dar uma olhada em outras visualizações. O conjunto de dados IMDB usa codificação de frequência de palavras. Isso significa que, no texto, cada palavra é substituída por um número que corresponde à frequência de sua ocorrência neste texto, a palavra mais comum é substituída por uma. Uma palavra que é um pouco menos comum é substituída por duas, e assim por diante. Podemos baixar o dicionário usado para codificação chamando o método de índice de palavras IMDB. Este é um dicionário Python no qual a chave é uma palavra e o valor é uma frequência com a qual essa palavra aparece nas revisões. E, como vemos, esses são exatamente os números que são usados em resenhas em vez de palavras. Quanto maior o número, menos freqüentemente o trimestre correspondente aparece nas revisões. Mas vamos criar um dicionário reverso que determinará a palavra por número. Isso é feito usando o código a seguir. No ciclo, analisaremos todos os elementos do índice de palavras e criaremos um índice de palavras inversas de dicionário no qual a chave será o número e o valor será a palavra que corresponde a esse número. Certo, agora vamos digitar 30 palavras que são as mais comuns em nossas análises. Como você pode imaginar, provavelmente essas palavras serão várias conjunções, preposições e artigos. E as palavras mais populares que usamos com mais frequência em nosso discurso diário. Agora vamos usar nosso dicionário reverso para decodificar algumas avaliações. Ok, agora podemos ver o que foi escrito na visão deles. Ou certo, como vimos, nossas avaliações agora são representadas por conjuntos de números de 0 a 9.599. Mas, para facilitar o funcionamento da nossa rede neural, vamos representar suas visões como um vetor no formato de codificação one-hot. Grosso modo, agora, cada um de vocês será um vetor, cujo tamanho será de 10 mil. Neste vetor conterá apenas zeros e outros naquelas posições que correspondem às palavras presentes nesta revisão. Para criar esses vetores, usaremos a função de sequências vetorizadas. A função que passamos sequências, que é nosso conjunto de dados x teste de índice de trem, e as dimensões desejadas dos vetores, no nosso caso 10 mil. Com sua linha de resultados, criamos um vetor que contém todos os zeros para cada posição de palavra. Então, usando o ciclo, passamos por todos os elementos da sequência. E para cada palavra que está presente na revisão, dissemos o valor correspondente a um e retornamos o resultado. Agora usaremos essa função para processar o conjunto de dados de treinamento e o conjunto de dados de teste. Certo, então, e agora vamos ver como nossos conjuntos de dados se parecem. Vamos fazer o comentário número 19. Anteriormente, nossas análises pareciam matrizes com números que representavam palavras. Agora, nossa análise é uma matriz com apenas zeros e outros. Usando a função Len, podemos verificar se a duração de cada revisão é agora de 10 mil, como indicamos. E isso corresponde ao número máximo de palavras que usamos para análise. Também podemos observar a forma de todo o nosso conjunto de treinamento. Como você pode ver, existem 25000 avaliações e cada uma delas tem 10 mil elementos. Bem, agora que preparamos nossos dados, vamos construir nossa rede neural que classificará, revisará e determinará se suas revisões positivas ou negativas. Criaremos o modelo sequencial, que terá três camadas densas. Os primeiros segundos jogadores terão 16 neurônios, e a camada de saída terá apenas um neurônio porque temos uma tarefa de classificação binária. Ou seja, temos apenas duas aulas porque elas não são apenas dois tipos de resenhas e escolhemos uma. Se a saída for 0, o feedback será negativo. Se for, o feedback é positivo. Em vez de três camadas, você pode usar mais. Você também pode alterar o número de neurônios na primeira, segunda camadas e ver como o resultado muda como uma função de ativação. Nas camadas 1 e 2, vamos usar uma função relu semi-liner. E na camada de saída, uma função sigmóide será usada. A função de ativação sigmóide fornece o valor no intervalo de 0 a um, o que é uma combinação perfeita para tarefas de classificação binária. Depois de criar o modelo, vamos compilar nossa rede neural. Usamos o otimizador de prop LMS, mas você também pode usar o otimizador Adam desejado. A função de erro é entropia cruzada binária. Binário porque só temos duas classes. A métrica da qualidade da rede neural é a precisão. Essa é a proporção de respostas corretas. E agora só precisamos treinar nossa rede neural usando o método de ajuste. Vamos definir o número de épocas para 20, o tamanho do lote 128. E vamos dividir o conjunto de dados e usar 10% dele como um conjunto de validação. Assim, como podemos observar, a porcentagem de respostas corretas no conjunto de dados de treinamento próximo a 100 e no conjunto de validação que explode em digital, correto, em fontes cerca de 85%. Vamos visualizar a qualidade do treinamento. E agora o último passo é testar a precisão do modelo no conjunto de dados de teste que não foi usado para treinamento. É que podemos ver que a precisão está um pouco abaixo de 85%, o que geralmente não é ruim, mas certamente pode ser melhor. Então, nesta palestra, aprendemos a construir uma rede neural para fazer a análise do sentimento ou para uso para que nosso modelo possa determinar se sua visão foi positiva ou negativa com base no texto da revisão. Como já mencionamos, esse é um problema bastante popular no mundo moderno, e empresas e marcas o usam para entender como são consumidores e clientes os tratam e qual é a fidelidade à marca. Espero que esta palestra tenha sido útil e estou ansioso para vê-lo nos próximos episódios.