Transcrições
1. Apresentação do curso: A ciência de dados é um novo campo empolgante, mas pode ser intimidante entrar porque muitas vezes envolve matemática e programação. Isso é algo com que muitas pessoas se sentem desconfortáveis, e algumas pessoas nem precisam quando querem gerenciar uma equipe de ciência de dados, e algumas pessoas nem precisam quando querem gerenciar uma equipe de ciência de dados,em
vez de entrar em detalhes minuciosos. Chegaremos a um alto nível de compreensão para entender os métodos e o vocabulário da ciência de dados. Você pode falar como um par, que é o que estamos fazendo nesta aula de ciência de dados. Meu nome é Jesper Dramsch, sou engenheiro de aprendizado de máquina em Oxford, no Reino Unido. Tenho experiência em ensinar Python e machine learning nesta plataforma, no Skillshare, e também em empresas como Shell, o governo do Reino Unido e algumas universidades. Passei meus últimos anos trabalhando para um doutorado em geofísica e aprendizado de máquina. Eu amo ciência de dados porque isso me permitiu encontrar um emprego durante a pandemia, que eu sou incrivelmente grato. Eu quero compartilhar um pouco desse conhecimento com vocês porque eu acho que capacitar as pessoas para
avançarem com sua carreira e possivelmente até mesmo fazer uma mudança é realmente o que se trata. Esta aula vai ensinar-lhe os conceitos e alto nível de compreensão sem entrar em código, que você
possa falar com cientistas de dados como colegas e realmente entender os processos de pensamento por trás da tomada de decisões orientada por dados. Estou incrivelmente animada por ter você e espero vê-la na aula.
2. Projeto do curso: Bem-vinda à aula. Estou tão feliz que tenha vindo. O que vamos realmente fazer aqui? Bem, eu preparei um projeto de classe e eu quero que você dê uma olhada nele porque essencialmente é uma pasta de trabalho que você pode usar para o seu projeto de classe, mas eu espero que você possa realmente utilizá-lo em seu trabalho diário de ciência de dados também. Seja guiando você através de seus próprios projetos ou para ajudá-lo a gerenciar outros projetos. Vamos mergulhar na pasta de trabalho e dar uma olhada nela. Esta é a pasta de trabalho de avaliação de ciência de dados para planejar e revisar seus projetos de ciência de dados em projetos de ciência de dados que você está gerenciando. Estas são três páginas no momento, e no início, você pode preencher seu nome e sua data e fazer algumas perguntas importantes sobre seus dados. Em seguida, teremos algumas informações de onde seus dados são e como você se certifica de validar seus dados. Alguns insights nas etapas que você
aprende na próxima aula que fazem parte do processo de ciência de dados. Então, você basicamente documentará algoritmos e visualizações notáveis que levaram para dentro, descobertas
negativas que foram encontradas ao longo do projeto. Qual é o principal impacto comercial ou científico, dependendo de onde você está e sua principal conclusão. Estes são totalmente personalizáveis. Posso dizer, este é o meu nome e hoje é 8 de Janeiro. Agora descreva o conjunto de dados. No conjunto de dados de exemplo, por exemplo, temos um indicador de felicidade, e temos pontos de dados por país e aqui. Desta forma, você pode realmente preencher cada pergunta aqui. A questão, por exemplo, é, qual é a principal influência na pontuação de felicidade? Isso seria em algum lugar entre descritivo e exploratório. Eu diria que é exploratório porque, bem, estamos olhando para como essa previsão ou como a pontuação é calculada, então estamos explorando isso em vez de apenas descrever o conjunto de dados. O risco técnico é algo em que, por exemplo, seus dados ou suas máquinas não são capazes de fazê-lo. Pense sobre se você tem um conjunto de dados muito grande, ele pode não caber no seu computador. Quais são os riscos que podem acontecer e os riscos não têm que ser a pior coisa. São apenas obstáculos e se você antecipar os riscos agora, você pode tomar intervenções e tomar precauções para realmente lidar com esses riscos se eles acontecerem. Um dos riscos também pode ser que os dados não estejam chegando. O que você faz quando você tem perda de dados? Porque falta um dos seus discos rígidos? Pense sobre isso. É uma boa pergunta a fazer a si mesmo e aqui temos riscos metodológicos. O que pode acontecer no próprio processo de ciência de dados? O que acontece se não tivermos algoritmos disponíveis para fazer essas perguntas? E se o nosso
conjunto de dados não contiver realmente as informações que precisamos para fazer a previsão? Realmente mais em um nível meta, pense no que pode dar errado na própria análise da ciência de dados e como e onde os dados e rótulos foram
adquiridos e nas estratégias de validação usadas para garantir que seus insights sejam generalizáveis. Todas essas palavras e tudo isso serão explicados no curso também. Se estas são palavras estranhas para você agora, você vai entendê-las no final. Certifique-se de voltar aqui para cumprir o seu projeto e enviá-lo para o nosso banco de dados de projetos. O que são considerações éticas é uma questão importante. Realmente uma pontuação de felicidade, por exemplo, são essas estatísticas agregados assim em um nível de país ou você tem a possibilidade de ver informações de nível pessoal. Isso seria,
bem , seria um pouco duvidoso. Então escreva sobre este ano e, em seguida, nas diferentes etapas, escreva sobre quais descobertas você encontrou ao fazer Estatísticas Descritivas,
EDA, aprendizado de máquina e, em seguida, quais passos de comunicação foram tomados. No final, como eu disse, algoritmos e visualizações
notáveis. O que teve mais impacto na entrega do seu insight. Então achados negativos, como vou apontar, ciência de
dados é um processo iterativo. Você verá que às vezes você encontra coisas negativas, às vezes algo não funciona. Anote estes para baixo. Se você pode escrever isso, você vai olhar para trás e ver, oh sim, nós já sabemos disso. Você pode compartilhar isso com cientistas de dados com os principais tomadores de decisão e eles também vão apreciar esse feedback onde você pode dizer, bem, isso não funciona, isso não funcionou empiricamente. Portanto, dê uma visão adicional sobre sua análise. Qual é o principal impacto comercial, impacto científico? Isso deve ser misturado fora de sua pergunta. Como sua pergunta afeta os negócios, mas também como as descobertas e a resposta à sua pergunta afetam o negócio, toda a ciência que você está fazendo. Em seguida, escreva uma conclusão principal. Realmente, qual é a principal descoberta que você tem nesta análise de ciência de dados? Agora que terminamos com o PDF, você pode baixar isso na descrição. Podemos dar uma olhada na estrutura da classe. Porque esta aula está marcada para muitos tipos diferentes de alunos. Algumas palestras podem não ser as mais relevantes para você. Sinta-se livre para ignorá-los. Tudo bem se você está ficando entediado mesmo e você apenas ir para o próximo. Porque mesmo que o primeiro não seja o certo para você, pode
haver um que seja melhor para você. Por exemplo, um dos últimos é falar sobre a operacionalização de pipelines de dados e a compreensão de riscos e projetos de ciência de dados. Algumas das perguntas realmente importantes que você tem quando você está gerenciando equipes. Certifique-se de verificá-los. Se você está pulando em frente, sem ressentimentos. Esta é a sua classe, por isso faça-a sua, e não deixe de compartilhar seus projetos. Eu ficaria muito feliz em ver como você entende os projetos de outras pessoas. Lembre-se de ser legal, lembre-se de criticá-lo de forma acadêmica e científica, para que você
possa realmente aprender com ele e mostrar aos outros o que você aprendeu com ele. Agora, vamos mergulhar no conteúdo real da classe. A primeira classe vai definir o que realmente é a ciência de dados.
3. O que é ciência de dados?: Nesta classe, tentaremos explorar o que realmente é a Ciência de Dados. É um pouco difícil dizer porque a ciência de dados é tão nova. Há muitas opiniões diferentes, e é por isso que eu quero explorá-la de maneiras diferentes. A maneira mais fácil é basicamente citar outra pessoa. Então Jim Gray, vencedor do Prêmio Turing, disse que “A ciência de dados é o quarto pilar da ciência ao lado da ciência empírica, teórica e computacional.” O que isso basicamente significa é que usando a ciência de dados, podemos extrair novos insights diretamente dos dados. Se você tem seus dados de negócios, se você tem seus dados científicos, onde quer que você esteja vindo, você pode pegar esses dados e usar esses novos métodos ou métodos antigos e novas capas
e, essencialmente, encontrar relacionamentos dentro que os dados que funcionam, não apenas neste pequeno conjunto de dados, mas podem ser generalizados para novos dados. Se você tiver dados do cliente, poderá prever o que os novos clientes estão fazendo. Se você tem dados de química, você pode prever o que uma nova fórmula química vai fazer, coisas assim. Isso simplesmente baseado no relacionamento dentro dos dados. Agora, uma maneira diferente de olhar é olhar para a hierarquia de necessidades de sinais de dados. Eu realmente gosto deste porque ele também nos dá uma maneira basicamente
definir onde temos que passar o tempo. Uma das coisas é que temos de adquirir dados. Sem dados, não podemos fazer ciência de dados. Temos que obter um conjunto de dados, temos que limpar o conjunto de dados porque todos os dados brutos são barulhentos. Há outliers equivocados lá dentro, há informações lá dentro que não são relevantes para a nossa pergunta. Como os cientistas de dados brincam sobre a limpeza de dados ser o mais longo que gastam com ela, alguns afirmam gastar 80-90% na limpeza de dados e apenas 20-10%
na parte divertida ou na parte realmente interessante de gerar insights. Mas sim, é a parte mais importante. As pessoas tendem a dizer lixo dentro, lixo fora, e geralmente, isso é muito verdade. Em seguida, construindo sobre isso, você tem que ter um armazenamento confiável. Se você tem seus dados e eles se perdem, é muito difícil reproduzir seus resultados, e os resultados na ciência de dados têm que ser sempre reproduzíveis. Além disso, talvez você tenha que validar seus resultados ou talvez você tenha que
voltar e combiná-lo com novos dados que possam mudar suas conclusões. Armazenar, mover os dados é realmente como construir sua infraestrutura é o próximo nível. Especialmente para os gerentes de ciência de dados, eles precisam saber que os engenheiros de dados são extremamente importantes nesta fase. Empregar o tipo certo de pessoas nas posições certas é essencial para uma empresa. Então, no próximo passo, temos explorando e transformando dados. exploração de dados é realmente a etapa em
que você tem uma olhada nas estatísticas descritivas de seus dados, como dar uma olhada na média e quanto seus dados variam, e o que os diferentes recursos de seus dados estão fazendo. Quando você tem um cliente, quando ele veio para o seu lado? De onde eles são? Qual é o sexo? Coisas como essa que podem lhe dar insights sobre como os clientes podem variar entre visitas e o que pode mudar a previsão se eles vão comprar sapatos, se eles vão comprar uma nova câmera ou se eles vão fazer um curso sobre Skillshare. Além disso, você pode fazer testes A/B. Se você já visitou alguns sites como a Amazon ou esses cursos, você pode ver que existem preços diferentes exibidos. Muitas vezes, isso ocorre porque os sites estão fazendo esses experimentos de ver se mostrar um site diferente, mudar o botão, alterar o preço
vai fazer com que você compre mais ou menos. Coisas como testes A/B, experimentação, algoritmos
simples de Machine Learning são o próximo passo nesta escada. Então fazendo predição e fazendo inferência para realmente ser capaz de olhar para o futuro a partir das percepções que geramos. Então a ponta do iceberg, então basicamente, o deserto em sua pirâmide alimentar, será IA e aprendizado profundo. Isso basicamente significa que essas tecnologias super excitantes são provavelmente a última que você quer tentar, mas elas podem ser extremamente valiosas. Portanto, se você tiver seus engenheiros de Machine Learning ou seus pesquisadores de Machine Learning, e eles criaram modelos de linha de base, e eles recomendam, com base em seus insights, que talvez seja necessário usar métodos de aprendizado profundo
demais para criar Algoritmos de IA para realmente aproveitar os dados, as relações complexas que temos nos dados, isso pode ser muito bom. Muitos dos avanços modernos do Machine Learning foram feitos com métodos de aprendizagem profunda. Finalmente, quando estamos realmente fazendo ciência de dados, não apenas olhando para as necessidades da ciência de dados, é um processo. Neste processo, queremos responder a uma pergunta específica com base em nossos dados. Isso significa que muitas vezes temos que ir para frente e para trás. Podemos obter nossos dados e fazer exploração de dados, mas na exploração de dados, encontrando descritores em nossos dados, descobrimos que esses dados podem não ser suficientes e temos que voltar e adquirir novos dados ou talvez mesclá-los com uma fonte de dados e, em seguida, trabalhar no refinamento do nosso processo de ciência de dados. A próxima parte será olhar para modelar nossos dados. Estes são os algoritmos simples de que falamos, mas também podem ser apenas insights que você obteve naturalmente. Regras simples também estão modelando seus dados, modelagem
estatística para inferência pode ser muito apropriado neste lugar. Este é realmente o lugar onde você deseja que seu cientista de dados entre e seja
capaz de criar um modelo que possa descrever e capturar seus dados com precisão. Finalmente, uma parte muito importante é comunicar os seus resultados. Criar painéis, fazer apresentações, criar esses cadernos que às vezes têm código
para compartilhá-los com outros cientistas de dados ou engenheiros de Machine Learning. Desta forma, você pode realmente compartilhar o que encontrou. Esta parte é possivelmente a mais importante porque você sempre tem que falar com os tomadores de decisão, você sempre tem que conversar com as partes interessadas o que sua pergunta realmente veio para ser. Essa também pode ser a parte mais interessante porque encontrar esses relacionamentos nos dados é fascinante e compartilhá-los com os detentores de estaca, geralmente, os detentores de estaca são extremamente gratos por ter esse novo tipo de insights sobre seus negócios ou em sua ciência. Certifique-se de que você tomar algum tempo para fazer uma boa apresentação fora disso porque geralmente, é muito importante e muito valioso para fazer isso. Isso é principalmente sobre a ciência de dados, obter dados, gerar insights a partir de dados, modelar seus dados e, em seguida, comunicar seus resultados. Claro, há peças como producionalizar isso. Então, se você está em um negócio, como em um site, você quer ser capaz de usar tudo isso, mas isso é para nossa classe futura. Na próxima aula, vamos dar uma olhada no que é realmente uma boa pergunta? Como podemos fazer boas perguntas sobre nossos dados e garantir que eles realmente valem o nosso investimento e valem o nosso tempo?
4. Sobre como fazer boas perguntas: Vamos dar uma olhada rápida o que é um bom questionário e também quais são as perguntas ruins. Basicamente, se você está fazendo perguntas, você tem a opção de seis perguntas. Por que seis você pode perguntar? Bem, a ciência diz isso. Na verdade, os cientistas e professores de dados, Jeffrey Leek e Roger Peng, que têm um curso incrível sobre ciência de dados executivos, publicaram um artigo que essencialmente descreve os tipos de perguntas que você pode fazer. Eu quero falar sobre os tipos de perguntas, bem como, em seguida, entrar em detalhes, também o que é uma pergunta ruim. Porque recentemente, cada vez mais questões éticas estão surgindo no espaço da ciência de dados e do aprendizado de máquina. Eu acho que é muito importante para, bem, para os líderes de negócios e para qualquer um que faz ciência de dados para estar ciente deles e desafiá-los se há coisas que não estão indo de acordo com nossos valores. Que tipo de perguntas podemos fazer. A primeira questão é descritiva. Isso significa essencialmente que temos um conjunto de dados e queremos saber as principais características sobre o conjunto de dados. Por exemplo, a altura média dos utilizadores
ou, se estiver a trabalhar numa loja de sapatos, pretende saber a gama de sapatos que está a vender. Como a gama de tamanhos, por exemplo, ou as diferentes cores que são vendidas. Então realmente apenas indicadores que estão descrevendo o conjunto de dados que você tem. As perguntas aqui podem realmente ser muito variadas, mas são bastante simples e muito simples. A próxima pergunta que podemos fazer é explorativa. Essencialmente, a idéia do que podemos encontrar dentro dos dados. Isso geralmente inclui coisas como encontrar relacionamentos e tendências dentro dos dados, olhar para a correlação, e teremos uma classe maior sobre isso porque é uma parte essencial na ciência de dados. A próxima pergunta que alguém pode fazer, e é aqui que nos aventuramos no que o aprendizado
de máquina pode fazer, são perguntas preditivas. Se fizermos x, você segue? Por exemplo, se alterarmos esse botão em nosso site, ou se adicionarmos essa coluna aqui, se mostrarmos a um cliente esse tipo de coisa para comprar também, aumentamos as vendas? Ou se aumentarmos nossa contagem de assinantes no YouTube, teremos mais visualizações? Essas perguntas são agora onde temos que fazer muita validação porque o aprendizado
de máquina é realmente bom em lembrar dados. Às vezes é um pouco mais difícil realmente ter uma previsão geral. Isso é realmente importante para olhar para a validação de modelos e no maior aprendizado de máquina e análise de negócios e curso Python, eu estou indo para este tipo de validação de modelo porque para mim, esta é uma das partes mais importantes dos dados Ciência. Agora, estamos entrando em partes realmente interessantes. Porque muita gente conhece esses testes que a correlação não é causalidade. A modelagem preditiva geralmente é correlação, mas a próxima pergunta que podemos fazer é uma questão de natureza causal. Então, se temos x faz y segue, é a questão preditiva. Mas faz x causa y, é a questão causal. Para mim, este é realmente interessante porque muita modelagem
preditiva também pode ser correlações espúrias. Mas com modelagem causal, você está realmente tentando encontrar o que causa uma coisa. Um exemplo que eu realmente gostei foi preços de hotéis. Se você estiver coletando dados de seus hotéis ao redor e estiver vendo os preços e quantas pessoas estão no quarto, então quantos quartos estão ocupados agora, você verá que há uma correlação entre preços mais altos e maior ocupação. Mas se você fez sua modelagem causal e disse, “Ok, então isso significa que se
aumentarmos nossos preços, teremos maior ocupação.” Você provavelmente vai sair do negócio. Modelagem causal realmente vai para as estruturas de dados subjacentes, o que está acontecendo em que lugar. Algumas coisas que as pessoas fazem aqui são contrafactuais, então realmente, dar uma olhada então. Se baixarmos nossos preços, teremos também menor ocupação? Realmente cavando os dados. Este é para mim, o próximo passo também onde ciência de
dados vai fazer mais progressos na modelagem causal. Questões mecanísticas vão além da modelagem causal. Você não está apenas olhando para o preditivo. Se x seguir, você não está apenas olhando para a seta causal. Então X causa y? Mas em questões mecânicas, você está realmente investigando como é que o X causa y. você está fazendo a ciência. Na bioestatística, por exemplo, isso é muito comum que para ser capaz de publicar, você basicamente tem que propor um mecanismo plausível, medicina também. Muitas das ciências mais naturais estão bastante acostumadas a isso. Seu estatístico estará bastante acostumado a isso. Considerando que no aprendizado de máquina muitas vezes pára nas questões preditivas. Para fazer ciência, isso pode ser extremamente importante porque responder a essas perguntas, como algo acontece, é a melhor visão. É também aqui que fica interessante porque nossos alunos são tão diversos, de criativos a cientistas e empresários. Como cientista, você está mais interessado na verdade, nos mecanismos subjacentes que você encontra na natureza. Como empresários, você está mais interessado no preditivo. Então alguém vai comprar algo se eu mudar isso? Possivelmente os efeitos causais também. Não tanto os mecanismos porque esses geralmente são muito mais difíceis de obter, levar mais tempo, ter mais inteligência, e simplesmente disse, não realmente aumentar as vendas ou adquirir novos clientes. Realmente, isso é um pouco onde as perguntas são muito específicas para o que você realmente quer, e você tem que decidir qual é a pergunta certa para o tipo de problema que você está enfrentando. Esta é basicamente uma introdução sobre como fazer boas perguntas e na próxima aula, veremos como fazemos perguntas ruins.
5. Sobre como fazer perguntas ruins: Você provavelmente vê como você tem que descobrir qual é a pergunta certa para o seu problema. Mas com esses dilemas éticos recentes e também problemas em torno de previsões e coisas, temos que nos perguntar, o que é uma pergunta ruim? Eu quero entrar em alguns exemplos
de coisas em que cientistas de dados poderiam provavelmente ter impedido alguns de acontecer indo mais longe do que apenas uma análise
superficial ou previsão superficial e possivelmente pensou um pouco mais, o que é acontecendo? É por isso que você é cientista de dados. Às vezes você tem que ir um passo além para tornar este mundo um lugar melhor, afinal. Com o dilema social, por exemplo, e muita pesquisa que está sendo divulgado,
vemos que o aumento uso do
site eventualmente leva a que os sites não sejam tão bons para os seres humanos. Vemos muito sofrimento humano devido a problemas de saúde
mental baseados nas mídias sociais e no YouTube, no Facebook, vimos que há um viés em direção ao extremismo. Quando você começou a assistir vídeos sobre alimentos, você começa cada vez mais em buracos de coelho
muito profundos se você apenas otimizar por que as pessoas estão do seu lado. Como cientista de dados, você deve ir mais longe do que apenas fazer a pergunta, como eu mantenho as pessoas no site? Mas sim, você deve ir mais um pouco. Não apenas perguntar, como faço para manter as pessoas no meu site? Como faço para fazer as pessoas comprarem mais? Mas possivelmente perguntar sobre a satisfação do cliente também. Não é apenas como posso vender mais, mas como posso obter o produto certo para a pessoa certa? Este não é o mais, não o assunto mais agradável, mas temos que falar sobre isso porque você tem que pensar sobre a ética. As coisas podem ser explicadas pela população? Sabemos que há bairros de crime mais elevados nas cidades mais pobres. Será que realmente faz sentido construir um modelo preditivo onde o próximo crime vai acontecer, então fazê-lo em um nível individual quando sabemos que o problema subjacente é a pobreza. Esta é, infelizmente, uma pergunta que está sendo feita e não é uma boa pergunta porque já sabemos o que está causando esse problema. Construir um modelo preditivo em uma base individual ignora
completamente nosso conhecimento causal sobre isso já. Isso acontece em escalas muito mais amplas, muito mais amplas, bem como que não são tão éticas, onde sabemos o que está acontecendo como um efeito, mas como prever o indivíduo não é mais tão valioso. Porque neste momento estamos apenas tratando um sintoma em vez do mecanismo. Outro tipo de pergunta ruim às vezes acontece em empresas onde a resposta é essencialmente predeterminada. Nós já sabemos qual resposta queremos e agora estamos fazendo uma pergunta para obter essa resposta. A ciência de dados deve, idealmente, estar aberta a respostas. Essas respostas devem potencialmente ir em uma direção que a nossa gestão não previu. gestão deve ser aberta o suficiente, segura o suficiente para permitir que isso aconteça também. Ser orientado por dados às vezes significa que encontramos verdades inconvenientes
sobre nosso negócio, sobre a direção onde queremos ir. Mas isso é, eventualmente, o que torna a ciência de dados uma ciência. Às vezes, fazer essas perguntas quando já sabemos que queremos uma certa resposta é definitivamente uma pergunta ruim porque não nos permite fazer uma ciência de dados adequada. Na próxima aula terá um olhar como podemos realmente obter dados para fazer essas boas perguntas e como podemos obter bons dados para obter os melhores resultados de nossa análise.
6. Como obter dados e etiquetas: Uma das perguntas mais comuns que recebo de iniciantes em ciência de dados é, onde você obtém seus dados e como você obtém seus rótulos? Agora, estes são dois dados demográficos diferentes que fazem essas perguntas. Normalmente, as pessoas nos negócios ou cientistas já têm alguns dados. A coleta de dados é uma coisa muito comum. Então você tem seu banco de dados com informações do cliente, ou você tem suas amostras de sua análise. Há a pergunta geralmente é mais, como você obtém rótulos? Para iniciantes que estão apenas tentando entrar na ciência de dados, eles estão tentando encontrar dados. Onde você encontra dados? Onde você consegue rótulos? Vamos primeiro mergulhar em como você obtém dados, onde você obtém dados. Porque mesmo em um negócio, isso pode ser uma questão muito importante, e então vamos dar uma olhada em como obter rótulos. Obter dados é medir os dados você mesmo ou encontrar um conjunto de dados. Então isso significa obter os dados de algum lugar. Há armazenamentos de dados onde você pode obter conjuntos de dados preparados que muitas vezes já têm rótulos anexados. Estes são comumente a Pesquisa do Google ou também a seção de conjuntos de dados do Kaggle. Medir dados basicamente significa que você tem que ir para o campo ou para os seus sistemas, e extrair os dados de alguma forma. Então, no meu trabalho agora, por exemplo, eu estou trabalhando com dados de satélite, e nós realmente temos uma empresa que é local e está andando por aí com GPS para medir florestas reais. Sim, isso custa dinheiro, mas esta é a melhor maneira de obter dados precisos alta qualidade e darão os melhores resultados em seu produto de ciência de dados. No final, ter especialistas para rotular seus dados, para obter dados, para interpretar seus dados, é muito importante. Muitas pesquisas mostraram que obter novatos, geralmente pessoas mal pagas em algo como Amazon Mechanical Turk para interpretar seus dados, não é o ideal. Ele geralmente fornece dados barulhentos, rótulos ruins e muitas vezes pode introduzir viés em seus dados. Você tem que ter muito cuidado com o viés nos dados porque esse viés será cozido em seu modelo. Se você fizer modelagem de aprendizado de máquina, por exemplo, o que eu faço muito, viés será então implícito no modelo, e o modelo repetirá esse viés em cada previsão. Então, especialmente se você está tocando em humanos, você tem que ter muito cuidado com isso. Isso também é algo que você deve ter cuidado ao obter dados pré-rotulados. Então, quando você baixar um dos conjuntos de dados do Kaggle, dê uma
olhada no que as classes realmente são, olhe através do que os dados são, quais são os desequilíbrios de classe. Porque muitas vezes você obtém rótulos que são fáceis de rotular, mas eles não são necessariamente os rótulos que são interessantes para rotular. Às vezes, especialmente em termos de cientistas e sopreneurs, você terá que rotular os dados você mesmo ou terceirizá-los para alguém. Como você é o especialista e geralmente os cientistas correm com um orçamento mais apertado, isso significa que você tem que abrir algo como Labelbox, que você pode ver aqui na tela, e desenhar rótulos em seus dados você mesmo, interpretar os dados e estar ciente do tipo de viés que você pode estar se apresentando. Nesta classe, nós demos uma olhada em como você pode realmente obter dados, adquirindo-os você mesmo, ou baixando-os de algum lugar, e como obter rótulos. Então você está obtendo especialistas para obter os rótulos, como obter novatos para obter os rótulos, mas também como rotular dados usando aplicativos como Labelbox. Na próxima aula, vamos dar uma olhada na análise exploratória de dados, onde nós realmente temos uma primeira olhada em como as pessoas interpretam seus dados.
7. Entendendo a análise de dados exploratórias: Vamos falar sobre análise de dados exploratória ou EDA curta. Na análise exploratória de dados, geralmente os cientistas de dados tem uma primeira olhada nos dados. Muitas vezes as pessoas fazem as estatísticas descritivas neste pod. Então calcule a média, calcule variantes, e realmente dê uma olhada nos recursos de seus dados, o que há nos dados? O que tem nos rótulos? Isso também é para ver se a limpeza dos dados deu certo. Há outliers? Há ruído nos dados e se você encontrar esse tipo de coisa nos dados, você terá que voltar para o estágio de limpeza. Como eu disse, a ciência de dados é muito iterativa. Então muitas vezes você tem que ir para frente e voltar para realmente ver que tudo está consertado. Depois de ter um olhar que todos os seus dados estão em ordem, você também quer ter uma olhada se há dados ausentes, porque isso acontece com bastante frequência. Se você tiver dados do cliente, por exemplo, muitas vezes os perfis não são preenchidos completamente. Você está perdendo alguns dos e-mails, alguns dos números de telefone, e esses valores ausentes podem ser indicados como algo falso. Então eles são muito valiosos para saber na ciência de
dados e isso vale para quase qualquer aplicação. Saber onde estão os dados ausentes pode ser extremamente bom para incorporar em sua análise. Esta é uma dica que eu gosto de dar a todos para também ter um olhar apenas onde você tem dados e onde você não tem dados. No final, você também tem um olhar sobre as correlações. Veja como seus recursos, como seus dados estão correlacionados uns com os outros. Correlação significa simplesmente que se a característica A está subindo, e a característica B está subindo, eles podem ter alguma correlação de sua indo na mesma direção ao mesmo tempo e isso pode ser muito bom para analisar para que você compreender as relações dentro de seus dados. Normalmente você também quer fazer alguns agrupamentos talvez. Dê uma olhada em quais dados estão se ajustando a quais dados. Portanto, tenha uma visão superficial muito simples de como seus dados se encaixam em grupos. Pessoalmente, também acho muito valioso na análise de dados
exploratórios ter uma olhada nas visualizações. Normalmente, é claro, você pode calcular um número para o coeficiente de correlação, mas também ter um gráfico rápido de suas correlações e suas correlações cruzadas entre diferentes feições pode ser realmente bom porque então você tem uma visão geral rápida, assim como vemos na tela agora e você sabe que isso vai subir. Isto está positivamente correlacionado. Isto vai cair. Se isso está subindo, isso está negativamente correlacionado. Então realmente apenas ter uma ideia dos dados e entender melhor os dados, para possamos
então continuar e ver se nossa hipótese de que estamos construindo neste processo está segurando novos dados que nunca vimos antes.
8. Introdução à aprendizagem de máquina: Uma forma de modelagem de nossos dados inclui aprendizado de máquina. aprendizado de máquina tem todo o alcance agora porque tem sido muito fácil usar ferramentas de aprendizado de máquina recentemente. Tornou-se muito acessível para um monte de pessoas que conhecem pouco código ou mesmo nenhum código e um monte de aplicativos. Onde o aprendizado de máquina foi abstraído para que você possa construir uma rede neural baseada em seus dados que se aproxima do resultado. No aprendizado de máquina você tem basicamente três áreas diferentes que você pode olhar. O aprendizado supervisionado, que essencialmente significa que você tem seus dados e, em seguida, você tem seus resultados. Por exemplo, nos dados do cliente, isso seria você ter suas informações sobre um cliente, que em cada entrada nessa informação nós chamaríamos um recurso. Você tem sua etiqueta se eles compraram ou se eles não compraram. Esta seria uma decisão binária no aprendizado de máquina supervisionado, onde você pode então tentar prever se com base nos recursos que você comprou ou alguém não comprou. Este foi o primeiro aprendizado de máquina que você pode fazer classificação. Se isso é binário ou você tem várias classes que você deseja prever. Talvez sejam gatos, cães e pássaros. Esses são valores realmente
discretos, classes discretas que você deseja prever. O próximo método em aprendizado de máquina supervisionado é a regressão, onde você prevê um número. Neste exemplo de dados do cliente, isso seria equivalente a prever quanto um cliente está disposto a gastar com base nos recursos que ele possui no conjunto de dados. Realmente vendo este cliente que comprou recentemente este, este, e isso vai gastar US $100. Isso pode ser muito importante para o seu orçamento de marketing, por exemplo. Se você sabe quanto gastar em um determinado demográfico, então
você pode essencialmente ver quanto orçamento de marketing você está disposto a gastar para fazer uma conversão. O terceiro método no aprendizado de máquina é uma parte do aprendizado de máquina não supervisionado. Isso realmente significa que não temos os rótulos que tínhamos antes e estamos tentando encontrar estruturas internas de nossos dados. Realmente o que isso significa para agrupar nossos dados, estamos tentando encontrar qual amostra em nosso conjunto de dados está mais perto de outra amostra. Eventualmente, podemos usar esse clustering não supervisionado para atribuir rótulos aos nossos dados. Esse é um dos truques que as pessoas costumam usar para encontrar rótulos, que liga de volta à lição que fizemos sobre rotular nossos dados. Este é um truque que você pode usar para encontrar classes dentro de seus dados, mas é a questão: essas
são as classes que você realmente está interessado? Estes são três tipos comuns de aprendizado de máquina. O aprendizado de máquina tem métodos muito diferentes para atingir essas previsões essencialmente, quando você está falando de regressão e classificação. Aprendizagem de máquina supervisionada, você pode usar algo como modelos lineares. Literalmente encaixando uma linha em seus dados. Você pode usar árvores de decisão que são realmente poderosas e realmente interessantes, porque eles tomam essas decisões baseadas em regras de se isso é sobre isso, em
seguida, colocá-lo nesta classe. Se esse recurso estiver abaixo disso, coloque-o nessa classe. Eles se tornaram bastante populares porque eles são muito fáceis de usar e dar realmente bons resultados. Redes neurais são outra classe onde você tem cérebro como estrutura de conexões que essencialmente fazer operações
matemáticas em seus dados para então prever uma classe. Finalmente, também temos algo chamado uma máquina vetorial de suporte, que basicamente tenta dividir seus dados em dois grupos, idealmente. Essas são realmente estratégias muito comuns, ferramentas
muito comuns que você usa no aprendizado de máquina. Um método muito comum no aprendizado de máquina não supervisionado é k-means, onde essencialmente você está encontrando a média de seus clusters, mas o problema é que você tem que definir k. Essencialmente você tem que experimentar muitos números diferentes de clusters que é k, e depois ver o que lhe dá os melhores resultados. Normalmente, um k mais baixo é melhor porque então você encontra clusters maiores. Se você aumentar seu k para 100, então você encontrar como 100 clusters, isso geralmente significa que você encontrará sub-clusters em clusters maiores e obterá menos de um resultado confiável. Outro método que eu pessoalmente gosto muito é T-sne. T-Sne é processo automático que você pode ver no fundo aqui, que essencialmente também tenta encontrar clusters de seus dados. É menos interpretável, mas é muito bom em encontrar dados que pertencem a outro e encontrar outliers em certos dados. Realmente bom para estabelecer relacionamentos e dados também. A parte mais importante no aprendizado de máquina é o processo de treinamento. Você tem seus dados, seus rótulos e os coloca e espera
que seu processo de aprendizado de máquina preveja os modelos certos. Normalmente, isso é iterativo. Seu modelo prevê algo, vê se está acertando. Esta é a supervisão e, em seguida, o modelo é ajustado. Este é o processo de aprendizagem ou o processo de treinamento. Ambas as palavras são usadas para realmente ajustar o modelo para dar-lhe os resultados certos. Essa é a parte interessante porque esses modelos são modelos matemáticos que não sabem nada sobre física, nada sobre o comportamento do cliente. Mas eles aprendem a estabelecer essas relações com base em princípios
matemáticos e realmente se ajustam ao tipo de dados que você tem, o que pode ser muito diferente. aprendizado de máquina funciona em tantas tarefas diferentes, desde propaganda on-line até física e biologia, tão realmente versátil. No entanto, e isso é extremamente importante quando você treina ou as pessoas que você emprega treinam esses modelos, eles têm que manter parte de seus dados separados porque você sempre tem que ter um caso de teste, essencialmente, onde você vê se o seu modelo é realmente trabalhando em dados que o modelo nunca viu. Porque o modelo pode essencialmente memorizar seus dados mais ou menos. Estás a tentar evitar isso. Há muitas coisas que você faz como engenheiro de aprendizado de máquina para evitar isso. Mas, no final, o que é medido, é gerenciado, e você realmente precisa medir se seu modelo está trabalhando em dados que nunca viu. É por isso que normalmente mantemos parte do nosso conjunto de dados rotulado para o lado, porque então já sabemos a resposta sobre eles. Mas o modelo de aprendizado de máquina nunca o viu antes. Um truque puro para validar nosso modelo com este conjunto de testes de validação. Esta foi uma breve visão geral de um aprendizado de máquina. Agora você sabe sobre os diferentes tipos de aprendizado de
máquina e alguns métodos que são poderosos que você pode dar uma olhada se você estiver interessado. Você sabe que você tem que absolutamente fazer validação de aprendizado de máquina. Você não pode simplesmente treinar um modelo e dizer, oh yeah, a escola de treinamento, e isso é realmente bom. Você sempre tem que ter um conjunto de dados extra onde você pode validar seus dados. Isso leva perfeitamente à próxima aula onde
vamos dar uma olhada em como provar que está errado. Porque se quisermos fazer ciência de dados como ciência, temos que nos certificar de que nossas idéias realmente se aguentem ao escrutínio.
9. Provando o errado: Até agora, tivemos uma olhada em ferramentas de ciência de dados, princípios, métodos. Mas a ciência de dados tem muito mais, porque na ciência de dados você basicamente tem que pensar sobre o sistema em que você está. É muito mentalmente envolvente em certo sentido. Nesta aula e nesta palestra vamos dar uma olhada em provar que você está errado. A idéia por trás de provar que você está errado, é essencialmente que todos nós vamos para a análise de dados com nossos próprios preconceitos, e especialmente se nós seguirmos a análise de dados exploratória, nós poderíamos ter tido um palpite sobre subconjuntos dos dados. Alguns dos participantes mais bem sucedidos em competições Kaggle, ele ignorar completamente cadernos EDA, então outras pessoas compartilhando suas explorações porque eles não querem ser tendenciosos em sua abordagem para ver o que os dados podem conter em loja. Essencialmente, em cada projeto de ciência de dados, você terá que manter um padrão muito alto porque você está olhando para verdades
subjacentes, relacionamentos subjacentes dentro dos dados. Isso não importa qual pergunta você está respondendo, se você está fazendo uma previsão ou se você mesmo responder perguntas mecanísticas, é sempre, há uma explicação diferente para isso? A primeira coisa que vai querer fazer quando tentar provar que está errado, é aplicar a navalha de Occam. navalha de Occam é a idéia filosófica disso, evidência geralmente pode ser explicada pela idéia mais simples. Então, quando não encontro as chaves de manhã, provavelmente as perdi em algum lugar e provavelmente estão no meu casaco. É muito improvável que sejam alienígenas. Esta é a idéia de que você tenta encontrar
a explicação mais simples em vez de ir complexo extravagante, e isso também é algo em ciência geral de dados, aprendizado de máquina, que é uma boa idéia para tentar construir o modelo mais simples que satisfaça os seus critérios. Porque o modelo mais simples geralmente é também o mais simples de explicar. Neste caso, os cientistas de dados estão em um dilema, com os trabalhadores do conhecimento, somos pagos para sermos inteligentes, então ter uma explicação complexa para essas coisas geralmente é o que procuramos. Queremos encontrar as coisas super interessantes e você tem que ter muito cuidado lá, porque podemos ser atraídos por esta explicação inteligente que nos faz sentir bem, mas que pode ser apenas a explicação errada. Pode haver um muito mais simples que pode explicar exatamente as mesmas coisas. Lá, geralmente é bom ter uma
olhada em qual é a explicação comum para coisas como esta, então muitas vezes cientistas de dados têm que falar com especialistas no assunto. Se você é um cientista de dados trabalhando com economia, fale com seu economista, se você é um cientista de dados no Grande Colisor de Hádrons, fale com o pessoal da física. Eles geralmente têm um palpite, têm uma idéia, e você ainda pode desafiar isso se seus dados tiverem a evidência para esse desafio. Mas muitas vezes é realmente a explicação mais simples, é a melhor explicação para o seu problema. A próxima coisa que você vai querer fazer é dar uma olhada em coisas que refutam sua teoria. Se você tem uma hipótese sobre seus dados e você está olhando para, o que causa o que ou o que está acontecendo onde, voltando para o exemplo desde o início, se preços mais altos em um hotel causar mais pessoas, então o inverso pode ser verdade. Então, se você baixar seus preços, as pessoas devem ficar longe também. Com estes contra-exemplos que você pode encontrar em seus dados. Você deve fazer uma análise essencialmente, se há evidência em seus dados que é prova sua teoria, você tem que melhorar ou você tem que atualizar suas crenças, você tem que mudar sua hipótese, porque esses dados apontam, Se eles são significativos, definitivamente vai mostrar isso. Sua idéia extravagante, sua idéia inicial às vezes não foi totalmente correta, então você tem que cavar mais e realmente olhar os dados se há algo que vai contra o que você tinha em mente. Um exemplo do meu trabalho agora é que nós tivemos essa idéia que talvez o que é chamado de migração forçada. Essencialmente, as pessoas têm de deixar as suas casas por causa das inundações, porque as inundações provocam a deterioração das terras agrícolas. Bem, em nossa análise de dados, nós realmente descobrimos que havia mais terras cultivadas florescendo na área após uma inundação, porque de repente ele teve muita irrigação e tudo estava verde e florescendo, então tivemos que atualizar nossa idéia inicial, nossa crença inicial, para uma nova hipótese que poderia realmente, sim, havia alinhado com os dados. Isso realmente você tem que ser flexível e não estar casado com as idéias que você tem. Sei que pode ser muito difícil atualizar certas crenças, mas é inteiramente necessário que os cientistas de dados sejam flexíveis nessa compreensão e ouçam especialistas no assunto, porque muitas vezes eles têm anos de experiência, trabalhando neste campo, e você precisa de evidências muito fortes para contrariar o que eles estão dizendo sobre o campo. Muitas vezes, pesquisadores
básicos são realmente bons, olhando para seus dados se houver contra-exemplos em seus dados, e também vendo que você tem a explicação mais simples e direta para o que você está
realmente vendo em seus dados. Se você pensar sobre isso, indo este um passo adiante, indo em sua análise de dados com essa mente científica, sendo capaz de realmente cruzar suas crenças que você inicialmente formou a partir de sua exploração os dados realmente faz de você um cientista de
dados mais forte e faz de você um cientista de dados melhor eventualmente, porque agora você é capaz de questionar essas idéias que vêm de si mesmo e , portanto, mitigar vieses em sua própria análise e ter um argumento mais forte também. Se você está comunicando esses resultados para tomadores de decisão, para os chefes, ou escrevendo em papel, e você pode dizer, bem, eu verifico isso para contra-exemplos, e estes eram outliers ou estes foram baseados nesta hipótese que tínhamos inicialmente, ele tinha que ser atualizado. Isso pode ser uma característica extremamente boa e valiosa nas pessoas, e isso vai exigir respeito nesses tomadores de decisão, porque eles sabem agora que podem confiar em você e você realmente estar interessados em encontrar a resposta e não apenas Propagando sua resposta. Nesta aula, nós demos uma olhada em provar que você está errado e como
basicamente pensar fora da caixa e questionar suas próprias conclusões a partir de dados. A próxima aula terá uma olhada em um dos meus favoritos visualização de dados.
10. Visualização de dados: Nesta palestra, vamos rever a visualização de dados. A visualização de dados para mim é importante em dois aspectos. Em primeiro lugar, uma visualização pode fornecer uma visão geral extremamente boa sobre seus dados no estágio de exploração. Correlações, eu adoro quando você só tem uma visualização em vez de um número para o coeficiente de correlação. Porque então você pode ver um monte de correlações ao lado do outro. Além disso, quando você faz seus relatórios e suas apresentações,
bem, eles não dizem isso por nada e a imagem diz mais do que mil palavras. Realmente, visualização de dados, você pode embalar muito mais de um soco de comunicação de dados do que qualquer
outra coisa e você pode fazer essas visualizações interativas. Se você estiver criando painéis, você vai querer essas visualizações, coloque-as em um mapa se forem dados espaciais. Faça um gráfico de dispersão. parcelas de dispersão são incríveis. Eles lhe dão muita entrada e percepção sobre seus dados. Como os pontos estão indo contra outros pontos. Se você estiver fazendo clustering, como esses pontos se agrupam no espaço 2D? Eventualmente, você vai acabar ficando melhor na visualização de dados, mas você quer seguir algumas regras. Normalmente, o que você precisa ter cuidado é rotular seu eixo. Portanto, é sempre bom ter texto no eixo. Pessoalmente, gosto que seja a ruína da minha existência. Adicionando texto às visualizações, eu deveria ser melhor sobre isso. Normalmente, em revisão, há sempre um, você
pode por favor colocar x neste rótulo e vai torná-lo muito mais claro porque as pessoas podem olhar para a sua visualização e ver diretamente o que está acontecendo sem ler a legenda, sem ler nenhum texto, faça isso. Nunca codifique dados na transparência. Porque é muito difícil ver a transparência, especialmente se ela for impressa ou se você tiver um gráfico de dispersão e você tiver vários pontos um sobre o outro. Se a transparência tem significado em seu enredo, então você está perdendo esse significado ao sobrepor vários pontos de dados. Com a cor, você tem que ser extremamente cuidadoso sobre daltonismo, mas também quando você imprime, um monte de impressão científica é preto e branco porque cor ainda é caro para imprimir por algum motivo. Não me pergunte por quê. Mas sim, ter esses mapas de cores linearmente perceptivos é muito bom e se você estiver usando Matplotlib e todas essas bibliotecas Python, eles usam algo chamado veritas, que é o mapa de cores. Veritas é linearmente perceptiva e perfeita para esse tipo de coisa. Se você estiver fazendo suas visualizações em um software diferente, é bem possível que o padrão seja o arco-íris ou jato frequentemente chamado. O arco-íris não é uma boa barra de cores. Muitas vezes, o verde é muito largo, então você realmente perde algumas de
suas informações de visualização
nesses mapas de cores e você definitivamente não deve usá-los. Muitas vezes as pessoas vão desafiar isso, especialmente se você está falando com professores, cientistas mais velhos, eles acham que o arco-íris é a barra de cores padrão e você deve estar usando isso e
há pesquisas sobre desafiar esses pensamentos porque é mais acessível. Você está sendo ótimo para pessoas com deficiência e isso não lhe custa nada e no final, elas são barras de cores melhores porque a mudança de uma sombra para outra que você percebe como humana é a mesma para todos, e é a mesma entre cada sombra. No arco-íris, a diferença entre vermelho e azul é muito diferente do verde e vermelho, algo assim, apenas por causa de atribuições
arbitrárias onde seus dados são mapeados para a cor. Mas na Veritas, você tem uma percepção linear de onde seus dados estão. Então você realmente entende intuitivamente como seus dados estão olhando e o que seus dados estão fazendo. Neste tipo de gráficos que você está criando você sempre vai querer pensar sobre a pessoa que está olhando para o enredo. Como você pode tornar esta informação o mais acessível possível? Eles podem sentar-se em uma sala cheia de pessoas e seguir uma apresentação e entender o que você está tentando dizer com o slide que vai ser ido em menos de um minuto. Realmente, dê uma olhada no que as outras pessoas estão fazendo. Há blogs incríveis lá fora. Você pode dar uma olhada em dados fluidos, por exemplo, que está coletando um monte de visualizações muito bonitas. Há muitos recursos lá fora também. Realmente certifique-se de verificar aqueles para fora, além desta classe porque, claro, esta é uma boa visão geral, mas há sempre mais e você sempre pode ir este passo acima e torná-lo um pouco melhor. Adicionar interatividade aos seus dados quando você está fazendo painéis, por exemplo, pode ser muito bom. Quando você mouse seu gráfico de dispersão e você pode realmente obter informações sobre cada ponto apenas apontando para eles, é tão bom. Todo mundo está sempre animado quando eu crio uma visualização como essa. Essencialmente, a visualização de dados é sobre aproveitar ao máximo seus dados e torná-los realmente compreensíveis em uma única imagem. Em nossa próxima lição, vamos dar uma olhada na produção de pipelines de dados. Realmente, como podemos tornar nossas descobertas úteis em um negócio?
11. Operacionalização de dados: Até agora temos falado de uma análise para sinais de dados. Essencialmente a idéia de ter seus dados, um é ter um conjunto de dados e, em seguida, fazer uma boa análise e uma apresentação sobre fazer visualizações nele. Mas em um negócio, muitas vezes, você depende de ter pipelines, operacionalizar sua análise de dados, construir de uma só vez e, em seguida, ser capaz de reproduzi-los repetidamente. Isto é o que há menos do que isto. Em uma empresa, isso geralmente significa que você tem outra pessoa, como uma operação de dados é muito semelhante a uma pessoa de DevOps, de modo os Data Ops são freqüentemente usados ou operações de ML Ops ou de aprendizado de máquina, e isso significa que sua equipe agora está crescendo para outra pessoa, além do engenheiro de dados e dos cientistas de dados. Mas é extremamente valioso pensar sobre isso e também saber sobre isso como um cientista de dados, porque você ainda terá que entregar sua análise e seu código para essa pessoa de operações de dados e, possivelmente, também ajudar na implementação isto. Vamos passar por cima da operacionalização de sua análise de dados e nesta parte. Conforme descrito no processo de ciência de dados, nossa análise de dados com frequência, ou nosso processo de ciência de dados, geralmente consiste em obter dados, rotular dados, limpar dados, explorar nossos dados
e, em seguida, modelar nossos dados e fazer previsões ou analisar a causalidade dos dados, dependendo da pergunta que você está tentando responder. Em uma empresa, muitas vezes você obtém novos dados continuamente, novos clientes se inscrevendo, novas coisas chegando. No Grande Colisor de Hádrons, você tem fluxos de dados contínuos um ano fazendo experimentos. Você realmente quer automatizar esse processo. O pipeline é tudo sobre a automatização. No processo de limpeza, por exemplo, você quer automatizar muitas dessas funções de escrita que podem ser aplicadas a todo o conjunto de dados, não filtrar peças individuais manualmente. Você deseja certificar-se de que seus dados estão em conformidade com um esquema porque sua análise de dados agora está ajustada a um determinado tipo de conjunto de dados. Essencialmente, você tem seus dados de cliente, por exemplo, talvez você tenha sexo, você tenha compras ou última compra e, em seguida, você tem a data em que eles se inscreveram. Esses três recursos são o que sua análise de dados depende. Se você receber novos recursos, então você terá que iniciar uma nova análise, pois essa análise pode lhe dar novos insights. Seu pipeline tem que validar que os novos dados que estão chegando estão dentro do intervalo de seus parâmetros esperados. Já ao receber novos dados, você deseja certificar-se de que seus dados estão em conformidade com o que você espera. Faça verificações, faça testes e você pode automatizar esses testes e sua pessoa de operações de dados provavelmente pode ajudá-lo com isso. Biblioteca Python agradável para isso como grandes expectativas. As pessoas têm adorado isso recentemente e nós revemos esquemas no curso Python. Então eu tenho na plataforma Skillshare também. Espero que você verifique isso mais tarde se você já conhece alguns Python. Mas, independentemente disso, saber sobre o que você tem que fazer já é ótimo. Porque se você quiser gerenciar uma equipe de ciência de dados, você precisa saber o que essencialmente você quer ter uma visão de alto nível. Obter seus dados,
certificar-se de que seus dados são bons
e,em certificar-se de que seus dados são bons
e, seguida, certificar-se de que a maioria desses processos, modo que algumas das visualizações que você obtém em seu painel ao vivo, por exemplo, devem ser geradas automaticamente a partir dos dados. Tudo isso é possível se você
escrever seu código de forma limpa que você tenha tudo e funções
individuais que podem ser aplicadas individualmente em cada etapa do seu processo de ciência de dados. É aqui que os cientistas de dados sênior
se distinguem dos cientistas de dados júnior. Você escreve código mais limpo e você vai entender como colocar cada pedaço de código em uma caixa, em uma função onde você pode então usar isso para automatizar o processo de fazer partes da análise. Outra parte muito importante neste processo de análise, especialmente se você estiver fazendo previsões. Somos os dados do cliente que prevêem se alguém vai fazer uma compra, se você mostrar isso a ele ou se você mostrar que é dar uma olhada nos indicadores-chave. Algo que é chamado de churn modelo ou deriva conceito. Seu modelo de aprendizado de máquina é construído com base em dados históricos. Sua análise de ciência de dados, todos os insights são negociados a partir de dados históricos. Se agora estivéssemos olhando para 2021, onde a maior parte do mundo está em confinamento. Estamos tirando insights de 2000-2010, que são muitos dados, 10 anos de dados seriam incríveis. Mas nada disso é aplicável agora. É aqui que todos os nossos modelos e todos os nossos insights não são mais tão valiosos. Porque agora, tudo isso é desafiado por mudanças nos conceitos de como as pessoas estão realmente vivendo como a verdade, as relações subjacentes estão mudando
completamente porque as pessoas estão comprando muito mais on-line. As pessoas terão que usar chamadas de Zoom online e muitos comportamentos foram alterados. As pessoas estão trabalhando em casa. Essa mudança é algo que atrapalharia completamente toda a análise de dados. Toda a sua análise de dados de que seus aliados de produção não seria mais verdade. Agora, a pandemia é obviamente uma mudança catastrófica. Mas muitas vezes você tem mudanças ao longo do tempo em seus dados, em seus clientes, pessoas mudam, tendências mudam, especialmente se você é uma marca de roupas, por exemplo, você tem sazonalidade lá. Ninguém vai comprar um bom biquíni no outono. Bem, algumas pessoas, mas você vai ter muito mais pessoas comprando calções de
banho na primavera para se preparar para o verão. Ter esses tipos de conceitos e esse tipo de teste para, para consistência em seus dados de entrada. Mas também em Indicadores Chave de Desempenho, KPIs em sua saída, que seus dados ainda estão funcionando bem. Isso é muito importante. Sempre tenha um loop de feedback em seu pipeline de dados onde você verificar se o que eu estou fazendo ainda
é automatizável, o ainda é válido ou estou recebendo muitas previsões erradas neste momento? Pense realmente nisso porque isso é extremamente importante para olhar para o processo de ciência de dados se você estiver automatizando isso. Não é tão importante em uma análise única em que você está tentando convencer os tomadores de decisão. Mas quando você está automatizando esses processos, o que é muito mais importante nas empresas e nessas operações em grande escala. Lá você realmente tem que pensar sobre validação de dados. Estou metendo as coisas certas? Validação de saída, deriva conceito e churn modelo, onde você realmente quer olhar é o que eu estou produzindo também ainda válido. Muitas vezes você pode medir seus resultados a partir da saída esperada. Você está vendo, você está prevendo quanto uma pessoa gastaria. Então você vê quanto essa pessoa gasta. Muitas vezes você pode basicamente ver com testes AB,
por exemplo, se eu não tiver feito nada, isso ainda
mudaria alguma coisa? Isso também está indo mais nos aspectos da causalidade. O que estou fazendo, isso está realmente tendo um efeito, ou possivelmente está atrapalhando os resultados? Pensar sobre isso realmente o eleva acima de cientistas de dados júnior porque você
vai ser muito mais valioso para uma empresa se você pode pensar sobre esses testes para realizar. Ao gerenciar uma equipe de ciência de dados, você quer se certificar de que isso é esperado para automatizar os pipelines. Se você é um cientista de dados, você quer ter certeza de que
nesses projetos você está construindo para obter um emprego ou em seu trabalho. Você também está sugerindo esses tipos de verificações para o gerenciamento, para a pessoa de operações de dados porque é extremamente importante. Mais uma vez, se você considerar assim, você está provando ser um membro valioso da empresa e da equipe. Isso só irá ajudá-lo no futuro. Conversamos um pouco sobre painéis nesta parte. Na próxima aula terá uma olhada em alguns painéis, e o que eu quero dizer com painéis ao vivo e por que você quer ter experiência na construção de painéis e por que é tão divertido para ser honesto.
12. Dashboarding: Nesta palestra, vamos dar uma olhada nos painéis. Os painéis se tornaram muito populares, porque eles fornecem uma visão geral de várias visualizações juntas, e realmente contam sobre as mudanças e o que está acontecendo em seu sistema ao vivo, mas também com seus dados. Você pode ter uma guia com exibições baseadas em mapa e você pode ter uma guia relações de trabalho ou alterações de fluxo de dados. Você pode monitorar seus KPIs, você pode monitorar a saúde do seu sistema, em painéis totais são este dispositivo. No meu tempo de consultoria, as pessoas sempre perguntavam sobre painéis, como criar painéis, e tornou-se muito mais fácil. Se você quiser opções de código baixo ou sem código, Tableau, o Spotfire e o Power BI oferecem opções para criar painéis. Teremos alguns na tela aqui. Quando você está indo para Python, há alguns jogadores no bloco, o que é bastante novo, para ser honesto, também novo para mim, mas é tão emocionante como eu amo construir painéis. É muito interessante para mim. Mas sim, essencialmente, o que você pode fazer é usar Plotly Dash, que é muito versátil e interativo também, ou você pode usar Streamlit, que até usa ou pode usar saídas de aprendizado de máquina. Tão poderoso quando você tem conhecimento em Python. Nos painéis, você quer ter cuidado. Porque quando vejo painéis, eles tendem a ser sobrecarregados um pouco. Então, o que você quer focar é antes de tudo, quando você abre, a informação mais importante deve estar acima da dobra, acima da dobra. Isso geralmente é algo que você fala no web design, que é baseado nos jornais antigos. Quando você estava saindo para comprar um jornal, acima da dobra está a manchete no quadro geral. Então realmente o captador de atenção, as coisas mais importantes que você precisa saber, e isso deve ser exatamente o mesmo em seu painel. primeira página, no primeiro quadro que você abre, tem as informações mais importantes que os principais tomadores de decisão têm que ver. Então, quando você rolar para baixo, você tem informações relacionadas a isso. Mas realmente sobrecarga de informações é um problema. Normalmente, o que você quer fazer é ser minimalista sobre os dados e sobre as informações que você tem em uma página. Você tem todas as informações necessárias para tomar uma decisão. Mas mantenha barras de cores na mesma forma. Não sobrecarregue e dê espaço de visualização, espaço para respirar. Porque se tudo está apertado, isso geralmente dá a todos como uma sensação de sobrecarga. Faça algumas passagens de quanto você pode reduzir as informações. Você sempre pode abrir outra guia com outro painel que tenha informações diferentes. Mas seu painel deve realmente ter um foco. Deve responder a uma pergunta como a análise da ciência de dados. Ele pode ser usado como uma ferramenta de comunicação. Ele deve responder às principais perguntas para as quais as pessoas abrem seu painel. Não deveria jogar toda a informação. Então eles poderiam fazer a análise sozinhos. Mas vocês são os cientistas de dados. Você precisa contar uma história com um painel e realmente extrair o que é importante para as pessoas verem que não podem fazer a análise de dados, mas aquela para saber o que está acontecendo
no sistema de dados neste processo, neste projeto. Mas, obviamente, em painéis, você pode usar visualizações interativas, o que é muito divertido. Normalmente, as pessoas adoram interatividade. Então, ser capaz de selecionar algumas coisas e como passar o mouse sobre informações e girar ao redor, essas são boas decisões. Se você puder fazer isso, que as pessoas possam ampliar seus dados, suas visualizações
em vez de apenas ter uma imagem estática, isso geralmente é uma boa decisão. Ampliar mapas, por exemplo, é algo que todos estão acostumados hoje em dia por causa do Google Maps. Certifique-se de que, ao fazer esses painéis, você
tenha um design intuitivo, crie nele. Quando você vê seu painel, ele se sente quase indistinguível para que profissional, que você é, estaria servindo. Então isso parece um poderia ser projetado pela Apple essencialmente? Este é um bom design? Então, sim, concentre-se no minimalismo. Mostrar apenas as informações relevantes para tomar decisões fáceis e não sobrecarregar as pessoas. Claro, às vezes as pessoas têm opiniões diferentes. Se o seu líder de decisão principal quer mais informações sobre o painel,
você, é claro, tem que seguir isso. Você tem que dar a eles a informação que eles precisam. Muitas vezes você tem que iterar sobre painéis, bem como com as pessoas que realmente os usam e ser flexível sobre isso. Você nem sempre sabe o que os principais líderes de decisão, mas também especialistas no assunto realmente precisam. Então é muito bom receber feedback. Mas com essas ferramentas modernas, também
é muito fácil criar esses painéis. Portanto, adicionar outra visualização ou tirar essa virtualização, colocá-la em uma guia diferente é muito mais fácil do que antes. Não é muito trabalho. Mas sim, painéis são realmente um bom ponto para ignorar o perfeccionismo e, em vez disso, confiar no feedback das pessoas que vão usar seus painéis. A disciplina mestre claramente está construindo painéis ao vivo. Ter esses painéis conectados a esses pipelines de dados operacionais, ter insights em tempo real sobre seus dados, atualização em
tempo real, e isso também é bem possível, mas é um pouco mais difícil como tem
que ser no final de todo esse pipeline de ciência de dados. Você provavelmente vai querer fazer isso em conjunto,
com toda a sua equipe de ciência de dados e com um pessoal de operações de dados. Painéis são uma ferramenta de visualização fantástica e uma ferramenta fantástica para a comunicação porque dão às pessoas espaço para absorver a história que você está tentando contar. Na próxima aula, vamos dar uma olhada em quais outras ferramentas de comunicação no total você pode usar para contar sua história de ciência de dados, para realmente transmitir seus insights aos tomadores de decisão.
13. Comunicar resultados de forma eficaz: O resultado final do seu processo de ciência de dados é geralmente a comunicação. Com seus insights, você geralmente quer mostrar a alguém; muitas vezes especialistas no assunto ou líderes de decisão
importantes para tomar uma decisão com base no que você encontrou. Mudar opiniões, realmente contar uma história, convencer e comunicação é fundamental nesses aspectos. Nesta aula, vamos dar uma olhada na comunicação e como você pode comunicar seus resultados de forma eficaz. Porque muitas ferramentas nos dias de hoje parecem facilitar, mas se você for pelo menos um passo adiante, você pode comunicar os resultados ainda melhor. A chave por trás de toda comunicação é conhecer o seu público. Muitos cientistas de dados mais recentes geralmente usam o Jupiter
Notebook, que é uma maneira de misturar código e texto, e transformá-los em PDFs. Em certo sentido, isso é problemático porque um líder de negócios, por exemplo, não tem tempo para olhar para o seu código. Francamente, eles não ganham nenhum benefício ao olhar para o seu código. Estes Jupiter Notebooks devem ser usados para comunicação com outros cientistas de dados. Com codificadores, então você realmente tem a documentação para o seu código também. Mas quando você fala com pessoas que estão mais nos setores de gestão, você não quer mostrar-lhes código a menos que eles peçam. Você quer ser capaz de visualizar eficazmente. Voltando à aula sobre visualização, você quer realmente contar a história com imagens mostrando os dados da maneira que torna mais fácil para eles decidirem. No final, convencer alguém é sempre fazer uma decisão mais fácil para eles porque agora
eles têm certeza porque eles são apoiados por dados. Apoiado por matemática, estatísticas, aprendizado
de máquina, seu trabalho em análise. No final, é também disso que se trata a ciência. Como cientista, escrever em papel é convencer meus colegas de que encontrei algo novo,
algo que é melhor do que antes, uma nova visão. Convencê-los significa realmente falar sua língua, então você tem que se conformar com o esboço direto de um artigo. Adicionar boas visualizações e as equações corretas nos pontos certos é muito importante, mas a maioria deles não quer ver o código. Isso está mudando de alguma forma, pelo menos. No jornal, a maioria das pessoas pedirá que você remova o código. Bem, eu acho que fazer seu código apresentável, e eu gosto de colocá-lo em um apêndice ou em algum lugar. A maioria das pessoas não quer olhar para o código porque a maioria das pessoas gosta de ter uma decisão mais fácil simplesmente seguindo sua comunicação. Portanto, concentre-se nas visualizações, concentre-se em contar uma história e reduza a quantidade de código que você mostra às pessoas, a menos que seja apropriado. Dessa forma, você também pode realmente ir em frente e mergulhar profundamente na mídia que você está usando. Então não se torna apenas sobre o público onde você pensa sobre o alvo, pensa sobre o propósito, mas também sobre o meio. Visualizações interativas são ótimas, mas não funcionam em PDFs. Portanto, tenha cuidado com a forma como comunica estes resultados. Se você vai enviar um PDF para alguém, não
precisa de tempo para criar um painel porque ele vai ser um PDF. Tire um tempo para criar visualizações independentes de
alta qualidade que falam por si mesmas e que você pode integrar à sua documentação PDF. Se você estiver fazendo uma apresentação do PowerPoint, certifique-se de que seus dados, suas visualizações estão claramente visíveis, delineadas e visíveis em telas pequenas na parte de trás de uma sala de conferência mal iluminada. Hoje em dia, com todas essas coisas acontecendo em que temos muito mais videoconferências, pense em como você pode compartilhar seus insights ao vivo. Você pode dar acesso às pessoas ao painel para que elas possam experimentá-lo? Enquanto você está fazendo sua apresentação, eles
podem seguir algumas das análises eles mesmos? Pense realmente em como você comunica seus resultados, porque a comunicação é sua chave para realmente convencer qual é a história que você está tentando contar. Como um cientista de dados comunicação,
e, portanto, a empatia é extremamente importante. Você tem todas essas ferramentas incríveis que podem ajudá-lo a negociar na ciência, e você tem tantas ferramentas incríveis para realmente comunicar seus resultados, construir PDFs, construir apresentações e PowerPoint, construir dashboards, construir Jupiter Notebooks para falar e tutoriais, e conversar com colegas cientistas de dados. Mas no final, é muito importante que você tenha a comunicação em mente. Se você compartilhar sua análise, as pessoas ganharão com seus insights, e essa é a maneira de realmente ter um projeto completo e terminar o processo de ciência de dados. Na próxima aula, vamos dar uma olhada na compreensão do risco na ciência de
dados, porque nem todos os projetos serão bem-sucedidos.
14. Entender o risco em projetos de ciência de dados: Uma parte importante do fluxo de trabalho de gerenciamento de ciência de dados é entender o risco. O perfil de risco de um projeto de ciência de dados é muito diferente do de um projeto de software, por exemplo. Se você sabe que algo é viável com um computador, só leva tempo e gerenciamento para terminar esse projeto. Em um projeto de ciência de dados, ele pode ter resultados negativos. No final, trata-se de um processo científico, vendo se podemos sequer responder a uma pergunta, tendo em conta os dados que temos, e isso pode não ser possível. Há coisas éticas sobre as quais falei, como talvez achemos que responder a esta pergunta não é benéfico para o nosso negócio, para a nossa pergunta. Talvez seja ativamente prejudicial para as comunidades, mas também em um sentido
muito mais leve pode ser que nosso modelo não esteja funcionando bem. Que podemos limpar os dados, que não temos dados suficientes, e todas essas coisas que você precisa gerenciar. Gerenciar riscos significa que temos que estar em uma mentalidade ágil no final. Tudo tem que ser iterativo. É muito bom ter destaques diários que são muito curtos como você está fazendo a metodologia ágil. Você quer identificar blocos em sua equipe cedo. Você quer se comunicar regularmente. Não gerencie microgerencie, mas é importante capacitar sua equipe para também dizer : “Ei, isso não está funcionando. Precisamos de mais dados, precisamos de dados diferentes, talvez precisemos reformular nossa pergunta porque a percepção que descobrimos a partir disso não está realmente funcionando.” Quando você está indo de um júnior para um cargo mais sênior com mais responsabilidades, é importante liderar sua equipe, mas também estar ciente de que o fracasso é totalmente possível. Quando você está se comunicando com partes interessadas e tomadores de decisão, é importante também deixar claro que o fracasso é uma possibilidade, que essas coisas são exploratórias e dependendo de onde seu projeto está. Projetos iniciais que fazem a primeira exploração, que fazem o primeiro trabalho de base, eles são muito mais propensos a falhar na fase em que eles não
são viáveis em tudo enquanto projetos posteriores, você tem que ser muito mais cuidadoso sobre a análise de produtos de seus pipelines. Ainda está funcionando? Está indo para a frente? Especialmente se você estiver em equipes mais jovens, em equipes que estão apenas se estabelecendo, tenha
cuidado ao comunicar certeza e
incerteza porque algumas coisas simplesmente não funcionam. No entanto, essas falhas também podem ser insights. Este é o lugar onde você realmente quer voltar para
a comunicação, bem como porque ser capaz de dizer que esta decisão não é possível com base nesses dados é algo valioso que você também pode vender como um resultado. Mas você tem que deixá-lo aberto. Quando você se comunica com o gerenciamento e promete sucesso, você está fechando a tempestade que você pode essencialmente enquadrar isso como um insight adicional
, porque então esse insight adicional se torna uma falha automática. No entanto, se você pode comunicar antecipadamente que falha é uma possibilidade, que há problemas que não são solucionáveis, que às vezes os dados não são suficientes, ou há problemas de tempo, coisas assim. Que você não pode atender indicadores de desempenho às vezes e que você tem que atualizar iterativamente, isso é algo que você tem que ter cuidado. Quando você é bom em comunicar isso com antecedência e gerenciar esse risco, você está preparando sua equipe para o sucesso. Porque independentemente do que eles fazem, se eles estão fazendo seu trabalho e eles são capacitados para também entregar resultados negativos, isso é construir uma equipe forte e a equipe que está eventualmente construindo produtos incríveis e é introduzindo e mantendo resultados orientados por dados em um negócio e tornará um negócio mais forte e elevará você e a equipe no total. No final, você precisa entender como um cientista de dados em crescimento ou como alguém que está potencialmente entrando em uma função de gerenciamento, que você precisa ter cuidado com o que você comunica e o que promete. Mas ao capacitar, por ser um bom líder para a equipe que está trabalhando iterativamente e realmente dando às pessoas seu espaço e as ferramentas necessárias, você pode tornar essa equipe um sucesso e realmente gerenciar o risco de projetos de ciência de dados que são muito diferentes dos projetos normais. Este é o capítulo final. A próxima aula será concluir esta aula de Skillshare e estou muito feliz que você assista a ela.
15. Conclusão: Parabéns por fazer isso. Eu sei que isso tem sido muita informação e para muitos de vocês pode ter sido
uma informação completamente nova. Mas espero poder mostrar a vocês como esses
insights orientados por dados e esse processo de uma mente científica que vai desde dados brutos até a comunicação de resultados aos principais líderes de decisão é um ponto valioso e interessante. Só me resta esperar que você vá
nessa jornada e explore isso em oportunidades de código baixo ou código. Há tantas maneiras diferentes de abordar isso. Estou muito feliz que você fez essa aula e espero que tenha conseguido algo com isso. Por favor, considere minha outra classe. Estou dando uma aula para pessoas que já conhecem alguns Python e querem aprender o processo de ciência de dados aqui no Skillshare. Mas definitivamente explorar todos os outros cursos também. Há alguns cursos incríveis de visualização de ciência de dados aqui. É realmente fantástico
aprofundar-se nesta comunidade de tomada de decisão orientada por dados também. Certifique-se de encontrar pessoas no LinkedIn, seguir influências em diferentes mídias sociais e aprender mais sobre ciência de
dados porque há muitas coisas interessantes e fascinantes saindo. Quando você continuar olhando para os dados, você estará muito mais seguro em suas decisões porque essas decisões são realmente baseadas em fato. Obrigado por comparecer. Estou tão grata por você estar aqui. Espero que tenha gostado desta aula. Por favor, certifique-se de testar o projeto e postar o projeto. Ficarei muito feliz em ver o que você inventou.
Jesper Dramsch, PhD, Scientist for Machine Learning
