Fábrica de dados do Azure para os Begineers

1. Boas-vindas e pré-requisito: Olá e bem-vindos a esta sessão em uma fábrica George Data. Meu nome é Shang Good. E eu vou ser um cara como o explorador, um George it uma fábrica e alguns outros serviços que vamos usar para construir uma solução de fábrica de dados . Vamos discutir o que é um judeu fez uma fábrica, seus principais serviços de rotulagem componente, atividades ou por avião, como ele funciona, como ele funciona, suas vantagens e como você deve fazer e monitorar o fluxo de trabalho. Nós também vamos passar por demonstração para usar fábrica de dados em que vamos mover e transformar dados de um armazém George Data para data leg armazenamento suave. Então, basicamente desenvolvido muito fluxo de trabalho que vai me auto para pegar dados de fonte particular , fazer alguma transformação, e então vamos armazenar a saída algumas outras histórias, localização de onde ele pode ser pego para a análise. A fim de completar este curso, eu vou me certificar de que você tem algumas mãos em atividades. Não vou apenas dar-te sermões, mas também terás a oportunidade de experimentar isto por ti próprio. E para fazer isso, tudo que você precisa é de um Joseph Fiction. E a assinatura joy pode ser uma que você já tem ou você pode se inscrever para uma avaliação gratuita . Além disso, é bom estar familiarizado com conceitos de pessoas. Até o final deste curso, você terá uma base sólida em um George afeta árvore. Então vamos começar de novo, general. 2. Ciclo de vida de dados: Vamos a neve, o pequeno ciclo de vida. Na vida da América, há muitos sete estágios. Os dados podem vir de muitas fontes internas, ações e fontes. Pode ser dados de convicção de aplicativos ou talvez dados de log do sistema para fluxo quase contínuo de dados de dispositivos como eu acho que no pescoço Off Things e todas essas fontes diferentes produziram o mesmo tipo de dados, mas em diferentes comentários, porque eles podem ter o diferente baseado fora de comunicação. Então o ponto é que em bons dados é dizer, mas formá-lo realmente diferente. O primeiro um formulário. Precisamos de algum tipo de histórias. Jogue o segundo vida fora de dados onde podemos armazenar dados em diferentes estágios fora do ciclo de vida, em seguida, muitos algo para conectar e agarrou os dados de diferentes fontes. É uma coleção de bacias. Então ele pode precisar preparar os dados. Se for preciso obter dados de diferentes fontes, todos os sistemas, eles podem ter uma forma ligeiramente diferente. É porque fontes erradas roubaram os dados de forma diferente. Por exemplo, mesma coluna pode ter permissão diferente em diferentes fontes. Alguns deles podem ter no córrego. Alguns deles temos o número alguns permitiram os valores de metal e alguns também podem permitir que o espaço em branco vai perder. Então nós temos um limpo os dados antes que possamos realmente começar a ingerido no real porque as histórias que temos que fazer a profissão ou alguma transformação inicial após a transformação inicial , converter dados em consistentes ex hey realmente existia no armazenamento. Então pense em processar quando o processo que realmente transformamos os dados e transformação pode significar coisas diferentes. Mas, finalmente, aconteceu, transformou esses dados de estrada em uma estrutura e normalizar segundo. Maior de uma forma que significa a exigência do primeiro fora e sistema, porque estes e sistemas estão realmente indo para fazer a análise, toda interpretação. Portanto, há muitas pessoas estágios que os dados que passamos e alguns desses podem até mesmo ciclos que me deixam ir ao processamento e transformação várias vezes. Na verdade, neste mundo, muitas vezes ainda não sabemos quais são as perguntas de negócios que vamos fazer no futuro e quais dados precisamos para responder a essas perguntas. Então a idéia é manter todos os dados para que possamos voltar mais tarde e unidade como adquirida. Estamos constantemente analisando quanto mais tarde estamos aprendendo com o vigário, o contínuo retune de um modelo e fazemos mudanças na transformação. Então este é um processo em geral, mas realmente a parte chave O que estamos fazendo aqui é que estamos recebendo dados da fonte daqueles que sênior e finalmente afundando no destino e todos esses bits entre incapazes que acontecem em um método e o momento que é útil para isso mesmo para que possamos executar essa análise de em forma para que possamos obter a inteligência que meu negócio realmente lidera. 3. Soluções do Azure: nesta lição, quero apresentar a borda das soluções que nossas tecnologias familiares vivemos em torno do fluxo de controle e do fluxo de dados, seja o controle lento. Tínhamos uma fábrica de dados de trabalho. Isso fornece isso, aquela orquestração e ela fazendo. Então temos as soluções reais de fluxo de dados. Estas são quebras de adjudicador sobre a borda de realmente dentro ou qualquer um dos serviços todas as funções para possuir. Quanto mais tarde, pelo menos, o fluxo de controle é a orquestração que ela faz fora das atividades. Um piso posterior é o fluxo do real mais tarde dentro da atividade quando o fluxo frio deve ser feito, pelo menos uma atividade, por exemplo. Digamos que se você quiser tomar disjuntor de blocos e enviá-lo para literalmente agora, este é um fluxo de dados. Agora, dentro desta atividade, eles serão passos distintos potencialmente. Por exemplo, temos que obter dados do bloco. Este é o primeiro passo e, em seguida, um dado vital que será o passo dos pés. E entre essa etapa, eles provavelmente serão mapeados para levar certos valores do blob e encontrá-los para determinados arquivos dentro literalmente. Da mesma forma, lá, perto das outras atividades Talvez haja um fluxo de dados de transformação que leva os dados dos dados Lee. E isso é uma transformação, por exemplo, talvez articulações sociais para os dados, mas mais antigas ou se funde com outras coisas que ele pode fazer. Mas o ponto chave é que ele está transformando os dados brutos no executor e a estrutura que é ainda mais utilizável pela solução de análise final. E isso é um sucesso, que é representado por uma seta verde. Em seguida, eles também são fluxo de falha, que é representado pela seta vermelha. Então, se houver alguma falha dentro da atividade anterior, então a orquestração ou o fluxo de controle agora se move para chamar de FBI sênior. Então, basicamente, podemos. Estamos nisso para ter um fluxo completo das várias atividades que completarão o ciclo de vida final a fim fora dos dados. Não, o fluxo de controle pobre orquestração é responsável por chamar essas belezas que cada mão de um fluxo de dados dentro deles. Em seguida, existem diferentes tipos de fluxo de dados. Por exemplo, pose de dados de renderização. Isso normalmente se integra com coisas como poder equitativo, e isso é tudo sobre profissão de dados, adicionando colunas, dividindo colunas ou talvez tomando um completo sem nome e alterando-o será primeiro nome e sobrenome , então eles não são nada se opôs. Por exemplo, espadas juntam a inserção de Marge ou o agregado Procure tudo isso e todas as transformações similares . Então, usamos a transformação diferente em diferentes bases fora como, segundo, aqueles fluxos de dados disputando perto do início, enquanto preparava os dados na letra. E então eu penso sobre os fluxos de dados de mapeamento que realmente transformam o líder, torná-lo em uma forma que precisamos para essa análise. 4. O que é Fábrica de dados do Azure: você vai se tornar uma fábrica é um serviço de indignação de dados gerenciados que vive na nuvem ágil . George afeta árvore é como uma sociedade é tudo agente trabalho implode Exceto que um Judit afeta árvore Há muito armazenar quaisquer dados por si só ou ele não tem qualquer transformação por si só. Se você já trabalhou em olhos S s ou em menina comitê, todas as outras ferramentas ideais. Eles tinham suas próprias funções de transformação, mas idéia simplesmente se conectar com outras fontes Destino e serviços de transmissão fontes e conexão destino poderia estar no local ou em roupas e ele conectou vários outros componentes de funções de transformação Todos os serviços fora da nuvem como ela usam igual , alto ou porco todos os outros serviços como esse e obter o trabalho necessário feito. Então, o que isso significa? Um trabalho fornece muitas tecnologias para ajudá-lo a gerar valor a partir de seus dados. Por exemplo, há um armazenamento de blobs de júri que fornece histórias de nuvem mais baratas. Você armazena seus dados. Na sessão anterior, discutimos uma análise de vazamento de dados, que usamos para massagear e transformar seus dados. E há um segredo da jóia de sua casa que fornece armazenamento de dados relacional escalável que você pode usar, entender seu negócio e há muitos outros serviços de ajuste disponíveis para diferentes fins. Você pode misturar e combinar esses serviços Ajo conforme necessário para analisar a estrutura e os dados não estruturados. Mas não há aspecto importante da Análise de Dados que nenhum deles abordou, que é a integração de dados. Então Indicação de Dados significa extrair dados da fonte, em seguida, fazer alguma transformação e, em seguida, carregá-lo em um armazém de dados para análise de dados . E quando cada uma dessas tarefas pode ser feita mentalmente, faz mais sentido automatizá-las e um serviço de fábrica Judita ajudá-lo a automatizar essa tarefa. Pense no Data Factory. É conduzido em uma orquestra em uma orquestra? Maestro não toca a música, mas ele deixa o grupo fora de músicos que produziram música em vários estágios Off Symphony. O maestro tem uma grande imagem fora do todo simplesmente, e é um caminho fora da música grande executar, mas a música real é realizada por músicos indigentes. Da mesma forma, a data afetada não executará o trabalho real necessário para transformar os dados, mas instruirá outros serviços, como quebras de dados ou análise de vínculo de dados, para preparar e transformar os dados de modo que sejam análises de Link de Dados ou quebras de dados que executa o trabalho real, não o data factory data factory, Middle E orquestrar ou no exterior a execução fora do trabalho. Então, uma fábrica de dados do júri é um serviço em um trabalho que você pode usar para pegar seu fluxo de trabalho de big data e cápsulas isso em algo chamado pipeline. E esse pipeline inclui todas as diferentes atividades que são necessárias, copie e processe os dados e coloque-os no local onde você precisa deles. E você pode fazer essas atividades para que o seu por eventos planejados sobre se o tratamento, base recorrente quando você tem que repetidamente fazer a mesma melhor transformação para seus dados em regular. Esta é a fábrica de dados não é lt ou extrair ferramentas de carga e transformação. Então, como é diferente de um acordo? É um tamanho. Você espera que os dados transformados posteriormente com transformações de sociedades de construção e carregar os dados no destino Há na fábrica de dados. Basta extrair os dados da fonte e carregá-los no destino. E a transformação é feita no armazenamento de dados de destino 5. Principais componentes da fábrica de dados: Justin, como estão os dois? Vamos nos familiarizar com alguns dos componentes idiotas importantes. Esses componentes trabalham juntos para fornecer a plataforma na qual você pode projetar o trabalho próximo com etapas para mover e transformar os serviços de link de dados. Os serviços de perda são apenas um fluxo de conexão, que definiu uma informação de conexão necessária para o data factory se conectar a fontes externas. Isso pode incluir um nome de banco de dados. Localizar credenciais de pasta. UTC. Dependendo da natureza do trabalho, cada fluxo de dados pode ter um ou mais serviços de link, por exemplo, histórias em itálico suportadas. As pesquisas de links especificaram uma tensão de conexão para se conectar aos dados antigos. Lick conta alunos na época estava gravando. As ideias da escola podem se conectar a mais de 80 fontes de dados diferentes. Basicamente, ele tem um T Capital para conectar quase todas as fontes de dados possíveis. Vamos ele representa a estrutura dos dados. Simplesmente apontou para o dedo uma diferença. Os dados que você deseja usar em suas atividades, como em todos os dados de saída dizem, podem conter um nome de tabela. Finalmente, estrutura de dados, um setor, atividades do presente e ação para executar em seus dados. A etapa de processamento no pipeline isso poderia ser transformações de movimentação de dados ou configurações de atividade de fluxo de controle continham ditas coisas como consulta de banco de dados, armazenamento, nome de precisão. Ele faz localizações estaduais. setor e atividade pode levar Jiro ou mais dados de entrada diz, e produzir um ou mais ou colocar conjuntos de dados. Atividades idiotas poderiam ser comparadas. Toa avaliar olhos opulência tarefa de fluxo de dados como componente de script agregado. Exceto, por exemplo, você pode usar uma atividade de cópia para copiar dados de um armazenamento de dados, outro armazenamento de dados. Da mesma forma, você pode usar a alta atividade, que apresenta o alto já na borda ou bordas dentro do cluster que transformou todo analisador efeito ainda mais profundo. Nós supostamente três tipos de atividades. Obter uma atividade de mulher, deter atividade de submissão da cidade e atividades de controle. Meu plano é um Brooklyn lógico fora do FDP executando um conjunto de processos como extrair dados, transformá-los e carregá-los em algum data warehouse de banco de dados ou algum tipo de histórias. Por exemplo, se eu planejar pode conter um grupo de atividades em apenas dados vêm Astri incrível e, em seguida, uma faísca uma consulta dentro Azure Gate Oblates torradeira. Para particionar os dados. A fábrica de dados pode ter um ou mais biplanos e cada um por plano poderia conter uma ou mais atividades. uso de pipelines torna muito mais fácil fazer e monitorar as pessoas atividades logicamente relacionadas . O benefício disso é que o pipeline e permite que você gerencie as atividades como um conjunto garantir fora de gerenciar cada um individualmente. As ervilhas de pessoas em um oleoduto podem ser alteradas juntas para abri-lo sequencialmente. Bem, eles não podem operar de forma independente em paralelo. Por exemplo, se meu plano pudesse conter um grupo de atividades que copiam dados do local, isso poderia literalmente e, em seguida, usar igual Kredi poderia transformar esses dados e, finalmente carregar os dados em um data warehouse. Figuras representam a unidade fora de processamento que mentes pequenas quando uma exposição de terra de tubulação precisava ser expulso porque eles representam ela fazendo configuração para tubulações. Eles contêm definições de configuração. Vamos começar e terminar. Será que essa situação, se você pode ver figuras não são parte militar fora da implementação Abia, eles são necessários apenas se você precisa por planos para ser executado automaticamente ou em é alguns realmente deve fazer 6. Fluxo de fluxo de tubulação - 4 etapas: Acho que um Jordache daquela árvore normalmente faz o chamado. Quatro passos na rede e recolher. A maioria dos passos é conectar todas as várias fontes necessárias fora de dados e mover os dados conforme necessário para um local centralizado era tal processamento secreto. Mas fábrica de dados. Você pode usar a atividade de cópia em um dado, reproduzindo dados do dedo do pé do livro no local e fonte de nuvem posteriormente armazenar com dados de centralização armazenados na nuvem Corker que Sra, por exemplo, você pode coletar dados em histórias Ajo Datalink e transformar os dados posteriormente usando um serviço de conclusão do George Vitelic Analytics. Você também pode coletar dados em um Jordan bloquear histórias e transformá-lo pouco usando um ágil realmente dentro de seu pastor. 2º 5 é transformar e enriquecer. Uma vez que os dados estão presentes em um dados centralizados armazenados na nuvem, eles são transformados usando serviços competentes, como de costume dentro fazer análise de dados iluminados e machine learning. Lembre-se, Data Factory é Justin Orchestra e não pode realizar qualquer atividade de transformação por si só. Publique depois que os dados do Senhor forem transformados em uma reforma significativa. Carregue os dados em diferentes parcelas, histórias como um George de sua casa. Perkins opção pelo FBI e ferramentas de análise e outro aplicativo queria. Após a implantação bem-sucedida fora do pipeline, você pode umpara as habilidades Xun e pipeline para sucesso e falha. Podemos monitorar um trabalho em um pipelines de fábrica usando um monitor de trabalho AP eu publicar L como seus logs de monitor e outro painel de saúde na borda do portal. 7. Introdução a demonstração: Bem-vindo a este módulo. Neste duelo mais, vamos fazer algumas mãos na atividade. Primeiro, vamos criar em sua conta de armazenamento de dados suave e usaremos uma conta George Storage Explorer toe data de acesso ngentle. Em seguida, vamos implantar sequela data warehouse e data factory, que é muito fácil e direta. Agora, depois disso, vamos passar pela fábrica de dados. Você eu e nós vamos entender diferentes opções de menu. E então usaremos a atividade de cópia em sua fábrica de dados. Então, vamos olhar para maneiras de tirar dados de sua casa será pipeline para mover e armazenar a saída em algumas outras histórias. Local onde podemos buscá-lo para a análise, eles também darão uma olhada nas opções de monitoramento de fábrica de dados. Obrigado. 8. Crie uma conta de armazenamento no Azure Data Lake: nesta demonstração, vou ensinar-lhe como criar uma conta delicada de armazenamento Azure Data Lake. Vamos novamente para os serviços antigos. Tudo o que você pode acessar diretamente a conta de armazenamento a partir daqui. Se você olhar para o portal do Azure, há uma fonte separada chamada Armazenamento do Data Lake. Gen Um. Mas você cria histórias conta gentil. Nós precisávamos primeiro criar uma conta de histórias porque esta é uma propriedade fora da conta de armazenamento de uso geral versão dois. Veremos isso em um minuto. A Microsoft hoje em dia está se concentrando no armazenamento do Data Lake suave porque suave é difícil. O lugar fora. Jen um. Vamos criar uma conta de histórias. Vamos clicar nesse botão e deixe-me escolher minha assinatura e meu grupo de origem. Deixe-me criar um novo grupo de recursos. Me dê a história do RG. É o Gentoo. Dê o nome da conta de armazenamento. Só estou colocando um número para fazer isso globalmente. Única. Use minha razão de casa. Algumas das novidades sobre histórias gentis de link de dados é que você pode tirar proveito de todas as histórias, propriedades da conta e recursos, como excesso de desempenho, dois anos e replicação. Vou selecionar desempenho estendido versão de propósito geral dois. Localmente, as histórias de Rendon e manter o excesso aqui. Próximo estágio nos levará à questão de conectividade. Vou deixá-lo para público padrão e ponto neste ponto, vamos ao lado da página avançada. Vamos deixá-lo antes de definir para segurança como habilitar bloco soft lead que podemos realmente querer ignorar porque o ponto aqui é realmente fora desta conta história usando o serviço de sangue tradicional , vamos ativar o nome hierárquico propriedade do espaço, invertendo os dados ao lado . É gentil de desabilitado para habilitar. E como você vê quando você habilita o Gentoo, ele desativou automaticamente a opção de proteção de dados Isso tudo que você tem que fazer para tornar uma conta de histórias uma conta suave de armazenamento de dados novamente. Eu não precisava fazer uma conta de histórias normal armazenamento data lake, conta gentil. Tudo o que você precisa fazer é habilitar essa opção. É isso. O modo de exibição em criá-lo não significará demorar muito. Mas ainda assim posso pausar o vídeo até lá. Muito bem, implantação concluída. E se agora vamos para os recursos, Eu quero mostrar-lhe uma diferença do que você está acostumado dedo do pé, provavelmente trabalhando com as histórias de propósito geral. Você deve ter notado que sob serviço é, em vez disso, apenas um serviço de blob. Agora é chamado de dados como sistema de arquivos suave. Mostra-te a defesa. Eu tenho outra conta de histórias gerais que você vê na conta geral. É chamado de Serviços de Blob aqui, mas porque o incapaz de histórias genitais é chamado de dados tarde, sistema de arquivos suave. Então, a partir de agora, conta desta história vai ser dados como histórias com cada sistema de incêndio compatível com BFS . Então coloque esse ponto. Se selecionarmos pesquisas, podemos criar um sistema de arquivos, o que farei agora. Vou chamá-lo de Sistema de Arquivos Gento. Certo, e lembre-se que o que você cria é gentil. O sistema de arquivos não é um bloco e jantar. É uma pasta real de vez em quando. Se entrarmos no sistema de arquivos, obtê-lo prompt para usar um George Storage Explorer. Ajo Stories Explorer é uma ferramenta gratuita da Microsoft que está disponível no Windows Mac e Limites e, como a média sugerem fornece um ambiente gráfico para navegar e executar ações contra contas de armazenamento George. Se você ainda não tem, por favor don Senhor e instalar é muito fácil e direta. Esta família de ferramentas usa uma conta para autenticar para obter um emprego e, em seguida, mostra a assinatura Essa conta tem. Em seguida, as histórias contas na assinatura selecionada. Em minhas contas de histórias de assinatura, podemos gastar minha conta de histórias gentis, que está atualmente identificada como um BLS suave. Eu presumo que, eventualmente, a coisa do Storage Explorer está ficando verde nesse nó que estamos vendo agora de contêineres de blocos , sistemas de arquivos, porque é isso que deveria ser. E quando selecionamos o sistema de arquivos aviso agora que podemos fazer upload direto todos, podemos organizar um espaço de pasta herética. Então eu vou chamar isso de uma nova pasta fora mais tarde e usarei essa pasta como parte fora do fluxo de trabalho . Sua vista pode estar desatualizada aqui. Você quer se refrescar? Estamos prontos para ir aqui. 9. Desabilitar o armazém de dados SQL: s Criar e Joe Sequel Data Warehouse. Além de pesquisar uma sequela Data Warehouse em tudo, você também pode encontrá-lo em banco de dados, bem como analytics. Vamos clicar em sequela, Obter outra casa e adicionar New is Instruments e deixe-me mostrar-lhe como funciona o fluxo de trabalho de implantação . Vou criar um novo grupo de recursos para o armazém de dados, e também entregarei o Munim à minha data da sua casa. Eu sou qualquer coisa apenas um número imaginário aleatório no final, apenas para tornar o nome globalmente único. Vamos criar um novo servidor virtual vai ser um cluster. Vamos chamá-lo fazer o azul s 108 É então fácil convencional com uma senha forte. Nós começamos a nos preparar dando este conselho sobre o quão fortes os pastores precisam ser. Deixe-me encontrar meu local mais próximo, o show sagrado para acesso a data warehouses fora de nossas escolas. Mas esta caixa grande aqui permitirá todos os seus serviços. Em outras palavras, endereços do Microsoft I P associados a esses serviços é acessar o servidor. Você também pode precisar modificar o firewall do armazém de dados sequela, permitir que seu cliente. Eu penso de onde quer que você esteja no mundo. Além de outros endereços públicos I p todos os endereços de escrita intervalo. Vou te mostrar toda a confusão. A unidade de armazém de dados é a unidade de computação usada para uma data de sequela de Joe da sua casa. Vamos selecionar nosso nível de desempenho para cargas de trabalho de produção. Deveríamos ser gentis e não Jen One. E eu posso habilitar meu sistema aqui em baixo 200 porque eu estou apenas trabalhando em um ambiente de demonstração de teste ao vivo no mundo real. Seu objetivo é pune sua casa de tal forma que você não está pagando mais do que você precisa. Mas você também está obtendo sua computação para satisfazer seus contratos de nível de serviço. Então, vamos aplicar aqui e depois ir para o próximo. O que? Sua fonte de dados. Podemos pegar um backup ou podemos fazer Não, na verdade, na verdade, o que podemos fazer Simples. que nos dará a data de trabalho da aventura, cada casa, um simples armazém de dados. Eu escolho isso, e ele pega toda a coalizão, que eu vou selecionar. Vamos usar as etiquetas e não vamos usar impostos aqui vai para o próximo. Vemos nosso custo estimado, mas estamos aqui. Você vê conotações e então estamos realmente completos. Acho que geralmente leva 10 minutos de febre para a Microsoft implantou um armazém bem de volta. Em seguida, quando as implantações forem concluídas, eles poderão acessar os recursos que podem pausar ou retomar o data warehouse para pausar e retomar o edifício. Você ainda é cobrado pelas histórias, mas pelo menos o computador não está incorrendo em nenhum custo. Nós olhamos em nosso cenário para bola de fogo. Podemos chegar a bolas de fogo e redes virtuais, e é aqui que eu mencionei que você pode permitir o acesso para ajustar serviços e seu auto detecta o público I p associado ao seu dispositivo cliente. E, em seguida, você pode aplicar I p intervalos de endereços Público I T intervalo de endereços é aqui toe. Permita conectividade nesse servidor. Vamos voltar para a página de visão geral porque não vamos estar nesta hospedagem fora do armazém de dados . Deixe-me copiar isso para minha prancheta e então como você se conecta a essa data em cada casa. Normalmente, eu usei o Sequel Server Management Studio, que está disponível como um senhor separado para baixo. Vamos fazer uma conexão com o mecanismo de banco de dados do servidor sequela, e para os sete homens que eu vou pescar no homem completo qualificado fora de um servidor vai escolher sequela. Várias autenticação e eu fornecerei as mesmas credenciais, que dou ao criar a data da casa. Oh, está mostrando um erro que seu cliente I p endereço, não tem acesso a esse servidor. Então, vamos voltar para um pouco de casa, acionando redes virtuais e adicionar nossa direção de AP de cliente local e tentar novamente conexão usando o estúdio de gerenciamento tão pesado. Eu sei. Lembra daquela sequela? Vários data warehouse é a plataforma hospedada no serviço. Então, se você clicar com o botão direito do mouse no servidor virtual, não há propriedades. Lembro quando fiquei surpreso quando vi que não havia propriedades, mas lembre-se, você está lidando com negros do serviço aqui? Explicamos bancos de dados e depois dados. Muito DW 108 que criamos. Temos uma lista de tabelas que a Microsoft incorporou neste armazém de dados simples. Isso é muito aliviado. A sabedoria vai agora aqui. Obrigado 10. Implemente a fábrica de dados: Vamos criar nossa fábrica de dados agora. Por esta altura, já deve estar familiarizado. É muito fácil e simples. Você pode pesquisar fábrica de dados Oh, são selecionados a partir do banco de dados e clique à frente. Dê o nome a ele. Selecione assinatura e grupo de recursos na assinatura. Vamos dar simples. RG sublinhou B A. Ok, eu vou usar ah versão dois fora fábrica de dados para tirar proveito dos recursos mais recentes. versão dois é uma nova fábrica de dados. Um dos maiores recursos off versão dois é a integração fora S S S e funcionalidade de fluxo de controle . Monitoramento também é um toque de inversão de aprimoramento de edição, tornando-o integrado com em seu monitor. Ok, deixe-me escolher o par mais próximo fora da minha localização. Agora aqui temos a opção de integrar o controle de pontuação fonte. Temos certeza de que eles se levantam. Não vou fazer isso neste caso. E então vamos clicar, criar o dedo, implantar a fábrica 11. Como familiarizar com UI de Fábrica de Dados do Azure: Vamos para a fábrica de dados, e o que temos aqui é apenas o plano de controle para o serviço. E se eu esconder a dor essencial, vemos um link para a experiência do autor e monitor. Isso é muito realmente realizado de um trabalho em uma fábrica George Data. Vamos clicar sobre isso, e se você notar que ele tem abrir uma janela separada e navegar no ponto ADF como o seu ponto com, o produto que acontece toe este sobre poucos página, que tem muitos links rápidos ou atalhos. Nós vamos fazer a cópia de dados Operação Toe copiar nossa tabela fora do seu armazém de dados sequela . Mais tarde, entraremos em mais detalhes. Mas, enquanto isso, esta página também tem ajudado vídeos e monte de tutoriais. Vamos começar por se familiarizar com os EUA O menu principal contém três opções Data Factory, que é classificar fora da tela principal, que contém alguns atalhos interessantes. O painel de autor é onde criamos novos pipelines e passamos a maior parte do nosso tempo, e, finalmente, o painel de monitor lá podemos monitorar por execução planejada. Tudo bem, na tela principal, temos cinco opções. Vamos passar por eles um por um. Criar pipeline é meramente uma saia curta que nos leva ao painel do autor e cria um pipeline vazio automaticamente. Para nós. Criar por plano a partir de um modelo abre a galeria de modelos. Lá, podemos criar pipeline a partir de uma coleção fora muito encontrar modelos que podem nos ajudar a começar com cenário distinto. A ferramenta de cópia rápida de dados fornece uma interface que otimiza o processo de dados de ingestão no armazenamento de dados. Nós aprendemos mais sobre o copiado uma ferramenta nas próximas lições. Configurar SS Eyes Integration pode provisória como sua integração SS iess em torno do tempo e finalmente, temos o repositório tribunal configurar. Ele nos permite configurar um repositório de chamadas para sua fábrica de dados e ter uma experiência integrada e final de desenvolvimento na versão. Agora vamos passar algum tempo aprendendo sobre o painel do autor quando estamos criando um novo pipeline. Este é o painel em que passamos a maior parte das horas extras na seção de recursos da fábrica. Eles podem encontrar uma lista de pipelines, conjuntos de dados e fluxos de dados em uma fábrica de dados. Ao clicar nos três pontos nas pesquisas de pipeline, podemos acessar novo significado novo me novo que nos permite criar um novo pipeline a partir do zero ou de um modelo, encontramos muitas opções semelhantes em ambos os conjuntos de dados e dados flutuam serviços. Vamos clicar neste pequeno sinal de mais aqui, e isso criará um novo pipeline. Observe que há uma opção para um pipeline do modelo e aqui à direita, você pode importar modelos de braço. Isso pode tornar os pipelines mais fáceis de usar e reutilizar de vez em quando. R. Sua fábrica de dados é uma ferramenta de orquestração livre de frio. Assim, por exemplo, sob mover e transformar, podemos simplesmente arrastar e soltar essa operação de cópia de dados na superfície de controle, e então você seleciona essa operação de cópia abaixo. Você verá diferentes medos relacionados a atividade selecionada neste caso para copiar dados. Uma vez que este é cooperador, temos fonte em outras palavras, Bagas seus dados vindo de e, em seguida, pensar Verizon dados indo para e temos outras configurações e mentalmente as opções. Se você clicar na fonte de exibição, todos os pipelines de fábrica de dados serão escritos no Jason. A ideia de um oleoduto é que podemos ligar diferentes atividades. Podemos criar um cabelo fluxo de trabalho inteiro usando estes link de conexão em verde, By the way, Eu posso clicar com o botão direito neste link e escolher o chumbo. Ele vai embora, e se eu clicar nisso, eu posso ouvir o botão de saída. Podemos adicionar uma atividade no próprio sucesso, falha, falha, conclusão ou pular para que possamos escolher a próxima atividade. Se essa atividade for concluída, vamos escolher a próxima atividade. Se não tem certeza de onde está, podemos fazer uma busca aqui. Neste caso, vamos adicionar uma sua função novamente. Apenas gota de dragão. Você pode ver o quão fácil isso funciona e você pode validar o trabalho. Você pode olhar para todo o gasoduto frio, então ele só deve Buell para mesmo como uma opressão desencadeada e assim por diante. Como mencionado anteriormente, consideramos o repositório de registros, possibilitamos a integração contínua e a entrega de sua fábrica de dados. E aqui temos o nosso modelo me nova opção. Ele simplesmente nos permite importar e exportar modelos de braço com definições de pipeline. O painel Conexão hospeda uma lista de links criados anteriormente, serviços e tempos de execução de integração, e aqui está o padrão ou o tempo de execução de integração que vimos anteriormente. E finalmente, deixe-me apontar sua atenção para a seção de gatilho local fora gatilhos de execução de pipeline. Não temos nenhum gatilho no momento, então esta lista está vazia. Vou fechar todas as torneiras, descartar minhas alterações e ir para o próximo item. Vamos analisar o painel do monitor e todos os recursos que ele oferece. O painel do painel contém informações sobre pipeline e atividade. Execução no painel Concessões de pipeline Podemos monitorar a execução e é muito útil certificar-se de que o pipeline está funcionando corretamente. O painel Concessões de disparo exibe uma lista fora das execuções de pipeline que foram acionadas automaticamente. A indicação executa o painel de tempo exibir a lista fora dos tempos de execução de integração disponíveis para nós ou o resultado é que o tempo de execução da integração Ford e, finalmente, no painel Alertas e Métricas, podemos criar regras de alerta para monitorar seus pipeline de fábrica proativamente. Agora que estamos um pouco mais familiarizados com o efeito de data para os E.U.A. E.U.A E.U.A Vamos criar o nosso primeiro gasoduto 12. ETL Operation: nesta demonstração, eu gostaria de ensinar a você como usar sua fábrica de dados para executar uma atividade de cópia. Neste caso, vamos copiar tabela de oferta de dados do banco de dados de amostra de armazém de dados para o nosso extra de dados . É uma conta gentil. Então vamos voltar para a página de visão geral e clicar em copiar dados e isso começa essa vagina de dados de cópia. Vamos dar essa tarefa e nome agora. Aqui podemos escolher para eles tarefa apenas uma vez, ou podemos criar um pipeline reutilizável, escolhendo esta opção e selecione um deve fazer. Mesmo se você optar por limitar apenas uma vez, ele não vai ser excluído após Willan e terminar. Podemos até mesmo manualmente quantas vezes no futuro quisermos ou criar um gatilho e assim por diante e assim por diante. Mas se você olhar para a esquerda, nós temos seis passos e isso nos mostra uma luz sem ter que entender nada sobre o AP A ou Segurança subjacente. Há uma biblioteca enorme fora do cabelo de conexão. Eles são organizados em grupos, cabelo como seu arquivo de banco de dados e aceitar. Vamos criar uma nova conexão no novo serviço de link amarrado em todos os tipos de armazém de dados para filtrar, e vamos selecionar isso em sua sequela Data Warehouse Link serviço Object. O serviço de link é exatamente o que parece. Vai ser um objeto reutilizável que cria e autoriza conexão em um conjunto que um conjunto pode ser uma fonte de júri ou conhecido uma fonte de júri ou talvez possuir premissas. Recurso. Deixe-me dar um nome a ele. A indicação de tempo de execução é o computador anterior. Vamos viver antes de partirmos para dois resultados. Isso se torna mais frequentemente um problema em um cenário híbrido onde você pode ter que implantar o tempo de aluguel no local que é chamado de operação auto-hospedada. Como autenticação faras, podemos fazer, usuário ou dar velho, mas antes disso primeiro temos que escolher como vamos entrar neste recurso. Vamos selecionar o servidor de assinatura e data warehouse recriado. O banco de dados é a data simples da sua casa. As opções de tipo de autenticação são princípio de serviço, identidade gerenciada ou sequela. Vou em frente e escolher uma autenticação de sequela usando a mesma conta que criamos ao criar data warehouse. Há um monte fora perímetro de conexão opcional que você pode adicionar, que não vamos usar neste caso. Vamos testar a conexão de conexão. Acabamento bem sucedido. Então nós criamos nosso armazenamento de dados de origem e, novamente, este será objeto reutilizável que podemos usar em outros pipelines. Então vamos a seguir, e temos aproveitado o armazém de dados e aqui vemos necessidade pesada toe escolher uma tabela, que queremos copiar para que possamos selecionar uma ou mais tabelas. Cabelo. Queremos escolher a tabela de produtos bim. Então vamos fazer uma busca por produto. Então vou selecionar o estábulo. E se abrirmos a barra dividida, podemos ver uma pré-visualização dos dados. E na guia esquema, podemos ver as colunas e os tipos de dados. Vamos clicar em seguida. Então, mais uma coisa, deixe-me ir atrás. Além de apenas escolher tabelas existentes, observe que você também pode escrever uma consulta em conjunto dados específicos que você deseja usar no trabalho. Mas vamos pegar tudo da mesa. Então, novamente, clicaremos em seguida. O armazenamento de dados de destino que ainda não criamos, Então vamos escolher criar nova conexão novamente, e desta vez vamos fazer uma pesquisa para armazenamento de dados lick. Agora lembrem-se, há a Gen 1 e o Gentoo. Não estamos preocupados com o cabelo geral. Nós já criamos uma conta de histórias gentis. Então vamos selecionar isso. E, mais uma vez, vamos fazer uma seleção de nossa assinatura para a questão de autenticação. Mais uma vez, vamos escolher a chave da conta. Selecionamos o nome da nossa conta de armazenamento. Vamos dar um nome. Também preste este serviço vinculado. Ok, e agora melhor conexão bem-sucedida. Bom negócio. Então, vamos clicar. Acabar. Até agora, tão bom o clique. Em seguida, vamos explorar nossa conta de gin toe extra de dados e navegar toe. Escolha qual pasta estamos procurando. Então, primeiro com a lista fora dos sistemas de arquivos, vamos clicar nele e, em seguida, selecione a pasta de dados de saída e clique em Escolher. Temos que especificar um nome de arquivo de saída. Eu simplesmente chamo de duto. Não faça CSP para obter conexões máximas de conquista. Vamos colocar também. Vamos clicar em seguida. Aqui podemos personalizar o formato do arquivo. É ah, deportar dois valores separados por vírgula. Vou deixar tudo fora do padrão, mas a linha inferior é que a fábrica de dados lhe dá muita flexibilidade aqui. Clique em próximo quarto. Doren Então, o que você quer que aconteça se houver um problema ao mover dados que você deseja sobre a atividade assim que houver uma linha incompatível? Ou você quer pular a fila? Ou você quer escapar e amá-los para que você possa rastreá-los mais tarde? Vou liderar as opções padrão aqui. Além disso, vou viver as configurações de desempenho para o antes neste ponto e clique em Avançar. Aqui está a nossa tela de alguém, e quando clicamos no próximo, ele realmente sai e executa o pipeline. Como você pode ver, se eu clicar em Monitor Data Factory, ele nos leva para a entrevista lunar e vamos clicar em Atualizar e podemos ver que a rua é bem sucedida. Bom. Vamos voltar para o armazenamento Explorer, entrar na pasta de dados de saída e com certeza, vemos o nosso produto ponto CSP. Deixe-me clicar com o botão direito e baixar este dedo Meu backstop. Mais uma coisa, se você não tiver notado todas as nossas atividades em histórias Explorer , na parte inferior. Ok, vamos abrir o Excel só para fazer uma rápida verificação de sanidade. Parece que esqueci o dedo do pé pegar a coluna. Cabeçalhos. Nenhum ovário começa ainda com isso. O que é bom sobre Data Factory é que podemos voltar e editar as propriedades do trabalho para incluir o cabeçalho da coluna. Podemos mudar sobre Pipeline e verde sobre ele. Farei isso em um minuto. Enquanto isso, vamos dar uma olhada rápida nos dados que podemos ver. Há um pouco mais de 500 rosa no conjunto de dados. Agora vamos voltar à interface de fábrica de dados. E se você voltar para a experiência do autor, aqui está o nosso oleoduto. Está bem aqui para que possamos fazer as alterações necessárias. Vamos para a opção de conexões de destino e ver pesado. Primeiro papel como batedor em um boleto publicado mudanças publicar significa venda. E então, novamente, podemos ir para monitorar Tab e não fizemos o trabalho. Se necessário, podemos atualizar e vemos que nosso trabalho foi concluído novamente. Vamos voltar para o Explorador de armazenamento. Ok, nós vemos aquele tempo atlético. Significa que o novo arquivo tem sobre ele no arquivo antigo. Vamos baixá-lo. E agora abra. Agora vemos que temos as linhas de cabeçalho agora. Obrigado 13. Permissões: durante uma última pequena operação, fomos capazes de autenticar extorquidas digitais perfeitamente. Mas se você tiver um problema com essa conectividade, talvez seja necessário conceder permissões explícitas ao data factory para esse repositório de dados. Vamos ver o que queremos dizer com isso. Vamos voltar para o cabelo do portal. O General Porter. Vamos voltar para a nossa fábrica de dados. E se você ir para as propriedades que você pode ver aqui gerenciar objeto de identidade. Eu estaria em palavras simples. identidade gerenciada é usada pelo em seus serviços para autenticar outras bordas ou serviços que suportam sua autenticação do Steve Director. A identidade de gerenciamento é registrada no dedo do pé. Você é um diretório de beleza e representa esta fábrica de dados muito específica. Podemos usar diretamente essa identidade de gerenciamento para armazenamento do data lake, autenticação suave. Ele permitirá que esta fábrica designada toe xs e copie dados de e para o seu armazenamento de data lake . Gentil. Podemos adicionar esse controle de acesso baseado na função de gerenciamento de identidade toe menos. Então eu vou copiar isso para a minha área de transferência e, em seguida, voltar para o Storage Explorer. Podemos dar a permissão de fábrica de dados no nível do sistema de arquivos, bem como no nível da pasta . Então, para fazer isso, podemos clicar com o botão direito do mouse no sistema de arquivos e ir para gerenciar o excesso na lista de controle de acesso . Na parte inferior, podemos colar nesse objeto que eu d fora da fábrica de dados e, em seguida, dar à conta qualquer grau fora do excesso diretamente no sistema de arquivos. E às vezes eu descobri que você tem que fazer isso em dois lugares. Você tem que fazê-lo no nível do sistema de arquivos, bem como fora do nível da pasta. Então você pode clicar com o botão direito na pasta e fazer exatamente a mesma coisa aqui. Podemos colá-lo no objeto que eu d do recurso Edgell. Neste caso particular, é feito uma fábrica e dar-lhe qualquer nível fora do excesso que você não vai dar. Isso ajudará você a conectar perfeitamente a fábrica de dados a outras fontes. Neste caso história intento. Obrigado. 14. Monitoramento de fábrica de dados: nesta lição. Queria passar por uma demonstração básica de como realizaríamos o monitoramento com uma fábrica de George Data. Então, o que exatamente eu preciso para monitorar a família para monitoramento? Pensamos no príncipe do gatilho. A atividade corre o oleoduto e depois os interrogatórios. Durante os tempos, eles serão o foco da nossa solução de monitoramento de fábrica de dados. E há duas maneiras de monitorar o monitoramento na fábrica de dados e monitoramento com um monitor de trabalho discutirá ambos. Então, em primeiro lugar, nós realmente temos monitoramento dentro da interface de usuário de fábrica de dados ao desenvolver esses pipelines que o maior pode ser muito útil. Isto permite-me executar o meu oleoduto. Posso ter pontos de ruptura. Eu posso ver exatamente o que está acontecendo, mas isso não é realmente monitorar sua experiência separada de desenvolvedor. Esta funcionalidade de instalação de debate é útil para ver exatamente o que está acontecendo dentro, e isso pode ser muito útil como desenvolvedor. Mas o excesso de monitoramento virá através da interface de monitoramento. Na verdade, começa com um painel. Este painel mostrará por padrão as últimas 24 horas, mas posso alterar essa janela de tempo que vai me mostrar as execuções do pipeline. Eu veria fracassos. Vou ver essas porcentagens. Também verei detalhes sobre as atividades. Eu também vou ver dados sobre os gatilhos. Isso só me dá uma visão geral muito rápida do que está acontecendo no meio ambiente. Posso ver detalhes sobre qualquer gatilho se eu tiver gatilhos. Eu realmente vejo que detalhes sobre essas execuções e execução pode ser baseado em deve lidar ou talvez até mesmo baseado. Mas o que eu realmente me importo com o nosso que de avião corre aqui eu posso ver o nome fora do oleoduto. Se eu tiver diferentes pipelines em meu ambiente, concluo este pequeno botão de filtro e então eu posso mudar para ver apenas pipelines específicos que eu tenho disponível. Posso procurar com base neles. Posso ver as várias ações disponíveis para o oleoduto. Posso ver a atividade feita. Eu posso ler sobre ele. Eu posso ver quando foi iniciado, eu posso ver a duração que levou. Como foi acionado, o status se houvesse algum metro de terra ou convites, e mais uma vez, aqueles que eu poderia filtrar é bem, você também vai ver que eu tenho um cargueiro geral disponível aqui. Eu poderia mudar alguns dos detalhes que ele está me mostrando se eu só quiser ver a última data que eu posso modificar. Então, se há um que eu me importo em particular, eu posso mergulhar nos detalhes. Então, se eu gostar do pequeno oleoduto que posso com a peça, eu posso ver a corrida de atividade. Veja, eu vou selecionar que agora eu posso ver mais sobre os detalhes. Posso ver o nome da atividade, tipo de atividade. Neste caso, era tipo de cópia. Então esse pipeline geral é o que eu estou olhando. Agora posso ver todas as atividades que faziam parte disso. Neste caso, era apenas uma atividade dentro do oleoduto. Mas eu veria cada atividade que compunha esse oleoduto, dependendo do seu tipo. Eu poderia ver, por exemplo, aqui as importações exatas. Eu posso ver a saída exata, a quantidade de dados lead, a quantidade de durações gravadas do Gator novamente, o início, a duração do tempo de folga, esta atividade específica dentro do pipeline. Então eu sei onde ele estava fugindo do exemplo. A indicação de uma vez neste caso, é que o forte e eu também podemos ter este pequeno par de óculos Isto. Mostre-me os detalhes. Então aqui eu posso ver que estava vindo. E a sua sequela? Armazém de dados. Estava indo para a sua loja. É Gentoo, e eu posso ver os detalhes exatos. O número segue. Leia. Número desligado. Rose anotou. Posso ver a taxa de transferência, a tradição da cópia e os detalhes. Associá-lo com ele para que eu possa obter grande dentro do especificado em torno desta atividade particular . Feito. Então este é um tipo chave fora de monitoramento que vamos executar. Eu posso ver o status fora da minha integração quando as vezes aqui eu estou apenas usando o automático em seu tempo de execução. Se eu tivesse tempos de execução adicionais, talvez no local, talvez aqueles anos SS I, eu veria esses também. E mais uma vez, eu posso ver detalhes sobre a hora errada, detalhes sobre a atividade, armas que estão usando essa integração a tempo. No meu caso , serão todos eles que tenho no meu ambiente. Se eu voltar para cima, eu também posso olhar para os detalhes. Consigo ver o estado. É fora do tipo um jur e as razões que vão resolver automaticamente. E mais uma vez, eu poderia ir e mergulhar em atividades exceto Tre. Então este é o tipo chave fora do monitoramento que eu vou fazer dentro da fábrica de dados. Isso está me dando a visão do meu pipeline executa meu gatilho executa as atividades e , em seguida, a integração. Às vezes, agora há métricas também. Quando eu mergulhar nesses, se eu fosse dedo do pé, clique neste botão métricas, ele agora vai apenas me saltar de volta para o portal Azure. É aí que as métricas são geralmente egoístas. Isso nos leva à segunda parte da demonstração. Monitoramento com em seu monitor. Aqui estou eu olhando para a minha idade ou data de fábrica. O autor e monitor é como eu chegar realmente ao dentro do George que afeta para você, X. Se eu rolar para baixo, então eu vou ver minhas métricas. E a partir daqui você pode ver uma série de coisas importantes que nos importam com a atividade falhada. Phil Pipeline de Dunn executa execuções de gatilho falhadas, integração única memória disponível, posição superior, contagem máxima de entidades permitida. E para todos esses diferentes críticos conhecidos, você vê, eu posso realmente criar um alerta para eles, então isso pode ser muito útil. E se eu estiver vendo um número justo, eu posso colocar em alerta sobre isso. E em caso de falha, eu posso ir para o fator de dados ux e ver os detalhes e investigar para que eu possa usar essas coisas dedo do pé, obter as métricas. Eu poderia usar isso para acionar o alerta, que então me levará a ir e mergulhar na interface e ver exatamente o que está acontecendo . E então nós temos, ah, ah, nossas configurações de diagnóstico para que eu possa enviar todos esses dados, métricas e os detalhes sobre as várias áreas de atividade por execuções planejadas ou as execuções de gatilho . Posso enviá-los para um desses três destinos, histórias, contas, contas, até mesmo analítica do dedo ou olhar. E quando mandei para trancar e militar, era onde eu poderia personalizar. Tipo, por quanto tempo eu quero manter esses registros? Talvez eu queira mantê-los por uma certa duração. Posso fazer isso através da conflagração do Log Analytics. Obrigado.