Treinamento de fundamentos do Azure Data Factory

1. Introdução: Olá, queridos amigos, e bem-vindos ao Treinamento Microsoft Azure Data Factory Essentials. Meu nome é médio em um íon e Microsoft Certified Solutions em que toquei e sou Microsoft Certified Trainer. Este curso é para iniciantes. Você não precisa de nenhuma experiência Thetas no início da interface do usuário do Azure Data Factory para editar o início e trabalharemos passo a passo. Além disso, se você estiver planejando levar o engenheiro de dados da Microsoft para férias, discutir é perfeito para você. Como vamos cobrir alguns dos tópicos abordados no programa do exame. Você aprenderá todos os Fundamentos do Data Factory e como ele pode ajudar no processamento em lote, e como ele se conecta com a tecnologia de mini-auditoria com todos os conectores disponíveis. Bem, também exploraremos atividades, bem como os componentes que compõem o Azure Data Factory. Por exemplo, pipelines, conjuntos de dados, gatilhos, serviços vinculados e muito mais. Além da competência, abordaremos como transformar, ingerir e integrar árvore de código Theta usando fluxos de dados de mapeamento. Haverá um pequeno projeto. Integraremos o Azure Data Factory com o Databricks by Rooney e não sentiremos pessoas dentro do ADF. Quão legal é isso? Finalmente, você aprenderá a implantar todas as implantações que serão aprendidas durante este curso usando o DevOps do Azure, Integração Contínua e a Implantação Contínua, também conhecido como CD CI. Bem, espero vê-lo em breve neste curso, e obrigado por assistir. 2. Primeiros passos: Oi todo mundo. Antes de sujarmos nossas mãos, vou dar um passeio pelos módulos que veremos ao longo deste curso. Primeiro módulo, temos que começar. Neste módulo, enviamos uma conta gratuita do Azure. Então vamos ver como podemos aproveitar ao máximo a conta do Azure. Vamos dar uma olhada. Todos os serviços que podemos usar gratuitamente e os créditos que estão disponíveis para nós. Vamos criar um orçamento para que possamos garantir que nossas cenouras grátis, eu sempre sob controle. Além disso, vamos ver como podemos configurar um Azure Data Factory a partir do portal e do PowerShell. Veja na próxima lição. 3. Entender componentes do Data Data Azure: Bem-vindo ao segundo módulo do curso essencial do Azure Data Factory. Neste módulo, vamos ver são os elementos fundamentais que compõem o ecossistema da fábrica de dados. Passaremos por Serviços Linked, pipelines, conjuntos de dados nas várias atividades disponíveis para nós na ADF. Além disso, veremos coisas como reutilizar objetos criando multidões. Foram também mergulhar profundamente nos gatilhos disponíveis para execuções de pipeline sombra e como podemos usar cada um deles é módulo está cheio de bom conteúdo. E é aqui que começamos nossa jornada de 0 até aqui na ADF. E mal pode esperar para começarmos. 4. Imposto e transformação de dados no Azure Data Factory: Olá a todos, ingerindo e transformando dados com o Azure Data Factory. Neste módulo, vamos sujar as mãos e colocar prática tudo o que aprendemos com o módulo anterior, onde usaremos componentes chave ADF para trabalhar em casos de uso muito comuns. Por exemplo, como ingerir dados usando a atividade cardíaca no ADF em um Azure Data Lake Gen2 e como podemos transferir dados do Amazon S3 para bancos de dados SQL do Azure. Vamos, vamos configurar essas transferências passo a passo. Na segunda parte deste módulo, vamos trabalhar com fluxos de dados de mapeamento. Mapeamento de fluxos de dados são uma ferramenta poderosa que nos permite executar um cluster Spark sem escrever uma única linha de código, vamos para cada transformação disponível no mapeamento de fluxos de dados. Por exemplo, junta-se a salas de aula derivadas, operações de pesquisa e assim por diante e assim por diante. Obrigado por assistir. 5. Integrar a fábrica de dados do Azure com Databricks: Olá queridos amigos. Este módulo demonstra como a fábrica pode permitir que os engenheiros integrem pipelines ETL com o Azure Databricks e aproveitem ApachesPark para transformar e percentuais de dados em escala. Nós interpretamos isso. Fazemos parte da equipe de análise que foi difícil relatar sobre agregar uma série de crimes de várias cidades nos EUA. E vamos ver como podemos provisionar um espaço de pesquisa de banco de dados do Azure a partir do portal foi o espaço de trabalho é criado. Em seguida, criaremos um cluster Apache, seguido de alguns notebooks para nos ajudar a trabalhar com os dados que precisamos. E então anexaremos os cadernos ao cluster. Assim, podemos executar todos os cadernos diretamente do Data Factory. Tenha certeza de que será um caminho desafiador. Essa vista apreciou os monitores. Eu te vi em breve. Obrigado por assistir. 6. Integração contínua e entrega contínua (CI/CD) para o Azure Data Factory: Oi amigos. Nosso módulo final, se os olhos estiverem bem, veremos o que é necessário para configurar um pipeline de DevOps do Azure que trabalhamos como integração contínua e implantação contínua, também conhecido como CISD for Data Factory. Criaremos uma organização do Azure DevOps a partir do aplicativo de multidão, que inclui a criação de uma negociação positiva, versão do EHR Data Factory seria ramificável e a compreensão de como eles lançaram palavras de fluxo de trabalho para Data Factory também verá como podemos criar um pipeline CICD no Azure DevOps. Quão legal é isso? É aqui que aprendemos a empacotar todas as coisas legais que aprendemos durante este curso e um ambiente superior, a produção do IE. Bem, vemo-nos no próximo módulo, Introdução. 7. Inscreva-se na sua conta gratuita do Azure: Olá, vamos a muitas manifestações durante a nossa maldição. E eu recomendo que você siga por este caminho. Você pode se certificar de que aprenderá na prática o que vimos, como recomendar a criação de uma conta gratuita do Microsoft Azure. Para fazer isso, você pode pesquisar no Google e, em seguida, temos o primeiro link aqui. Vamos clicar nisso. Aqui, podemos ter uma ideia de como funciona. Assim, obtemos $200 créditos para explorar como seus serviços por 30 dias. Se você usar por qualquer motivo, todos os seus créditos antes dos 30 dias, todos os seus serviços serão interrompidos. Ou se você não usar o crédito de US$200 pelo período de 30 dias, você perde todo o resto. Você não pode carregá-lo em molar. No entanto, você recebe muitos serviços populares por 12 meses, que significa que mesmo se você usar todos os seus $200, você ainda pode ter sua conta por 12 meses. Oh, são serviços gratuitos. Então, se continuarmos rolando aqui, podemos ter uma idéia de outros serviços que podemos usar nos primeiros 12 meses. Então, basicamente, podemos chegar a máquinas virtuais de tamanho pequeno. Assim, também podemos usar outros serviços, como discos, para anexar às suas máquinas virtuais. Balanceadores de carga do Armazenamento de Blobs, se estivermos estudando balanceadores de carga , armazenamento de arquivos e muito mais. Você também recebe serviços sempre gratuitos. Em cima dos 12 meses. Você sempre ressurgiu, por exemplo, Grade de Eventos, Laboratórios DevTest e assim por diante e assim por diante. Se você verificar todos os produtos de superfície livre, você pode clicar neste botão aqui e, em seguida, você deve ser capaz de ver a lista completa. Agora vamos estragar tudo e clicar em Iniciar ano gratuito para começar a criar nossa conta. Então, a partir daqui você tem algumas opções. Tem de ter uma conta Microsoft para poder criar uma conta gratuita do Azure. Se você não tiver um, você pode criar um agora mesmo a partir daqui. Ou se você tem uma conta do GitHub e você quer usar, ou eu poderia ter contas que você também pode usar e, em seguida, você tem outras opções aqui também. Eu já tenho uma conta existente e vamos ver como ela pode passar por esse processo. Ok, agora vamos clicar em Avançar. Depois de digitar sua senha, ele irá redirecioná-lo para a página onde você vai se inscrever. Então, há poucas coisas que você tem que preencher aqui. Primeiro, você tem que concordar com os detalhes que eles mostram, como declarações de privacidade, detalhes de software e assim por diante. Como você tem que, para levar aqui, se um, eu receber e-mails da Microsoft sobre ofertas, eu não vou fazer isso neste momento. Aqui, você pode ter um resumo dos benefícios que você obtém. Como você pode ver cenas e Irlanda, ele tem diretamente para a minha corrente. Então, Eileen, 70 anos, não 100 dólares. Em seguida, podemos clicar em Avançar. Então você tem que fornecer um número de telefone. Então, a Microsoft vai enviar-lhe uma mensagem de texto. Você pode receber um imposto ou optar por receber uma chamada. É mesmo com você, então vou selecionar o imposto para mim. Assim que você fornecer seu código de verificação, você terá que fornecer um cartão de crédito. A Microsoft confirma que não lhe cobrará após os 30 dias. Eles não pegarão dinheiro dos seus cartões de crédito. Isto é apenas para fins de validação. Quando os 30 dias terminarem, eles perguntarão se você deseja continuar com um modelo pay as you go. Neste ponto, eu já recebi o texto, confirma o texto da página anterior. Agora eu posso ver o local onde eu vim com informações de um acidente de crédito. Eu não vou mais longe daqui porque eu já tinha minha conta. Depois de prosseguir com esta opção, você deve ser capaz de acessar o portal usando sua nova conta. Para acessar o portal. A página inicial é o Portal azure.com. Isso vai redirecioná-lo para a página principal do portal. Então aqui você tem um monte de serviços. Vamos passar por todas as etapas que serão usadas durante este curso. E fique ligado e te vejo em breve. 8. Configurando um orçamento: Nossos amigos, em nossa lição anterior, criamos uma conta gratuita do Azure para começar a usar os serviços Cloud gratuitamente. Nesta lição, vamos dar uma olhada em como podemos configurar um orçamento em nossa assinatura para ter nossos créditos sob controle. Com um orçamento em vigor, podemos ser notificados quando os protocolos, nossa assinatura ou um grupo de recursos ultrapassarem o limite definido pela árvore. Ao longo deste curso, vamos nos concentrar na fábrica BIA, que não deve consumir outros créditos muito em breve. Mas para evitar qualquer surpresa, vamos criar um orçamento só para que possamos ter certeza de que tudo está sob controle. Se formos para a caixa de pesquisa e procurar por gerenciamento de custos, temos opções de preenchimento aqui. No painel esquerdo. Vamos clicar no gerenciamento de custos. E também aqui no painel esquerdo que temos. Aqui é onde começamos a definir nossos orçamentos. Então, podemos ter mais de um byte e definir o escopo para esse ponto que temos a assinatura por padrão, provavelmente você vai ter sua assinatura padrão aqui. Vamos clicar em Adicionar para adicionar um novo bucket. Como definir o escopo da etapa de orçamento que você vai criar. E aqui você pode futuros, por exemplo, se quiséssemos criar um orçamento para qualquer grupo de recursos específico, também seria possível. Portanto, é importante definir um nome exclusivo para o nosso orçamento. E esse nome exclusivo está em nossa assinatura. Então você não pode ter dois barcos com o mesmo nome. Então temos o período de reinicialização. Temos dois tipos. Temos meses de calendário e faturas. Aqui temos a data de criação. A data de criação é quando criamos nosso orçamento. E para o próximo mês, nossa praia começará no mesmo dia. Aqui você tem uma pequena descrição sobre isso, bem como data de validade para esses orçamentos. Então você pode colocá-lo como 2030 um ano, se você quiser. Eu só vou fazer um orçamento. E aqui vou ficar com os meses mensais do calendário. Vou começar a partir do primeiro de julho e por data de validade, vou sair como está. E aqui está o estudo piloto que quero montar. Imagine que temos 200 dólares de crédito. Essa é a nossa equação, começa a quantidade máxima de dinheiro que podemos gastar. E aqui temos algumas previsões com base no seu uso anterior. Então vamos apenas ficar com 200 nesse exemplo, no meu caso seria um 175 anos. E podemos ir a seguir. É aqui que definimos as nossas condições, são condições é basicamente o limite para os nossos orçamentos. Podemos ter mais de um. E toda vez que nosso custo ultrapassa o limite do orçamento, nós não lutamos. Tudo bem, então vamos pegar o custo real. E então aqui temos uma porcentagem para o orçamento. Então eu vou ser notificado quando chegarmos e a data colocada automaticamente retornou para nós 87 ano. E aqui você pode ver que este pequeno ponto é o primeiro limiar. Agora eu vou configurar um segundo e eu vou querer receber uma notificação quando passarmos 80%, que é um ano 140. Então aqui temos a segunda linha aqui, o máximo. Agora temos que colocar um endereço de e-mail para que possamos receber uma notificação. Há duas maneiras de ser notificado. Uma delas é a criação de um grupo de ação. Não vamos olhar para isto. E também temos os destinatários de alerta, o que é suficiente. Então você pode simplesmente colocar seu endereço de e-mail aqui e você receberá um e-mail da Microsoft sempre que um dos limites aqui, ele for atingido. Tudo bem, então eu só como um exemplo, eu vou colocar um teste. Eu vou ficar com o padrão e hit criação. É isso. Então temos nossa tensão criada e seremos notificados sempre que alcançarmos nosso limite definido para esses orçamentos. Então aqui temos uma pequena barra de progresso. À medida que você progride com sua tensão, você começa a gastar mais dinheiro. Você vê este pequeno bar aqui, ele começa a se mover. Vamos clicar aqui. Este é apenas um resumo do nosso orçamento. Temos dois limiares. O prazo de validade na idade do paciente, nosso escopo, e os homens que receberemos as notificações. Então é isso por agora, pessoal. Temos agora uma paz de espírito. Você não vai gastar todo o nosso dinheiro na segunda. E se você tiver alguma dúvida, basta me avisar, envie-me um e-mail ou poste nos comentários e eu entrarei em contato com você o mais rápido possível. Vejo você na próxima lição. Obrigado por assistir. 9. Como configurar o Azure Data Factory usando o Azure Portal: Oi pessoal. Como vamos passar a maior parte do tempo, podemos ler fábricas de dados. Para começar criando nossa instância de Data Factory, vamos ver como podemos criar uma fábrica usando dois métodos diferentes. O primeiro método vai ser divertido portal, e, em seguida, o segundo método que estará usando PowerShell. Vou fornecer todos os códigos e o documento estará disponível a partir dos recursos das aulas. Então vamos começar. Aqui temos o portal, essa é a página principal. E podemos começar digitando fábricas de dados. E vamos ver aqui a página inicial da fábrica deles. Então, vamos clicar em Criar. E aqui temos algumas opções para preencher. E vamos passar por eles passo a passo. Como podem ver, temos algumas guias aqui em cima. A Microsoft usa uma configuração por guias à medida que você avança ou se move através das etapas para criar superfícies ou abrir serviços existentes, você sempre terá guias. Então vamos começar selecionando nossa assinatura. Só tenho um disponível. E aqui temos um grupo de recursos. Assim, um grupo de recursos é muito uma coleção de recursos que geralmente são criados com o mesmo ciclo de vida. Por exemplo, uma máquina virtual teria mesas e placas de rede. Tudo o que é necessário para a máquina Ubuntu deve ser normalmente colocado dentro do mesmo grupo de recursos. Então vamos criar um novo grupo de recursos para o nosso Data Factory e podemos chamá-lo do que você quiser. Não é necessário ser um nome único globalmente. Então eu vou clicar em Criar. E eu apenas digitaria meu pdf, grupo de recursos RG traço. Então clique em OK. A região é onde seu recurso será implantado fisicamente. Geralmente é aconselhável criar um recurso próximo à sua localização física. No meu caso, vou digitar a Europa do Norte. Então eu precisarei dar um nome global exclusivo ao meu recurso. Isso ocorre porque quando você acessa essa uma fábrica, você está acessando um domínio DNS, significa que ele deve ser globalmente exclusivo. Eu escreveria algo aleatório aqui. Então, só para seguirmos em frente. E então temos a opção de selecionar um milhão para um. Então um é apenas para fins de compatibilidade. Devemos sempre pegar o que eles estão dispostos a mover e clicar na configuração do medidor. Vamos passar pelo medo e como ele se integra. Considerando que a fábrica relativa mais tarde nessas curvas, neste momento, vamos apenas ficar sair configurar, fica mais tarde. Então temos rede. Portanto, você tem duas opções aqui para conectar o tempo de execução de integração auto-hospedado ao seu Data Factory usando endpoint privado ou público. Vamos passar pelo tempo de integração auto-hospedado durante seus registros. Vamos pegar o ponto republicano por enquanto. E não queremos habilitar a rede virtual gerenciada para o tempo de execução de integração de reserva externa, isso é mais necessário se você quiser acessar seus recursos de forma privada. Há um, há algumas configurações em torno que não queremos usar neste momento. Então eu não vou manter essa opção. Vamos para avançado. Aqui temos a opção de criptografar recursos do Data Factory usando uma chave gerenciada. Isso significa que você pode trazer sua própria chave, colocar sua chave dentro do Cofre de Chaves e, em seguida, usar essa chave para criptografar seus recursos. No entanto, por padrão que uma fábrica nossa criptografa seus dados em repouso. Por exemplo, quando ele armazenava dados em cache para movimentos de dados, ou quando você está criando seus serviços vinculados, iterador criptografado por padrão. Se você clicar nessa opção, você deve fornecer o endereço da sua chave e ela será criptografada duas vezes. E a da chave gerenciada do Azure, você também terá sua chave gerenciada pelo cliente. Então, como não temos uma chave gerenciada pelo cliente neste momento, vamos apenas mover sem marcar essa caixa. Aqui temos a opção de criar tags se você quiser, se, por exemplo, atribuir um centro de custo para seus recursos ou algo assim, selecionamos isso, não temos nenhuma tag no momento. Vamos deixar isto vazio. E finalmente temos o lugar onde revelamos nossas configurações. Como você pode ver, é muito simples criar um Data Factory, para disponibilizar uma instância do Artifactory. É bem simples. Não temos muitas configurações para fazer aqui. Então, basta clicar em Criar e criar nosso primeiro Artifactory. Criar. Um recurso foi criado com êxito. Vamos para o recurso clicando neste botão. E aqui temos a página inicial que uma fábrica, a instância que acabamos de criar. Então aqui você só pode ver simétricas. Não temos todo o lote aqui. Então Data Factory é realmente acessado a partir do inventário do autor. Este é o lugar onde você vai estar alterando e monitorando todos os seus pipelines e fluxos de dados, certo? Então, vamos clicar em auto e monitorar. Legal. É a página inicial da Data Factory. Vamos entrar em todas as opções que temos aqui. E vamos passar muito tempo aqui também. Fique atento e vejamos como podemos criar a mesma fábrica de dados a partir do PowerShell. Vejo-te em breve. 10. Como configurar o Azure Data Factory usando o PowerShell: Olá pessoal e bem-vindos a outra lição. Nesta lição, vamos ver como podemos criar um Data Factory usando o PowerShell. Em nossa última lição, vimos como poderíamos criar um Data Factory a partir do portal. Então vamos procurar por fábricas de dados novamente. E esta é a Data Factory que acabamos de criar. Agora vamos ver como podemos criar usando o PowerShell. Vamos voltar para a página inicial. E aqui no bar de cima temos o Cloud Shell. Vamos clicar nisso. Cloud Shell é uma ótima ferramenta se você quiser gerenciar seus recursos do Azure de forma programática. Então você tem a opção de escolher bash do Linux ou PowerShell. Aqui, o que ele faz, Azure fornece um contêiner nos bastidores com um armazenamento sem patch. É, o armazenamento é efêmero, significa que quando você terminar com suas criações ou as coisas em que você está trabalhando, todos os seus dados serão apagados. Então aqui você tem suas opções para explorar seus dados. Por exemplo, você pode alterar fontes, tamanho do texto. Você pode fazer upload de arquivos e baixar arquivos. Você também pode clicar aqui, e ele irá redirecioná-lo para uma página que você pode acessar, o PowerShell ou o Cloud Shell em tela cheia. Eu digo aqui que você tem o editor, o que é muito legal. Então você pode e realmente editar arquivos diretamente do ano e arquivos salvos. Assim, parece que no computador você teria acesso ao seu ambiente do Azure. Então vamos trabalhar a partir daqui e criar nossa fábrica de dados. Vou puxar aqui o meu código VS com os comandos necessários que precisamos executar. Então eu configurei aqui três variáveis, e que é o nome do Data Factory, o nome do grupo de recursos, e o local onde vamos implantar nosso Data Factory. Como você pode ver, isso é bastante semelhante às opções que tínhamos do portal. Aqui. Nesta etapa, vamos criar usando os valores atribuídos às variáveis, qualquer grupo de recursos. Então, finalmente, vamos criar nosso Data Factory V2 dentro do grupo de recursos que criamos na primeira etapa aqui. Ok? Então, novamente, precisamos fornecer um nome de chave único, Charlie Data Factory. Então eu só digitei qualquer nome aleatório aqui. Então meu nome do grupo de recursos será meu, pode ser como localização do grupo de recursos dentro do nosso teorema. Ok, eu vou fornecer este arquivo aqui para vocês baixarem. E então você pode tentar com a sua mão. Então vamos copiá-lo aqui. Então vamos voltar para o portal. Agora, vamos colar isto aqui e depois apertar Enter. Então temos todos os valores atribuídos. Se uma verificação, você pode apenas digitar uma das variáveis aqui para que nossa fábrica é, você pode vê-lo retorna o valor que atribuímos. Agora, como segundo passo, precisamos criar nosso grupo de recursos. Então vamos copiar isso. Se quiser um comentário de cópia, também é bom. Vamos voltar à sessão parcial que é enfrentada aqui. E automaticamente, parcial adiciona uma nova linha aqui por causa da inclinação. Então vamos ver para entrar, o grupo de recursos foi criado. Como pode ver, é muito rápido. E, finalmente, precisamos criar nosso Data Factory. Vamos copiar isso de novo. Vamos espaço para aqui. Pressione Enter. E então está precedendo a criação de nossa fábrica de dados. A fábrica foi criada. Vamos voltar para o portal, para a página inicial e ver o grupo de recursos e também o Data Factory. Então vamos voltar peça para ter esta outra seção aqui, podemos minimizar isso. Então vamos procurar fábricas de dados. Como eu já tenho de meus serviços de pesquisa, vou clicar sobre isso. E se você prestar atenção a esta lista, às vezes na reunião, eu não tenho o recurso que eu acabei de criar. Só porque às vezes não é imediatamente. Leva um pouco de segundo para atualizar quando você cria o recurso a partir da API ou do PowerShell. Vamos refrescar isso. E vamos confirmar o nome ADF que acabamos de criar. Vamos copiar e depois colocar aqui. Assim, o recurso é visível a partir daqui. E se você se lembrar, este é o grupo de recursos que acabamos de criar. Se clicarmos nisso, também podemos ver o recurso da visão do grupo de recursos e confirmar que ele foi criado com sucesso. Vá. Agora temos o que é necessário para seguir em frente com nossas curvas C sintonizadas e vê-lo na próxima lição. 11. Componentes ADF — serviços vinculados: Bem-vindos a outra lição. Nesta lição, vamos ver como podemos criar um serviço vinculado no Azure Data Factory. serviço Linkerd é um elemento-chave para fluxos de trabalho baseados em dados de história, EDF. Ele pode associar serviços vinculados, faria cadeias de conexão usando softwares de aplicativos, onde você deve fornecer certas informações para se conectar a uma fonte de dados. Por exemplo, o endereço da fonte de dados, as credenciais e, mais importante, qual é o driver para essa conexão? Um banco de dados do SQL Server requer qualquer driver específico. Um banco de dados NoSQL exigiria outra unidade. Uma API requer outro conjunto de Brown para recuperar ou enviar os dados. Serviços vinculados em ADF é praticamente o mesmo. Ele oferece uma variedade de conectores que fora da caixa têm todos os parâmetros necessários que permitem que você se conecte aos vários serviços. E como requisito para esta lição, criaremos um Data Lake Storage Gen2. E também vamos ligar que uma fábrica e o lago de dados. Fique atento. Estou a conhecer o Portal. Vamos abrir o ADF para começar a trabalhar com serviços vinculados. E nós vamos digitar, mas as fábricas na caixa de busca. E vamos usar o ADF que criamos anteriormente. Clique em ultra e monitor. E vamos esperar até que carregue a página. Agora estamos na página inicial. Vamos para o Manage do lado esquerdo. E você pode ver que o link em serviço é a primeira opção no painel esquerdo. Então você tem o criativo autêntico clicando em novo ou criativo serviço vinculado. Vamos clicar nisso. Como podemos ver, ele aparece um grande número de diferentes tipos de serviços vinculados para você escolher. No momento desta gravação, existem mais de 80 tipos diferentes de serviços ligados. E, como você pode ver, você tem serviços nativos do Azure, bem como serviços de terceiros, como SAP, hana, Salesforce e até mesmo Shopify. Então, para o nosso experimento, vamos usar o Data Lake Gen2. Uma vez que esta é uma iniciativa como um serviço. Como você pode ver, há poucas opções que você precisa preenchê-lo, como descrição de nome, Integração, Tempo de execução, que tipo de autenticação você deseja usar e onde seus serviços estão localizados. Já que não tenho nenhuma conta de armazenamento criada, sim. Vamos criar um e ver como funciona. Vamos voltar para o portal. Na caixa de pesquisa. Vou procurar por contas de armazenamento. E deveria ser a primeira opção? Vamos clicar em Novo. Eu não vou entrar nos vários detalhes que compõem a conta de armazenamento porque nosso objetivo aqui é apenas criar uma conta de armazenamento e conectar a EDF a ela. Eu escolherei minha assinatura atual. Eu escolherei o grupo de recursos que criamos antes. Vou dar-lhe um nome. Vai ser, vou ficar com a Europa do Norte, região. E fora suas opções serão padrão para mim e eu vou pular todas essas opções, rede, proteção de dados, e eu vou para avançado. Então, sob Data Lake Gen2, vou dizer habilitar. Isso é o que confirmou que eu quero um Data Lake, então eu vou pular tags e, em seguida, Revisar e Criar. Legal. Agora temos nossa conta de armazenamento criada. Então vamos para o recurso. E há apenas uma coisa que precisamos fazer aqui, que é autorizado ADF para acessar os dados que serão armazenados nesta camada de dados. Caso contrário, não podemos igualar os serviços vinculados. Então, digamos controle de acesso. Em, na atribuição rural. Eu escolherei a função chamada blob, contribuidor de dados. Uma coisa interessante aqui é que quando você cria um Data Factory nos bastidores no Azure Active Directory e identidades criadas com o mesmo nome da fábrica de dados. Dessa forma, você pode autorizar o próprio Data Factory a acessar o recurso em vez de criar uma nova conta. Então vamos procurar o nome da nossa fábrica de dados. E lá vai você. Temos aqui e salvar, e vamos esperar para o mundo é criado, o papel foi atribuído. Você pode confirmar isso em atribuições de função. E você vê que você tem o ícone da fábrica de dados aqui, e você tem o ID do objeto bem, que é essa string grande que é composta pelo ID de assinatura, o nome do grupo de recursos e o tipo de recurso. Ótimo, vamos voltar para a ADS. Aqui ainda está sob um serviço vinculado, Data Lake Gen2 página aberta como dando-lhe um nome. Eu não vou dar nenhuma descrição. Vou ficar com as opções padrão e sob o método de autenticação, ele vai ser gerenciado identidade. Em seguida, sob minha assinatura, escolherei minha concessão e procurarei o novo Data Factory que já foi criado. Mas você pode ver que isso ainda não está na lista. Isso ocorre porque às vezes é preciso um pouco para propagar as novas reservas para que possamos atualizar. E lá vamos nós. Está aqui dentro. Como você pode ver, as identidades gerenciadas, o nome da fábrica de dados. Isto é o que concedemos permissão na conta de armazenamento e é o objeto AG. Podemos testar a conexão. Lá vamos nós, bem sucedidos. Vamos criar o serviço vinculado. Só precisamos publicar. Tudo bem, estamos prontos. Vamos ver como podemos usar isso a partir de um conjunto de dados. 12. Componentes ADF — Pipeline: Oi. Antes de mergulharmos em que define atividades, você tem que entender o que é um oleoduto? Um pipeline não é t, mas um agrupamento lógico de atividades que juntos executam uma tarefa. Por exemplo, você poderia ter um conjunto de atividades que ingeriam e rainha dados de log. E então você teria um fluxo de dados de mapeamento para analisar os dados de log. O pipeline permite que você gerencie essas atividades como um conjunto em vez de cada uma individualmente. Então, digamos que você implanta um pipeline e esses pipelines funcionam como um contêiner onde você pode agrupar um monte de atividades dentro, conseguir uma tentativa. Depois de implantar o pipeline, você pode embaralhar. Em vez de seguir atividades de forma independente. Dentro de um Data Factory, você pode ter um ou mais pipelines. Você pode até mesmo aninhar pipelines de uma maneira que você poderia chamar uma atividade dentro de um pipeline que causa um segundo pipeline, no terceiro pipeline, e assim por diante. Vamos ver como funciona na prática. Para criar um pipeline. Há duas maneiras. Um é da página inicial do Data Factory. Você pode clicar em Criar pipeline. E isso iria redirecioná-lo diretamente para esta página. Ou você pode vir aqui para oferecer e clicar nas migalhas de pão aqui. Novo pipeline. Como você pode ver, esta é basicamente uma tela e tela vazia para você começar a construir seus dutos complexos. Uma vez que você tem um pipeline, você pode dar um nome a ele. É importante que você dê um nome apropriado, que você possa encontrá-lo facilmente depois. No lado direito, você tem o painel e você pode dar-lhe um nome, você pode dar-lhe uma descrição. Além disso, você tem a opção de definir simultaneidade. Como você pode ver, este é o número de corridas simultâneas de biplano que são disparadas de uma só vez. E, dado que a fábrica tem um limite suave. Assim, você pode controlar o número de pipelines que você está executando a qualquer momento. E a notação é basicamente uma tag que indica que tipo de pipeline você está lidando com. Isso é algo que você pode dar e é bastante útil quando você está olhando para coisas como monitor. Depois de decidir que tipo de atividades deseja usar, você pode começar a arrastá-las e soltá-las. Na sua tela vazia. Não há muito em torno de oleoduto. E vamos mergulhar mais nele à medida que avançamos durante este curso. Isto é tudo por enquanto. Vamos continuar com conjuntos de dados. 13. Componentes ADF - Datasets: Agora já começamos a criá-lo. Precisamos criar um conjunto de dados. Você tem um conjunto é um nome para visualizar os dados que simplesmente faz referência aos dados que você deseja usar em suas atividades. Ele também identifica dados dentro dos armazenamentos de dados, como tabelas, arquivos, pastas e documentos. Por exemplo, um conjunto de dados de blob especifica o contêiner e as pastas do blog. Armazenamento de blobs a partir do qual a atividade deve ler os dados. Agora vamos ver como criamos isso. Vamos dar uma olhada na opção alter. Como você pode ver, não temos nenhum conjunto de dados criado ainda, então vamos criar um. Dê uma olhada nas migalhas de pão aqui e clique em Ações. Novo conjunto de dados. Para o nosso conjunto de dados desde que usamos o Data Lake Storage Gen2. Vamos dividir essa opção. Agora que temos o nosso ponteiro para um serviço vinculado, precisamos especificar que tipo de arquivos vamos usar. Então deixe-me selecionar arquivos. Pressione Continuar. Devemos dar-lhe um nome, valor de ponto. Então nosso link que serve deve estar disponível para nós. Vamos escolher esta opção. Aqui. Posso definir qual é a origem ou o local onde meus dados são armazenados. Uma vez que não temos qualquer pasta ou qualquer estrutura criada ainda, eu iria apenas ficar com conhecido. Vamos clicar em OK. A partir deste painel, como você pode ver, temos nossos objetos criados. Aqui. Pode pré-povoá-lo para nós. E posso testar a conexão de novo. Destes fagos. Poderíamos editar, roubar serviço para mudar a conexão ou mudar a descrição, algo assim. Ou eu poderia criar um novo serviço lipofílico diretamente daqui também. Portanto, há muitos pontos de entrada onde podemos criar um objeto. Vamos vir aqui. É um tipo de compressão com que quero trabalhar. Pode ser para enviar meu arquivo ou para ler esse tipo de compactação. Vamos escolher o agitado. Aqui. É muito legal porque eu vim navegar no meu lago de dados. Se eu encabeçar pastas aqui, eu não seria capaz de expandir todas elas. Eu poderia até visualizar meus dados se eu tivesse selecionado o arquivo. Legal. Por enquanto, é tudo o que precisamos fazer. Então vamos clicar em Publicar e depois publicar. Ótimo, estamos prontos por agora. Vamos ver como trabalhamos com atividades. 14. Componentes ADF — atividades: Legal. Agora temos nossos dois requisitos básicos, pensar servidores e que o conjunto, precisamos definir uma maneira de mover os dados ou transformar os dados do ponto a para o ponto B usando nosso serviço de ligação e conjunto de dados, os principais componentes para fazer funcionar que as atividades de movimento, não as atividades de transformação e atividades de controle. Agora, para que os hosts trabalhem com atividades, devemos criar um pipeline primeiro. Então vamos alterar as ações. Novo pipeline dos três tipos de atividades que classificamos. Isso é um começo com Dot. A atividade de movimento. Ou a atividade de movimento geralmente está associada a uma tarefa de cópia de ponto, ponto ou atividade de cópia. Ao trabalhar com Copy Doc, você pode ver que você terá fonte e pia, que podem ser traduzidos para sua fonte de dados e seu destino. Como você pode ver aqui, ele requer um conjunto de dados. É assim que começamos a conectar juntos são serviços vinculados e conjuntos de dados. Aqui também, precisamos de um conjunto de dados. Há uma grande variedade de conjuntos de dados e a lista está sempre evoluindo para não que as atividades de transformações, temos opções diferentes. Poderíamos transformar os dados de dentro do Data Factory com seus próprios recursos, que poderíamos chamar fluxos de dados ou mapeamento de fluxos de dados. Com zombando fazer o post, você terá um grande número de transformações. Além disso, você pode chamar recursos de computação para fazer as transformações para alcançar os dados, como Databricks, Batch Service, azure, Synapse e outras máquinas virtuais. E a lista continua crescendo. Então você tem várias opções para trabalhar com transformações. Finalmente, com atividades de controle. Você pode orquestrar o fluxo de suas atividades para fazê-las executar de uma forma ou de uma ordem que você deseja. Você poderia encadear atividades nessa sequência, ramificação e mais coisas. Vamos dar uma olhada em como funciona. Vamos supor que queremos mudar em uma determinada sequência como suas atividades são executadas. Então você poderia conectá-los juntos e até mesmo definir quando isso deveria ter sido executado. Se você clicar com o botão direito do mouse na seta, você pode ver que você tem sucesso, conclusão de fader e muito mais, mas isso não pára por aí. Você pode encontrar mais opções aqui. Por exemplo, se começarmos a sua integração e as condições que temos para cada um, temos se condição, temos mudança até. São controles. E você pode usá-los para modificar a execução do pipeline. Para cada atividade define um fluxo de controle repetitivo em seu pipeline. Faz atividade é usado para iterar sobre uma coleção e executa atividade especificada não é um loop. A condição if pode ser usada para ramificação com base em uma condição que pode ser avaliada como true ou false. Eu estou sob. Bastante útil. Atividade é a chamada executa atividade de pipeline. Então vamos procurar por isso. Executa o pipeline. Assim faz ativo para permite que você invoque outro pipeline. Mas por que isso é útil quando falamos de pipelines, há um limite máximo de atividades e um pipeline específico. Este número é 40. Se estamos trabalhando em big data warehouse onde você pode obter um monte de tabelas. Talvez seja necessário criar uma cadeia de pipelines. Significa que você pode vir aqui e chamar a execução de um segundo às cegas. E aqui você poderia chamar outro oleoduto. E também para fins de organização, você poderia ligar, eles mencionaram tabelas aqui. Você poderia chamar tabelas de fatos aqui, e assim por diante e assim por diante. 15. Componentes ADF — parâmetros para Pipeline: Oi lá. No ecossistema de fábrica de dados, podemos criar vários objetos. Por exemplo, conjuntos de dados, pipelines, fluxos de dados e a lista continua. Mas como você criar solução dinâmica de uma forma que você pode evitar um grande número de objetos apenas porque eles têm diferentes parâmetros de polarização. Quais parâmetros você pode criar uma solução muito robusta e dinâmica. Criar conjuntos de dados de sede ou pipeline não é uma coisa ruim em si mesmo. É só quando você começa a criar muitos dos assuntos que as coisas ficam um pouco demoradas. E para não mencionar, há sempre o risco de principais iterações de soldagem onde quando você começa a criar muitos dos mesmos objetos, você apenas sintoniza e comete muitos erros bobos. Vamos dividir esta demonstração em três partes. A primeira parte, vamos criar um pipeline em um conjunto de dados. E vamos passar o valor do parâmetro que temos no pipeline para o conjunto de dados. A segunda parte é passar os valores de parâmetro entre atividades. Então isso seria mais internamente dentro do oleoduto. E, em seguida, a terceira parte, vamos usar um parâmetro global de uma forma que teríamos um maior seu escopo. E, em seguida, transmita o valor desse parâmetro para um pipeline ou muitos pipelines ou um conjunto de dados. Há alguns elementos das manifestações que nunca vimos antes. Por exemplo, como criamos um data lake. Mas não se preocupe, eu só vou para o futuro aqui um pouco para economizar tempo. Mas veremos ao longo deste curso como criamos todos esses objetos. Aqui, eu tenho uma tela vazia, que é o meu oleoduto. Então eu vou renomear o pipeline para PL. Para nossa demonstração, vamos obter os dados de uma API de descanso e é armazenado esses dados em um atraso. Então, primeiro de tudo, precisamos obter nossa atividade, que podemos usar é a cópia Beta. Desde que você ia transferir dados. Há duas coisas principais aqui. Vamos direto ao ponto. Temos fonte e pia. Nossa fonte será receita. Então precisamos usar o conjunto de dados já que não temos um ainda, vamos criar um. Então vou procurar descanso. E este deve ser este aqui. Vamos clicar. Ok. Ok, nós temos nosso conjunto de dados criado. Agora precisamos de um serviço ligado. Estamos ligados serviço é a nossa cadeia de conexão. E conjuntos de dados é o tipo de conexão que vamos usar. Então vamos abrir nosso conjunto de dados. E como pode ver, está vazio. Então poderíamos passar se quiséssemos a URL relativa daqui. Vamos criar um novo serviço vinculado. Como uma convenção de nomenclatura, vou criar como ls para uma API de serviço vinculado. E então, para todas essas opções, vamos passá-las mais tarde neste curso. Vamos apenas ficar com a resolução automática e o tipo de autenticação que vamos estar usando anônimo. Agora só temos que passar o URL. Então eu vou apenas obter o URL que eu já tenho e colar aqui e nós podemos testar a conexão. Certo, isso é bem sucedido, o que é ótimo. Vamos clicar em Criar. E agora temos nossos criadores de serviços vinculados e nosso conjunto de dados chamado rest está usando esse serviço vinculado. Então vamos mudar o nome desses conjuntos de dados para ficar com a convenção RNA. E então vou colocar ds para o Serviço de Dados. E a pontuação resto API. Chamada. Agora é onde chegamos ao ponto em que começamos a trabalhar com navegadores. Então vamos voltar para cá. E então eu vou adicionar um novo parâmetro. Aqui. Estou dizendo a esse conjunto de dados, ele vai estar recebendo de Enter e, em seguida, ele não pode atribuir um valor padrão fresco. Então temos três campos aqui. Vou apenas nomear meu prompter, nós URL relativa. E meu valor padrão será barra. E é isso. Estou dizendo, ei, conjuntos de dados, você tem um prompt e um valor padrão. Se nada for passado, este valor aqui será assumido. Vamos salvá-lo. Agora. Criamos nosso conjunto de dados e serviço vinculado. Não, temos que voltar para o nosso oleoduto. E como você pode ver isso imediatamente, assim que eu adicionar um novo parâmetro ao meu conjunto de dados, ele é preenchido aqui. Está à espera de um valor para o meu oleoduto. Então o que podemos fazer aqui, podemos clicar aqui e em qualquer lugar fora das atividades. Então mudamos para o escopo. E podemos obter esta informação aqui do fundo. E temos algumas opções aqui. Um deles é o prompter. Vamos criar um novo parâmetro e também vamos chamá-lo de URL relativa. Seqüência do mesmo tipo. E eu vou passar o mesmo valor, que são os alto-falantes. Ok? Vou salvar isso de novo. O que está acontecendo aqui é o seguinte. Temos um parâmetro que é criado neste fora do escopo aqui. E minha atividade é usar um conjunto de dados que já está em terrível. E esse conjunto de dados está esperando um parâmetro. Se clicarmos aqui, você pode ver que imediatamente eu posso ver conteúdo dinâmico ABS. Vamos clicar nisso. E a partir da lista suspensa aqui, temos uma lista de parâmetros disponíveis. Se eu tivesse mais parâmetros do meu pipeline, ele estaria listado aqui também. Então, vamos clicar nisso. E um interessante de notar aqui, o nome vem como totalmente qualificado. Então este é o escopo onde meu pipeline foi criado, mas isso é muito importante. Certo, então vamos clicar em “Terminar carvão”. Então agora estamos usando o prompter que criamos em nosso pipeline ao passar esse valor para nosso conjunto de dados. Agora vamos em frente e clique em sincronização. E vamos criar um novo conjunto para aprender os dados que acabamos de obter da nossa API restante. Ok, então vamos em frente e criar um novo conjunto de dados. Nele. Vamos usar Data Lake Gen2. Vamos clicar nisso e continuar. E eu vou usar um tipo JSON. Vamos continuar. Vou nomear como o lago de dados. Então. Eu já tenho um serviço vinculado é criado a partir de um data lake. E eu vou apenas selecionar este, mas nós poderíamos criar um novo daqui. Então eu só selecionei este. E a partir daqui é o caminho onde eu vou armazenar o arquivo. Então eu iria apenas procurar essa informação aqui e ver quais são os contêineres, quais são a pasta de rotas que eu tenho disponível? Então eu iria apenas clicar aqui no meu CSV. E esses dados serão pousados no nível do telhado do contêiner. Então, vamos clicar. Ok, ótimo. Temos tudo o que precisamos agora. Então vamos em frente e testar este pipeline aqui e ver como ele se comporta. Então eu estou indo apenas para ir e clicar no livro. Você pode ver que se eu quisesse, eu poderia tirar essa informação daqui também. E então ele será passado para o meu conjunto de dados. Eu iria apenas ficar com o valor padrão e clicar em Ok. Você pode ver que ele agora está em fila e foi bem-sucedido. Então, nosso pipeline usa os parâmetros passados para o conjunto de dados. Agora, temos que criar a segunda parte da nossa demonstração. 16. Componentes ADF — parâmetros de atividade: Certo, vamos para a segunda parte da nossa demonstração. Agora, vamos usar os parâmetros entre as atividades. Nesta demonstração, vamos obter os metadados do arquivo é armazenado no data lake. E usando essas informações, vamos preencher uma tabela em um SQL Server. Então, para fazer isso, há um teste de fase que temos que fazer aqui. Então eu tenho uma tabela fictícia que irá segurar se seus campos, por exemplo, o nome do item, a última data de modificação para o arquivo. E temos um excedente aqui. Estes são processuais basicamente recebe como um parâmetro, os mesmos campos que temos disponíveis em nossa mesa. E, em seguida, com esses navegadores irá preencher uma tabela que temos inserido aqui. E então temos aqui uma declaração seleta para validar os dados em nossa tabela. A tabela ainda não foi criada. Podemos verificar fazendo isso, eu vou garantir que a tabela não existe e eu vou criar a tabela. Então vamos fazer isso. Legal. Nossa mesa foi criada. Podemos verificar o número de linhas e a tabela está vazia. Agora, vamos nos certificar de que temos nosso procedimento também criado porque isso é o que vai preencher nossa tabela. Vou selecionar tudo aqui e criar uma chamada de procedimento ou procedimento é dados válidos. Agora vamos obter uma atividade chamada metadados. Então para realmente especialmente projetado para obter os metadados de arquivos em diferentes locais. No nosso caso, vamos chegar aos metadados do arquivo que carregamos de nossa demonstração anterior. Podemos usar os mesmos conjuntos de dados que tínhamos antes, TS Data Lake. E há alguns argumentos que podemos obter a partir do arquivo, para que possamos especificar a partir da lista disponível. Então, se clicarmos em novo, temos os argumentos. E a partir daqui podemos adicionar mais argumentos. Vamos conseguir o nome do item. E eu vou adicionar um novo tipo de item. E o último modo cinco. Então, totalizamos três itens que temos. E só para verificar aqui na nossa mesa. Então, esses são o nome do item, tipo e arquivo de humor. Legal. Então temos todos os argumentos que precisamos. E isto vai ser recuperado do nosso ficheiro localizado no nosso lago de dados. Vamos em frente e obter outra atividade chamada procedimento de loja. Assim, com esta atividade, ele nos permite chamar um buscadores de superfície em bancos de dados. Então, vamos clicar aqui nas capturas de tela e arrastá-lo e soltá-lo para a próxima atividade, então certifique-se de que eles são executados em uma ordem específica. Então aqui, em nossa apreensão superficial, podemos selecionar nosso banco de dados. Então vamos em frente e obter um serviço vinculado. Como eu já tenho meus criadores de superfície líquida que acabei de selecionar a partir daqui. E então eu posso puxar aqui as apreensões de superfície disponíveis ou meu banco de dados. Já que só teve um, podemos conseguir este aqui. É legal porque aqui eu posso encaixar bem mentalmente os parâmetros que eu quero passar. Ou, se eu quiser, posso importar o parâmetro do banco de dados automaticamente. Então vamos pressionar Importar. Ótima. Então, como você pode ver, os parâmetros que temos em nosso recurso de superfície agora estão disponíveis a partir daqui. Legal. Note que temos esses dois em cadeia juntos. Teremos que mudar nossa apreensão superficial para receber os parâmetros que queremos. Então esses são os parâmetros disponíveis e aqui estão os bytes. Se quiséssemos, poderíamos passar um valor padrão. Mas o que queremos é o conjunto de resultados vindo dos metadados do gueto. Se clicarmos aqui, automaticamente, adiciona conteúdo dinâmico. Vamos clicar nisso. E nós temos a saída de metadados. Então isso é interessante porque ele vem como um objeto. Então, para obtermos os valores do conjunto de resultados da atividade de metadados, temos que acessá-los como um objeto. Então, vamos clicar nisso. E eu vou clicar em Concluir aqui. Para que possamos voltar a vocês rapidamente para ver quais são as informações que temos. Então temos item, nome, tipo de item e menos modificado. Então aqui podemos clicar nisso. Esta será a última modificação. Será completamente. Então, vamos clicar em OK. Este aqui será o nome de qualquer um. Então, podemos clicar no lote. Em seguida, digite o nome do item novamente juntos. Então finalmente nos identificamos. Vamos clicar nisso. Selecione nossa saída. Então tipo ilha, certo? Ótima. Agora estamos passando os valores associados a esta atividade para a equação da superfície aqui. Vou guardar isso. E vamos executar esta atividade. Vamos apertar debug e ver como ele pode parecer. Está inclinado. Atrevido. - Não. O primeiro foi bem sucedido. Vamos verificar o segundo. Grécia. Os valores de nossa atividade entrar em dados foram passados com sucesso para a apreensão superficial. Se clicarmos aqui em Canvas, podemos verificar a execução. Então clique aqui. Podemos ver quais são os argumentos que escolhemos a partir de nossa atividade de dados método. Então o nome do item, não aconteceu pela última vez modificado. Então, esses eram os resultados da atividade. A entrada. Podemos ver que tivemos um procedimento armazenado e esses foram os valores que passamos para a superfície. Agora, se voltarmos para o servidor SQL e se verificarmos a tabela novamente, agora temos um novo volume que eu conhecia registros, mas é ótimo para que pudéssemos ver como podemos passar os valores de uma atividade para outra atividade que está usando parâmetros. Isso é ótimo. Podemos reutilizar o nosso código. 17. Componentes do ADF — parâmetros globais: Agora, passando para a terceira parte desta demonstração, vamos ver como podemos trabalhar com parâmetros globais. Eu saí. O problema global não pára porque eu queria demonstrar como podemos usar o proeminente global. Há para oleodutos ou atividades. Do lado esquerdo, conseguimos. E aqui embaixo, sob a ópera, temos parâmetros globais. Vamos clicar em Novo. E vamos manter o nome URL relativo e o valor será o mesmo que nós fornecemos antes, que são os alto-falantes. Vamos bater em Salvar. Agora, voltando para o oleoduto, abri aqui os dois oleodutos que já trabalhamos antes. Aquele que passamos os parâmetros dentro do pipeline e aqui entre as atividades. Então, se verificarmos a atividade e, em seguida, verificamos a fonte, podemos ver que temos é para o prompt reset. Vamos clicar nisso. E agora abaixo dos parâmetros que temos antes, temos parâmetros globais. E já que demos o mesmo nome, são os mesmos que vemos aqui. Então, podemos excluir esta opção realçada aqui, que é o parâmetro real. Em seguida, podemos escolher URL relativa. Podemos ver que agora temos um nome totalmente qualificado apontando para os parâmetros globais. Vamos ao Finish. E aqui, se nos movermos para o outro pipeline onde passamos das atividades de fala, se clicarmos aqui, podemos ver que os parâmetros globais também estão disponíveis e não temos o pipeline disponível aqui. Essa é a beleza dos parâmetros globais. Parâmetros globais são altamente reutilizáveis, seja entre atividades ou entre vários pipelines, em vez de serem escopo para apenas um pipeline. Ok, vamos cancelar este aqui. Vamos voltar a este. E como agora vamos usar parâmetros globais, vamos salvar e executar isso e ver como ele vai funcionar. Vamos apertar Debug. Então, novamente, eu posso imputar o parâmetro se eu quiser. E vai arrancar o oleoduto. Agora está em progresso. Ótimo. É maldade bem-sucedida. E com isso, concluímos mais uma demonstração. Espero que gostem. E vamos ver na próxima lição como podemos trabalhar com tratadores é antigo. 18. Componentes ADF - Triggers: Nesta lição, vamos falar sobre gatilhos do Azure. Os gatilhos são um elemento fundamental no ecossistema da fábrica de dados. Usar gatilhos é como podemos transportar nossos oleodutos para atender às nossas necessidades. No momento desta gravação, existem quatro tipos diferentes de gatilhos e vamos passar por eles agora. Existem principalmente duas maneiras de acessar gatilhos existentes ou novos. Quando você foi para associado por avião para um gatilho, temos este botão aqui são acionados e podemos clicar em novo ou edições para o seu. Também no lado esquerdo temos conseguido e sob autor temos gatilhos. E aqui podemos ver todos os gatilhos disponíveis que temos dentro do nosso Data Factory. Então vamos voltar ao pipeline que criamos em nossa demonstração anterior. E vamos clicar em Adicionar novo gatilho. E aqui você pode ver que eu poderia escolher quando o gatilho existente ou eu posso criar um novo. Já que não tenho nenhum. Vamos clicar em Novo. Está bem. Esta é a janela principal onde vamos configurar os nossos gatilhos. Existem principalmente quatro tipos diferentes de gatilhos. Temos esqueleto, temos janela caindo, temos eventos de armazenamento e eventos personalizados. Então, quando se trata de escala, este gado ou desencadeou que evoca um oleoduto em um olhar de caminhada. E a relação entre uma escala em um pipeline pode ser um-para-muitos. Por exemplo, posso ter muitas tubulações usando a mesma chaleira. Todos os meus oleodutos podem funcionar em um de novo? Sim, eles só precisam compartilhar a mesma dispersão. Ok, agora temos uma janela caindo. Janela Tumbling é um disparado que opera em um intervalo bastante caótico, mantendo também o estágio. Ele poderia ser descrito como acionado que pode ser usado para cenários mais complexos. Por exemplo, você pode criar dependências entre gatilhos, entre outra janela de queda. E você pode executar alguns cães a partir do momento em que ele falhou. Você pode definir a repetição do usuário para pipelines. E a relação entre o seu negociador de janela caindo e pipelines é sempre um para um. Você não pode usar a mesma janela de tempo para muitos oleodutos que podemos usar o gado dele. Outra característica muito boa da janela azul. Você pode executar uma janela caindo para dados passados e futuros denota escândalo selvagem. Você não pode, é o gateway perfeito e você quer recuperar combustíveis para sua casa mais profunda ou seus bancos de dados. E, finalmente, outro elemento da janela caindo é o fato de que ela tem uma propriedade de auto-dependência, o que significa que o gatilho não deve prosseguir para a próxima janela até a anterior. Sabemos que terminou com sucesso. Então você tem que ter isso em mente. escândalo está sempre no futuro. E w janela, você pode ter um período de tempo definido. É evento de armazenamento é um tipo muito legal de gatilho. Portanto, há muitos casos de uso em que você deseja reagir a eventos que podem acontecer em sua conta de armazenamento. Por exemplo, imagine que você está esperando um arquivo para aterrissar em sua conta de armazenamento e, em seguida, você pode carregar esse arquivo. Nesse caso, você não precisa verificar periodicamente se o arquivo foi carregado com êxito na conta de armazenamento. Usar eventos históricos é perfeito porque sempre que um novo evento é criado em sua conta de armazenamento, você pode usar esse gatilho para acionar um pipeline. Portanto, esses eventos de armazenamento usam a Grade de Eventos nos bastidores. Então, sempre que você criar que acionar um novo tópico, iso gerado para você nos bastidores. E se você for para Event Grid, você pode roubar o evento lá. Agora, simplesmente adicionamos. Temos eventos personalizados. Então, não só para contas de armazenamento mais, pode ser qualquer dia. Ainda maior, ótimo, porque você pode definir seus próprios tópicos e criar seus próprios eventos. Imagine que você tem um aplicativo que tem um tipo muito particular de evento e você quer reagir a eventos. Assim, você pode criar um tópico personalizado para a criação de eventos. E, em seguida, usando os eventos personalizados no Data Factory, você pode assinar esses eventos. E então agimos sempre que um novo evento ocorre. Isso é brilhante. Agora, temos muito mais flexibilidade ao reagir aos eventos. Então aqui, como você pode ver, estes Gallo é bem simples para um pipeline, então você apenas define a data e a hora. Para a janela caindo. Temos mais opções para que você possa definir a recorrência dos eventos como a cada 15 minutos ou você pode, como nosso, especificar uma data de término para isso. Digamos que só queira correr por um período ou por uma janela de 30 minutos. Se você clicar em Avançado, você tem muito mais opções aqui. Então você tem uma concorrência máxima, que é ótimo para o Data Factory. Então você pode definir o máximo consciente de alguns gatilhos de Daniel querendo pode definir um número para suas tentativas da política de repetição cadeira, então isso é ótimo também. Então você pode pensar nisso como algum tipo de validação onde você pode definir a integral para sua repetição, o que é ótimo. Portanto, as limitações são semelhantes às que temos para pipelines. Então você quer adicionar algum tipo de descrições ao seu gatilho. Você pode adicionar uma nova notação aqui. E isto quer dizer se está activado ou desactivado. E vamos para a loja eventos são eventos disjuntos. Você tem que definir uma conta de armazenamento. E aqui é onde você define o caminho que você quer ouvir. E aqui estão os eventos que você pode reagir sempre que um arquivo Blob é criado ou quando um arquivo Blob é excluído, então você pode realmente inteligente, você não pode ignorar arquivos fiscais ou, digamos, arquivos Parquet que eles estão vazios. Está bem. Então você, você não precisa, Você não precisa executar seu pipeline porque ele não vai carregar nada. Está bem? Em seguida, as mesmas permutações e ativados ou desativados e, em seguida, eventos personalizados. Porque alguns eventos que temos aqui, a assinatura e, em seguida, temos David poderia falar, pode nomear. Isso é criado fora do Data Factory. Então você tem seus assuntos, que é semelhante ao que temos para as contas de armazenamento, como o que você quer ouvir para reagir. E, em seguida, dados tipos, esses são todos os costumes que eu posso definir. E com isso, concluímos mais uma lição. Espero que tenha gostado. E se tiver alguma dúvida, mostre-me uma mensagem, passando os comentários, e eu responderei o mais rápido possível. Obrigado por assistir. 19. Componentes ADF - Tempo de execução no Azure: Agora, vamos falar sobre como estamos em tempo de execução de integração, vamos ver como ele funciona e por que isso é tão importante no ecossistema do Azure Data Factory. Então, para ver onde ele está localizado e onde podemos configurar, gerenciar. E você deve ser capaz de ver tempos de execução de integração, como você pode ver aqui. Por padrão, quando você cria um novo Data Factory, ele vem com um tempo de execução de integração padrão em poucas palavras. E a integração no prazo é uma infraestrutura de computação que está executando todas as suas atividades nos bastidores. Há quase três tipos de tempos de execução de integração, mas estamos vendo aqui é o outro tipo. Também podemos ter o tipo auto-hospedado e SSIS integração runtime. Então, basicamente, quais são as diferenças entre custos e restrições de rede? Quando usamos o Tempo de Execução de Integração do Azure, isso é basicamente destinado a ser usado entre recursos no Azure. Ou, por exemplo, quando ele se conectou ao Amazon S3 ou a outros recursos da nuvem. A beleza do Azure Integration Runtime é que ele fornece uma computação sem servidor totalmente gerenciada. Em outro sentido, ele fornece toda a infraestrutura para você. Você não precisa pensar na instalação e aplicação de patches de software ou na escalabilidade da capacidade. Agora, vamos ver como funciona o tempo de execução de integração auto-hospedado. 20. Componentes ADF — de integração controlada de tempo de execução: Agora, se você quiser trabalhar com o tempo de execução de integração auto-hospedado, ele precisa ser criado manualmente e para nós criarmos um novo tempo de execução de integração auto-hospedado. Você clica em Novo. E nós temos a opção como xr auto-hospedado integração runtime. Então, vamos em frente e clique em Continuar. Como você pode ver, temos algumas opções para escolher. E aqui podemos ver mais informações sobre o auto-hospedado. E aqui temos um auto-hospedado vinculado. Então vamos começar com o auto-hospedado. Com o auto-hospedado se você quiser realizar algum tipo de integração de dados de forma segura em uma rede privada, que não tem uma linha de visão direta do ambiente público. A auto-hospedada. O auto-hospedado significa que você tem uma computação em sua própria rede. Instalar o tempo de execução de integração nesse recurso de computador específico que você deseja que é validado usando uma chave fornecida no momento da criação. Então vamos em frente e continuar. Você pode dar um nome a ele. Podemos criar. Agora, meu tempo de execução de integração auto-hospedado é criado. Como pode ver, tenho uma chave 1 e uma chave. Em seguida, ele me dá um link para baixar o tempo de execução de integração. Então, uma vez instalado, ele me mostra quantos nós estão instalados, se estão sendo atualizados ou não, se são compartilhados. Então, vamos clicar em Download indo para me redirecionar para a página da Microsoft. E podemos ver que temos este botão Download. Vamos fazer o download. E eu vou pegar o primeiro. São 700 MB. Então você tem que ter algum espaço no seu computador e começar a pausar este vídeo e retornar. Quando é que solos? Eu cliquei no instalador e vamos em frente e ver como ele se parece. Eu vou dizer o próximo. Aceitar. Próximo. É uma instalação muito fácil. Vou instalá-lo agora. Quando você finalmente terminar a instalação, Esta é a página que você verá. Isso é o que vai validar seu tempo de execução de integração auto-hospedado com o outro. Então vamos voltar aqui para aquele que acabamos de criar. Vamos pegar a chave. Você pode escolher qualquer um deles. A razão pela qual temos duas chaves é para fins de segurança. Imagine que você deseja renovar a primeira chave porque você não tem certeza de quem a tem. E quando eu validar, você deve ser capaz de pegar um dos dois e reciclar um deles. Ok, então vamos buscá-lo. O primeiro. Então eu vou colá-lo aqui, tem validado. Então eu posso mostrar as chaves de autenticação, que é o mesmo. Não se preocupe, isso é apenas para demonstração e será excluído. Vou me registrar. Agora, é muito datado e você tem essa dica de ferramenta aqui. Isso é algo que você deseja usar da sua intranet. Então vamos dizer que se você tem mais de um grau de tempo de execução em execução na mesma rede e você quer que eles se comuniquem uns com os outros, para usá-los como um failover, algo que você poderia habilitar isso e então há uma maneira de você comprar os dados, mas vamos deixá-los como estão no momento. Então, vamos terminar. Legal, agora está validado. Temos um nó que foi registrado com sucesso. Então vamos iniciar o gerenciador de configuração. E é assim que parece. É bem simples. Não há muito o que fazer aqui, é apenas o caso. Se você quiser solucionar problemas de alguma conexão. Por exemplo, você tem configurações aqui. Se você tem algumas configurações de proxy em seu computador, geralmente não é para fazer aqui porque ele pega a partir das variáveis de ambiente. Faça o diagnóstico de nós. Se você quiser exibir os logs ou se em uma conectividade de teste como ele estaria funcionando a partir do ADF, você pode obter a origem e você pode escolher o servidor. Que tipo de autenticação você deseja. Então, digamos que imagine que estou selecionando SQL Server, ocorrem para obter autenticação do Windows em nosso básico, que é um log SQL. E passava as credenciais por ano e passava a minha ligação. Ok, Então esta é a atualização no ADA atualizações é automática é apenas para fins de informação aqui e ajuda Se F encontrar alguns links para algumas informações. Então vamos fechar isso. Chegarei a isso. E como você pode ver, ele fica verde. Eu não tenho nenhuma configuração VPN. É uma configuração bem básica aqui. E minha conexão depende da conectividade do tempo de integração usando minha autenticação de chave. Aqueles pequenos não foi um ano. É monitorado por atividade na minha integral desde o tempo. Ele mostra a utilização da minha CPU ou o minuto O que está acontecendo com a versão, a memória disponível para mim para executar. Informações básicas e a taxa de transferência também. Quantos trabalhos simultâneos podem ser executados ao mesmo tempo. Se você provisionar mais recursos, poderá ter mais ordens de produção simultâneas ao mesmo tempo. E se você tiver muitas coisas em julho, quanto recurso disponível para pipelines será alocado para a habilidade e eles continuarão indo até que haja um recurso disponível para eles executarem. Então aqui estão as atividades. Você pode encontrar todos os oleodutos que é eluição que o tempo já ganhou. Olhando para esta página, ok, aqui estão os cinemas livres para filtrar por quanto tempo você quer verificar? Normalmente, é definido como padrão para durar 24 horas. É isso. Obrigado por assistir. Fique atento. 21. Componentes ADF — integração coordenada de - de execução: Olá, e bem-vindos a outra lição. Agora vamos falar sobre o tempo de execução de integração auto-hospedado vinculado. Se vieres gerir. Você deve ter notado que quando selecionamos como auto-hospedado, há outra opção aqui, vinculado IR auto-hospedado. Você pode clicar em Saiba mais. E podemos ver que há uma documentação abrangente aqui. No entanto, se clicarmos aqui, o tempo de execução de integração auto-hospedado vinculado, é bastante útil quando você não pode se dar ao luxo de ter mais de um tempo de execução de integração auto-hospedado em sua rede corporativa. Ou você simplesmente não quer criar outra pesquisa computacional para ser dedicada, o tempo de execução de integração auto-hospedado. Então, nesse caso, você pode vincular a essas árvores de efeito para usar apenas um runtime de integração auto-hospedado vinculado. Além disso, um tempo de execução de integração auto-hospedado só pode ser vinculado a um único que seja uma fábrica. Portanto, isso também é útil em cenários em que você deseja criar um pipeline CICD para um data factories, você faz referência apenas a um tempo de execução de integração auto-hospedado em vez de ter que gerenciar vários runtime de integração auto-hospedada. Agora, vamos dar uma olhada em como ele funciona na prática, como podemos configurar isso. Então, para fazer isso, precisaremos primeiro criar outro Data Factory porque neste momento só tínhamos um. Então volte para o portal, procure onde as fábricas de dados. Já tivemos um ano, então criamos outro. Vou copiar este nome. Criar. Vamos selecionar o mesmo grupo de recursos que criamos antes. A minha região será a Europa do Norte. Vou adicionar outro número para o meu nome. Vou ignorar a configuração, vou pular a rede. Não estou habilitando nenhuma criptografia. Nesse caso, eu vou viver vazio com você e criar K. Então ele fica configuração. Vou apenas selecionar configurar o Git mais tarde. Ok. Então vá em frente e crie. Ok, o foi criado. Agora, vamos para o grupo de recursos onde ele é implantado. Louco. Podemos ver a fábrica de útero que acabamos de criar. É este vinho com O2 na frente. Ok, esta é a nova fábrica de dados que acabamos de criar. Como você pode ver, MT, Sem Pipelines, não conjuntos de dados gerenciam. Temos apenas um tempo de execução de integração. Este é D'Azur, um que vem com todo o novo diretório é você criar. Agora vamos supor que eu queira usar o mesmo tempo de execução de integração auto-hospedado que criamos para o outro Data Factory. Para fazer isso, temos que dar alguns passos. Quero primeiro permitir que meu novo Data Factory acesse meu sistema operacional Data Factory. Então, vamos para o tempo de execução de integração criado anteriormente. Construímos esta página. Temos que abrir o tempo de execução de integração auto-hospedado que já temos. E então há uma guia chamada compartilhamento. Então vamos clicar nisso. E você pode ver que este é o local onde você concede permissões para outro Data Factory. Então esta é uma relação um-para-um. Uma vez que eu selecionar isso, você pode ver que ele me traz todas as fábricas de dados existentes que existem na minha assinatura ou a dentina um e conectado. Então vou selecionar esse cara aqui. Este é o que acabamos de criar chapéu, e ele vai conceder as permissões. Está tudo pronto. Agora, o segundo passo que eu preciso fazer é pegar o ID do recurso do meu tempo de execução de integração auto-hospedado existente. E então, no meu novo Data Factory, eu quero criar um novo tempo de execução de integração auto-hospedado. Mas, neste momento, ele será vinculado o tempo de execução de integração auto-hospedado. E eu vou clicar em continuar. Como pode ver, não há muito o que fazer aqui. Só precisamos dizer que isso afeta o recurso que eu quero ligar. Então este será o meu tempo de execução de integração auto-hospedado existente que podemos criar. E é isso. Como você pode ver, não há nada para carregar aqui. Não há nenhuma chave para um auto-hospedado em seu computador porque ele já foi feito antes. A chave gerenciada aqui é que ela está associada a algo que já foi configurado antes. Então o tipo agora é auto-hospedado. E vem correndo porque esses dados aqui também estão sendo executados. Ok, então você pode ver auto-hospedado, IR de auto-hospedado. E se eu clicar aqui, eu posso ver que há apenas dois recursos AG. E o outro, se eu clicar em match, eu tenho as chaves, denota os upbeats, shadow ou meu tempo de execução de integração auto-hospedado. E agora eu posso ver que eu tenho minhas permissões graduados. Isso é tudo por enquanto. É assim que configuramos um tempo de execução de integração auto-hospedado vinculado ou queijo para o recurso. E por assistir. Vejo-te em breve. 22. Componentes ADF - Azure-SSIS de dia de execução: Agora vamos dar uma olhada em nossa terceira opção, que é o ASOR SSIS. Vamos para New. E aqui podemos ver que temos uma segunda opção para o SSIS do Azure. Então, vamos clicar no trinco. Então, por que precisamos dessa terceira opção? Tantos clientes, às vezes eles acham difícil migrar todo o pacote SSIS para pacotes ADF nativamente ou pipelines. Portanto, a razão pela qual temos este SSIS do Azure é basicamente para levantar e mudar pacotes dos seus recursos locais para o Azure. Quando você tem o SSIS do Azure, ele também é um senhor totalmente gerenciado. Nos bastidores, esses são inhames dedicados a executar aqueles como pacotes de avaliação. Aqui você pode observar também que uma licença é necessária porque você está executando componentes do SSIS, que significa que você precisa de uma licença para o SQL Server. Assim, você pode aproveitar um recurso chamado trazer sua própria licença. Dessa forma, você pode ter desconto, que significa que você está usando suas licenças locais na Nuvem. Da mesma forma, você terá a capacidade escolher recursos de suas próprias máquinas virtuais no prem. Aqui, você também pode escolher o número de nós disponíveis para o seu tempo de execução de integração puro. E você pode escolher o tipo de máquina que quiser. E, claro, quanto mais recursos você provisiona, mais vai custar-lhe no final do mês. Se você deseja economizar algum custo, você pode pausar essa integração com o tempo que desejar. Aqui você tem o local onde deseja implantar seu cluster de máquinas virtuais. Idealmente, você deseja escolher uma região próxima à sua localização física ou à localização física onde seus dados são armazenados selecionando o local certo do tempo de execução de integração do SSIS é essencial para executar a taxa de transferência. Dessa forma, seus dados podem viajar menos para chegar ao destino final. Agora, vamos dar um nome a ele e continuar com a criação de nosso tempo de execução de integração. Então eu vou dizer meu tempo de execução de integração SSIS, indo para comprar a data, o nome, o nome é. Ok, eu posso dar uma descrição que eu quero. Eu diria apenas ir em contínuo. Uma coisa interessante a notar aqui é o fato que precisamos de um local para armazenar os pacotes SSIS. Nesse caso, você precisa ter uma Instância Gerenciada SQL ou um banco de dados SQL que será servido como um banco de dados SSIS. E você vai guardar esses pacotes lá dentro. Então, no meu caso aqui, eu não tenho nenhuma instância criada ainda. Então eu vou parar aqui porque o propósito desta demonstração é apenas para mostrar a vocês como o uso do SSAS e qual é o propósito disso? Com isso, concluímos mais uma lição. Obrigado e fique atento. Vejo-te em breve. 23. Teste - módulo 3: Bom. 24. Como injetar dados usando atividade digital no Azure Data Lake Lake 2: Nesta lição, vamos usar a atividade de cópia para mover dados de um lugar para outro. Usaremos um arquivo Excel localizado no meu computador como fonte e o ASU Data Lake que criamos como destino. Como segundo exemplo, usaremos um bucket do S3 na AWS como origem e um banco de dados SQL Server como destino. Eu não vou para os detalhes como configurar um buckets do Amazon S3 porque apenas fora deste código, que é o mesmo para o banco de dados do SQL Server, vamos apenas supor que tudo foi criado para nós. E como engenheiro de dados, só precisamos mover dados de um lugar para outro. Então, sem mais delongas, vamos começar. Oi, Vamos dar uma olhada através de objetos que criamos que precisaremos seguir em frente com esta lição. Vamos começar com gerenciar, e vamos dar uma olhada no serviço vinculado. Você tem que se certificar de que uma das opções que você tem aqui é o data lake que nós criamos antes. Legal. Agora vamos verificar os tempos de execução da integração. E você deve ter o tempo de execução de integração auto-hospedado. E deve estar funcionando. Se você tem dois objetos aqui e eles são todos verdes, você está bem, você está pronto para ir. Agora, vamos começar. Voltando para a página inicial. Vamos criar um serviço vinculado ao nosso arquivo Excel. Então vá para Gerenciar links e serviços. Clique em Novo. E agora vamos procurar pelo sistema de arquivos. Isso ocorre porque os arquivos são obviamente armazenados em nosso computador local. E precisaremos de um serviço vinculado ao sistema para obter esse arquivo e preencher uma conta de armazenamento com esse arquivo. Este arquivo estará disponível como um recurso para que você possa baixá-lo na seção de aula. Então o arquivo é algo como isso, é apenas um exemplo de dados que imita um tipo de sistema de ordem. E você tem AIDS e nome para as pessoas. Eu iria apenas salvar este arquivo na minha pasta Temp unidade C e, em seguida, vamos levá-lo a partir daí. Vamos em frente e criar nosso serviço vinculado. Tão continuum. Vamos usar. Isso é muito importante para o seu cenário funcionar, é selecionar meu tempo de execução de integração auto-hospedado. E agora eu vou apenas dizer onde é o local, onde meu arquivo está armazenado? E aqui está o nome do usuário no seu computador. Isso é o que autorizará o Azure Data Factory a se conectar ao seu arquivo. Você pode usar seu próprio usuário. Aqui, eu apenas como um exemplo, eu não vou criar um novo usuário. Só uso minha própria conta e testarei minha conexão. O que você sabe? Por isso, foi criado com sucesso. Então podemos ir em frente e terminar a criação. E aqui devemos ver um novo criadores de sistemas de arquivos. Esta é a minha violação da localidade CSV. Como podem ver, temos a nossa fonte e os nossos alvos são realmente criados. Agora, temos que ir em frente e criar um conjunto de dados. Então, no lado esquerdo, vá para o autor, vá para conjuntos de dados. E aqui sobre as ações de pão ralado, novo conjunto de dados. Aqui temos que encontrar qual é o sinal dos conjuntos de dados com os quais vamos estar lidando. Lembre-se, nós criamos um link servidores como um sistema de arquivos. Então vamos procurar pelo sistema de arquivos. No nosso caso, é um arquivo csv. Então é um texto delimitado que criei como um arquivo delimitado. Certo, então vamos selecionar isso. Esse é o nome do meu conjunto de dados. Lembre-se não é o nome do arquivo, e eu vou ter minha conexão local aqui. Tenho que dizer que Ramified está localizado. Eu poderia ter subpastas dentro do meu caminho, mas como eu não tenho nenhuma, eu posso simplesmente excluir esta parte e dizer qual é o arquivo. Então lá vai você. Agora está selecionado. Tenho algumas opções para escolher aqui. Então eu poderia importar o esquema ou obter uma amostra do arquivo. Eu poderia saber aqui se quisesse algo mais tarde ou apenas de conexão, loja de barra. Vai escotilha. Agora vamos ver. Brilhante. Temos nosso primeiro conjunto de dados. Podemos nos conectar. Deve ser bem sucedido também. E aqui eu tenho muitas coisas para manipular meu arquivo, se eu quiser. Por exemplo, se eu quisesse citar o arquivo de configuração de campo porque pode haver vírgulas em vez da célula. Então há um monte de coisas que eu posso fazer aqui. Então nós esquema e eu posso dizer importação, meu esquema e eu temos parâmetros também. Já está tudo pronto. Então vamos em frente e publicar para salvar nosso conjunto de dados. Perfeito, temos nossa busca. Agora temos que criar outro conjunto de dados para o nosso destino. Novo conjunto de dados. Vou selecionar o Azure Data Lake. Eu seleciono o texto? E eu vou dizer, ok, porque eu não tenho nenhum local ou qualquer arquivo na minha conta de armazenamento, eu poderia criar uma estrutura de pastas dentro dela para uma permissão específica em uma pasta específica. Mas vamos ficar com o padrão. E o arquivo deve ser descartado no nível raiz da conta de armazenamento. Certo, e aperfeiçoados, tivemos nosso segundo conjunto de dados. Foi criado. Então vamos entrar e publicá-lo novamente. Publicações perfeitas concluídas. Agora temos de criar o nosso oleoduto. Nosso pipeline lembrar, é o que vai encapsular todos os objetos que acabamos de criar, que é o serviço vinculado, que é o conjunto de dados aqui no tamanho certo. Agora temos a opção de esconder isso um pouco. Então, para este exemplo, vamos estar usando atividade beta de berço e essa árvore de efeito. Temos apenas uma tarefa que contém fonte e pia, que é o seu destino. Aqui é onde vamos estar selecionando os conjuntos de dados que acabamos de criar. Então, minha fonte, estaremos no meu computador local. Meu destino de testes de arquivo CSV Azuri será o Data Lake Gen2. Então, vamos clicar na caixa. Há ambos selecionados. Se eu não tiver selecionado um arquivo específico no meu conjunto de dados, eu poderia obter miopatia curinga e tudo por baixo desse arquivo seria copiado. Eu poderia listar os arquivos também, se eu quisesse. Você também tem um recurso muito legal aqui, que são os dados de visualização. Vamos clicar nisso e ver o que volta para nós. Brilhante, se você se lembra, este é o arquivo que salvamos em nosso computador local. Aqui, como você pode ver, ele está tratando nosso cabeçalho como uma recreação real, configurar o arquivo, e nós não queremos isso. Então, vamos excluir isso. Se houvesse a prática. Um será a data do pedido, região e assim por diante, assim por diante. Para fazer isso, temos que voltar ao nosso conjunto de dados para corrigir esse problema. Vamos expandir isso novamente para ver nossos conjuntos de dados. Nesse caso, será o meu arquivo CSV Teste. E aqui posso configurar onde está a primeira linha do meu arquivo? Você pode selecionar esta primeira linha como um cabeçalho. Ok, está tudo pronto. Vamos voltar ao nosso oleoduto. E aqui no conjunto de coisas que podemos novamente, para seus dados, devemos ter o cabeçalho apropriado. Legal, é tudo perfeito e configurá-lo. Ok, agora vamos dar uma olhada na nossa pia. E não há muito a fazer aqui é apenas o caso que se estamos lidando com muita informação a ser transferida, você pode configurar a extensão de arquivo que você deseja. Você pode configurar o comportamento de cópia. Se, por exemplo, para lidar com arquivos JSON, você deseja nivelar a hierarquia do arquivo. E aqui você pode dizer qual é a extensão que eu estarei pronto no meu arquivo. Pode mudar se quiser. No meu caso, vou salvá-lo como um arquivo CSV. No meu mapeamento. Eu não preciso fazer entidade aqui porque os alunos já importaram. Então, basta ir para Configurações. E aqui está como meus 50 são paralelizados com todas as opções padrão. E aqui estão as propriedades do usuário e algo que eu não quero fazer nenhuma cadeia agora. Portanto, nosso primeiro pipeline está configurado corretamente. Então vamos publicar. O Freeland. Todos nós conjuntos, temos nossos conjuntos de dados, criativos, temos nossos pipelines, temos nossos Serviços vinculados criados. Isso é muito legal. Agora, vamos analisar isto e ver como vai funcionar. No entanto, antes de prosseguirmos, Há uma pista sobre a defecação que precisamos fazer em nosso conjunto de dados, ir para o CSV alvo nessa direção também. E se você se lembra bem, eu tinha deixado vazio. Precisamos de uma pasta para saltar para o arquivo. Se eu tivesse navegador distinto aqui, Eu tenho agora uma pasta e configurar o data lake. Mas você não precisa criar isso de antemão. Você pode apenas dar qualquer nome que você quiser um ano. E se não existir, esse efeito, nós criaremos isso para você. Meu CSV localização um. E depois publicarei isto. Ok, conjuntos de dados agora publicados, essa foi a única modificação que eu fiz. Tudo o resto é igual. Ok, então vamos executar agora o nosso oleoduto. Ok, para rodarmos o pipeline, podemos ter a opção de depuração, que é, eu quero executar isso agora, e não depende de cada dedo. E então eu também tenho um gatilho, o que significa que eu aciono agora ou eu tenho novo e edito para criar um novo gatilho. Então vamos apenas apertar Debug e ir em frente e ver como vai funcionar. Ok, nosso oleoduto agora é enorme. Está na fila de dados. E esta é a beleza que, que a árvore de efeito criou para nossa atividade. Então lembre-se, está combinando tudo aqui, juntando todas as peças para transferir nossos dados. E o que você sabe? Nosso arquivo foi transferido? Lembre-se, nós não tínhamos uma pasta chamada ratos sim, geolocalização. E foi criado com certeza. Então você pode ver que foi bonito com sucesso, ele foi transferido com sucesso. Bem, na duração que levou para cada um desses passos, dias felizes, temos tudo pronto e nosso arquivo deve estar no data lake. Mas agora, como nos certificamos de que ele está no data lake? Vamos dar uma olhada. Eu vou para o portal. Eu iria apenas digitar portal dot azure.com. Aqui no conjunto de coisas do Data Lake eu vou procurar por contas de armazenamento. E eu tenho meu Data Lake ADF que criamos para este projeto. Além disso, temos a visualização do Storage Explorer e temos contêineres. Então aqui dentro do meu contêiner, há meus incêndios por ano. Voltando ao meu conjunto de dados. É assim que eu dividi os arquivos. Sempre que você vê aparelhos auditivos do sistema de arquivos presos em cerca de um contêiner, você precisa ter um contêiner. Eu vou apenas então principal pasta diferente aqui. Pasta um. Como você pode ver, voltando ao Data Lake Storage Explorer, há nenhuma pasta é definida no nível raiz, então você não precisa se preocupar em criar uma nova pasta. Você pode simplesmente voltar, dar um nome ao seu conjunto de dados, um nome de pasta dentro de seus conjuntos de dados. Publicar. Certo, ótimo, It Snow publicado. Agora podemos reexecutar nosso oleoduto, distorcendo nosso oleoduto e L, ele deve funcionar em alguns segundos. Então nosso arquivo foi criado. Então podemos verificar de duas maneiras. Você pode verificar novamente a partir do sistema de arquivos aqui em vez do conjunto de dados, se eu voltar para a conta de armazenamento, eu vejo meus novos locais. Dois contêineres podem ser criados. Vou selecionar esta linha. E agora eu tenho uma nova pasta e o arquivo anterior que eu tinha deixado cair. Então deve haver um novo arquivo no ano. Ótimo, ou arquivos aqui, isso é perfeito. Da nossa visão do explorador de armazenamento, podemos voltar com fresco. Você pode ver que temos uma nova pasta e os arquivos aqui. Legal, isso é tudo por agora. Espero que tenha gostado. Nosso próximo exemplo será a transferência do arquivo de colchetes do armazenamento de sangue da Amazon. Ok. E então não significa esse arquivo dentro de um banco de dados. Obrigado. Fique atento. 25. Como copiar arquivos do AWS S3 do Azure SQL Database: Olá pessoal, bem-vindos a outra lição. Espero que tenham gostado da nossa última demonstração. Agora vamos analisar como podemos carregar dados do Amazon S3 para o SQL Server usando a atividade de cópia. Esta é a mesma atividade que usamos antes. A diferença agora é o serviço vinculado que terá um formato diferente. Assim, apenas como um pré-requisito, você deve ter configurado seu próprio bucket do S3. A configuração de buckets do S3 na AWS está fora do escopo. O mesmo para configurar um SQL Server. Ok, então vamos sujar nossas mãos e ver como isso funciona. Eu tenho aqui a AWS. Eu vou abrir. Eu tenho o meu S3 que eu tinha nomeado treinamento de teste Ozzie 2020 000. E como podem ver, o balde está vazio. Antes de fazer qualquer coisa, ele fará upload dos dados para o Amazon S3. Vou torná-lo disponível o arquivo que estou usando aqui, É apenas um arquivo simples. Então, antes de irmos em frente e queremos mostrar a vocês como o arquivo se parece. Este é um projeto que está no GitHub. Você pode visualizar seus arquivos de pacote aqui. Se você tiver alguns erros no seu computador, ele também funciona, ok? Então, meu arquivo de backup é chamado de dados do usuário entre colchete. Então eu apenas selecionei este e este show tabela aqui selecionado. E eu vou enviar o arquivo porque eu só quero ver rapidamente como ele se parece. Então você vê aqui é apenas um simples dados, monte de coisas aleatórias, ok? Há, há dados suficientes aqui para fazermos asneira. Então, se quiser dar uma olhada nesses sites quando você tiver uma chance, isso é chamado de sua taxa online.com. Então sabemos como é o nosso arquivo. Agora, vamos carregar esse arquivo no Amazon S3. É muito simples, basta fazer upload ou upload aqui em cima. Sua escolha. Então adicione arquivos. Vou levar este arquivo e dados do usuário um, É como modificadores, apenas um 100 kilobytes. Vou fazer o upload do arquivo. Não deve demorar muito. Foi bem sucedido. Ok, está acabado. Então, temos nossa cidade de dados no Amazon S3. Certo, vamos voltar ao Azure Data Factory. Vou configurar o nosso primeiro serviço Linkerd, que vamos analisar, o Amazon S3. Então, vamos em frente e clique em Gerenciar e serviços vinculados. O novo Amazon S3 estará aqui no topo. Eu acho que um requisito muito comum para ingerir dados do Amazon S3. Sei que a Microsoft investiu uma enorme quantia de dinheiro para tornar essa conectividade confiável e rápida. Então, vamos em frente e clique no Amazon S3 e nomeá-lo como Meu primeiro Amazon S3. Agora, se você se lembrar, um dos casos de uso são o tempo de integração de resolução automática ou execução de integração de Zurique é mover dados ou acessar recursos em diferentes nuvens. Nesse caso aqui, teríamos usando meu vínculo de especificação da Microsoft nos fala da AWS. Aqui temos duas opções. Temos a chave de acesso. Quando você cria um usuário na AWS, você recebe uma chave de acesso e uma chave secreta. Esta é a primeira opção aqui para autenticar no serviço da Amazon, ou você tem credenciais de segurança temporárias. Então, basicamente, este é um token que é concedido a você e ele expira depois de um tempo. Então vamos usar a chave de acesso para esse caso. E eu vou colar aqui e esta chave será temporária. E vou colar a minha chave de acesso, e agora vou ter a minha chave de acesso secreta. Ok, agora que temos nossa chave de acesso secreta, temos uma opção aqui chamada serve o URL. Então, basicamente, isso é se você deseja acessar o S3 através de um endpoint diferente, você pode selecionar isso. A faculdade tem três conectores que você quer mudar para algo diferente aqui. Se você realmente sabe o que lágrimas na maioria dos casos, ele estará vazio. Portanto, agora você pode querer testar sua conexão para ver se o S3 existe ou se o usuário está funcionando corretamente. Ok, então é uma boa idéia selecionar o caminho do arquivo. Aqui passamos o nome do nosso bucket, que será treinamento ADF ou apenas copiado do bucket. Para que não percamos tempo. Então n aqui, uma vez que não temos nenhum diretório dentro dos buckets, que poderíamos criar se quiséssemos adicionar. Mas está no nível da raiz. Certo, então vamos nos dar isso e Testar Conexão. Sim, está tudo funcionando. Agora, estamos todos prontos para começar a obter dados do Amazon S3. Vamos ao Criar ano. E foi criado. Agora temos que olhar para o nosso banco de dados SQL. 26. Criando o banco vinculado no Azure SQL SQL: Vou passar para o portal do Azure agora. Então eu iria apenas pesquisar ou banco de dados SQL que eu criei. Eu criei um banco de dados SQL bem pequeno. E vamos ver como vai. Você tem um monte de configurações. Então, como você pode ver, eu só tenho 20 mega espaço, mas como nossa parte superior ocupa apenas sim, 100 KB, nós devemos ficar bem. Tudo bem, então o que precisamos fazer aqui agora é o seguinte. Precisamos obter o nome do servidor para que possamos criar estão dispostos a servir como. Então eu vou copiar isso, voltar ao Data Factory e clicar no novo serviço Lincoln. Então vou procurar por SQL. Vou apenas selecionar a partir CSER ouvir banco de dados SQL. E novamente, vamos usar o tempo de execução de integração de resolução automática, ok, porque estamos dentro do backbone do Azure, não há nenhum ponto para que possamos sair para o auto-hospedado e voltar. Então nós vamos, nós podemos, se quisermos uma fita em um dinheiro semente por, por qualquer motivo, e não usar recursos computacionais do CSER. Isso é possível, mas há uma penalidade de desempenho para isso. Então vamos ficar com essa opção. E acabei de selecionar para minha assinatura. Eu vou pegar meu 78 porque ele fica povoado. Eu não precisava realmente fazer nada lá. Então, tudo bem. Como você pode ver, eu criei um banco de dados aqui antes. Isso é um trem ADF é igual a um. E o que vou fazer aqui agora é criar uma credencial para o meu banco de dados SQL. Não tenho a minha configuração tradicional, sim. Como você pode ver, eu tenho três e métodos para autenticar no meu banco de dados. Eu tenho autenticação SQL. É apenas um usuário e senha que é criado eSight do banco de dados é a credencial padrão. Você também tem a Identidade Gerenciada. Identidade gerenciada é o usuário que é criado com o Data Factory. Portanto, ele contém o nome da fábrica de dados para que você não consiga a senha é que está tudo nos bastidores. você também tem a oportunidade de usar os princípios de serviço Principal de Serviço, como credenciais de uma conta de serviço. Então você tem a locação e você tem os participantes pontudos e chave de princípio de serviço. Então, essas são coisas que você precisará configurar. Mas o que eu vou fazer aqui, já que é menos complicado criar e também mais seguro é a identidade gerenciada. Vou ficar com esta opção. Só preciso ter certeza de que meu banco de dados autorizou o acesso a esse objeto. Então, para fazer isso, vou abrir meu Management Studio e ver como ele está configurado. 27. Identidade de dados do Azure SQL DB no data Factory: Ok, eu abri meu Management Studio e eu fiz login no meu SQL Server, servidor virtual. E como você pode ver aqui, eu criei um banco de dados simples. Este banco de dados está vazio. Não há tabelas, nem logins também. Então o que precisamos fazer aqui agora é criar um usuário com o nome da fábrica de dados. Dessa forma, o SQL Server entenderá que esta é uma identidade gerenciada. Portanto, a sintaxe para criar o usuário é a seguinte. Vamos abrir um novo editor de consultas, está bem? E, em seguida, vamos digitar usuário. E preciso saber o nome da minha fábrica de dados. Então eu vou voltar para que uma fábrica. Vou copiá-lo novamente. O nome do usuário, volte para o Management Studio. Digite, o nome do usuário aqui. E é assim que funciona a partir de provedor externo. Como você pode ver, não há senha aqui, apenas provedor externo que indicará esses usuários que eu existiria dentro do Active Directory. No entanto, há outra coisa que temos de fazer. Primeiro. Se você for e clicar em executar, você verá que há uma mensagem de erro aqui. Ele diz que as conexões podem ser estabelecidas se com a conta do Active Directory. Está bem? Então, como eu mostrei a vocês no início, eu estou conectado usando, e eu digo um condado, este é um log SQL. Para que eu possa criar um usuário do Active Directory, eu preciso estar conectado a uma conta I, AD. Então, para fazer isso, mostrarei rapidamente como ele funciona no portal dentro do Azure AD para que você possa acompanhar. Ok, isso está um pouco fora do escopo deste treinamento, mas para você seguir adiante, vamos ver como ele funciona. Portanto, pesquise o Azure Active Directory. Se você tiver direitos para fazer isso, é claro, no lado esquerdo, procure grupos e crie um novo grupo. Eu só vou nomeá-lo para nós para mim. E então aqui eu vou pegar os números. Vou procurar o meu usuário, que é um usuário que estou logado em um momento. Agora, precisamos voltar para o portal. E irei para o meu SQL Server e selecionarei vários domínios do Active Directory AD recriados. Como você pode ver, nenhum Udemy do Active Directory foi definido. Eu vou definir administrador, e então eu vou escolher o grupo otomano que acabamos de criar. Selecione. Em seguida, Salvar. Ótimo, agora está salvo. Voltando ao meu estúdio de gerenciamento, devo conseguir fazer login com minha conta. Ok, então vamos abrir uma nova conexão, o mesmo servidor. Uma diferença agora será universal com MFA. Você deve estar usando uma das versões mais recentes do Management Studio para que essa opção esteja disponível para você. Está bem. Acho que é das 18 horas. Então esse é o meu endereço de e-mail. Gostaria de ver se funciona. Está bem. Irá pedir-me a minha palavra-passe. Ok, ótimo. Agora sou Connectors, mas agora sou a Udemy dessa conta porque acabei de definir minha própria conta Udemy que está dentro do grupo como domínio do Active Directory. Então eu posso fazer qualquer coisa aqui em vez desta conta. Agora, vamos voltar e abrir um novo editor de consultas sob minha nova conta, ok, e meu e-mail. Vou copiar as mesmas declarações um pouco antes, então, basicamente para aqui e apertar Executar. Brilhante. Ok, agora está criado. Temos uma nova conta em um banco de dados. Ok, este é um usuário contido no banco de dados que faz referência a um objeto dentro do Active Directory. E então você pode ver que está sendo criado aqui. Agora devemos conceder permissões a esse cara porque no momento ele só tem permissões para se conectar. Então precisamos ir e permissões para esse cara. Lembre-se, concedi a honra, o usuário. Porque eu não quero ser restringido nada e eu vou acertar execuções. Ok, agora é concedido como o além. Vamos voltar ao Data Factory e testar. Está bem, está aqui. É a mesma coisa que você vê. Essa é a conexão. E a ação falha. Vamos ver por que ele falha. Ok, se escolhermos mais um, devemos ter uma mensagem. Certo, então o endereço da API do cliente não está autorizado a acessar esse servidor. Ótima. Então este é um problema com um firewall. Podemos resolver isso rapidamente. Vamos voltar para o servidor. E aqui, você deve ter o firewall e as redes virtuais. Aqui tenho o endereço IP do meu cliente. O que eu preciso fazer aqui, eu só quero ter certeza de que nos permitem recursos e recursos para o servidor é Dois. Sim. Então, o que significa que todos os serviços do Azure, você poderá acessar meu servidor de banco de dados. Então pressione Salvar e ele vai atualizar se eu fosse regras, ok, ele não está atualizado. Então vamos voltar para aquela árvore de efeitos e vamos testá-la mais uma vez, alcançá-la conectou-se com sucesso. Agora, vou pular como está no momento. Legal. Nós configuramos nossos Serviços vinculados, nossa origem e nossa fonte de destino B, AWS e direcionados no banco de dados SQL. Agora, precisamos seguir em frente e criar o conjunto de dados. 28. Identidade de dados do Azure SQL DB no data Factory: Olá a todos. Agora que criamos nossos Serviços Vinculados, temos que criar nossos conjuntos de dados. Vamos ao autor. Então. No lado esquerdo, vamos clicar em Ações e novos conjuntos de dados. Vamos começar com o Amazon S3, que é a nossa fonte, tornar-se isso. E depois continuando. Aqui, temos que escolher nosso tipo Beta, que é um arquivo. Vamos selecionar e travar. E meu serviço vinculado seria meu primeiro Amazon S3. Então eu vou clicar em Ok. Agora temos nosso conjunto de dados criado ou S3. Vamos criar um para o SQL Server. Vamos entrar e ajustar e procurar Nutella. Vamos procurar o Azure e vinculado aqui você pode encontrar o banco de dados SQL do Azure. Vamos clicar no continuum. Em seguida, eu vou obter meu primeiro serviço vinculado banco de dados SQL. Como você pode ver, eu não tenho nenhuma tabela criada. Está bem. É bem simples. Criamos os ponteiros para nossos conjuntos de dados. Um interessante aqui para notar é que aqui temos que escolher algo que afeta árvore precisa saber para onde os dados serão enviados. Então, se você clicar em Não aqui, quando você estiver criando nosso pipeline, você receberá uma mensagem de erro. Então, como não temos uma tabela criada, nosso objetivo aqui é criar uma tabela no tempo de sala com o mesmo esquema de nosso arquivo de arquivo. Então, para fazer isso, podemos clicar em Editar e, em seguida, dar-lhe o nome que quiser. Você tem que passar o nome do esquema primeiro. E então este será meu usuário ou um simples, ok, é assim que eu estou nomeando minha tabela. Cu criamos nossas duas fontes de dados. Agora, temos de criar o nosso oleoduto que irá desencadear as nossas actividades. Então vamos em frente e clique em Ações aqui. E novo oleoduto. Também usaremos a atividade de cópia aqui. Vamos analisar as opções aqui muito rapidamente e ver o que precisamos. Então vamos nomeá-lo como uma cópia. Esse é o nome da nossa atividade. Nossa fonte será o S3 que acabamos de criar. Em seguida, selecionamos o por kit e, em seguida, aqui temos algumas opções que você pode escolher. Então, neste caso aqui, estou passando informações que tenho no meu conjunto de dados. Mas se eu quisesse criar algo mais dinâmico, eu poderia obter um prefixo de um arquivo ou algum curinga, ou até mesmo uma lista de arquivos. Então aqui eu posso ter a chance de explorar o bucket S3. Vamos ficar com esta opção aqui. Vamos em frente e vamos sincronizar. A sincronização será o nosso alvo, que é o banco de dados SQL que criamos. Eu quero selecionar a tabela de criação externa, ok? Porque, como você pode ver isso, isso criará automaticamente um estábulo na minha pia se a tabela não existir, significa o nome que eu tinha no meu conjunto de dados. Isto é se eu quiser copiar as escrituras para uma sala, algum tipo de automação ou algum ano de preparação de scripts. Este é o tempo limite ou meu lote para o tamanho do lote se em um escolhido a dedo que, digamos para uma população e 1000 registros por lote ou um número diferente. Normalmente você, você vai ficar com o mapeamento de opções padrão. Podemos deixar isso vazio porque automaticamente Data Factory, vamos criar a tabela com base na parte do arquivo. Então, estas são as unidades de integração de dados. Ele se trata do tempo de integração de resolução automática. Aqui você pode especificar qual é o poder do seu tempo de execução de integração de resolução automática. Se você diz auto fábrica com base em suas próprias regras, vamos localizar mais recursos, consistência de dados automática e verificação aqui apenas basicamente especificar se a sua contagem de palavras corresponde na fonte e na pia. Qualquer um para mover arquivos através, ele vai obter o tamanho dos arquivos estão verificando. Binário dos arquivos é que vamos adicionar duração extra sua carga total, porque no final, ele ainda é precisa processar os dados e sistemas de verificação. Aqui está tolerância a falhas. Não precisamos nos preocupar com isso. Habilite o registro em log, se você quiser, digamos que se você tem alguma tolerância a falhas e você quer pular registros, e você quer ver quais foram os euros que aconteceu. Você pode habilitar o log e especificar um data lake ou um armazenamento de Blobs para despejar essa mensagem de log. Ok, então eu não selecionarei isso e habilitarei o preparo, que significa que antes de carregar seus dados em seu banco de dados, você pode preparar esses dados em seu Armazenamento de Blobs ou Data Lake, às vezes, dependendo do tamanho de sua carga. Isso pode ser útil porque, à medida que você estiver carregando em uma área de preparo, você carregará seus dados de forma paralela. Você pode obter mais taxa de transferência. Seus dados devem ir mais rápido do data lake para o SQL Server devido à distribuição de rede. Novamente, depende do tamanho do seu conjunto de dados. Você vai ter que experimentar e ver como vai. Não vamos permitir a encenação. E aqui na nossa fonte, você pode abrir seu conjunto de dados. Você só precisa passar o nome do bucket que criamos. E aqui você pode testar a conexão, ok? E você pode explorar o bucket do S3 se tiver permissões suficientes para fazê-lo. Vamos explorar. E aqui você pode ver o nome do meu bucket S3, e eu posso clicar nele e eu posso ver todos os arquivos que eu tenho dentro desse bucket. Vou apenas selecionar UserData Wine dot. E como você pode ver, ele está no nível raiz, então eu não tenho que especificar o diretório. E eu também posso visualizar os dados e ver como eles se parecem. Isso é muito bom. Então isso é um bom sinal de que podemos nos conectar e podemos alcançar. E vamos reter, publicar ou fazer bem. Vamos fazer isso e ver como se parece. Então, primeiro, vamos dar uma olhada rápida em nossa Instância do SQL Server e ver se temos alguma tabela criada. Como podem ver, as pessoas estão vazias. E vamos voltar para aquela árvore de efeitos em nosso oleoduto e ver se teremos uma nova tabela. Fizemos uma visão de conjunto de dados. Ok, então vamos estar acima. Então está na fila no momento. Está fazendo progresso. E o que você sabe? Foi bem sucedido? É um bom sinal. Vamos dar uma olhada rápida em nossa instância do SQL Server. Vamos refrescar isso. Ótima. Nossa mesa está aqui. Agora, vamos dar uma olhada rápida no resultado dessa tabela que selecionou os resultados desta tabela e ver se os dados estão lá. Declaração de seleção simples e nossos dados estão aqui. Você pode ver a tabela foi criada automaticamente. Apenas uma coisa que você tem que prestar atenção é o tipo de dados da sua tabela. Uma vez que está batendo na sua mesa em tempo real, ele realmente não sabe exatamente quanto espaço ele deve dar aos seus dados, seus dados varchar, ele vai querer adivinhar com base no seu arquivo Parquet. Como você pode ver, se você verificar a tabela, os tipos de dados de suas colunas. Tudo veio como qualquer varchar max em null. E vamos ver, o salário veio como flutuador. Você tem que fazer sua própria decisão. Certo, vamos voltar ao nosso Data Factory e adicionar um pouco de complexidade ao nosso pipeline. 29. Cópia parquet do AWS S3 no Data Lake e Azure SQL Database: Olá e bem-vindo de volta. Neste caso de uso, vamos obter o mesmo conjunto de dados do Amazon S3. Mas em vez de enviar os dados diretamente para o banco de dados, vamos usar um zoológico que a eleição para nós nossos desembarques em, você pode querer ter um data lake para agradar todas as suas fontes como um arquivo PDF antes de Saint em sua luta e sobre este nação. Este é um caso de uso comum porque as pessoas às vezes querem fazer algum tratamento em seus dados usando Databricks, HDInsight. Então vamos tentar imitar esse caso de uso e usar o mesmo arquivo Parquet para transferir para o nosso banco de dados e certificar-se de que o arquivo existe no data lake. Para este exemplo, vamos começar a publicar a partir do nosso último exemplo. Legal. Vamos voltar ao autor. Vamos expandir isso e vamos criar um novo conjunto de dados para transferir nosso arquivo Parquet. Vou criar um novo conjunto de dados. Vai ser o Amazon S3. Mas em vez de ser arquivo Parquet, eu vou selecionar arquivo binário. Assim, eu não tenho que Egypt Parquet arquivo no Amazon S3 no meu serviço vinculado será o mesmo. Apenas meu caminho de arquivo aqui, você fornece o nome do nosso bucket, 2020 0, 0, e isso está vazio. Podemos explorar os baldes a partir daqui, e vamos selecionar o mesmo arquivo. Então veja você pode fazer isso quando você está criando o conjunto de dados, onde uma vez que ele é criado, não há realmente diferença entre os dois. Vamos clicar. Ok. Ótima. Criámos a nossa fonte. Agora. Temos que criar nossos desembarques em conjuntos de dados, que serão um Data Lake Gen2. Vamos selecionar esse cara. Este será um binário também. Continuando. Será o meu primeiro serviço ligado. É quando eu crio no nosso primeiro exemplo. Então eu preciso selecionar o sistema de arquivos, que é um contêiner. E você pode ver que nós criamos anteriormente. Eu não quero anexar. Portanto, mesmo que não exista, posso dar-lhe um nome aqui e ele será criado automaticamente pelo Azure Data Factory. Bem, aqui dentro eu vou nomear como AWS é o nosso diretório de arquivos. Tudo bem, então isso é criativo. Queremos publicar agora apenas para garantir que nossos novos conjuntos de dados que criei. O que precisamos fazer aqui agora é criar nosso pipeline que transferirá um arquivo do nosso grupo da AWS para o Azure Data Lake. Esse é o nome do meu oleoduto. Então vamos usar dados de cópia. Minha fonte será adquirida transferência binária AWS primeiro, então eu vou ficar com o padrão em seu coletor aprendido é no Data Lake Gen2, certo? Então, vamos publicar esta opção. Certo? Então vamos executar este pipeline agora e ver se podemos traduzir os dados através das nuvens. Legal, vamos depurar. E vai começar dinheiro. Está em progresso. Certo, falhou. Podemos verificar a mensagem de desvanecimento aqui e assim podemos dar uma olhada rápida no motivo. Então ele diz que o sistema de arquivos tem um nome que é inválido. Então ele diz que contém caracteres, que é o sublinhado. Então isso é muito simples de resolver. Eu fiz isso de propósito, para que vocês possam ver que tipo de barreiras às vezes pode acontecer. Vamos voltar ao nosso conjunto de dados e podemos remover isso. E vamos mantê-lo como empréstimos, empréstimos crus sem o sublinhado mesmo site diretório. Vamos para o nosso oleoduto. Move os dados para os aprendizados em, e vá em frente e depure. Bonito, está em progresso. Vamos ver. Ótimo, foi bem sucedido. Então, uma maneira que podemos explorar que podemos voltar ao nosso conjunto de dados de zona de aterragem e você pode clicar em Explorar. E se você voltar para aqui, lembre-se que antes havia apenas dois contêineres, agora temos um terceiro. E aqui temos a pasta da AWS, Essa é a pasta recriada aqui. E aqui temos nosso arquivo da festa. Ok, isso é ótimo. Agora, temos que mover esse arquivo do data lake para o banco de dados. Mas antes de fazer isso, vamos nos certificar que o arquivo existe antes de mover para o banco de dados para que possamos evitar erros ou podemos criar algum tipo de validação aqui para enviar uma mensagem para o provedor dos dados. O arquivo não existe. Certo, então vamos voltar ao nosso oleoduto. E vamos tomar um, uma atividade geral que será look-up. Uma atividade de pesquisa. Carreira é qualquer conjunto de dados suportado como uma fonte de dados dentro do Data Factory. Você também pode criar tabelas. Ele pode executar o procedimento armazenado. Então vamos usar esta atividade de pesquisa aqui, e vamos para Configurações e temos que selecionar nosso conjunto de dados fonte, que neste caso será o arquivo Parquet que transferimos para a nossa zona de aterrissagem. Então vamos em frente e criar nosso novo conjunto de dados, porque, como você pode ver, ele não está disponível para nós. Então vamos para Novo e selecione Data Lake Gen2 continuando. Será o arquivo Parquet. Então será o meu primeiro serviço ligado, certo? Então vamos explorar que servidores vinculados. Vamos para Londres em RA, que é nossa pasta de contêiner da AWS, e esses são nossos dados. Vamos ficar com a primeira opção. Vamos clicar em OK. Tudo bem, só na primeira fila, tudo bem. Para a nossa amostra. Nenhuma das propriedades. Podemos mudar esse cara para a pesquisa. pesquisa garantirá que o arquivo exista. Agora que acabamos de criar nossa pesquisa para garantir que nosso arquivo exista. Vamos voltar aqui e pegar nossos dados de cópia. Novamente. Isto é um passo. Vamos transferir os dados do data lake para o banco de dados. Tudo bem, então vamos mudar isso para juntos e vamos pegar nossa fonte. E fizemos uma fonte aqui. Pode o, o mesmo conjunto de dados que acabamos de criar para a atividade de observação, uma vez que ele estará olhando para o mesmo local. Certo, então podemos abrir esse conjunto de dados e validar isso é o que queremos. Vamos voltar para o oleoduto. E vamos escolher nosso coletor, que usaremos o coletor de banco de dados SQL do Azure, que é nosso destino. Aqui novamente, temos que especificar uma opção de tabela conhecida se estávamos usando o procedimento armazenado e auto Criar para criar a tabela. Se não existir, vai depender da mesa. Nós especificamos isso no conjunto de dados. Uma vez que a tabela que existiria, ele irá ignorar a criação. Certo, então vamos voltar ao nosso oleoduto. Sim, estamos prontos para ir. Então temos aqui o nosso cenário que vou preparar. Então, transferimos os dados do bucket do Amazon S3 para o data lake, que é um verdadeiro engenheiros em. Temos uma verificação final para verificar se o fogo foi transferido corretamente. Uma vez que, este é dado válido como nós mover o arquivo, o conteúdo do arquivo em um banco de dados. Então, se você quiser, você pode renomear isso. Então vamos publicar o seu butano. Porque concluída. E vamos em frente e clicar no bug. Mas primeiro, vamos apenas fazer uma cidade rápida com os dados. Na nossa mesa. Temos 1000 registros. Vamos ver quantos registros teremos depois de executarmos nosso pipeline. Então vamos acertar Debug. O primeiro passo foi bem sucedido. E ele vai verificar o segundo também conseguiu. E agora ele irá mover os dados para o banco de dados. Está em progresso. Também obteve sucesso acinzentado. Agora vamos verificar quantos registros temos no banco de dados. E eu vou bater em Executar. Faça 1000 registros, que é a nossa segunda tentativa. E fogo de arcade superior tem 1000 discos. Então aqui podemos ter certeza de que tudo foi executado com sucesso. Um interessante aqui para notar agora é como monitoramos tudo o que acabamos de fazer. Nossa próxima lição, vamos verificar como monitoramos todas as execuções que já fazemos. E os que também comandam o passado. Então fique ligado e te vejo em breve. 30. Monitoramento a execução de Pipeline ADF: Olá, e bem-vindos a outra lição. Nesta lição, vamos explorar como monitoramos a execução de pipelines. Você deve se lembrar que em nossas últimas ilustrações, estávamos usando a opção bug. A opção de depuração dispara o pipeline atual. E esta é a sua sessão. Esta opção é para algo que os desenvolvedores trabalhando em um branch de recurso ou algo que é apenas para o momento e não deve ser bloqueado. Se alguém quiser verificar a execução dos meus pipelines em um estágio posterior, essa esfera de execuções não apareceria. Então, como nos certificamos de que tudo é registrado e como entendemos a verdadeira colocar algo que não estávamos presentes quando estava em execução. Tem a opção de gatilho agora. Trigger agora vamos executar o que foi publicado e vamos registrar a execução do pipeline. Então vamos apertar o gatilho agora para o mesmo oleoduto que fizemos antes. E você não pode ver nenhum registro encontrado. Podemos ir em frente e clicar em OK. E ele irá reexecutar meu pipeline da mesma maneira que fizemos antes, mas usando a opção de gatilho agora, nosso pipeline foi lançado. Podemos voltar para o painel esquerdo e clicar no monitor. E você pode ver que ele já foi bem sucedido. Então aqui é onde você pode ver todas as execuções de seus pipelines. E se eu clicar nisso, você pode ver que as mesmas atividades foram executadas com sucesso. E você pode verificar usando este pequeno copo, os detalhes de sua transferência. Clique nisso. Você pode ver que minha transferência veio do Data Lake Gen2 e foi para o meu banco de dados SQL do Azure. E aqui está o rendimento da minha transferência. E quantos registros foram transferidos. As conexões P, isso é algo controlado pelo ADF e o tamanho dos dados gravados no meu banco de dados. Grande número de arquivos lê a mesma quantidade de congelamento e ações. E aqui você pode ver um detalhamento das minhas Tarefas. Novamente, isso é algo executado nos bastidores que não temos controle. Este é o tempo de fila, o pré-comp, o sistema de transferência de script. Como você pode ver, já que não temos nenhum script pré cópia, era 0. E então a transferência em si é bastante útil em qualquer um com acesso à minha fábrica de dados seria capaz de ver isso. Podemos ver que eles podem cobrar também. E essas são as execuções dos meus oleodutos, como quando um começou e terminou. A segunda, que é a minha verificação de dados, e a terceira que é inserida no destino do arquivo. Podemos executá-lo novamente e ver este gatilho de processo real agora. Está bem? E se você for direto para o monitor, você pode ver que ele está em andamento. Você pode clicar nisso. E você pode ver que o primeiro foi bem sucedido. Pode atualizar. O segundo está distorcido. Agora. Está em progresso. Foi bem sucedido. O segundo é primo agora e está em andamento e terminado. Certo, então devemos ter 40 mil discos na nossa mesa, certo? Então está tudo bem. Então, se voltarmos aos nossos oleodutos, você pode ver que está registrado. Então, sempre que abri minha fábrica de dados, eu deveria ser capaz de ver a parte militar. Ok, vamos supor que seu oleoduto também falhou. Tudo bem, então você tem a opção de executar o pipeline e ele irá, nós executamos a partir do momento ou da atividade em que ele parou. Não precisamos reexecutar todo o seu oleoduto. Então imagine que você está trabalhando em uma grande transferência da noite para o dia. E então você teve que ir para casa e esperar. E você tinha terminado outro dia e uma das estatísticas falhou, mas todos os seus dados maciços já foram transferidos. Então você pode apenas clicar em reexecutar. E começaríamos a partir do momento em que você terminou, o que é muito legal. Aqui, você tem a opção de clicar no consumo e ver quanto a hora UI consumiu. Então, qual é o movimento de atividades. Tudo bem. Então, se tivéssemos mais pipelines, você veria como eles se sobrepõem ao fretamento aqui, você tem a opção de selecionar nos últimos sete dias e dados personalizados cíclicos para ver a execução de seus pipelines. Por padrão, são sempre 24 horas. - Sim. Portanto, é muito abrangente em bastante simples para você investigar as execuções de seus pipelines. Todos eles têm um ID de VLAN, um ID de ponto de vista exclusivo. E também aqui você tem a opção de ver qual foi o grande fator. Também é um arquivo JSON confirmado pelo Data Factory. Esta é uma ferramenta muito boa para investigar e certificar-se de que tudo está funcionando corretamente. Sim, isso é tudo para monitoramento e vejo você na próxima lição. Muito obrigado. Vejo-te em breve. 31. Passo Passo Passo à passagem de passagem de dados: Para começar com fluxos de dados, podemos chegar ao painel esquerdo. E como você pode ver aqui, logo abaixo de conjuntos de dados, temos fluxos de dados. Os fluxos de dados podem ser criados como qualquer pipeline ou conjunto de dados. Como você pode ver, você pode clicar nos três pontos aqui e você vê um novo fluxo de dados. Vamos clicar nisso. É legal porque se é a primeira vez que você está abrindo um fluxo de dados, você vai dar uma volta por aqui, o que é bastante útil. Como você pode ver, podemos começar adicionando uma fonte ao fluxo de dados. Vamos clicar em Concluir. Esta é a nossa localização, mas as dores de fluxo são divididas em três partes principais. A primeira parte é a barra superior. Padrão. A barra superior é muito importante porque é onde podemos validar nossos fluxos de trabalho. Por exemplo, o JSON ou as lógicas em que estamos trabalhando. Além disso, podemos ativar a depuração do fluxo de dados, que significa que vamos iniciar nossos clusters para executar o código do Spark nos bastidores. A segunda parte aqui é o gráfico. O gráfico é onde você pode colocar suas transformações. Você pode criar um fluxo de transformação que mostra a linhagem da fonte de dados à medida que ela flui em um ou mais sumidouros para adicionar uma nova fonte de dados, basta selecionar usuários aqui e, em seguida, ver que ela traz uma nova dica para você. Para iniciar o nosso reitor mais tanques. Por exemplo, o lado esquerdo dos nós mostra o tipo de transformação. O lado direito do nó mostra o nome e a descrição do fluxo de dados. Então, vamos clicar em Avançar. Aqui no nó, você pode clicar em Configurar clicando com o botão direito do mouse. E, em seguida, se clicar em Conectar novamente, se você clicar no pequeno sinal mais aqui é onde você o que uma nova transformação. Vamos clicar em Concluir. E aqui teríamos nossa primeira transformação. Claro, clicando aqui para adicionar outro. E vocês podem ver que temos muitas transformações. Se você está familiarizado com os serviços de integração, você se relacionaria com algumas das transformações que temos lá. Por exemplo, agregados, dinamizar e, em seguida, dinamizar. Essas são coisas que podemos encontrar também Integration Services. Então, iremos a cada uma dessas transformações e o que elas fazem na forma como funcionam. E, finalmente, temos aqui o nosso painel de configuração. Você pode notar que, se você selecionar uma das tarefas, ela retorna para você as opções e configurações relacionadas à tarefa selecionada. Se você apenas clicar fora e não selecionar entreter, você obtém as configurações e parâmetros específicos, a execução geral de sua lógica. Você pode adicionar mais prompting aqui, ou você pode adicionar configurações diferentes aqui e assim por diante. Se você selecionar novamente para a tarefa, você pode ver que temos várias opções. E essas opções podem variar de acordo com a tarefa em que você está trabalhando. Mas uma coisa que você pode encontrar em comum, fácil otimização, a guia Otimizado contém configurações para configurar esquemas de partição. Assim, por exemplo, você poderia usar o particionamento atual, a partição padrão ou única, ou você poderia definir um particionamento. Vamos passar por cada uma das opções e pode ser útil para você a pintura sobre o requisito que você tem. Se você clicar em Inspecionar é a opção onde você começa a ver os dados em que você está trabalhando. Agora, movendo-se para a visualização de dados é onde você pode obter um interativo é instantâneo dos dados como cada transformação. Isso é muito legal porque antes de uma junção interna ou um permite ver uma agregação, você esperaria ver algum tipo de dados ou um estado dos dados. Então você pode clicar sobre isso e, em seguida, apenas motim de volta para suas transformações em C, o resultado esperado, você só pode ver que quando você tem seu cluster em execução ou seu modo de depuração definido como um. 32. Transformações - múltiplas entradas - Entradas/saídas: Começando com várias entradas e saídas, nos juntamos como nossa primeira opção. Juntámo-nos à transformação. Você pode combinar dados de diferentes fontes de dados ou fluxos de dados, e a saída dos dados incluirá todas as colunas de ambas as fontes. Fase combinada em uma condição gigante. As condições de junção são junção interna, junção esquerda, junção direita, junção externa completa em junção cruzada personalizada. Então, temos cinco tipos diferentes de juntas. Depois, seguindo o gigante, temos divisões condicionais. Condicionalmente fala, você pode rotear linhas de diferentes fluxos de dados com base na condição de correspondência. Então imagine que você deseja rotear seus registros para qualquer fonte de dados específica é agora condição. Sua condição pode ser onde o status é ativado ou desativado. E com base nessa condição, você enviaria os dados para uma tabela ou dois conjuntos de dados diferentes. Então temos “x's”. A transformação do eixo é a transformação de filtragem mundial que verifica se seus dados existem em outro serviço ou eStream. O fluxo de saída inclui todas as linhas e o fluxo esquerdo que existem ou não existem no fluxo direito. Então temos sindicato. Com a união, você pode combinar vários fluxos de dados verticalmente. A saída seria como se você tivesse um único conjunto de dados. Imagine que você deseja colocar um conjunto de dados em cima do outro, e eles se pareceriam como um único conjunto de dados. Então, no final da nossa categoria de múltiplas entradas e saídas, temos pesquisa. Essa transformação é usada para fazer referência a dados de outra fonte. Por exemplo, imagine que você tenha uma tabela de fatos para uma tabela de dimensão. A transformação de lookout acrescenta colunas da correspondência dos dados, nesse caso, a dimensão dos dados de origem. Nesse caso, o fato, se você pensar sobre isso, a pesquisa é bastante semelhante a uma operação de junção esquerda, onde todos os valores existem em seu fluxo de saída em colunas adicionais de sua aparência upstream. 33. Transformações - Schema Modifier: Então nosso próximo grupo é o modificador de esquema. Como primeira opção, temos a coluna derivada. Com essa transformação, você pode gerar novas colunas ou modificar as existentes usando a linguagem de expressão de fluxo de dados. Então temos selecionar. Com Select, você pode renomear, soltar ou reordenar colunas. Essa transformação não altera o rho beta, mas escolhe quais colunas são propagadas a jusante. Então, digamos que se você tem um conjunto de dados muito amplo e, em seguida, você só quer dizer alguns campos seletivos desse conjunto de dados que seria possível usando essa transformação. Em seguida, temos agregado, agregado para definir diferentes tipos de agregação, como alguns min-max contagem. Você tem que comprar colunas existentes ou calculadas. Então temos a chave substituta. Chaves substitutas, bastante úteis quando você está lidando com dimensões e tabelas de fatos. Você pode usar essa transformação para adicionar e incrementar o valor da chave para cada linha dos dados. Isso é útil quando tabelas de animações projetadas. Por exemplo, em um esquema estrela que será usado no modelo de dados analíticos. Então você tem pivô. Tabela Dinâmica, você pode classificá-la como uma agregação em que uma ou mais colunas de agrupamento tem sua linha distinta, transformá-la em colunas individuais. Em seguida, passando para, hum, girar e girar para você para o caminho oposto que você tem irmãos em seu conjunto de dados. E você quer transformá-los de uma forma que eles sejam mostrados como volumes em nosso conjunto de dados mais amplo. Aqui temos janela. Isso é interessante. Durante a transformação é onde você vai definir uma janela baseada ocupações de colunas em seu fluxo de dados. No construtor de expressões dessa transformação, você pode definir diferentes tipos de agregações que são baseadas nessa janela de tempo. Por exemplo, isso é bastante semelhante à cláusula SQL sobre onde você tem a função de janela em geral. Por exemplo, você pode pensar em atraso de chumbo em detalhes. São funções semelhantes. Você pode encontrar aqui. Um novo campo é gerado em suas saídas que incluem essas agregações. Isto é bastante útil. Você deseja trabalhar com diferentes tipos de agregações dentro do mesmo conjunto de dados. Então temos a patente. Qual classificação você pode gerar uma classificação ordenada com base na determinada condição que você pode especificar. Você pode agregar de uma maneira que você criaria racks dentro do conjunto de dados. 34. Transformações - Formas.: Então também temos assuntos D4. Então, basicamente, usando o achatado significa que você pode pegar uma matriz que você tem estrutura de código peludo, como um arquivo JSON, e então você pode desenrolá-los em linhas individuais. Isso é bastante útil se quiser nivelar seu arquivo JSON quando você tem um monte de nós aninhados dentro do JSON, em seguida, seguindo a seqüência que temos análise para. É bastante útil quando você precisa analisar colunas de textos, seu fluxo diário. Por exemplo, os ataques limitados para arquivos CSV ou XML. Então isso é muito importante quando você tem que lidar com um monte de strings e você tem que formatá-los, analisá-los. 35. Transformações - Modificador de trajetória — modificador: Então temos modificador rho. Isso é importante se quiser enriquecer seus dados de uma maneira que você precise modificá-los com o futuro. Você tem um filtro baseado nessa condição. Assim como um Excel, você desativou o futuro por idade ou telefone que eu filtro por carimbo de data/hora, a escolha é sua. Você também tem pesquisa. Você pode pesquisar a linha de entrada no fluxo de dados atual. Digamos que você queira pesquisar por nome, por idade, por qualquer campo. Queremos que isso também seja possível. E então você tem a linha do altar. Inserir, eliminar, actualizar e perturbar políticas em linhas. Você pode adicionar um a muitas condições. Esta condição deve ser especificada em ordem de prioridade, pois cada linha será marcada com a política correspondente à primeira expressão correspondente. Então você pode definir se minha expressão regular corresponde, eu quero inserir este registro se ele não corresponder à minha primeira condição, minha segunda condição irá atualizar essa linha ou excluir essa linha. Assim, a linha externa pode produzir ambas as ações DDL e D e L, eu acho que o banco de dados que você está lidando com. Então ele faz o mesmo que a instrução de mesclagem e um pouco mais. 36. Transformações de dados mapping — Destination: E, finalmente, aqui temos esta nação. Isto é o mesmo que já vimos antes com os oleodutos. A pia é o seu destino, é o seu lugar onde você vai inserir seus dados. Está bem? Estas são todas as transformações com as quais podemos trabalhar. Lembre-se que essas transformações são transformações visuais que nos bastidores, Eu apenas rodando o código para você fazendo o, todas as otimizações para executar de uma maneira ideal em clusters Spark. Em nossa próxima lição, vamos ver como podemos usar fontes de dados em algumas transformações. Fique atento. Vejo-te em breve. 37. Definindo o tipo de fontes, Dataset vs inline: Olá pessoal e bem-vindos a outra lição. Nesta lição, vamos ver como podemos criar fontes de dados usando fluxos de dados de mapeamento. Nós começamos, vamos para ir aqui sob fluxos de dados e clique em Ações e clique em novo fluxo de dados. Isto está vazio porque vamos começar do zero. Então eu vou pular isso primeiro para gorjeta aqui. E como podem ver, temos uma caixa pontilhada. Vamos clicar nisso. E eu também vou pular este primeiro guia. Aqui. Temos opções de configuração em algumas vezes com diferentes configurações que podemos escolher também. Então vamos começar com as configurações de origem. Na primeira e acima de tudo importante decisão que você tem que tomar é o tipo de fonte de dados que você tem que usar. Então temos conjuntos de dados e também temos conjunto de dados em linha é apenas uma entidade que pode ser reutilizada através de fluxos de dados e também pipelines. Se você se lembra, todos esses conjuntos de dados, nós os criamos antes para nossas outras demonstrações. Então, essas são apenas entidades. Aqui, em linha. É algo mais dedicado para cada lógica de fluxo de dados ou fluxo de trabalho. Há benefícios em usar ambos, mas há casos em que ambos serão suportados. Por exemplo, aqui no conjunto de dados de linha, temos alguns conjuntos de dados fora da caixa que podemos escolher. E esses conjuntos de dados funcionariam com alguns conectores, não todos eles. Por exemplo, aqueles conjuntos de dados embutidos que você não seria que usam o conector de banco de dados SQL do Azure para ter uma lista mais definida de quando usar o tipo de origem embutida ou conjuntos de dados ou o Skype. Eu recomendaria dar uma olhada na documentação. Por exemplo, se eu receber a documentação aqui, você pode ver em uma visão melhor quais são os conectores em qual ID os tipos de origem suportados. Portanto, temos o banco de dados SQL do Azure. Como você pode ver, apenas o conjunto de dados é suportado. Mas para esses tipos aqui, temos a opção de usar ambos. Um elemento importante do uso de conjunto de dados ou inline é o fato de que inline é um tipo de origem nativo para o Spark enquanto o conjunto de dados não é. Assim, você verá às vezes um melhor desempenho ao lidar com arquivos em um lago maior em vez de em um banco de dados ou ler os mesmos incêndios de aquisição usando conjuntos de dados. O caso de que não é muito bom ou eu deveria ser sempre os principais é apenas um caso que o que é o conector que você está usando e você tem que fazer uma chamada de julgamento, qual deles está funcionando melhor? Demonstração de urina aqui, vamos ficar com conjuntos de dados porque vamos ingerir os dados que carregamos anteriormente em nosso banco de dados SQL. Para começar, vamos selecionar o Azure SQL DB. E este curso sincronizá-lo afunda porque nesse outro exemplo, estamos usando como um dissipador, mas agora podemos usá-lo como fonte. 38. Definindo opções de origem: Uma vez que temos outros, o conjunto de dados, já tomamos a decisão importante, que é conjunto de dados para nós 0, 0. E então temos que configurar algumas configurações aqui. E começamos selecionando as configurações de origem. Aqui. Por exemplo, temos o nome do fluxo de saída, que é o nome da nossa tarefa. Você pode dar qualquer nome que quiser ou simplesmente ficar com esse nome e adicionar dados de amostra. Ele não aceita isso ou enfatiza. Tem que ser uma única corda. Aqui temos permitir drift esquema. Esta opção é a capacidade de travar o Data Factory LBL, esquemas flexíveis. E isso é útil se o esquema mudar com bastante frequência. A configuração permite que os campos de fonte de renda fluam para as transformações, para a sincronização automática, que você não precise lidar com a modificação do esquema minoramente o tempo todo. Além disso, temos E para tipos de coluna drifted. Usamos opção. Você pode instruir o Data Factory a detectar e definir tipos de dados para cada nova coluna de descoberta. Isso é muito útil como se estivesse medindo um rastreador. Data Factory tem a capacidade de definir e entender os tipos de dados como novas colunas aparecem, então temos esquema de dados válido. Se, mas for o esquema for selecionado, o fluxo de dados falhará se os dados de pesquisa de entrada não corresponderem ao definir o esquema do conjunto de dados. Esta é uma maneira de se certificar de que você tem esquema confiável. Então temos dados de amostragem. Isto é para você limitar a quantidade de linhas que você está recebendo convidado quando você está depurando ou um irritante, sua lógica é útil quando executá-lo flui para o Bergamo do pipeline. 39. Spinning de fauna fluxo de texto: Ok, então aqui como você pode ver, o conjunto de dados está esmaecido. Está acinzentado porque não temos o nosso cluster do Spark em execução. E fazemos isso habilitando esta opção aqui. Pode levar algumas vezes até cinco minutos porque ele está girando um novo cluster de Spark para você nos bastidores. Então, seja paciente. Sente-se, relaxe e terá o seu grupo. Mas em breve, vamos clicar nisso. E como você pode ver aqui, eu tenho a opção de selecionar um tempo de execução de integração. Então isso segue os mesmos aspectos que já vimos antes. Eu poderia ter um auto-hospedado aqui e, em seguida, eu posso escolher a configuração para o meu tempo de execução de integração de resolução automática. Vamos ficar com esta opção. Este é o livro Time to Live, o que significa que se minha depuração estiver ociosa por uma hora, ele mudará agora. Este é um bom recurso para você economizar custo e não ser uma conta enorme. Eu não sabia um mês porque você esqueceu de transformar não menos o cluster do Spark. Então, vamos clicar em OK. Uma vez que clicamos em Ok, podemos ver que a criação do cluster será iniciada. E então, se você prestar atenção a esta barra aqui, este é quando o cluster está realmente sendo construído nos bastidores. Uma vez que isso é criado, vamos ver uma caixa de seleção verde aqui. Neste ponto, sabemos que temos os recursos computacionais para trabalharmos. Isso pode levar alguns minutos. Então você tem que ser paciente e esperar até que ele seja concluído. Vou acelerar este vídeo e voltamos em um segundo. Vá agora, temos o nosso grupo funcionando. E se você verificar aqui, o sino de notificações, você pode ver que nosso cluster levou cerca de seis minutos pronto, o que é esperado BC cerca de cinco minutos, então para nós seis. Então, vamos clicar em Go K aqui e fechar. E agora temos nossos ambientes assim. E agora podemos testar sua conexão está na teta de Jeff e assim por diante e assim por diante. 40. Definindo o tipo de entrada de fonte de dados: Vamos nos mudar para as opções da Circe. E as opções sérias podem variar dependendo da tarefa em que você está trabalhando. Então, no nosso caso, aqui serão dados de origem e aqui estamos nos conectando a um banco de dados SQL. E podemos executar o procedimento de busca. Executamos uma consulta. Então a projeção é na verdade os dados que você tem. Agora nós vamos voltar apenas por um segundo para o nosso banco de dados, fazer o mesmo que nós criamos. E vamos verificar a nossa mesa. Como você pode ver, eu tenho o banco de dados que você está funcionando, e a tabela que criamos, e nós apenas diz alguns milhares de registros. Então, se você verificar aqui, nós temos 4 mil linhas. Então, o que vou fazer? Eu só copiaria este código, é que vamos selecionar declarações que temos. E nós vamos voltar para as opções de fonte. E vou colar esta declaração aqui. 41. Definindo o Schema de dados: A projeção é o serviço ou algo que define os formatos de tipos de colunas de dados. Assim, para a maioria dos tipos de conjunto de dados, como SQL em um parque você, a projeção é uma fonte que reflete seu esquema quando você origina arquivos que não são fortemente digitados. Por exemplo, se você tiver algo que pode alterar os arquivos CSV jazz e arquivos de texto em vez de arquivos Parquet que tem um esquema predefinido, você pode definir os tipos de dados aqui. Então eu posso ser dito para o meu esquema ou mudá-lo a partir daqui. Agora nosso caso aqui, não seremos capazes de editar entidade porque ela já está vindo de um banco de dados. E o Data Factory entende que é um esquema fixo. Então, sempre que há uma mudança, se você clicou no esquema, drift ele para construir em apenas qualquer esquema. Mas, por exemplo, se você estiver lidando com um arquivo de texto e seu arquivo de texto não tiver um esquema definido. Você pode clicar no texto. Haveria uma opção aqui para você clicar no esquema da base tributária. E levaria uma amostra dos dados e inferiria o tipo de dados em sua produção. Lembre-se, se você estiver definindo um novo esquema para seus dados ou se você estiver alterando o esquema, se você clicar em transmitir rejeição, ele sempre substituirá o que você fez. Então você tem que ter cuidado se você está atualizando um monte de coisas aqui. 42. Otimizar cargas com separações: Agora, passando para a otimização, temos três opções principais para selecionar o tipo de particionamento que queríamos escolher. Na maior parte do caso, vamos optar por usar Grant particionamento porque queremos usar o conjunto predefinido de regras que Data Factory tem que escolher o melhor caminho para encontrar seus dados. Mas, por exemplo, se você tiver um banco de dados SQL como origem, talvez queira alterar. Depende do tipo de particionamento que você tem. Então, por exemplo, você teria como seis tipos diferentes de particionamento para escolher. E, em seguida, baseado em, digamos, uma partição que você tem nessa coluna específica. Ou se eu usar uma condição de consulta e, em seguida, criar uma partição com base nisso, também ser possível não toda vez que você deseja criar uma partição com base nos campos de hoje. Às vezes você terá um novo intervalo de inteiros que queríamos descobrir um particionamento. Então você pode usar sua condição de carreira para fazer isso. Se você clicar nesta superfície, mas petição, que é um particionamento personalizado, É provável que EDF, vamos ler os dados o mais rápido. Porque aqui que uma fábrica pode usar várias instruções e fazer várias conexões para obter seus dados e bem incorre em paralelo. O que ditará o ano de desempenho para leitura aqui são os recursos disponíveis que você tem, n quantas instruções simultâneas você pode executar ao mesmo tempo. A minúscula aqui, vamos selecionar coluna. Se você clicar aqui no menu suspenso, você pode ver que temos todas as colunas que temos disponíveis em sua tabela. Então vamos pegar o campo ID, e estes serão a nossa coluna de partição. 43. Prévia de dados da transformação de fonte: Em seguida, movendo para o Inspecionar, temos um exemplo de nosso esquema do IIS. Então, como você pode ver aqui, ele mostra todas as colunas que temos. E então o tipo de dados que temos. Passando para a visualização de dados. Ele mostra uma visualização de nossos dados com base na partição que escolhemos. Isso é bastante semelhante ao conjunto de dados. Quando você explora os dados que você tem, seu clicker aqui e atualizar, você pode ver que ele vai buscar os dados da nossa tabela. Ótimo, como você pode ver aqui, temos uma amostra de nossos dados da tabela que estamos usando do nosso conjunto de dados. Isso é muito legal porque você pode ver aqui se tudo parece correto, revisão também é bom porque vamos imaginar que você está fazendo transformações. Depois disso. Você seria capaz de ver os dados. Nesse ponto, vamos imaginar o seu dia no gigante interior e você quer ver as colunas que você tem da sua mesa esquerda, na tabela direita. Neste ponto, você teria apenas uma tabela para selecionar seus dados. Mas olhando para a próxima etapa, você veria da visualização de dados todas as colunas de acordo com as transformações que você escolher. Então temos nossos dados de pesquisa criados. Passamos por todas as opções que temos disponíveis para isso. O próximo passo que vamos criar é o lado sincronizado da nossa transformação. Se eu tentar vê-lo aqui neste momento, vai reclamar que não temos uma pia e etanoato a salvar o seu oleoduto. Temos uma pia. Então vamos criar nosso coletor e talvez criar outra tabela com base na fonte no mesmo banco de dados. Secante. 44. Como adicionar um dissipador a um fluxo de dados de mapeamento: Ok, agora precisamos criar nossa pia muitos para onde queremos enviar nossos dados. Então clique aqui e um sinal de mais. Vamos listar todas as transformações disponíveis que temos. No nosso caso, vamos usar o destino. E, em seguida, a única pia disponível. Clique nisso. E, novamente, temos uma boa dica de ferramenta aqui. Neste momento, vamos fechar isto. E aqui temos opções semelhantes como temos para a fonte, temos realmente afundar. No nosso caso aqui precisamos escolher um conjunto de dados que representará o ponto para onde vamos enviar os dados. Vamos clicar em Novo para criar um novo conjunto de dados com base no banco de dados observado que temos. Então, vamos clicar em Novo. Em seguida, temos a opção de escolher o Banco de Dados SQL do Azure. Então, vamos continuar. Uma vez que já temos nossas serifas são criadas, vamos apenas clicar sobre isso. E então eu vou dizer meu novo conjunto de dados. Está bem? Aqui temos a opção de selecionar uma tabela existente, então temos apenas uma. E então também temos a opção de criar uma nova tabela. Então vamos criar uma nova tabela. E então eu só preciso dar um nome e um esquema. Então meu esquema será DIYBio, o nome da tabela será amostrado de dados. É aqui que costumo apanhar búfalos. E nós temos um pequeno botão aqui para avançado. Eu não quero fazer um idiota é ponto porque ele poderia ser usado para otimização e assim por diante. Vou clicar em “Ok”. Neste ponto, temos uma representação dessa tabela que não foi realmente criada. Sim. Então temos configurações. Aqui. Podemos manipular o tipo de permissões que queremos selecionar a partir deste conjunto de dados. Aqui temos ações de barra p, temos recriado estável truncar a tabela, o significa que cada vez que executamos isso, poderíamos truncar a tabela se for um conjunto de dados inteiro ou se estamos lidando com algum esquema drift, você quer se certificar de que você tê-lo tabela limpa ou você pode sair e recriar em nossa tabela. Ou, se estamos lidando com cargas incrementais, você pode selecionar Nano. Aqui está o tamanho do lote. Se quando eu controlar o número de linhas inseridas como um tempo, se ele vai usar dados TempDB, se você quiser, por exemplo, usar scripts SQL usa uma fauna totalmente, digamos criado tabela antes disso, se quisermos soltar a tabela ou faz algo com a tabela, criar um índice descartou o índice, por exemplo, imagem um ao soltar existe antes que os dados sejam carregados. Assim, você pode obter os dados em mais rápido. A maioria dos dados é carregada, você pode criar um índice. Você poderia usar essas duas opções. Além disso, você tem um bom tratamento de erros aqui. Você pode parar um contínuo de erro no erro e coisas desse mapeamento. Não precisamos nos preocupar com mapeamento porque isso será um para um. Quero levar todas as colunas que temos na minha pia. Então está tudo bem. Aqui podemos novamente selecionar o particionamento PSD é que temos, Vou definir o particionamento novamente. Vou conseguir, talvez, continuar particionando. Vamos selecionar GAN de TI e, em seguida, inspecionar algo que uma pré-visualização. Poderíamos atualizar os dados para ver os dados novamente. Tudo bem, então vamos publicar. Deve estar tudo bem publicar neste momento. Os dados foram publicados com sucesso. E neste ponto, devemos ser capazes de executar o pipeline e ver se conseguimos obter todos os dados em uma nova tabela. 45. Como executar um fluxo de dados para mapeamento: Como executamos o fluxo de dados de mapeamento? Isso é interessante porque a partir do pipeline padrão, você teria o livro e, em seguida, também acionar agora, o que permite que você execute seus pipelines tratar afastado. Esse não é o caso de um fluxo de dados. Para que o fluxo de dados seja executado, ele deve ser executado a partir do pipeline. Em outras palavras, em ativo por branco. Então vamos expandir essas linhas. E vamos clicar aqui no novo pipeline. E então vamos obter fluxos de dados das opções são atividades. Então, como você pode ver, ele mostra como qualquer tarefa que tínhamos disponível. E como já temos nossos dados para criados, podemos chamá-lo a partir daqui. Então, temos Configurações. Então podemos chegar lá para um que é o nosso fluxo de dados. E então, a partir daqui, podemos novamente escolher decompor cada tipo que vamos executar. Podemos obter apenas um propósito geral e , em seguida, o menor cluster que temos disponível para nós, não precisamos de um grande cluster. Então temos as opções de blogar. Vamos ficar com a proposta. Temos que ter em mente que se você está promovendo essa coisa para produção, pode ser uma boa idéia trabalhar com as diferentes opções. Quanto mais opções você tiver, mais logs você obtém, mais tempo levará para executar todas as atividades. Temos propriedades similares. Podemos fazer isso em paralelo, se quisermos. Ficamos com todos os barcos. Aqui está a encenação. Não precisamos de uma encenação. Isso é algo que pareceu que fizemos para os outros pipelines, é se você quiser usar o Baddeley para um armazenamento de Blobs para preparar seus dados antes que eles cheguem a esta nação. E aqui parâmetros, não precisamos de nenhum parâmetro neste momento porque não definimos nenhum parâmetro para o nosso fluxo de dados. Só vamos validar isto. Ele foi invalidado. Ok, os advogados encontraram, então devemos ser capazes de publicar isto, mas antes vamos dar um nome a isto. Então podemos publicar agora. Vá, já foi publicado. Ok, se você notar, nossos grupos é você que está correndo. Eles não acham que você encontrou o livro. Ou podemos apenas um novo tutor, eu iria apenas clicar no bug neste ponto. Então o nosso oleoduto deve começar a funcionar imediatamente e o nosso fluxo de dados será iniciado. Legal. Temos aqui nosso pipeline em andamento, e agora ele está executando o código do fluxo de dados. Podemos ver que o nosso oleoduto foi concluído com sucesso. Aqui está o, na verdade, o tempo que levou para seus pacientes. Você deve ter notado que demorou um pouco até que começou. Mas, novamente, este é um grupo que fica com ele subiu nos bastidores. Assim, os primeiros minutos ou segundos, você não deve realmente considerar porque pipeline fácil, ferramenta poderosa para trabalhar com uma enorme quantidade de dados. E então uma vez que isso está funcionando, tudo deve ser muito rápido. Então podemos continuar e verificar nosso banco de dados agora e ver se temos uma tabela. Vamos voltar ao nosso banco de dados e ainda temos um aqui. Vamos refrescar-nos. Temos outra tabela aqui, e então podemos verificar os dados para ver se tudo está lá. Satélite é ótimo. Como pode ver, temos 4 mil registros. Assim como temos em nossa fonte de dados. Isso pode ser qualquer dia, assim como fizemos para nossos conjuntos de dados usando pipelines, não poderíamos estar trabalhando com um tipo diferente de conector. Não pode ser o Oracle, pode ser o arquivo Parquet, o lago de dados. O bom aqui é ver e entender como poderíamos usar os pipelines nos fluxos de dados de mapeamento para ingerir dados e transformar os dados usando um cluster do Spark sem escrever uma única linha de código. Isto é muito poderoso. Agora, vamos ver como podemos fazer algumas transformações em como ele vai funcionar. Fique atento. Obrigado por assistir. 46. Teste - módulo 5: Bom. 47. Passo passo no projeto - integração de Data Azure com Databricks: Olá pessoal, e bem-vindos a outra lição. Agora, vamos dar uma olhada no documento para nossos projetos. Neste documento contém um passo a passo o que será necessário de você se você quiser integrar isso com o Data Factory. Aqui temos o caso de uso para isso. Então imagine que você faz parte de uma equipe de análise que recebeu recentemente uma enorme tarefa ou analise dados de crimes de várias cidades metropolitanas. A equipe Year decidiu aproveitar os recursos do Azure Data Factory Databricks para ingerir a transformação agregada dos dados necessários. Como resultado deste caso de música, você vai entender como trabalhar uma transformações de dados em linha reta usando Databricks e ADF. Para este projeto, teremos que ter as coisas de campo já estão funcionando. No nosso caso, já temos os passos 12 para que possamos pular e começar diretamente a partir da árvore de etapas. Se você deseja ir em frente e criar uma nova conta de armazenamento, temos aqui passo a passo como fazer isso? E então temos que pegar o nome dos resultados e a chave para usar do Databricks. Uma vez que temos isso, podemos criar um novo nome de contêiner dentro de nossa conta de armazenamento. Então, vamos começar diretamente com espaço de trabalho do Azure Databricks e ver como podemos criar isso a partir do portal. Vamos começar. 48. Como criar computadores do Azure e importar cadernos: Vou mudar-me para cá outra vez para o portal e procurar outros tijolos. Podemos clicar aqui no botão. Em seguida, você vai pesquisar suas assinaturas. Só tenho um disponível. Vamos criar um novo grupo de recursos na faculdade. Então eu vou ser obrigado a dar um nome para o meu espaço de trabalho. Então eu tenho que selecionar aqui minha região, vai ser a Europa do Norte. Então eu tenho principalmente dois tipos diferentes de níveis de preços. Então eu tenho isso feito ApachesPark, e então eu tenho premium. O que me permite ter mais granularidade em torno da segurança e acesso interno é o meu espaço de trabalho. Isso é um padrão de segurança. Aqui temos uma opção para manter as opções padrão, o que significa que usaremos endpoints públicos para nos conectarmos ao nosso ambiente. Ou, se você tiver uma infraestrutura de estrutura, poderá selecionar uma rede virtual existente. Então vamos ficar com “não”. Então avançado, não temos a opção de selecioná-lo é neste momento. Então, se quiser adicionar algumas tags, isso é importante porque se você criar um DAG neste momento, sempre que um novo recurso for gerado do espaço de trabalho do Databricks, você pode facilmente identificar a partir das tags herdadas da pesquisa base. Ok, então vamos rever. Podemos criar. Ótimo, nosso espaço de trabalho está funcionando. Então vamos para o recurso. E então, como você pode ver, nós temos um portal para realmente iniciar o espaço de trabalho Databricks que eu li é um produto que não pertence à Microsoft. Ele é profundamente integrado, mas não é propriedade da Microsoft. Por isso, temos um serviço que nos permite conectar ao espaço de trabalho real do Databricks. Vamos clicar sozinho para o espaço. E então podemos ver à primeira vista como ele se parece. Ele vai me atribuir como minha conta do Azure Active Directory. Ótimo, é assim que parece. Vamos voltar aqui para a nossa documentação. Uma vez que isso é criado, nós temos aqui alguns outros passos para percorrer. Lançamos o espaço de trabalho e, em seguida, dentro do espaço de trabalho, podemos ver a barra esquerda, selecionar usuários do espaço de trabalho e assim por diante. Vamos dar uma olhada aqui, como parece. Aqui. espaço de trabalho doméstico deve fornecer o mesmo conjunto de opções. Se você selecionar espaço de trabalho e ir aqui diretamente para o seu nome de usuário, você tem a opção de importar. Você optou por criar um novo caderno. Você tem a opção de clonar e notebook existente. E se quiser exportar um existente é a partir desta opção aqui. Agora o nosso caso, não vamos desenvolver nada neste momento. Vamos apenas comer portas no notebook existente da página da Web do Microsoft GitHub. Então vamos importar, voltando para a documentação, nós clicamos na placa, e então vamos para este URL e baixar o caderno. Clique aqui, e eu vou colar. E ele vai baixar para mim imediatamente onde você voltar para o portal. Vou procurar. Ótima. Fui às minhas pastas de download e, em seguida, seleciono o arquivo que acabei de baixá-lo. E agora você pode ver que isso foi violado e podemos importá-lo. Depois de importar seus cadernos. À primeira vista, você vai, pode não ver nada imediatamente, mas na verdade, cada um já foi importante. Você pode selecionar a partir do espaço de trabalho ou uma casa de gatinho. Se estivermos no Workspace, você poderá selecionar seu usuário. Então você vai ver que você tem uma nova pasta aqui. A pasta contém os cadernos que acabamos de importar e tivemos inclui outra pasta. Então você pode ver aqui temos diferentes opções clicando aqui no Introdução. Voltando à nossa documentação, há uma explicação em vídeo para cada um dos cadernos. O caderno de Introdução. Ele mostra como configurar uma nova conta de armazenamento como já fizemos antes, podemos ignorar esta unidade. Em seguida, o segundo caderno é a ingestão de dados. Ele vai para aqui, você passo a passo, como você pode ingerir dados de uma contagem de pontapés de pub usando o Data Factory em uma conta de armazenamento. Em seguida, o terceiro notebook contém instruções para criar conectividade entre o Data Factory e o espaço de trabalho do Databricks. Então vamos sujar nossas mãos e ver como isso pode ser feito. 49. Como criar computadores do Azure e importar cadernos: Voltar para o nosso espaço de trabalho, como você pode ver aqui, é apenas um passo a passo como criar uma conta de armazenamento. E uma fábrica de dados. Isso é um ignorado é notebook porque já fizemos isso antes e temos ambas as superfícies estão promovendo. Então, se você clicar aqui na orelha, você tem a lista de cadernos. Então, para concluir aqui no espaço de trabalho novamente, e então você tem ingestão de dados. Essa ingestão mostra como podemos ingerir o livro, os dados e, em seguida, ele nos dá um token SaaS para conectar a uma conta de armazenamento para que possamos ingerir esses dados. Então vamos fazer isso a partir de Data Factory. E da página inicial temos os dados da polícia. Vamos clicar nisso. Você pode ver aqui, estamos seguindo passo a passo. E depois temos o feiticeiro da taça que acabamos de clicar. Agora vamos dar um nome ao nosso oleoduto. Vamos selecionar isso e uma cópia. Vamos selecionar os pronomes agora. Próximo. Então este é o segundo passo. Temos de criar uma nova ligação. Então, se você clicar aqui na nova conexão, vamos procurar armazenamento. E clique em Armazenamento de Blobs. Mais uma vez, voltando para aqui, podemos selecionar Livrarias, podemos continuar. Então temos que manter um nome para isso. E, em seguida, temos que selecionar mapa de autenticação que vamos usar o URI SAS. Então eu vou renomear será conjunto de dados perfeito. Se você clicar duas vezes, Não se preocupe, ele vai reformar que toda a dor. Mas está tudo bem. Se você foi ver o formato que as informações, você pode apenas clicar de volta aqui no painel esquerdo e ele irá retornar. Então, vamos destacar este conjunto de dados do livro. Esse será o nome do nosso serviço vinculado. Então temos o tempo de execução de integração vai ser o mesmo. Então temos o método de autenticação. Vai ser o Sazzy, o teu olho. Agora vamos copiar estes tamanhos. Volto ao nosso serviço ligado e ele vai colar aqui. Você pode ver que ele já foi criado. Então podemos testar nossa conexão. Há uma conexão agora. Ótimo, teste sendo testado com sucesso. Vamos voltar ao nosso caderno. Então. Fizemos este teste, a conexão, terminou, para que possamos terminar a criação do nosso Serviço Vinculado. Isto é o que vamos selecionar agora, e depois o próximo. Agora temos que selecionar nossa pasta, a localização dos dados dentro do serviço vinculado que acabamos de criar. Vamos voltar aqui para denotar o livro para obter o local certo. Você pode ver o local especificado é treinamento dados de crime 2016. Então vamos ver isso, então temos treinamento. É o próximo lote. Dados do crime, não 16, é o que queremos. Vamos escolher esta pasta. Temos que selecionar uma cópia binária e, em seguida, ir em seguida. Temos que ter certeza de que selecionamos uma cópia presumivelmente e também binária. Você não precisa se preocupar com nenhum tipo comercial no momento porque os dados já são caso Park, portanto, eles são compactados por padrão. E podemos clicar em Avançar. Aqui. Você pode ver que eu fiz este passo está terminado, que é um serviço. Agora temos que nos concentrar nesta nação. Temos de criar uma nova ligação para o nosso destino. Vamos usar uma conexão existente que já temos, santos, criamos uma antes, então não precisamos criar essa nova conta de armazenamento. É isso que pulou esta barcaça. Volte para a nossa criação aqui. E temos o meu primeiro, vamos clicar nisso. Vamos ligar o AD. Não é necessário obter a chave ou qualquer coisa porque já estamos conectados usando a identidade gerenciada. Então, podemos obter uma das pastas ou um pode digitar o nome da pasta que eu quero, para que ele seja criado em tempo real. Vamos para o caderno e dar uma olhada no requer este nome da nação. Vamos copiar isto. E aqui estão o caminho da pasta. Vamos basear isso. E então não precisamos nos preocupar com nada disso. Você pode simplesmente ficar com as opções padrão. Agora, temos apenas que entrar e vamos ficar com todas as opções padrão. Aqui está a página de resumo, mas tudo o que acabamos de fazer, está tudo bem. Nós vamos a seguir. E então ele vai criar ou de avião. Fará tudo por nós. Chamar que está terminado. Então temos um oleoduto. Nós ingerimos um conjunto de dados público. Vamos terminar. Legal. Vamos para o pipeline que acabamos de criar, selecione Pipeline e, em seguida, temos pipeline de laboratório. Aqui. Você vai ver que ele tem alguns nomes estranhos. Então vamos aqui muito rápido e ver se está tudo bem. Agora o que podemos fazer é carregar esses dados. Podemos executar o oleoduto para ingerir o público a dessaturação no nosso lago de dados. Vamos clicar no livro e ele começará o pipeline. Legal, os dados foram transferidos. Então vamos dar uma olhada e ver como ele se parece. Ótima. Temos inflamações de Khomeini voar nos ler esses dados, o tamanho dos dados, o número de conexões e tudo mais. Ótimo, parece ótimo. Se formos para o nosso conjunto de dados, devemos ter quando nova pasta. Agora eu fiz Lake. 50. Validando de dados em Databricks e fábrica de dados: Se formos para o nosso conjunto de dados, devemos ser capazes de validar todos os dados transmitidos. Então, vamos destacar nossa tarefa de cópia. Então vá para a nossa pia. Temos o nosso conjunto de dados. Vamos abrir o conjunto de dados. E, a partir daqui, podemos navegar qual é o conteúdo do conjunto de dados. Então imediatamente podemos ver que temos em nosso conjunto de dados as pastas que acabamos de criar. E então aqui temos o nível raiz acima da pasta. Então temos todos os dados que vimos da fonte quando autenticamos usando tokens SAS. Então, todos os arquivos estão aqui. Isso é ótimo. Vamos clicar. Está bem. E agora que temos nossos dados, vamos funcionar apesar de jogar isso, McCrea tinha salvo. Ótima. No entanto, o pipeline foi salvo. Agora vamos voltar para o nosso espaço de trabalho e ver o que nossos notebooks já que executamos a parte de monitor do pipeline e que acabamos de fazer, então nos certificamos de que os arquivos foram transferidos para o armazenamento de Blobs. Então está tudo bem. Temos o nome certo da pasta. Então podemos examinar os dados não adivinharam. Então temos essa parte do caderno. Então é aqui que começamos a trabalhar com Databricks para ver o que está acontecendo com nossas contas de armazenamento, dados e assim por diante e assim por diante. Aqui, temos que preencher algumas opções. Vamos começar a chamar o nome, o que estamos usando. Então aqui, daqui, a partir do nosso conjunto de dados, podemos verificar-nos. Então, se você tem uma edição, e então aqui temos o nome da nossa conta de armazenamento. Vamos apenas selecionar certificar-se de que tudo está configurado corretamente. Então não podemos o nome da nossa conta de armazenamento. Agora temos que pegar a chave da conta de armazenamento. Portanto, estes também fazem parte da nossa documentação. Portanto, se você verificar aqui, você não deve ser capaz de encontrar o local certo onde obter a conta de armazenamento. Vamos para o portal. Então você faz um teste. Vamos procurar a nossa conta de armazenamento é a primeira opção aqui para mim. E nós temos acesso T's. Vamos clicar nisso. Então eu vou mostrar minhas chaves e então eu vou copiar a primeira opção que eu tenho. E então colocaríamos esse valor aqui. Então podemos salvar isso. Mas antes de executarmos esse código, eu tenho que criar um cluster, que é realmente o que vai ser executado. Meu código é o recurso computacional. Vai realizar a operação. Para fazer isso, vamos fazer as seguintes etapas. Aqui no painel esquerdo, se você selecionar em clusters, podemos ver que não tínhamos clusters em execução no momento. Não criamos nenhum cluster, sim. Então, temos que criar um cluster e anexar nosso notebook ao cluster. Vamos fazer isso. Só vou dar um nome a ela. Eu teria um único nó. Então eu vou ter este cluster que temos disponível, que é para um curso para uma memória tangente. Mas deve ter opções. Certifique-se de que está tudo bem. E vamos clicar em Criar cluster. Grau. Nosso grupo agora está pronto. De jeito nenhum. Você vai ficar um pouco de espaço aqui porque pode levar alguns minutos até que seja irritante. Mas então também está funcionando. Você pode começar a executar o código usando nosso cluster. Porque você pode ver aqui que não temos livros. Temos todos os cadernos anexados a este cluster. Como você pode ver, não temos cadernos estão ligados a três traço. Então, se um adiciona algumas bibliotecas e assim por diante, assim por diante, você pode ir para outros 1000 aqui. Então, vamos voltar ao nosso espaço de trabalho e ingestão de dados. Aqui, o nosso caderno. Então precisamos anexar isso, como você pode ver aqui, é destacado. Se clicarmos aqui, agora podemos selecionar o cluster que já temos, o que acabamos de criar. Então, vamos clicar aqui. E estes irão anexar o nosso caderno a esse cluster. E, em seguida, se você selecionar esta célula, você pode executar a célula e apenas a célula. Você pode ter a opção de executar todas as células, se desejar. Mas neste ponto, queremos apenas atribuir as variáveis, os valores que substituímos. Então, para ter certeza que nós movemos esses artesãos aqui no final e no início. Portanto, temos apenas os valores que queremos. Então podemos comandar isto. Vamos continuar aqui no botão Play e depois executar a célula. Então, como você pode ver, foi muito rápido porque apenas atribuiu os valores para as variáveis. Vamos pular isso. Isto é apenas se você quiser ver o conteúdo do armazenamento de sangue, nós já fizemos isso, então vamos pular essa parte. E aqui é onde vamos ler nosso arquivo de percussão, os dados do crime, os dados de Nova York 716 Boston em nossos fluxos de dados. Certo, então vamos destacar a célula e executar a célula. E então, desculpe, eu gosto de DataFrame. Então podemos executar isso em nosso DataFrame. Ok, isso parece bom. Agora nós temos os dois que ofensa criado e nós podemos realmente exibir o quadro de dados. Vamos executar a célula e criar. Podemos ver o conteúdo do arquivo. Aqui novamente, podemos correr também para ter certeza de que está tudo bem. Raspe. Então aqui temos os amigos beta criaram um para o arco. E então você quer para Boston, você pode usar nomes diferentes para seus amigos de dados. E a próxima parada é a transformação. Então vamos selecionar o outro caderno para fazer a transformação nesses dados. 51. Como usar o ADF para realizar a transformação de dados usando um notebook de dados com dados rick: O próximo passo para nós aqui é começar com as transformações de dados. Então você pode clicar aqui e estamos prontos com o terceiro caderno. É um livro descritivo que nos mostra como podemos alcançar a transformação dos dados. Então o primeiro passo é realmente obter um token de acesso. E, em seguida, como um segundo passo, vamos criar uma atividade no ADF para se conectar ao notebook aqui implantado no Databricks. Então olhamos para as atividades juntos. Vamos publicar o pipeline e executar o pipeline. Uma vez que ele é executado, podemos realmente validar a partir de Data Factory se ele foi bem-sucedido ou não. Voltaremos então ao espaço de trabalho direto e verificamos a execução de nossas transformações. Então vamos voltar aqui e começar criando nosso token de acesso. Vamos clicar aqui nas Configurações do usuário. Então nós geramos um novo token. Vamos clicar nisso. E você deve dar um nome a este símbolo. Então, fique com o símbolo preto. E aqui está o tempo de vida da minha lembrança. Você pode mudar para qualquer número que quiser. Vou definir 30 dias e eles geram. Então isso é importante que você copie isso neste momento porque este é o único momento em que você estará vendo este token. Então vamos cortar isso. Estou pressionando o Controle C. E depois fecho isso por enquanto. E vou poupar a minha conversa aqui mesmo. Quais são os meus criadores de ações? Vamos voltar ao nosso caderno. E então você pode ver que temos que voltar para nossa fábrica de dados e criar nosso serviço vinculado. Vamos voltar a isso, uma fábrica. Ele, Vamos pegar aqui uma atividade Databricks, e então vamos selecionar OK. Então, a partir daqui, você pode ver que temos algumas opções. Podemos selecionar um serviço vinculado, que será o espaço de trabalho em que estamos trabalhando no momento nas configurações onde podemos definir a localização do nosso notebook. Então vamos começar criando um novo link em serviço. Pode dar o nome que quiser. Eu ficaria apenas com o Azure Databricks dos EUA. Vou usar um Zoom Zoom Zoom Integration Runtime. Aqui. Você pode pegar o espaço de trabalho da assinatura. Vou selecionar minha assinatura e, em seguida, selecionarei meu espaço de trabalho. Neste ponto, você deve ver onde espaço de trabalho bem aqui. Temos três opções de clusters. Temos a opção e selecionar um novo cluster. Podemos usar um existente ou uma incidência para uma vez que já criamos nosso cluster, vamos selecionar cluster de diretório existente. Nosso tipo de autenticação será token de acesso. Usaremos o token que acabamos de criar a partir do espaço de trabalho do Databricks. Vamos copiar esta ficha. Então devemos ser capazes de ver o cluster que criamos. E está bem aqui. Então, vamos selecionar isso e vamos testar nossa conexão. Vamos clicar em Criar. Ótimo, foi criado agora. Então podemos verificar aqui o passo a passo, o que acabamos de fazer do serviço vinculado. E depois temos a localização dos nossos cadernos. Então esta é a guia Configurações. Temos que selecionar seus usuários, e estes serão sua conta de usuário. E então nós temos que realmente apontar para o caderno em vez de apenas a pasta. Então, o que você pode fazer aqui, podemos voltar para os espaços. Clique em inclui. A partir daqui, se você realçar esta opção, você tem todo o diretório onde você está no momento. Então, se você apenas destacar isso e café, você pode obter o URL como solicitado. Vamos voltar ao nosso “ok “, já que temos essa informação, vamos voltar a essa fábrica e colar essa informação aqui. Temos a localização do nosso caderno. Vamos para os parâmetros básicos. Neste ponto, precisaremos de 20, alguns parâmetros que serão passados para o nosso notebook como argumento. Portanto, isto é muito importante. Vai ver que temos esta informação aqui também. Então vamos precisar do nome da conta, da chave da conta e do nome do contêiner. Podemos obter essas informações da minha conta de armazenamento, das propriedades e do portal. Então aqui vou adicionar um parâmetro e vou adicionar o segundo, terceiro. Agora, nosso segundo parâmetro será a chave de conta. E haverá um nome de contêiner. Agora vamos obter os valores para esses parâmetros. Aqui no portal, procurei pela conta de armazenamento. Queremos as chaves de acesso. Premier, você tem duas informações que precisamos mostrar as chaves, temos a chave. Então podemos basicamente a chave de conta aqui. Agora podemos obter o nome da conta. Podemos colar o seu vermelho aqui. E depois precisamos do contentor. Nosso contêiner é DWT. Então vamos colá-lo aqui. Ótima. Temos toda a informação de que precisamos. Então o que vamos fazer, vamos amarrá-los juntos. Portanto, certificamo-nos de que temos a ordem correta, que significa que vamos importar os dados nele. Vamos processar esses dados. Uma vez feito isso, podemos finalmente publicar nosso pipeline. Então, vamos clicar em publicar para ter certeza de que tudo está salvo. O nosso gasoduto está agora publicado. Agora vamos executar este pipeline. Vamos clicar no gatilho agora e seguir a execução do nosso pipeline. Se formos monitorar, veremos uma nova IA em andamento. Vamos clicar no avião ao vivo, está bem? Ou se nossos clientes falharam. Então vamos dar uma olhada e ver se conseguimos solucionar isso. Vamos clicar no espelho. E podemos ver que há um erro com o nosso caminho. Deve começar com barra para a frente. Se voltarmos e prestarmos atenção à documentação, devemos começar com os usuários de barra. E se você copiar imediatamente do próprio notebook, você terá espaço de trabalho e não deve ser incluído. Vamos voltar ao nosso oleoduto. E se verificarmos o pipeline e vermos o que temos, vemos que isso está incluído, então não devemos incluir espaço de trabalho. Vamos apagar isso. Vamos publicar o nosso oleoduto de novo. Ótimo, está sendo publicado. Agora vamos executá-lo novamente e ver como vai ser. Vamos passar para monitorar. Vamos clicar errado nele. Nevando para o nosso propósito, vamos primeiro copiar os dados e depois executar o nosso caderno. Foi bem sucedido, e podemos verificar qual é a saída do nosso notebook. Vamos chegar aqui. E temos um pouco de informação aqui do ID de execução. Então temos o destino dos nossos dados, as taxas de serviço executadas. Isso é muito legal. Outra coisa interessante aqui a notar é que se você destacar o pequeno vidro aqui, podemos ter um pouco de informação. Se você selecionar a atividade do notebook, podemos ir para os heaps de eliminação de página errada, direcionando-nos para o espaço de trabalho, vamos clicar sobre isso e podemos verificar a atividade que foi executada a partir do pipeline. Então aqui podemos ver quanto tempo cada uma das células demorou para terminar. Então você está criando os dataframes. Estamos normalizando os quadros de dados para cada cidade, as transformações de auditoria na criação de um único DataFrame. E, finalmente, exportamos os dados dos preppers para uma tabela persistente. E, a partir daqui, já temos uma mesa. Como você pode ver, a inicialização veio como OK, e os dados persistiram como uma tabela. Então vamos voltar à nossa documentação. E é pode ver que nós apenas lutar muito contra a execução do nosso caderno como um seis passo aqui, podemos dar uma olhada nos dados usando este notebook. Se você notar aqui ele não fez livros destacados. Assim, você pode anexar ao cluster antes de executar. Vamos chegar aqui. E eu vou anexar ao meu primeiro cluster, e agora ele está anexado. Então o que eu posso fazer, eu posso obter os homicídios da mesa, o que eu acabei de criar a partir da transformação. E podemos executar o pH da célula. Temos a saída da tabela. Então isso é um pouco exponencial. O que devemos ver, podemos verificar primeiro várias tabelas se quisermos, por exemplo, Nova York ou qualquer outra tabela. Vamos voltar aqui para os lados do OEM novamente. Neste caso, uma vez que estamos ganhando é Park, isso é muito fácil para nós porque ele pode apenas executar a linguagem de programação que você está mais familiarizado com. Então, nesse caso aqui nascemos um SQL para obter os mesmos resultados da venda de ambos. Vamos clicar na célula Run. Vamos criar, temos a saída de nossos dados. Nesse caso, aqui estamos limitando BI desktop primeiros 20 registros. Isso é muito legal. Então, se você voltar aqui, podemos fazer alguma agregação com esses dados. Estes são os dados transformados que não são os dados brutos. Vamos clicar aqui novamente, executar esta célula. Estamos entrando em um DataFrame novamente. E vamos, Vamos exibir este DataFrame. Vamos chegar aqui e venderemos. E o que você sabe? Temos uma informação visual da nossa agregação. Esse é o poder do Databricks e da Data Factory juntos. Depois de carregar os dados no Data Factory, você pode criar todas essas transformações com o Databricks e integrar ambas juntas. Bastante fácil. Parabéns, acabamos de completar nosso laboratório em nosso projeto. Em nosso próximo módulo, veremos como podemos implantar na produção. Todas essas coisas legais que acabamos de fazer usando um pipeline CICD do Azure DevOps. Obrigado por assistir. Vejo-te em breve. 52. Teste - módulo 6: Bom. 53. DevOps - como criar uma organização e projeto do Azure DevOps: Olá pessoal, e bem-vindos a outra lição. Nesta lição, veremos como ele pode criar uma organização do Azure DevOps e um projeto. Assim, podemos começar a criar nossos repositórios e pipelines. Aqui no portal, você pode procurar o Azure DevOps. Em seguida, selecione organizações do Azure DevOps. E aqui você pode ver minha organização do Azure DevOps. Vamos clicar nisso. Você será avisado com esta página. Vou borrar algumas das informações aqui. E, em seguida, vamos clicar em Criar nova organização. Em seguida, você pode dar um nome à sua organização. Vamos selecionar uma região próxima à sua localização física. No meu caso, vou selecionar o sal do Reino Unido. Muito bem, pessoal, agora que criaram a sua organização, é hora de criar um projeto. Em palavras simples, a organização é o nível pai de um projeto. E quando você cria repositórios, pipelines, esses itens pertencem a um projeto. Então vamos começar a criar nossos primeiros projetos e nomeá-lo como PDF. Será privado. Isso é OK. E, em seguida, clique em Criar projeto. Este é o primeiro visual de nossos projetos. Como você pode ver ele vem e T e a maioria da nossa tarefa será feita a partir do painel esquerdo aqui em Repositórios e pipelines. Sua próxima lição, vamos ver como podemos criar um repositório que irá armazenar todos os arquivos JSON de nosso Data Factory, CH e vê-lo em breve. 54. DevOps - como criar um repositório Git no Azure DevOps no Azure: Muito bem, pessoal, esta é a hora de criar nosso primeiro repositório para restaurar o código da nossa fábrica. No painel esquerdo, vamos clicar em repositórios. E então aqui como você pode ver, ele vem com um repositório padrão com o mesmo nome do nosso projeto. Nesse caso, ainda não foi inicializado. Não há uma unidade, não há arquivos. Então é por isso que não vemos nada. Mas vamos criar um novo web bot e ver como ele pode inicializá-lo. Vamos clicar aqui no menu suspenso e clicar em Novo Repositório. E vamos dar um nome a ele. Então eu vou nos dar seu EDF QuickBooks, você é um. E, em seguida, vamos adicionar um arquivo readme para iniciar o repositório. Vamos clicar em Criar. Vamos criar nosso primeiro relatório criado. E então, se formos para as ramificações do lado esquerdo, podemos ver que temos nossos criadores de filiais padrão. De volta ao ano passado. Talvez teríamos um ramo mestre como um nome padrão. Microsoft começou a alterar esses nomes padrão, domínio em vez de mestre. Tudo bem, Vamos trabalhar comigo e, em seguida, ver como ele pode conectar nosso Data Factory a este repositório. Isto é tudo por enquanto. Vejo-te na próxima lição. 55. DevOps - como vincular Data Factory com Azure DevOps: Olá pessoal, bem-vindos a outra lição. Em nossa última lição, pudemos ver como ele pode criar uma bola web. Agora, vamos conectar nosso Data Factory a este repositório. Para isso, vamos voltar para o portal e voltar para a nossa fábrica de dados. Agora que estamos aqui na página inicial do nosso Data Factory, você deve ter notado que temos algo chamado repositório de configuração. Ou se você vai gerenciar, nós também temos uma boa configuração. Então, vamos voltar para a página inicial e clicar em Setup code repository. Então a partir daqui temos os tipos de repositórios disponíveis desde que criamos um repositório Git, vamos clicar em DevOps Git hazard. Então temos o nosso diretório, depois temos a conta DevOps. Esta é a organização que criamos. Em seguida, o nome do projeto, que será ADF. Então temos que criar um novo repositório ou clicar em existente. Colocamos literária desde que já criamos horas, Vamos usar existente e, em seguida, selecione Azure AD F Repo um. E então temos a gama de colaboração. Agora o nosso caso aqui, queremos selecionar o principal, que é o nosso ramo padrão. E então temos o que é chamado Publish branch. Esta é uma filial usada pelo Data Factory. Vamos entrar mais em detalhes sobre isso em nossas próximas lições. Então esta é a nossa pasta raiz. Este é o local onde o Data Factory colocará pastas, tente ler pastas. Então vamos ficar com o nível de raiz. E isso aqui é muito importante neste momento. Como temos feito muitas demonstrações e criado pipelines, já temos itens em nosso Data Factory, e isso é muito baixo se esses itens em nosso ag para se opor à árvore, Vamos nos certificar de que isso está selecionado. Então este é o local onde vamos importar os objetos existentes da nossa API, a fábrica para a chave inglesa. Vamos usar o ramo de colaboração, que são casos domínio. Isso é tudo o que é necessário. Vamos clicar em Aplicar e ver se podemos vincular nosso Data Factory ao repositório que acabamos de criar. Isso é chamado de ribose agora conectado. E se selecionarmos tudo no painel esquerdo, podemos ver que temos um novo item aqui, que é a faixa de trabalho. A partir daqui, você pode trabalhar em diferentes marcas de recursos. Você pode criar uma nova marca para seus colegas. E ninguém se sobrepõe à palavra e você evitaria muitos erros. Vou clicar em Criar Novo, e eu colocar meu nome e salvar. Então, como você pode ver, estou criando uma nova ramificação do principal, que contém os itens que nós importamos. Então daqui eu posso trabalhar com qualquer tarefa que eu quiser e isso não afetaria o ramo principal. Isso é tudo por enquanto, vimos como conectar nossa fábrica de dados ao fio de ondulação. Próxima lição, veremos como podemos trabalhar com os franceses. Fique atento. Vejo-te em breve. Obrigado por assistir. 56. DevOps - como converter Azure Data Factory com de ramos: Olá pessoal, bem-vindos a outra lição. O Azure Data Factory pode ser considerado como o serviço de ETL primário para enviar, sondar e transformar dados no Azure. O objetivo desta lição é explicar como a versão é entre ambientes, por exemplo, desenvolvimento e produção ocorrem e como podemos aproveitar os repositórios que criamos duas versões do nosso código. A imagem que temos aqui nas bolhas frontais mostra o ciclo de vida dos pipelines ETL é implantada no Azure Data Factory com um repositório git. Na primeira etapa, temos 12 para o sandbox porque este é o momento em que o Data Factory está associado a um repositório Git. Em seguida, os desenvolvedores, eles podem começar a trabalhar no ramo de recursos. E então vamos supor que John desenvolvedor está trabalhando em um novo recurso. Ele então cria uma nova filial. Uma vez que ele está feliz com todas as correntes, tudo o que ele fez. Em seguida, cria uma solicitação pull para mesclar esse código na ramificação mestre. O ramo mestre, no nosso caso, como se podia ver antes, é o ramo principal. A convenção de nomeação mudou para este código para o emergiu de sua filial para o ramo principal porque ele tem que ser aprovado. Normalmente, existem políticas que impedem os desenvolvedores de mesclar diretamente sem uma aprovação. Este é o momento em que o código é revisado e se tudo estiver bem, o código é mesclado. Finalmente, como você pode ver aqui, temos nossa codificação, nossa filial principal, quando associamos a fábrica de dados a um repositório git em um novo branch, criado nos bastidores, mas ainda não está visível. Como você deve se lembrar de nossa última lição, nós pudemos ver que nós só tínhamos um ramo, o ramo principal. Quando clicamos na ação de publicado no Data Factory, vamos passar por isso visualmente em nossa fábrica. Será que o código do ramo principal vai para um ramo chamado ADF publicado. E então, neste ponto, podemos ver a ramificação do repositório. Como você pode ver aqui. Isto é algo que já está no Artifactory. Alguns dos elementos, eles são feitos manualmente se você for pelo desenvolvedor ou como resultado de uma ação. Por exemplo, clique no botão Publicar uma vez que o código está no ADF nesta ramificação, este é o código que está pronto para ser enviado para produção. No lado DevOps do Azure, é aqui que criamos o pipeline de lançamento para analisar este código encapsulado e corrigi-lo para ser lançado para a produção. Todos os elementos que temos dentro do Data Factory, por exemplo, pipelines, serviços vinculados, fluxos de dados. Cada elemento que temos é criado como uma notação JSON. Então este é o nosso código e isso é o que volta a ser feliz aqui para ser implantado. Então temos lançado é liberado pode ser manual ou automático. Depende de como você cria o lançamento do Azure DevOps. E então aqui é quando o código é enviado para uma produção que uma fábrica, às vezes, pode parecer muito complicada com muitos passos. Mas olhando a partir do visual, é bastante fácil de entender uma vez que você faz uma ou duas vezes. Então, vamos voltar a essa fábrica e ver como isso funciona visualmente no Portal de Dados e também no DevOps do Azure. 57. DevOps — Código de fábrica de dados para colaboração: Ok pessoal, agora eu estou aqui no portal quando se trata de implantações CISD. O único ambiente que associamos um repositório GET são os ambientes de áudio do fundo de desenvolvimento. Nós apenas receberíamos o código que publicamos no repositório Git. Ok, então agora mudando para nossa fábrica de dados, temos a Data Factory que temos trabalhado até agora. Temos os nossos oleodutos aqui e eu tenho a minha filial. Então esta é a minha filial. Ok, vamos dar uma olhada no nosso diagrama e ver como fazemos isso passo a passo. No nosso caso, já fizemos este tipo apontando para porque já associamos detalhes e, em seguida, temos nossos pipelines criados em nossa ramificação de recursos. Agora, temos que criar um pull request para mesclar nossos códigos com a ramificação mestre. Vamos dar uma olhada no nosso repositório no DevOps do Azure para ver se temos um código em que tenho meu DevOps do Azure aberto. Vou abrir os projetos que criamos. Então eu vou verificar aqui no lado esquerdo do meu repositório. Em seguida, criamos este repositório. Como você pode ver, eu tenho alguns itens aqui. Nós criamos este foi o commit que fizemos antes. Temos a nossa filial principal. Eu não tenho uma filial chamada ADF e descrever publicar. Se você se lembrar aqui, esta é a ramificação que é criada automaticamente. Então, neste momento, temos algum código aqui em nossa filial principal. Vamos criar uma solicitação pull para mover o que temos em nossa ramificação de recursos da minha média será ramificada para a ramificação principal, ok? A partir daqui, você pode clicar aqui no menu suspenso e clicar em criar uma solicitação pull. Ele vai me redirecionar para o Azure DevOps. E, a partir daqui, posso criar um pull request. Mas como você pode ver, desde que já fizemos se inicial fundiu ou nenhuma mudança para mim também, para fundir no ramo principal. E nós vamos apenas adicionar algo no Data Factory apenas para que esta mudança seja captada aqui. E podemos ver como criamos um pull request e emergimos. Bom, volte para a fábrica de dados. Temos o nosso oleoduto, por isso vou clonar um dos oleodutos aqui. E podemos seguir em frente e criar um novo pull request. Então, basta clicar aqui na ação de pão ralado e nós podemos clonar. Então temos um clone do nosso oleoduto. O nome é copiado no final. Temos agora e a mudança foi apanhada. O que podemos fazer, podemos salvar todos. Então, estou economizando contra minha filial. Fica acinzentado aqui. Não posso publicar nada. Portanto, esta é uma das razões pelas quais só podemos executar modo de depuração para um novo pipelines porque meu código ainda não foi publicado. Agora vamos criar uma solicitação pull para mesclar minha cópia na ramificação mestre. Se eu mudar o meu, minhas brincadeiras dois ramo principal, você pode ver que eu não tenho o pipeline que eu apenas clonei porque ele ainda não foi mesclado. Então, meu recurso se ramifica à frente do meu ramo principal. Bem, vamos clicar novamente aqui e criar uma solicitação pull. Vai me retrair de novo. E como você pode ver, isso me traz aqui a esta página que é do integrador ProQuest, então eu posso adicionar alguma descrição ou qualquer coisa que um ID, mas geralmente ele pega a mudança em que eu fiz. Então eu vou buscar uma criação. Eu tenho aqui um novo pedido de pull, e isso está ativo. Este é o status. Se você clicar aqui novamente no pedido do lado esquerdo para que você possa ver que você tem mente, você tem atores, você completou um abandonado. Por isso, irei em frente e aprovarei os meus pedidos. Normalmente, você não teria essa permissão em nosso ambiente corporativo. Então, vou em frente e aprovar pedidos. E então vamos supor que outra pessoa acabou de fazer isso. É meu dever vir aqui e completar. Então eu iria e completaria a fusão. Mesclando uma solicitação pull. Ótimo, não é uma fusão. Vamos voltar aqui e verificar se temos isso agora na filial principal, que é aqui. É assim que criamos uma solicitação pull. O terceiro passo do nosso fluxo de trabalho. Agora que temos nosso código aqui, é hora de polir. Então, podemos realmente publicar este código no Data Factory. E se queremos executar o pipeline com um gatilho ou se você deseja implantar o código para o ambiente de produção está nessa versão dos dados. Este é o momento, aqui é onde você pode fazer isso. Então vamos em frente e clique em Publicar. Lembre-se, você tem que estar fugindo da sua filial principal. Quando interessante notar antes de ir em frente e publicar um código, é que a minha filial, tudo desapareceu. Isto é por causa do tipo de fusão que eles fizeram durante o meu emergir. Havia uma caixa de seleção aqui. E então uma das caixas grandes diz que se você quiser excluir seu empreendimento, então esta é uma boa prática para você começar. Sempre limpo. Então você pode ver que eu estou na filial principal e agora não está mais acinzentado. Posso publicar o meu código. Vai em frente e publicar o código. E então ele vai me dar um resumo disso. Então eu só tenho uma mudança aqui. E então eu vou em frente e clique em Publicar. Certo, meu editor foi bem sucedido. Então, como você pode ver, ele aparece agora gerando modelos ARM. Então este é o momento que pode ADF e descrever editor é criado em todos os meus pipelines em nossa auditoria Jason que eu tenho que compor minha fábrica de dados é empacotado. Ok, agora voltando para o repositório, agora nós fizemos, vamos atualizar esta página acinzentada. Como podem ver, temos o polimento “F”. Então, com isso, podemos terminar nosso fluxo de trabalho aqui porque nosso código está pronto para ser usado. Estamos felizes e esta é a versão que queremos ir ao vivo. Agora, vamos ver como podemos criar um pipeline de lançamento para publicar este código. Fábrica de dados de produção. Fique ligado e te vejo em breve. Obrigado por assistir. 58. DevOps - como criar um tubulação CUDD para o Data Factory no Azure DevOps: Olá pessoal, bem-vindos a outra lição. Nesta lição, veremos como podemos usar Azure DevOps para criar lançadas por blinds que lancei no Azure DevOps é a principal ferramenta usada por vários departamentos para implantar objetos de fábrica , desde o desenvolvimento até a produção quase ambiental ambiente e assim por diante, assim por diante. Agora, vamos passar para a nossa conta do Azure DevOps. Estou na página inicial do meu projeto KDF. Então, para começar criando nossos pipelines de liberação, vamos voltar aqui para o painel esquerdo. E como podem ver, temos o que é chamado de libertação. Vamos clicar nisso. Ótima. Ficará vazio porque ainda não criamos nada. Então, vamos clicar em mu por branco. Ótima. O primeiro passo aqui mostra-me o meu artefacto e palco. Está tudo acinzentado porque eu tenho que selecionar algo onde eu estou recebendo o código e quais tarefas eu quero usar. Então aqui você tem um número de opções fora da caixa para você escolher. Então, se estamos trabalhando com um desenvolvimento de aplicativos, é muito provável que você tenha uma opção pronta para você. Vamos apenas ir em frente e clicar aqui no espaço vazio muito superior. E então vamos fazer isso nós mesmos. Então eu vou fechar este aqui também. Nós adicionamos um artefato, então este será o nosso ramo publicado ADF a partir do repositório. Vamos clicar nisso. Então aqui você tem diferentes opções para obter seu código. Aqui poderia ser construído. Então você tem o repositório é se formos rápido obter hub ou inflamações, você também tem a opção. No nosso caso, seria um zoológico repositórios obter, Vamos selecionar nossos projetos serão ADF. Então esta será a fonte. A origem é o repositório. Este é o que criamos e salvamos nosso código. Então temos a ramificação padrão. Esta será a localização final dos nossos dados. Então nós temos principal e ADF publicado. Neste caso, vamos selecionar ADF publicado. Mais uma vez, estamos nesta fase aqui e estamos desenvolvendo e obtendo os dados de nossos artefatos da ADF publicados, ok, selecionamos a solução EDF e então queremos a versão mais recente. O é a versão mais recente da filial. E a partir daqui, se quando eu mudar as áreas de origem, eu costumo ficar com esta opção. Basta clicar na borda. Agora, ótimo. Esta é a localização do nosso código. Estes são os dados que publicaremos em nosso ambiente. Aqui está o estribo. Você pode ter vários estágios no leste asiático como um ambiente. Por exemplo, se um eu mudar este quatro ou produção, você pode dar qualquer nome e continuar adicionando mais e mais. Depois de fazer um, você pode clonar e nós usamos a tarefa que você criou. E caso Yara, vamos ficar com o produto porque só temos uma fábrica de dados de produção criada. Aqui está a hora de criar as tarefas. O Azure DevOps oferece um agente gratuitamente, que significa que você tem um recurso de computação por trás da cena aqui que processará seu código. Vamos ficar com todas essas opções. Como você pode ver, temos os agentes do Azure Pipelines e, em seguida, recebemos um contêiner gati executando o Visual Studio 2017, Windows 2016. Podemos ficar com outras opções padrão. Em seguida, vamos clicar aqui no sinal de adição para adicionar uma nova implantação. E então a tarefa que queremos, chama-se planeta incompleto. Vamos clicar aqui duas vezes, 1, 2 e Y2. Porque aqui queremos validar nosso adjacente, apenas não queremos implantar imediatamente e obter uma falha. Uma das opções aqui para nós é fazer uma validação em vez de implantações, Vamos começar a preencher todas as opções que temos que fazer aqui. Então esta é a conexão que temos para criar uma conexão, significa que temos que conectá-la à nossa assinatura. Mas esta é, será a minha assinatura padrão. Então eu me senti surgido. Grande IPO tenta ligar ao meu Azure DevOps à minha subscrição. Então eu tenho aqui as assinaturas. Então eu tenho a ação criar ou atualizar um grupo de recursos, azure. E nós queremos, nós não queremos excluir e grupo de recursos. E agora temos que escolher os grupos de recursos que queremos. Esta é a segunda opção. E temos a localização. vez, este precisa ser um local perto de você ou onde você desenvolve sua fábrica. Então temos o modelo. Isto é o que queríamos publicar. Então vamos chegar aqui em vez de página. E então temos o repositório, e então temos o nome do repositório, que será o Data Factory. Então temos a fábrica de dados, estou completa. Isto é o que queríamos. Este é o código que vamos para a produção. Eles nem sequer estão de perto porque já foi apanhado. Em seguida, os parâmetros do modelo. Estes são os parâmetros. Agora, vamos selecionar parâmetros para fábrica. Uma vez que selecionamos nosso arquivo de parâmetros, este é o modo de implantação. Este é o lugar onde eu mencionei para você antes. Temos completar um incremental, exclui completamente qualquer coisa que não faz parte do seu modelo ARM. Este é o nosso modelo ARM e nós só temos sobre uma fábrica. Ele pode excluir todo o conteúdo do seu grupo de recursos. Então isso é perigoso ir para a França para selecionar incremental quando você queria jogar. Uma vez que esta é a nossa primeira tarefa, vamos selecionar apenas a validação. Então, isso é ótimo. Esta é a nossa primeira tarefa que foi concluída. Então podemos ir em frente e dar-lhe um nome. Diga sobre isso. Então aqui podemos selecionar. Agora vamos ficar com as mesmas opções que já criamos. Uma vez que já autorizamos, podemos obter de conexões de serviço. Em seguida, selecionamos nossa assinatura. Nossa ação será criar ou atualizar seu grupo de recursos. Em seguida, selecionamos novamente o mesmo grupo de recursos que selecionamos antes. E temos que escolher o local aqui. Então temos que selecionar um modelo novamente. E agora o perímetro. Estes vão ser implementados. E então isso é tudo. Nós vamos salvar isso. E vamos rodar o nosso código. Vamos ver como isso pode ser feito. 59. DevOps - como realizar uma Pipeline de lançamento no Azure DevOps para ADF: Ótimo, agora que nosso oleoduto está pronto, vamos fazer uma revisão rápida aqui. E os oleodutos, nós temos, novamente, nossos artefatos, que é nosso código. Este é o palco. Este é o local onde queremos implantar nosso código. Então temos aqui este pequeno sinal. Como você pode ver, isso é para dizer se queremos usar o gatilho de implantação contínua. Então, ao habilitar isso é que queremos dizer sempre que houver um novo impulso para nossa filial, quero dizer ADF e descrever ramo público. Isto irá desencadear este oleoduto. Isto vai rodar o código. Certo, vamos continuar com a implantação contínua. Então aqui, se você clicar aqui, este é o local. Se você quiser adicionar aprovadores para traço. Então, digamos que imagine que você deseja selecionar a aprovação pré-implantação é de pessoas específicas. Então você vai alternar esta opção no novo tipo, o nome das pessoas aqui. E, em seguida, o código é apenas implantação. Implantado se for aprovado. Ok, vamos fechar. Nós não queremos isso. Vamos ficar com esse exemplo. Agora. Vamos executar o nosso oleoduto e ver se vamos ver os nossos oleodutos em produção. Antes de corrermos, temos que salvar o oleoduto. Então vamos salvar. E agora podemos clicar em Criar. Vamos clicar aqui neste hiperlink. Ok, então, se esta for a sua nova organização do Azure DevOps, você pode ter recebido uma mensagem de erro aqui como você passo. Vamos explorar o ano a menos que você possa olhar e maior diretamente para a caixa. Se você clicar aqui, você pode ver que nós não temos nenhum anfitrião em alerta antecipado Inglaterra. Isso significa que não temos nenhum recurso de computação gratuito e, quando disponível para nossa organização para obtê-lo, solicita um gratuitamente da Microsoft enviando um e-mail para este endereço aqui com o nome de sua organização. Sua organização é apenas o nome do nível raiz do seu Azure DevOps. Então você pode apenas vir aqui para fazer com cópia achatada que e enviar o e-mail para esse endereço. E você deve obter uma pesquisa recomputacional para você executar seus pipelines. Ok? Neste ponto, eu já enviei um e-mail para a Microsoft e recebi uma resposta de volta e Meccans totalmente configurado para que eu possa continuar e executar os pipelines que eu preciso. Na verdade, não tenho nenhuma resposta para a Microsoft. Acabei de voltar aqui para o portal e testar conjuntos para ver se estava funcionando e estava tudo pronto. Levou cerca de dois dias para eu voltar aqui e testar. Então vamos em frente e clique em ADF. Certo, só deveria ter em mente o que estamos tentando alcançar. Vamos mover nossos pipelines do ambiente de desenvolvimento para o ambiente de produção. Você deve se lembrar, esta é a fábrica de dados onde criamos o tempo de execução de integração auto-hospedado. Liga-se a um e está vazio. É importante que você use o mesmo data factory porque há uma permissão associada a este Data Factory. E se você apenas escolher outro Data Factory, provavelmente receberá um erro porque as permissões não estão configuradas corretamente. Certo, vamos voltar ao nosso DevOps do Azure e clicar em pipelines e lançamentos. E aqui ainda temos o mesmo status. Vamos clicar em Editar porque ainda precisamos ter certeza de que publicamos nossos pipelines no destino certo. Aqui temos a tarefa, que é a implantação. E aqui estamos validando os modelos ARM e aqui estamos usando modelos ARM para publicar em outro lugar. No entanto, se não alterarmos as variáveis que vêm com o JSON, ele vai apenas tentar implantar para a mesma fábrica de dados porque o modelo ARM exportado contém todos os nomes de variáveis do ambiente de desenvolvimento. Então é importante que você o mude. Vamos clicar aqui na placa de sobreposição marrom primeiro. Você pode ver que o Azure DevOps traz para nós todas as variáveis e valores já preenchidos, o que é muito legal. Aqui, será o alvo da nossa implantação, as novas fábricas de dados. É o mesmo nome, mas adicionando um número no final. Então este é o local onde vamos implantar nossos oleodutos. Ok? Então, vamos clicar em OK. E você pode ver que ele preenche automaticamente com todos os parâmetros aqui. Se você quiser, você pode simplesmente selecionar tudo e copiar. E daqui, já que estamos apenas validando e é tudo uma réplica entre si. Nós podemos apenas colar aqui, ou você pode apenas clicar aqui em pão ralado e repetir a tarefa. Cabe a você realmente, só para economizar tempo. Ok? Então você só tem que ter certeza de que é validação apenas aqui. Aqui, você está implantando incrementalmente em seu grupo de recursos de destino. Então, vamos clicar em Salvar. E vamos lançar a nossa libertação. Vamos clicar em Criar. Ok, vamos clicar no hiperlink aqui. E agora as nossas libertações significam em fila. E vamos clicar em Logs para que possamos seguir o que está acontecendo aqui. Os dois primeiros passos são geralmente bastante rápidos porque é um computador que está atrasado. É definido algumas variáveis de ambiente. Então não perderemos o código localmente para a computação. Depois vai validar a página “Sou o Tim”. Só estamos tocando no JSON. Não estamos implantando nada. E aqui está implantando o código no nosso alvo. A implantação foi concluída com êxito e podemos validar a fábrica de dados. Vamos clicar aqui 0, 2, e vamos verificar pipelines. Vamos refrescar. Temos nossos oleodutos aqui em nossos ambientes alvo. Podemos verificar duas vezes entre os dois. Lembre-se que é 0, 2 estava vazio. E agora neste ano, 0, 1, que foi nossa fonte, pipelines em conjuntos de dados estão todos combinando. E temos uma cópia completa de nosso ambiente de desenvolvimento para que possamos ter certeza de que o código foi validado e implantado em um processo, no ambiente de produção. Isso é OK. Espero que tenham gostado desta demonstração. Obrigado por assistir. Te vejo na próxima vez. 60. Teste - módulo 7: Bom. 61. Encerramento: Parabéns por completar este curso. Estou muito feliz em ver que chegou ao fim. Havia muito o que fazer, mas você conseguiu. Espero que tenha aprendido algo que possa ajudar a fazer a diferença na sua vida profissional. Minha recomendação para os próximos passos seria ler os documentos. Há muito conteúdo bom por aí, especialmente publicado pela Microsoft no GitHub e na plataforma Microsoft Learn. Além disso, lembre-se, você só pode corrigir o que você aprende praticando. Então experimente coisas, experimente. Desta forma, você pode melhorar a alteração de pipelines ADF. Eu realmente espero que você tenha gostado deste curso e por favor deixe um comentário se você puder. Significa muito para mim ver que vocês gostaram e espero vê-los em breve em outras curvas de mente são as melhores. Vejo-te em breve. Obrigado por assistir.