Como criar e gerenciar clusters em Redshift na AWS

1. Introdução: Olá, bem-vindo a este curso sobre criar e gerenciar clusters no Amazon Redshift. Meu nome é Dan, sou instrutor desta aula. No entanto, neste curso, aprenderemos sobre o Amazon Redshift. Essa é uma ferramenta popular de data warehousing para armazenar, recuperar e analisar dados de acesso com pouca frequência. Geralmente, isso é destinado ao arquivamento ou que pode ser usado para conjunto de dados relacional altamente escalável que é otimizado para leitura. Existem vários casos de uso e aplicativos para o Amazon ratio. E aqui neste curso você aprenderá a criar e personalizar funções de Gerenciamento de Identidade e Acesso ou IAM. Você aprenderá a criar e gerenciar clusters reformados. Você aprenderá a escrever consultas SQL usando o Query Editor 100 shift. Você também aprenderá a personalizar as propriedades do cluster e configurar permissões sob turno. Você também aprenderá a salvar e agendar consultas SQL que podemos executar um tempo predefinido adicionado. Você também aprenderá a criar conexões, integrações e encontrar várias opções no Redshift, como conexões ODBC e JDBC. Se você está curioso para aprender essas habilidades no Amazon Redshift, você começa a aprender agora mesmo. Vejo você na classe. 2. Crie uma função de IAM na AWS: Olá, bem-vindo a esta lição. Aprenderemos sobre como criar uma função de gerenciamento de acesso, identidade e função do IAM no Amazon Cloud. A função do Iam é muito importante quando você precisa autorizar qualquer serviço com outro serviço ou qualquer outra conta na AWS. Portanto, ele está indo para os principais serviços e blocos de construção para o Amazon Cloud. Você pode ir para o gerenciamento de segurança e identidade ou simplesmente pesquisar. Estou na barra de pesquisa da AWS e você encontrará esse painel para o console do IAM. No lado esquerdo, você tem várias opções para gerenciamento de acesso e relatórios de acesso. Portanto, para criar uma função, basta navegar até a opção de regras logo abaixo dos grupos de usuários e usuários para criar uma função do IAM. Como você pode ver aqui, já criei várias funções do IAM que foram anexadas a vários tipos de serviços em nuvem na AWS. E se você quiser criar uma regra separada para acessar recursos na nuvem, você pode criar recursos como uma conta de usuário, mas não é uma conta de usuário. Ele tem algumas permissões anexadas para usar e executar determinadas operações nos respectivos serviços de nuvem. Basta ir para criar uma função. E isso fornecerá quatro opções diferentes que você pode usar para criar uma entidade confiável. Primeiro, para os serviços da AWS, você pode anexar a qualquer um dos serviços da AWS, conforme listado abaixo. E você pode usá-lo para autorizar o acesso a outra conta da AWS. Você também pode anexá-lo para identidade da Web e federação SAML. Portanto, se você quiser fornecer acesso a alguns recursos, talvez esteja trabalhando em uma equipe em que você tenha centenas de usuários ou desenvolvedores e testadores trabalhando com você na AWS. Todos eles podem ter contas separadas. Você pode conceder permissão a determinados recursos na nuvem usando o IAM. Além disso, se você tiver uma única conta, também poderá fornecer acesso a vários serviços. Desta vez, estamos selecionando redshift. Redshift lê um serviço popular na AWS que pode ser usado para armazenamento, recuperação de informações e muitas coisas aqui. Então, basta selecionar esse Redshift. Você pode escolher outros serviços como DynamoDB, S3, qualquer outra coisa? Depois de selecionar a coisa, você pode criar uma política. Você pode anexar políticas de permissão. E você pode selecionar essas coisas. Essas são várias políticas que concedem certo tipo de acesso, como acesso de leitura, invocar acesso, e você pode enviar para o acesso ao gateway VPN do CloudWatch, acesso correto executar o eixo SDK em excesso. E muitas coisas. Estamos usando uma proporção. Se você quiser selecionar, podemos selecionar as respectivas permissões. Se você quiser anexar como S3, você pode anexar o acesso total do S3. Dessa forma, temos acesso para ler, escrever, excluir qualquer coisa, qualquer tipo de operação em que queremos realizar. Alguns contidos são mantidos no bucket do S3. Podemos executar se você quiser fornecer apenas acesso somente leitura, você pode fornecer um acesso somente leitura. Acesso somente leitura do Amazon S3. Dessa forma. Digamos, por exemplo, se você estiver criando um aplicativo da Web, um aplicativo móvel, que pode gerar informações dos dados mantidos no bucket do S3. Você pode apenas fornecer acesso somente leitura. Portanto, nesse caso, só poderá recuperar informações. Mas não é permitido excluir, modificar ou qualquer coisa. Qualquer informação adicional. À medida que uma permissão é bloqueada. Está muito seguro. A implementação de uma segurança chega a apenas um serviço. Ou seja, eu sou, se você habilitou, implementou o gerenciamento de identidade e acesso de forma muito adequada, seu sistema Cloud ou ambiente de integração em nuvem é quase uma cura. Você pode pensar nisso. Embora existam outros serviços de segurança e dedicados a portas e outras coisas. Mas se eu sou o serviço principal, por isso que ele é categorizado sob a segurança de gerenciamento de segurança e gerenciamento de identidade. Serviços na AWS. Basta fornecer o nome dessa regra. Você pode fornecer uma descrição de função à medida que estamos criando uma função para redshift, pelo menos fornecer uma proporção de crescimento. Pode ser fácil aprender que é relativo ao Redshift. Caso contrário, poderíamos ficar confusos. Se você quiser adicionar uma descrição de uma linha, mais elaborada, você pode fornecer. Talvez se você tiver 50 ou centenas de funções do IAM e você pode ficar confuso com qual função está anexada a qual serviço ou qual conta você pode ser informado. Suas funções criadas, a descrição. Aqui estão as políticas que foram anexadas e atingidas. Ok, então criamos essa nova função. Basta procurar por ele, rolo redshift. Essa função do IAM foi criada e não há última atividade, portanto, não a usamos. Basta ir para as propriedades e ele acharia que a primeira é o ARN da função, o nome do recurso da Amazon. Portanto, você precisa copiar essa coisa sempre que quiser anexar sua função de gerenciamento de acesso de identidade a quando um serviço ou autenticação diferente. Você só pode ter essa coisa. Se você criar uma conta reformulada. Se você criar uma instância para banco de dados do DynamoDB e quiser dar permissão a ataques essa função, basta colá-lo lá. Você também pode obter outras opções. Se quisermos personalizar as políticas a qualquer momento mais tarde, você pode acessar as políticas de anexação e personalizá-las. Digamos, por exemplo, se concedemos apenas acesso de leitura para o bucket do S3 e, talvez, no futuro, desejamos personalizá-lo. Podemos fazer isso. Basta clicar na política Anexar. Você também adicionará outras coisas como conselheiros de exercícios, várias tags. Você pode revogar onde suas sessões, você está, outras propriedades também. Se quiséssemos nos aprofundar nessa função do IAM, você pode ter essa coisa. Você também tem a opção Jason. Isso é criado para essa regra. Você também pode criar e operar funções do IAM usando a AWS CLI, portanto, na interface de linha de comando também, você pode fazer essas coisas se não quiser acessar via console. É assim que você cria uma função do IAM na AWS. E você sabe como anexar as políticas, fornecer permissões para leitura, gravação, execução e outras coisas. E como você pode encontrar o ARN para carga de projeto. Continue aprendendo e continue avançando. Você vai aprender mais nas próximas lições. 3. Crie um cluster de Redshift: Ei, bem-vindo de volta amigo aqui nesta lição que você aprenderá sobre como criar um cluster no Amazon Redshift. Vamos começar com isso. Qual é a forma deles? Sua mudança é um serviço de banco de dados relacional que suporta SQL e geralmente é usado como data warehouse. Você também pode considerá-lo como um serviço de data warehouse na AWS. Ele é otimizado para leitura que o torna rápido em comparação com outros serviços de banco de dados relacionais como a rede MySQL, certo? Otimizado. É um serviço de data warehouse em escala de petabytes. Assim, você pode manter muitas informações, muitos dados no Amazon Redshift. Para usar remodelado, você só precisa criar um cluster do Redshift primeiro e mais tarde, você pode executar outras operações. Você pode criar um nó, você pode selecionar o tipo de nó, você pode otimizá-los. Você pode armazenar essas informações. Basta acessar o Amazon Redshift no console da AWS. E aqui você pode criar um cluster, este painel para Rachel. Se você já criou vários clusters, eles ficarão visíveis. Se você estiver criando um cluster do Redshift pela primeira vez. Esta é a página inicial como parece. Então, vá para criar um cluster na remodelação. Isso permitirá que você personalize, enquanto as propriedades para o data warehousing de cluster remodelado geralmente são usadas para os dados. Os dados são considerados para fins de arquivamento. Os dados que devem ser mantidos para manutenção de registros ou outras informações para auditoria e outras coisas. Mas eles geralmente não são usados no ambiente de produção ao vivo. Além disso, você também pode usar os dados redshift de todo o ambiente de produção. Somos a eficiência da leitura é mais importante e a eficiência da gravação. Se seus dados forem armazenados, leiam eficientes, muito rápidos e muito rápidos, você pode usá-los para isso. Depois de criar um cluster, você precisa configurar várias coisas, como se estiver planejando usar esse cluster para o ambiente de produção, você pode selecionar essa coisa. Caso contrário, se você quiser usá-lo para fins de teste, ele poderá selecionar atuação. Você pode escolher o tamanho do cluster. Você pode escolher um tipo de nó. Pode ser grande, extra grande. Poderia ser legado. Pode ser médio ou pequeno. Depende da sua exigência. Se você tiver um requisito enorme, você pode usar a opção extra grande. Caso contrário, basta ir com a opção de nível de entrada. Se você estiver fazendo isso para fins de teste, ele mostrará a opção para um cluster pequeno. Há x plus e outras opções. Você pode selecionar o número de nós. Você pode selecionar essa fonte de dados se quiser carregar os dados de amostra para prática, para aprender, você pode vender os dados de amostra. Caso contrário, você pode criar um cluster, fazer upload de seus próprios dados para prática. Se você também tiver, como acontece com outros serviços de banco de dados, precisará fornecer um administrador de banco de dados, nome de usuário e senha. Você pode usar essa coisa para acessar seus recursos e emulador dele. Em seguida, você pode fornecer permissões de cluster. Se você quiser selecionar as permissões. Se você usar a versão de avaliação, poderá encontrá-la. Enquanto as coisas já configuradas para você. E essas são as configurações calculadas. Alguém dc2, grande, um cluster de nó tem um cluster de nó único. Ele usa um serviço de computador onde temos duas CPUs virtuais e você tem os dados de amostra. Portanto, um nó tem 160 GB, é o tamanho das histórias, que você possa armazenar até 160 GB de conteúdo neste cluster do Redshift. Se quisermos ter uma escala de petabytes ou uma escala muito grande, você pode criar o tamanho de cluster extra grande e com vários nós. Isso tem um ticket de dados de amostra de 28 MB. E isso permitirá que você execute enquanto as operações de consulta. Você pode escolher nosso administrador, nome de usuário ou senha para acessar seus recursos de banco de dados. É comparativamente semelhante ao MySQL, pois também é relacional. Sua consulta SQL de suporte. Então, muito chef permite que você escreva e execute consultas SQL para ter experiência em análise se você quiser repetir algumas consultas de informações para fins analíticos e outras coisas, você pode executar consultas SQL. Você também pode acessar a proporção de recursos usando o console da AWS, onde você obteve aparência visual. Se você quiser anexar a interface da linha de comando, você pode executar o comando onde você acessa a placa de arte. Assim como uma interface SQL tradicional. É assim que, uma vez configurado, tudo simplesmente vai para criar um cluster. Isso permitirá que você crie um cluster. Se houver algum erro, basta voltar a esse erro e tentar corrigi-lo. Portanto, pode haver erro de senha, como deveria estar em um determinado formato. Você precisa selecionar os caracteres especiais e assim por diante. Esses são os parâmetros que você precisa fornecer o tamanho adequado do cluster. O número de nós não deve ser muito grande. Se você estiver iniciando o propósito de teste, poderá ter dados de um ou dois nós suficientes. Mas se você estiver fazendo isso para o ambiente de produção para aplicativos da vida real, isso depende do uso em que você deseja usá-lo. Depois de terminar a configuração de clusters em forma de vermelho, basta clicar em Criar cluster e ele será criado. O que irá navegar você até o painel e a opção de cluster, e ele será criado. Quando o cluster estiver disponível, você poderá acessar as propriedades, configurá-lo e começar a consultar. Você pode carregar os dados e executar várias coisas. Você também pode monitorar a utilização da CPU é a capacidade de armazenamento. Você pode verificar o status atualmente em que ele está sendo criado, exibição perigosa, opção de modificação. E há um nome de cluster é o ritmo que você pode usar para autenticar essa pergunta. Você também pode anexá-lo a outros clientes, como clientes SQL que podem ser usados para operações ETL, extrair, transformar e carregar operações. Podemos usá-lo com drivers JDBC ou ODBC também. Mas aqui estamos usando o console da AWS para consultar essa coisa. É assim que você cria um cluster na reforma. Para criar nosso próprio cluster do AWS Redshift para armazenamento de dados, armazenamento de dados e outras coisas. Continue aprendendo e continue avançando. 4. Editor de consultas de Redshift e conexão odbc: Olá, bem-vindos de volta amigos. Aqui nesta lição, você aprenderá sobre como escrever consultas SQL e executar consultas SQL em remodelação usando várias técnicas. Existem várias maneiras que permitem usar a consulta SQL para o cluster do Redshift. primeiro passo é que você pode usar um driver JDBC ou ODBC para se conectar ao cluster do Redshift com qualquer ferramenta cliente, como clientes SQL. Com essas ferramentas ETL ou IDEs ou editores de código, você pode usar essas coisas. Para isso, você pode usar uma ferramenta jar aqui. Você pode baixar os arquivos JAR para esse cluster do Redshift ou do arquivo ODBC sem usar o AWS SDK. Se você usar o AWS SDK na interface de linha de comando da Amazon, também poderá conectá-lo a isso. Caso contrário, se você quiser usar o Editor de consultas no console da AWS, também poderá usar o Editor de consultas. Primeiro verifique os detalhes do cluster. Depois de abrir as propriedades do cluster, você encontrará vários detalhes, como tipo de nó, número de nós, endpoints, JDBC, ODBC, URL. Se você quiser acessar o Editor de consultas, você pode clicar aqui para entrar no editor de consultas. Antes de começar com o Editor de consultas no console de reforma, talvez seja necessário configurar um serviço de gerenciamento de chaves de criptografia KMS. Assim, você pode ativá-lo. Você pode configurá-lo e seguir em frente. Este editor de consultas permitirá que você execute consultas SQL usando o console da AWS. Você estará pronto para ir. Você pode encontrar um serviço de gerenciamento de chaves da Amazon KMS. Para aplicativos de criptografia. Você pode optar por criar um tipo de chave simétrica ou assimétrica. Você pode definir o uso da chave ou encontrar as opções avançadas, como você pode usar o design de material, você pode ter o L EFS, você pode fornecer descrição. Basta clicar em Next. Se você quiser selecionar as configurações padrão, não as personalize até sua família ou com essa coisa. Acabei de configurar. Depois de terminar, você pode abrir o console virtual. Do lado esquerdo, temos três opções diferentes. O primeiro é o banco de dados novamente, essas consultas e a terceira é cobrada. Por padrão, estamos no cluster do Redshift. E, no lado direito, temos um editor onde podemos escrever script, basta escrever, selecionar asterisco dos tickets. Então, temos o banco de dados de tickets. Podemos acessar essa coisa. Ticket é uma tabela que foi criada por padrão como um conjunto de dados de amostra. Se quisermos limitar a saída da consulta 200, você pode definir o limite ou deixá-lo. Você também pode salvar essa consulta fornecendo um nome. E você pode salvá-lo se quisermos usá-la pasta em qualquer outro cluster. Você também pode executá-lo manualmente no horário agendado, se quiser em qualquer outro lugar. Você também pode personalizar essa consulta. Se você quiser fazer uma conexão com um banco de dados, deverá fornecer o nome do banco de dados, o nome de usuário e a autenticação para o estado. Sempre que você tiver criado um cluster no Redshift, você forneceu o nome de usuário e a senha. Você pode usar o mesmo verde para acessar os recursos do banco de dados na nuvem. Para o MySQL, para qualquer coisa, para qualquer tipo de usuário de banco de dados administrador de banco de dados, você pode criar uma conexão usando essa coisa. Isso permitirá que você execute a consulta SQL. Usando essa conexão, você pode usar credenciais temporárias ou pode ter essa coisa. Você pode criar uma conexão aqui. Quando ele estiver lá, você pode, ele começou a executar suas consultas SQL. Existem vários tipos de consultas SQL que você executa. Você pode fornecer as operações de inserção. Você pode soltar a mesa. Você pode modificar a tabela, escrever procedimentos SQL. Você poderia criar gigantes para a tabela. Externo esquerdo, junção interna, algumas consultas avançadas. Você pode usar uma cláusula where e muitas coisas aqui. Depois de terminar, você pode executar essa consulta neste cluster. Uma vez que houve uma conexão, você pode. Agora vamos passar para as opções de consulta. Então aqui temos essa consulta salva. Você pode ir para os gráficos. Você já criou um gráfico. Você pode alterar o modo de exibição do modo noturno para Demode. À luz do dia. Você quer uma tela branca. E, em seguida, no modo noturno, você obtém tudo em um tom escuro. Você pode editar o trabalho o mais rápido que quiser. Você pode criar várias pastas para organizar a consulta sistematicamente. Se você quiser executar, se estiver trabalhando em um ambiente de produção real para qualquer organização ou em algum outro projeto, talvez seja necessário executar milhares de consultas às vezes. E eles precisam ser organizados. Então você tem que fornecer. Então, aqui podemos criar as várias pastas, como para dados, para restaurar litros e as consultas. Você pode encontrar essa coisa na pasta de dados. Poderíamos criar uma cotação para escrever as regras. Podemos usá-lo. alterar as variáveis quando não estamos. Podemos escrever as consultas ou análises e outras coisas e podemos relaxar distintas. Você pode encontrar vários tipos de consultas que são criadas por você que podem ser compartilhadas com seus colegas de equipe. Você garante público. Este é o Editor de consultas geral para Redshift. Você pode executar consultas SQL de várias maneiras. No banco de dados remoldado. Eles são aglomerados moldados. Você pode ter vários clusters. Você poderia armazenar muitos bancos de dados lá. E é otimizado para leitura, por isso é muito rápido, muito otimizado. Você pode ter muitos dados armazenados no cluster do Redshift e a escala de petabytes usada para fins de arquivamento. Se eu quiser ter operações de leitura e gravação em tempo real no banco de dados, não use seu chip. Você pode usar o DynamoDB para um melhor desempenho. Ou outros bancos de dados. Continue aprendendo e continue avançando. 5. Propriedades e ações de cluster: Ei, bem-vindo de volta amigo. Aqui nesta lição, você aprenderá sobre várias propriedades de cluster no Amazon Redshift. Aqui você aprenderá sobre o monitoramento vários parâmetros que estão sendo executados em uma fenda ou como consultas e coisas adultas. Você pode mantê-los no histórico e também pode redimensionar seu cluster sempre que quiser. Basta acessar o painel do cluster do cluster selecionado do Amazon Redshift. Nós entramos nos detalhes. Então, aqui está uma informação geral sobre seu cluster. Você pode encontrar nomes e coisas de um recurso. Em seguida, basta rolar para baixo, você encontrará várias opções , como o desempenho do Leicester. monitoramento de consultas deve usar manutenção e outras propriedades. Monitoramento de consultas, você tem histórico de consultas, o histórico de consultas executadas em seu cluster. Você pode classificá-lo com base semanal ou por hora diariamente, e assim por diante. Ele mostrará a simultaneidade da carga de trabalho para consultas 2D e em execução no cluster. As consultas que estão atualmente na fila e ocorrem, consultas que estão em execução no momento. Eles vão te mostrar em várias matrizes. Atualmente, não temos nenhuma consulta enviesada ou em execução. Como tudo está vazio. Você também pode verificar o desempenho do banco de dados, vários usos compartilhados. Você pode redimensionar o cluster e o tamanho real do cluster. Sempre que você quiser. Você pode encontrar vários tipos de coisas. Você pode fazer a filmagem, você também fará perguntas. Assim, você pode criar uma consulta SQL e executá-la com base em um horário predefinido. Digamos que se você quisesse escrever uma consulta SQL agora mesmo e quiser que ela seja executada sete dias depois, eles dizem ou 17º de cada mês às 1015 AM. Você pode compartilhar essa coisa e ela será executada em um horário predefinido. Dessa forma, você pode criar automação. Então, você deve consultar? Eu fornecerei a capacidade de automação. Você também pode encontrar detalhes de manutenção. Sempre que você quiser que seu cluster seja mantido, você pode verificar essa coisa. Queríamos criar um backup para seu cluster. Ele criará um backup. E sempre que você quiser editar suas propriedades, nossa configuração de cluster, você pode adicioná-lo aqui se quiser editá-lo ou fazer backup de propriedades, você pode ter o valor personalizado por vários dias. Quando parei aquém disso é tirado. Um instantâneo está presente cenário sob cluster de outras informações dos dados do cluster é armazenado como um backup. Ele terá uma rede conectada e parâmetros de segurança, como função do IAM e VPC. Você também pode fornecer cisalhamento limite. Depois de terminar, você pode salvar as alterações. Caso contrário, você pode verificar novamente essas coisas. Essas propriedades são importantes quando você está executando nosso cluster na nuvem. Portanto, há uma ampla variedade de aplicativos que podem ser implantados em um novo turno de clusters. Poderia estar ligado a muitas coisas. E há muitas pessoas envolvidas na manutenção dessas coisas. Então, como uma função de gerente, você pode encontrar vários parâmetros, se o cluster está sendo executado corretamente. Você pode ser um arquiteto de soluções, ser um desenvolvedor do Cloud e ser responsável pela administração do banco de dados e qualquer coisa assim. Você estaria em uma situação em que você pode verificar o desempenho se o cluster está no horário, suas consultas estão sendo executadas. Digamos que se você quiser verificar se seus desenvolvedores e outras pessoas executaram consultas, mas tudo foi transformado na fila e você pode monitorá-lo aqui. Você corrigirá qual é o problema. Se houver algum problema que possa ocorrer, você poderá solucionar esses problemas passando por várias propriedades. Existem várias ações que você pode executar em um cluster, como redimensionar um cluster, reinicializar cluster. Você pode padronizar a manutenção, você pode pausá-la, você pode excluí-la. Você pode criar opções de backup e recuperação de desastres, como restaurar tabela, criar um instantâneo, configurar linhas e regiões. Você pode gerenciar as permissões. Você pode gerenciar as regras de gerenciamento de identidade e acesso. Para acesso ao cluster. Você poderia ter outras coisas também. Você pode modificar os acessórios acessíveis ao público e outras coisas. Deixe-nos isso renomear Eu sou linhas. Você pode anexar várias funções do IAM aos clusters com base em determinados parâmetros. Digamos que se sua organização tiver uma equipe de dez desenvolvedores, mas apenas quatro estão trabalhando neste cluster. Você pode criar dez funções diferentes, mas permitir que apenas partes diferentes se encarregem desse cluster do Redshift. Então, eles acessariam determinado segmento do cluster. E eu poderia modificá-lo. Eles podem executar suas tarefas que são atribuídas. Dessa forma você tem que associar eu sou. Além disso, se você quiser anexar vários serviços, integre esses serviços em nuvem na AWS com outro serviço. Você também precisa de uma função do IAM. Se você quiser reinicializar o cluster ou o tamanho do cluster, você pode fazê-lo facilmente. Digamos, por exemplo, se houver um problema, há algum erro que você não conhece. Como todas as consultas foram para os cubos, mas nenhuma consulta já existe. Assim, você pode reinicializar o cluster. Talvez possa haver algum erro, como o primeiro passo da solução de problemas. Digamos que se você estiver usando um Windows baseado na minha área de trabalho e houver alguma situação como seu sistema travar, tudo se congela. O que você faz nos dias anteriores? Você simplesmente desliga o computador, reiniciado novamente. Portanto, essa coisa também pode ser feita no cluster. Coisas diferentes também podem ser realizadas lá. Talvez sua carga de consulta seja muito alta e há uma situação em que você precisa para criar mais novos nós. Você precisa criar vários nós. Você também pode alterá-lo. Você pode redimensionar as situações relacionadas negativamente do cluster e, de outra forma, caso contrário. Se houver um problema com sua fenda aqui, você também poderá excluí-la. Você pode pausá-lo. Portanto, atualmente, ele não estará disponível para receber novas solicitações e assim por diante. Chegg, enquanto as propriedades do cluster em re-forma continuam aprendendo e continuam avançando. 6. Configurando alarmes do cloud Watch: Bem-vindo de volta amigos. Agora, avançando com a criação de permissões, anteriormente você aprendeu sobre várias propriedades do cluster no re-shift. Agora você aprenderá a criar alarmes. Assim, você pode criar um lançamento usando essa opção. Você pode monitorar seu cluster usando o CloudWatch. Você precisa definir várias coisas , como identificador de cluster. Você pode definir o alarme para determinadas métricas. Como aqui, você pode encontrar um máximo de utilização da CPU para recursos compartilhados. Diga aqui que você tem várias opções. Você pode encontrar dados de utilização do Cb com conexões, latência de leitura, taxa de transferência e outras propriedades também. Vamos fazer a utilização da CPU por enquanto. Ele o informará assim que utilização da CPU acionar uma carga máxima, quando um valor métrico for maior que 80%, ele definirá um alarme. Então, ele irá notificá-lo em várias ações. Você pode criar uma notificação do SNS no Amazon Cloud ou desativá-la. Então, ele atuará de duas maneiras. Ele notificará seu CloudWatch final. O Amazon CloudWatch é um serviço dedicado que acompanha várias atividades que aconteceram na nuvem. Ele poderia ser usado para fins de auditoria. Ele pode ser usado para configuração. Obrigado por fazer vários exemplos. Se seus desenvolvedores estão trabalhando no momento em um cluster de returnos e seu gerente de projeto estiver apenas assistindo aos logs do CloudWatch e outras coisas. Eles podem ser informados. Assim, eles podem se manter práticos. Se algo ultrapassar um limite predefinido definido, você poderá definir vários limites. Você pode criar vários alarmes em clusters do Redshift. Para utilização de atributos, latência de leitura, latência e tal por diante. Você pode ter uma discussão com seus colegas de equipe e dizer vários tipos de alarmes. Depois que eles forem acionados, você pode reverter suas políticas, como se a demanda for muito alta, você pode planejar adequadamente aumentar o tamanho do nó ou muito. Mantenha o Aprendizado ativo, avançando. 7. Execute consultas SQL no Redshift: Olá, bem-vindos de volta amigos. Aqui nesta lição, você aprenderá sobre como executar e executar consultas SQL no cluster do Amazon Redshift. Então, vamos começar com isso. Já criamos o cluster Redshift. Podemos escrever e executar consultas SQL nele. Vá para a opção Editor de consultas. No painel redshift. Você o encontraria logo abaixo das opções do cluster. A primeira opção é consulta e a segunda opção é o editor. Você pode ir para a opção Editor de consultas. Aqui você encontrará esse tipo de visão. No lado direito, você encontrará o editor onde você pode escrever seu código SQL. Você tem várias opções, como histórico de consultas, consultas salvas, consultas. Essas opções podem ser usadas para salvar a consulta SQL. Encontrarei um histórico de consultas, histórico de execução e você pode filmar a consulta também. Primeiro de tudo, só precisamos selecionar nosso banco de dados no qual queremos executar nossas consultas SQL. Este é um banco de dados de exemplo de ticket que vamos usar. Só precisamos criar uma conexão. Se você quiser criar uma conexão, você pode se conectar a um banco de dados. E se houver vários bancos de dados em seu cluster, você poderá alternar entre vários bancos de dados usando essa opção Alterar conexão. Você pode autenticar e fazer login em seu banco de dados. Depois de autenticado, você pode começar a executar suas consultas. Selecionamos um esquema de desenvolvimento de banco de dados público. Estamos usando o ticket de mesa. Aqui. Você tem várias opções que você pode executar. Você pode inserir as consultas SQL para as coisas predefinidas. E você pode executar essas coisas. Depois de executar a consulta SQL, ela produzirá uma saída na mesma página. Você pode rolar para baixo e encontrá-lo. De fato. Você pode mostrar os detalhes da tabela final e o resultado da consulta. Então, vamos para a opção de detalhes e insira sua opção no SQL, gerará algum código SQL para você. Você pode executá-lo. Embora você também possa escrever seu código SQL diretamente dessa falha. E se você não tiver tempo, você está com pressa? Você pode usar algumas das consultas SQL predefinidas com muita facilidade. Talvez se você estiver confuso diretório da sua tabela, o esquema de dados. Agora você pode se confundir com o erro ortográfico e, portanto, a saída da consulta não será executada, ela não aparecerá. Você pode usar as consultas SQL predefinidas. Você também pode salvar várias consultas SQL uma vez que você, depois de executarmos esta consulta SQL, selecionar asterisco da tabela onde não usamos cláusula where que usamos o limite. Estamos usando o limite. Ele mostrará apenas os dez registros. Então você pode alterar o limite. Você também pode ter outras coisas. Assim, você pode executar várias consultas SQL aqui. Vamos tentar. Somos classe. Você pode colocar certas condições. Depois de terminar a consulta SQL, você pode começar a executar. Você pode executar uma consulta SQL por vez. Se você quiser executar várias consultas SQL, você também pode executar várias categorias SQL. Você pode agendá-los, podemos adicioná-los às consultas agendadas. Eles podem ser executados simultaneamente, ou você pode salvar várias consultas e Executar uma a uma. Usando este lápis. Em shift, você pode executar suas consultas SQL usando vários métodos. Você pode usar a interface de linha de comando da Amazon. Você pode usar dois editores de consulta diferentes, o Query Editor V2. E este é o editor de consultas Leicester. Você pode usar essa coisa. Basta colocar a quantidade vendida é maior que dez. Vamos executar, ele, produzirá um resultado. Também podemos visualizar resultados. Basta rolar para baixo. Depois que sua consulta for executada, ela mostrará que talvez não haja saída. Você pode alterar seus parâmetros, você pode definir várias configurações e assim por diante. Human também claramente suas consultas SQL. Se você quiser remover tudo e escrevê-lo mais uma vez. Talvez você já esteja familiarizado com a sintaxe SQL. Se você não estiver, você deve aprender programação SQL. I consultas SQL. Essas são coisas básicas. Isso não é uma coisa de programação avançada como Java e Python. Você deve estar ciente dessas coisas. A maioria de vocês talvez já esteja ciente da consulta SQL. Você já escreveu isso em uma faculdade e seu Deus por toda a vida, você o usou. Você pode aproveitá-lo usando o cluster de liderança. Essas são várias colunas e as linhas são retornadas quando executamos essa consulta SQL. E também podemos baixar essa coisa, essa saída no formato CSV, que pode ser usada para análise adicional de dados e outras coisas. Por que escrever consultas SQL, você pode executar várias operações. Como analisar informações. Você pode adicionar novas linhas e colunas. Você pode encontrar certas informações com base em um filtro, com base em determinadas condições, se elas correspondem e assim por diante. Se você tiver um milhão de registros, você quer narrá-lo, você pode torná-lo estreito. Você pode encontrar resultados da consulta em diferentes opções. Você também pode visualizá-lo em forma de gráfico. Geralmente não é usado tanto. Mas se você quiser visualizar, você também pode encontrá-lo. Como a execução da consulta foi executada, como ela está sendo executada e assim por diante. Então, essa coisa pode ser usada pelo gerente de projeto. Poderíamos usar para auditoria e outras coisas, como a execução da consulta é executada e assim por diante. Podemos planejar suas consultas, você pode enviar texto, você pode usar o tempo de execução, a linha do tempo de execução também podemos encontrar aqui, você pode extraí-la e o formato de dados. Consultas SQL são amplamente usadas para realizar análises. Você pode ser usado para modificar clusters. Você também pode executar consultas SQL com vários aplicativos para aplicativos web ou móveis. Mas antes de conectá-lo a outro aplicativo. Quando você quiser gravar para executar várias consultas SQL usando o editor de consultas, você pode usá-lo para verificar se está produzindo a saída correta ou não. Você também pode criar várias tabelas com base em big data. Lá. Digamos que se você tiver milhões de registros e quiser filtrá-lo com base em determinadas condições, como condições geográficas, você tem registros de clientes. Você deseja dividi-los em tabelas e bancos de dados diferentes , separados pelas geografias, pela nação e pelos papéis que você pode definir lá. Você também pode defini-los em várias condições e assim por diante. Portanto, o SQL é uma linguagem de consulta muito versátil que pode ser usada com grandes tipos de tabelas relacionais. Você também pode organizar sua consulta SQL do jeito que você deseja. Se você quiser executá-los em uma única linha, você pode encontrá-lo. Se você quiser ter. Além disso, você pode ter. É assim que você pode escrever consultas SQL no cluster de re-shift. Continue aprendendo e continue avançando. 8. Salvar e agendar consultas do SQL: Olá, bem-vindos de volta amigos. No início desta lição, você aprenderá sobre o agendamento consultas SQL que podem ser executadas em um horário predefinido. Vamos começar com isso. Você já sabe como escrever consultas SQL no cluster do Redshift. Você já sabe como executar essas coisas e pode salvar essa consulta SQL clicando na opção salvar. Você precisa apenas fornecer o nome dessa consulta para que você possa encaminhá-la com seu nome. Basta fornecer um nome e exibir dados com base em consideração são alguns parâmetros. Você pode definir várias condições, ter várias consultas SQL que podem ser salvas. Você não precisa digitar as coisas repetidas vezes. Embora você possa alterar poucos parâmetros e certas condições, muito melhor ter uma semente de consulta. Depois de salvar a consulta, você pode encaminhá-la novamente e verificar o histórico da execução da consulta. Você pode encontrar várias consultas que foram executadas na ordem de execução. Para consultas agendadas, você pode definir uma consulta SQL e fornecer a hora, a frequência. Você pode defini-los com base na frequência de execução ou no formato da coroa. Você também pode repetir essas consultas SQL para serem executadas. Como você pode encontrar, existem três opções diferentes ao lado da execução. Salve, agende e limpe. E você pode sentir essa coisa. Então, outro canto superior, você obteve as consultas salvas, um histórico de consultas e, se você se preocupar, você sempre pode baixar o formato SQL das consultas. Depois de salvo, você pode usá-lo em qualquer outro lugar. Então, basta ir para a opção agendar consultas aqui que você precisa fornecer a função do IAM. Você pode acessar o painel de gerenciamento de identidade e acesso para criar uma função do IAM. Ou, se você já tiver uma linha existente, você pode encontrar o nome do recurso da Amazon do ERM e apenas fornecido aqui. Aqui temos a função Redshift que criamos anteriormente. E podemos usar essa estrada. Basta copiar a função ARN para essa função do IAM e colá-lo no link ARN para a consulta agendada. Você deseja executar uma consulta. Você precisa ter acesso a esses determinados recursos e você pode fornecê-los usando a função do IAM. Então você precisa definir a consulta. Aqui você pode escrever a consulta SQL. Isso é a coisa mais importante. Se a consulta for muito longa, você também poderá carregá-la carregada no formato de texto. Então, novamente, você deve optar por consulta por frequência executada ou formato de coroa. Se você selecionar por frequência R1, poderá repeti-lo mensalmente, repetido diariamente, determinado tempo. Você pode repetir a última consulta na segunda-feira e assim por diante. Você pode definir um tipo no formato UTC e você pode ter um fuso horário diferente. Se você estiver trabalhando em um fuso horário diferente, como eu estou trabalhando no fuso horário indiano, IST. Vou apenas adicionar certos valores, convertê-lo para você desperdiçando. Você também precisa fornecer o nome dessa consulta para gerar consulta. Sempre que for necessário executar. Você pode ter várias consultas que podem ser salvas. Você pode ter várias consultas que podem ser compartilhadas você depois de ter um cluster grande no Redshift, você tem muitos bancos de dados. Você precisa ajustar, não escrever consultas SQL. Você pode agendá-los em um horário predefinido que pode ser usado para a manutenção, pode ser usado para auditoria, pode ser usado para várias coisas. Digamos, por exemplo, se você tiver um cluster grande com banco de dados de usuário grande, enquanto o lipídio é, digamos, 1 milhão de registros e você sabe, mensalmente ele excede 1 milhão de registros. Assim, você pode criar um novo banco de dados. Enquanto garçons por pessoa, essa coisa pode ser usada, continuar aprendendo e continuar. 9. Conexões de banco de dados com nova guia no editor de Consulta: Bem-vindo de volta, amigo. Agora, daqui para frente com nossas consultas de agendamento, escrevemos um cronograma, é fornecida a função de gerenciamento de acesso de identidade e falhou nela. Você pode encontrar consultas salvas. Você pode encontrar consultas agendadas nessa categoria. Temos uma consulta salva que criamos o galpão que você consultará, mas não o finalizamos. Não disponível. Você pode excluir vários tipos de consultas. Você pode excluí-lo de consultas salvas, você também pode excluí-lo de consultas federais. E o que você não pode excluir nada do histórico de consultas. É. Você também pode criar uma nova guia para o editor de consultas. Assim como você cria uma nova guia para o seu navegador. Navegador da Web. O que uma nova guia fará? Isso permitirá que você execute várias consultas simultaneamente. Na nova guia, você pode executar uma consulta em outra guia. Você pode ter outra consulta em execução. E também você pode alterar a conexão com seu banco de dados, digamos banco de dados interno se você tiver dez tabelas e se tiver dez bancos de dados diferentes. Então, dez em 1000 tabelas e da AWS, você tem, você pode alternar a conexão usando uma nova guia. Você pode contornar várias consultas simultaneamente em diferentes tabelas e bancos de dados. Além disso, você pode ter as consultas de agendamento em execução no back-end. Você pode automatizar várias consultas usando as consultas agendadas que são executadas rotineiramente, que podem ser usadas para verificações de rotina, manutenção, criação de backups, qualquer outra coisa? Em seguida, você pode executar determinadas consultas, passar sempre que quiser ir. Se você quiser executar várias consultas em uma base de manutenção, você também pode fazer isso. Então, vamos escrever alguma consulta. Selecione a cidade do local ao empilhar da tabela. Aqui, dissemos o limite e ele será executado. Esta é a consulta de reescrever aqui. Encontrei. Às vezes, pode haver algum erro de sintaxe ou pode haver alguns problemas de conexão. Você pode alterar a conexão, atualizá-la, ela obterá isso. Aqui há várias linhas retornam para a cidade da janela e a data. Podemos visualizá-lo. Podemos exportar os resultados para formato CSV e também podemos ser usados para outra tabela. Tente criar suas próprias consultas SQL. Salve-os. Criarei consultas de agendamento, executarei no cluster do Redshift, usarei sua tabela de banco de dados, realizarei vários tipos de coisas. O Amazon Redshift pode ser usado para uma ampla variedade de aplicativos. Como você já sabe, você pode fazer muitas coisas no Amazon Redshift, chorar para executar várias tarefas no re-shift. Desde criar tabelas de banco de dados, adicionar registros, conectá-lo à função VPC e IAM, executar várias consultas, compartilhar consultas de negociação e coisas para continuar aprendendo e continuar em movimento.