Hadoop para iniciantes

1. 000 Introdução e visão de curso: você está animado e quer aprender tecnologias de Big Data? Você sente que a Internet está sobrecarregada com materiais gratuitos, mas é complicado para um novato Friederich. Materiais de aprendizagem pode ser uma lata off salas para grande agora em verde seu conselho para começar a saltar . Mas então eles acham que a empresa abandonada fora de treinamentos custaria um braço e uma perna. E quando você olha para nós somos nossos de outros institutos, você acha que é de má qualidade em desonesto. Sem vaidade, basicamente um enorme risco, o mundo pode ir de cabeça para baixo enquanto aprende umatecnologia nova e complicada, tecnologia nova e complicada, como eu me tornar um Helou certificado maior, mas vai tudo que você precisa saber para começar o seu carreira em novas tecnologias e obter experiência para um nível onde você pode fazer xixi em exames de certificação como Cloudera e Horton trabalha com confiança. Você pode começar como um grande nerd neste curso iria ajudá-lo a se tornar um profissional certificado . Este curso irá levá-lo através da necessidade, e ele disparou. Tecnologias de Big Data. Como configurar um novo detalhe do mecanismo DFS. Como meus livros de programas de produção em marcas clássicas comentários sobre yon considerações importantes que você precisa tomar para escrever meus programas anteriores sobre a introdução a ela fazer ecossistema. Entre no caminho certo para ouvir as certificações serem inundadas com ofertas de emprego nos trabalhos de ideias mais legais nos tempos atuais longe de armas terrestres e precisa da decisão certa. Vejo-te no campo. 2. 01 Big Data Grande valor: Bem-vindos ao cidadão da comida sendo feito para cima. Ser valor que isso não é é projetado para entender. Por que eu era tão importante nos tempos modernos? Nele passou a necessidade de tecnologias de big data. Como você usou este curso, espero que você já tenha ouvido muitas pessoas chamadas que empresas como Facebook, Twitter, Twitter, Google estão gerando e caminhando sobre Peter Bytes de dados todos os dias. O grande e endurecido colide em anos, você nunca produz 15. Peter morde mais tarde todos os dias, tanto que eles estão jogando fora a maior parte dos dados, esperando que eles não devem ser nada valioso para estar analisando que, embora esses fatos são interessantes, mas sentir para mostrar importância fora grande mais tarde para uma organização normal. Então eu começaria com o problema clássico, muitas vezes organização tentando encontrar preço fora do novo produto e importância dos dados para obter o preço ideal. Neste caso, a organização estaria de volta ao seguro nuclear de PC. Este é um exemplo muito pouco sofisticado para mostrar o valor do jacaré para uma organização, então, por favor, não se importe com os atributos que levaram em consideração o maior pronto para qualquer organização neste caso, este banco é encontrar preço ideal fora. O novo produto que irá gerar receita Manson em é igualmente bem-vindo pelo mercado para calcular o valor ideal que tem lotes fora internamente para baixo fez o que pode ser fora de ajuda. Primeiro é que eles significam a partir do repositório, que pode conter todas as informações do cliente em logs de conta que geraram por tantos anos. Em segundo lugar, eles estariam hospedando sites e eles são atividades de lançamento nos sites, o que pode ser valioso para entender a gama de mercado sobre o interesse fora dos clientes. Estes podem ser derivados de cliques e as pessoas mostrando oração política interessante no grande campo pensaram que eles têm os padrões de gastos fora de todos os clientes que podem sentir informações importantes para entender e categorizar seu cliente. Junto com este interno mais tarde que está disponível. Há fontes externas também disponíveis, que será importante para o e isso é tarde, tudo importante completar espaçamento da ponte de mídia social, que seria gerado os formulários de pesquisa de mercado em impressões flamejantes de atividades em mídias sociais. Na semana passada, terceiros começaram varas, que daria uma idéia como o que é as tendências recentes em problemas médicos sobre as despesas ao longo deles são quantos acidentes estão acontecendo, tanto habitando pessoas em uma localidade que recolheria todas essas informações. Vamos deixá-los uns sobre os outros 100 algoritmo estatístico para encontrar o preço ideal. Neste exemplo, vemos como os dados agem como um sistema de apoio à decisão. Quanto mais os intervenientes tomarem em consideração o crédito será o sistema de apoio à decisão . Então, mais do que ADA, mais precisas serão as previsões. Neste ponto, você olha para o futuro e vê como a tecnologia de big data vai mudar o meio da tomada de decisões no futuro. No futuro, o leitor seria a base do sistema digital. O que ele precisa é que, com base nas alterações de qualquer fora da entrada, atribua o operável mudar automaticamente coisas como Skynet. Vamos entender isso com um exemplo. Suponha que você sabe que você está planejando uma viagem para o exterior nas mídias sociais. O software saco recebe esse feedback de suas fontes, que mantém um olho em atualizações de mídia social e software tão avançado automaticamente. Uma vez que a oferta de seguro de talento adequado para a sua viagem é suposto, a competição muda o seu espaço. O preço de suas costas muda automaticamente para um novo valor ótimo, de modo a maximizar os lucros. Esta é uma visão futurista de uma rede de computadores que imita o sistema nervoso biológico nas quatro características principais. Primeiro, decidir sobre o que a informação é importante e o que não é. Em segundo lugar, aprender com a experiência disse adaptar-se às mudanças em seu ambiente externo. Comida reagindo rapidamente. As vantagens são situações ameaçadoras, modo que era sobre o futuro. Vamos ver como os dados são usados como um sistema de apoio à decisão atualmente na organização . Actualmente, usámo-lo de um empolgante e vamos olhar para toda a vista da sua arquitectura. Er eles serão várias fontes de dados cada um fora. Isso seria amostrado em limpo e colocado no banco de dados. Conhecido um estado da sua casa em cima deste armazém de dados, o algoritmo estatístico seria executado, que criaria um relatório com antecedência completo nas decisões de negócios. Nessas arquiteturas, elas são duas limitações. Forest terminou uma amostra com base em nossa aldeia e não em toda a cena líder WAAS Então, neste caso, estaríamos olhando para uma parte dela. Somente esta amostragem é necessária para DW casa para funcionar como se o completamente que é considerado o Data Analytics levaria dias para estes dois merece. Então, por esta razão, quando a amostra de dados com os ativadores mais importantes está preocupada com os loucos malditos , então é como, olhar através de um buraco de fechadura e tentar obter o tamanho da sala que procura o cedro várias fontes foi limpo em processado, apenas para dar realmente para o infinito é assim ao ponto de tempo a análise foi Ron o líder já estava ainda assim a decisão não levou em consideração a situação atual , que é o mais importante. 3. Entendendo a compreensão de Big Data: onde você poderia ouvir a compreensão de big data na escuta anterior, nós entendemos o valor de dados Toe Analytics, que desempenha um papel importante como um sistema de apoio à decisão. Nisto. Escuta, nós entenderíamos um pouco mais sobre big data. Vamos olhar para a definição, mas definição big data nossa coleção fora dos desertos tão grandes e complexos que se torna difícil de processar usando ferramentas de gerenciamento de banco de dados em aplicações tradicionais de processamento de dados . Vamos quebrar essa adivinhação em força Bartsch. Big data são uma coleção de inocentes, como vimos no exemplo anterior que o banco tinha tantas fontes de dados, o aplicativo de volta teve que obter conjuntos de dados de cada fonte e iniciá-los juntos. Então, nosso aluno fez análises. Em segundo lugar, parte da definição é grande e complexa. O tamanho dos dados que é considerado na análise deve ser ensinado como uma janela através da qual tentamos ver para olhar e tirar a imagem do mundo exterior. Comece o tamanho da janela, mas seria a imagem outra, a menos que esteja na decisão. Por isso, é importante que o tamanho do líder seja grande, bem como no caso de qualquer músico ou . Há uma variedade de fontes que são cidade muito complexa. Terceira parte da definição é que torna-se difícil para as ferramentas tradicionais processar quando a complexidade e o tamanho aumentam a eficiência fora do tradicional, cujas diminuições e a diminuição do desempenho é exponencialmente proporcional ao aumento em tamanho. Nós compararíamos e entenderíamos a razão para isso em um pouco mais de detalhes na próxima lição. Por enquanto, vamos olhar para os atributos que descrevem big data em entendê-los. Com o problema bancário, você seria capaz de se relacionar com eles. Atributos de big data são 1º 1 você porque haverá tantas fontes. Assim, os dados juntos seriam grandes. E como já discutimos, o tamanho dos dados deve ser o maior possível para que o algoritmo Data Analytics seja capaz de produzir resultados significativos. Pensar está pronto. Cada fonte de dados teria seu próprio esquema e maturidade de compartilhamento. Por exemplo, em Dona Leader, Repositório seria uma média amigos Rita abelhas enquanto as formas de pesquisa de mercado Monsieur, as atualizações nas mídias sociais em um código de arquivo plano é uma velocidade. Os novos dados que estarão fluindo para a organização seria semanal diariamente ou meu além da base excessiva a rua de fluxo de dados, cujo tempo é descrito como velocidade. Portanto, há esses três atributos volume, variedade e velocidade, que devem ser mantidos em mente ao pensar em big data. Vejamos alguns pontos-chave que são vitais para a análise de dados obter resultados geralmente precisos . Será que analytics nos daria dicas se a decisão é digna ou não? É importante para o algoritmo analítico verde em um estado grande, de modo a prever corretamente maior para sentar-se melhor seria a precisão fora algoritmo analítico. Tem sido pesquisado e provado que algoritmo simples em um grande conjunto de dados. Será que você resultado mais preciso, em seguida, um algoritmo sofisticado em um pequeno status que Isso mostra a importância fora da grandeza fora do país líder. Centenas de parâmetros em vez de apenas cinco, aumentaria a precisão fora da manhã analítica para que mais os perímetros melhor seria nossa manhã analítica para estatística sobre. Este é o não precisa não ser um pouco, uma vez que ele tem dedo para lamentar e colocar no peso do seu em que executamos a análise de dados. Assim, o padrão fora do er arquitetura seria certo uma vez e ler muitas vezes foi. Os dados foram colocados no seu acordo sobre os quais iríamos executar estatísticas por mais tempo do que dificilmente seriam alterados. Em seguida, eles apenas olham para um estudo de indústria feito no campo do tamanho de dados e seu grupo, modo a obter o que está à nossa frente no futuro. International Data Corporation é uma pesquisa de mercado a partir da qual realiza a medição de todos os dados digitais criados, replicados e consumindo um único Leo. Ele também prevê os crimes invíduos assuntos relacionados com dados. Aqui estão alguns pontos emocionantes retirados da pesquisa mais recente. O líder de 2005 a 2020 aumentaria por uma quantidade impressionante de 300 vezes. Isso implica uma enorme TV 5200, ambos os seres humanos. Eles fizeram o nosso dobro a cada dois anos a partir de agora 120 20 33% de desconto. Esses dados seriam valiosos se analisados. Eles seriam um monte de gastos com as tecnologias de big data no futuro. Então, se você está pisando na sensação de big data eu parabenizo você como um excesso. Agora, sugiro que faça uma pesquisa no Google no Universo I.D . Também aprender um pouco mais de todos IBC em E M. C. Como eles são empresas importantes no campo de big data. 4. 003 Hadoop e outras soluções: Bem-vindos a ouvir. Três. Você sabe, nós passamos pela importância da Análise de Dados em sua importância para os negócios. Além disso, aprendemos que o grupo de dados tem tomando últimos tempos sobre iria continuar a crescer neste . Escuta, nós entenderíamos como esse big data pode ser analisado e processado para uso. Grace Murray Hopper, os famosos cientistas da computação americanos que desenvolveram o primeiro compilador em conceituar a idéia Off máquina linguagem de programação independente, dado exemplo real agradável para isso, ela explicou, historicamente boi para usado para transportar a carga. Mas amigo, a carga aumentou. Nós não consideramos cultivar o Elks Lodge, mas em vez disso usamos vários bois juntos para puxar a carga pesada. A mesma ideia é aplicada através da análise de big data. Quando esse conceito é aplicado ao mundo da computação, ele é denominado como computação distribuída, e isso é bom, é um conceito legal para um dupe. Vamos ver este problema no mundo da computação. Tínhamos recursos de computação em dados para processar. À medida que os dados cresciam, tivemos a opção de aumentar a capacidade de computação também. Então nós fizemos. Os dados cresceram a uma grande velocidade. A solução de um dispositivo de computação de reprodução aumentou, as despesas caíram por causa de três razões principais. Primeiro, o custo de hardware em segundo lugar, a licença para os custos toed alta falha disco para o Ele tinha um limite superior para a capacidade fora dos dados que podem ser processados, mas os dados estão sempre aumentando. Neste caso, Maddux conceito de computação distribuída vem para nos salvar em vez, fora de uma máquina de banheiro, a tarefa foi distribuída entre um cluster fora de máquinas que ele quer É primeiro você custos de hardware como hardware de commodities foi usado. O hardware de commodities Dome é frequentemente usado para se referir a uma especificação de nota em Lester de seu grupo . Isso significa hardware comumente disponível disponível com muitos fornecedores. Não confunda com hardware barato ou hardware de baixo nível. software de segunda licença é gratuito. Em terceiro lugar, redução do risco de um único ponto de falha em um cluster. Se uma nota falhar, o desempenho se degradará, mas não será interrompido como seria no caso de uma única máquina. Uso pé Estudos têm mostrado que, em certas situações que tinham oops agrupamento distribuído pode processar 10 vezes os dados em uma tenda fora tempo pessoa com diversão tenda fora preço. Interessante, não é? Neste slide, compararíamos o sistema tradicional de gerenciamento de banco de dados com o capô. Omar produz. Eu ainda não descrevi meus produtos, mas eu quero que você pense que é uma estrutura que funciona de forma distribuída em um conjunto de máquinas. Não 40. Olhamos para o meu produto em detalhes na próxima seção, circulando para trás para se tornar ruim está em. Isto é, em muitos aspectos, semelhante a uma comparação entre um carro legal no motor do trem. O carro é caro, mas rápido de transportar. Um pequeno número de pessoas. trem do outro lado produziria um rendimento maior, carregando um monte de flutuador. Cada um tem seus próprios benefícios no social ser aplicado inteligentemente de acordo com a necessidade da situação. Vamos ver o estábulo. RT. Bemis é uma boa opção com os tamanhos de dados na faixa de gigabytes quando meu produto começaria a brilhar em seu desempenho para os tamanhos de dados na faixa de Peter Bites e até Oh , RTB Amiss oferece tanto interativo no acesso em lote nos dados. Quando meu produto é apenas lote fez Axis Spartans em RGB? Emma é realmente e certo muitas vezes, enquanto no sistema de arquivos Helou, não podemos editar um arquivo que preferiria copiar para o sistema de arquivos local, excluir o original em seu sistema de arquivos raiz e copiado novamente com as modificações a serem feitas em RTB, Senhorita. O esquema deve estar presente no momento de folga, carregando o fez em si enquanto em sua duplicação a ligação de esquema é adiada até o momento do processamento. Esta é uma das vantagens da mídia fora do dupe. Vamos entender isso com um exemplo. Consideremos essa forma formal de pesquisa de mercado. Obtemos dados sobre as atividades realizadas nas mídias sociais em relação a um banco. Digamos coluna um. Seja a fonte como o Facebook. Coluna do Twitter para ser carimbo de data/hora e comentários do País B Na versão RTB Miss desativada, a solução terá que armazená-la em uma tabela para a qual o esquema e outras restrições devem ser decididas de antemão em seu grupo. Só precisamos copiar para ela o sistema “Faça 5 “no momento. Off lido. Podemos decidir sobre o esquema. Vamos ver. Podemos combinar a 1ª 2 colunas em um e considerado ver árvore como calma. Não, se você fizer uma classificação na coluna de todos os dados seriam classificados pela origem e cada linha da mesma origem seria classificada pelo carimbo de data/hora. Isso nos dá grande flexibilidade na programação. Próximo em Rd Beamers, mantemos os dados normalizados, batendo Hadoop. Os dados não são normalizados. Este primeiro acerta em junções complexas próximo dimensionamento. À medida que os dados aumentam, o tempo de processamento fora do sistema de banco de dados relacional aumenta exponencialmente enquanto em seu grupo é linear neste slide, analistas ocupados e interessantes no tempo de assento. Veja, tempo está melhorando muito mais lento do que a transferência. É tipicamente na década de noventa que esta unidade estaria desligada. Um GB na velocidade de transferência seria de cerca de 4,5 MBps. Demoramos um tempo para ler. Toda a viagem sairia em cerca de quatro minutos. Hoje em dia, o cenário típico é um profundo na memória sobre transferências sendo 100 MBps. Demorou um tempo para não ler. Todo o disco está perto de fazer um dia se referindo aos orcs no exemplo do Senhor. É como se a carga tivesse aumentado e os cães também ficaram mais fortes. Mas aumentar o Senhor é muito mais do que o aumento da força dos estoques. Esta lacuna pode ser populismo fechado. Suponha que o mesmo TB seja distribuído igualmente em um cluster de 50 notas. As três vezes completas reduziriam para um em 58. São 3,5 minutos. Este outro queria com ela Dube como emprega vandalismo. Mais um que ele queria é que Harut mantém, que réplica fora dos dados. Então falha em uma nota não afeta a integridade de todos os dados. Veríamos em profundidade sobre o quão alto Duke mantém as réplicas em uma escuta separada. 5. 004 Arquitetura distribuída uma visão única: onde você pode fazer ouvir no ouvir anterior, nós aprendemos que o single assim arquitetura era caro a menos que eficiente quando comparado com as arquiteturas distribuídas aqui, nós olharíamos para algumas outras arquiteturas distribuídas em, entender suas limitações e vantagem fora dela dupe com eles. Uma das soluções distribuídas, que tem Então, este campo agora é uma computação de alto desempenho em cinza escuro imagem. Em um típico alto desempenho grande arquitetura er, há número de processadores que se comunicam através de interface de passagem de mensagens, MP I e memória compartilhada. Este SOS muito em uma computação intensiva trabalhos na situação em que grande quantidade fora de dados dizer centenas de G B não é necessário. À medida que o gelo Adidas aumenta o tráfego de rede aumenta. E, portanto, bandido torna-se apartamento como o quão difícil oops arquitetura é. Um grupo pouco diferente tem notas, que são como computadores pessoais. Há um disco rígido com cada CPU. Cada nota tem sua própria área de armazenamento também. Ao atribuir a tarefa a nota mestre considera fez uma localidade e, portanto, a rede é usada apenas para pequenas mensagens apareceram. A escalabilidade é alta. Em Hadoop, que mergulhar profundamente todas as terminologias como tracker de trabalho Bass na localidade de dados no próximo segmento Fora do curso. Outro modelo de computação distribuída é o Volunteer Computing City, que significa Search for Extraterrestre Intelligence é um projeto que visa analisar as ondas de rádio que receberam do universo. Tentam encontrar um padrão. Há qualquer vestígio de comunicação indigente no rádio está fazendo para se houver algum indigente extraterrestre tentando se comunicar com a gente, este projeto US pessoas como você e eu para baixar o aplicativo, que iria aparecer como protetores de tela em nosso computador. E quando não estamos fazendo nada em um computador, este programa usaria a ilha. Cebu ciclos dedos aliados de Oak Unit para padrões aplicando vários algoritmos avançados ardósia para suas transformações, exceto quando o trabalho está terminado. O aplicativo em nosso computador enviaria os resultados em pediria para a próxima unidade de trabalho . O servidor central tem que disputar sobre a unidade de trabalho 23 ou mais notas para voltar falha em resultados Ernest. Essa arquitetura é adequada somente para trabalhos intensivos superiores, que podem ter taxa de transferência variável O tempo nisso pode ser aplicado somente nas situações em os dados podem ser compartilhados pela rede, portanto, essa não é uma opção viável para o a maioria dos problemas de negócios. 6. 005 edições Hadoop: onde pode fazer isso em cinco. Na escuta anterior, aprendemos um pouco mais sobre outras soluções distribuídas sobre suas limitações para resolver problemas comuns de negócios. Neste ouvir, nós exploraríamos um pouco complicado tópico com Hadoop. Suas versões Hello segue a nomenclatura de lançamento padrão denotada na forma de extorquir Wydad Z, onde X significa que é leasing medidor. Por que significa seus leases menores e see signifies é os lançamentos pontuais, que podem corrigir alguns bugs. A versão principal em mudança pode respirar a compatibilidade com versões anteriores. Isso significa que eles podem ser alguns recursos que podem ser descontinuados ou implementados de uma forma diferente nos próximos lançamentos. Nesses casos, o tribunal precisa ser alterado e recompilado. Por exemplo, o frio montado em seu grupo extorquir odor que pode não ser compatível com o nosso fazer fortuna Express um ponto ir Esta compatibilidade quebrando não é certo, mas pode acontecer Nesses casos, temos que nos referir a um as notas de lançamento off expresso de Helou convo em quebrar a compatibilidade entre o menor em lançamentos pontuais , o que significa que o frio, montado em uma ordem de exortação loop seria compatível com o lançamento menor exortar um não ir no ponto release extract 1.1 sobre o seu trabalho é mais conhecido por sua. Meu produto em seu sistema de arquivos distribuído é DFS, mas tem uma família de projetos em torno dele, que funcionam bem juntos. Isso é referido como o ecossistema de seu grupo. Os outros projetos são grandes colméia, cada zookeeper base, fumaça escolar ex cetera, que nós olharíamos para o líder no curso. Estes presentes têm seus próprios lançamentos, e uma versão política seria compatível apenas com algumas virgens de seu grupo. Assim, torna-se altamente complicado implantar o ecossistema, que são compatíveis entre si. Um partido Big Top é um projeto que lida com o desenvolvimento em embalagens fora de um ecossistema compatível . Este é o lugar onde outros vendedores, como Laura na Escola Harden sobre um Parcher. lançamentos são mais fáceis de entender em nosso compatível dentro do ecossistema. Vamos olhar para os recentes lançamentos de seu duque, que são importantes para saber sempre muito bom Ilha fazer ou ir para complexo t começa depois desta esperança não dedo do pé tem estendido dedo tot dedo do pé a pé em Falou com um médico um mudou a sua p. I é aumentar a eficiência da programação em ponto posterior para três. Arquitetura melhorada Para implementar meu tempo de execução de produção yon é a filtração de defesa e alta disponibilidade. Sob a mão Hadoop Dato Dato moveu-se para uma liberação estável. Don't Toe Dato cinco, que adicionou um par czart indicação esta versão é estável, impopular e foi implementado nos negócios. Este ponto de grupo ou 0.0.2 ou cinco tornou-se Hadoop um Dato A versão não faz três não é seu dedo do duque oficialmente ainda como eu faço este vídeo, mas tem sido especulado Toby 2.0, há até uma possibilidade de que ele pode ser nomeado seu Duke 3.0 e, nesse caso, quem não deveria se tornar também são devidos a 0.0, Neste slide, vamos ver a diferença de recursos entre os lançamentos. Para entender essas diferenças facilmente, eu diria, é questão toe pensar que como seu um não X para ser uma implementação precoce fora de seu loop que não poderia acomodar todas as características arquitetônicas do artigo do Google. Por que não? 23 é o que está mais próximo do artigo original do Google. Pense na fusão para não fazer como uma ponte entre os dois, o que melhorou algumas eficiências de programação , introduzindo novos olhos AP e assim recursos seriam mais fáceis de entender. Por que não Desculpas os nomes de configuração antigos? Por que não fazer atualizado para novos nomes de configuração e assim Doutor três. Os nomes de configuração antigos são suportados, mas são duplicados no dedo interno em cerca de três. Exatamente o mesmo acontece com o FBI. Não somos desculpas. Os olhos LDP, enquanto não fazer, usa novos MPs e refrigerante. Comece para três. Não Toto e não para três suporta os antigos olhos AP para significar em compatibilidade com versões anteriores. A mudança arquitetônica para se aproximar do papel do Google foi feito para mapear reduzir o tempo de execução na versão dr três enquanto foto em um ponto ovos trabalhar no antigo clássico My Produce um outro atualização arquitetônica. Borda do dedo do pé, DFS. Patrício na borda, DFS Alta disponibilidade foi feita na liberação de dentes escuros. O Hadoop. Um. Não ovos melhoraram a autenticação Kerberos insegura, que não está no médico para liberar, mas foi coberto no DR três release. Isso encerra que a discussão em relação a um partido Hadoop libera como um exercício, eu sugeriria que você pesquise um pouco mais em um projeto festa cão grande 7. 006 de configuração Hadoop: Bem-vinda. Este é o Guia de Vídeo para configurar seu Do. Vou usar este documento em todo o meu vídeo, que você encontrará no material de suporte junto com isso. Ouça, eu fiz este documento para fazer um guia passo a passo sobre como olhar. Extradição pode ser feito nesta revisão em apenas cair todos os passos no documento garantindo que você livros de coração. Há sempre a possibilidade de que você pode ficar preso com um novo problema quando você tenta fazê-lo , pois há tantas condições diferentes nesse caso fora do problema que você pesquisa na Internet para procurar ajuda e resolver o problema e carregar em a partir do ponto que viveu no documento. Embora eu tenha considerado todos os problemas que eu conheço fazendo o documento, mas pode haver muitos. Dê a si mesmo um pouco de tempo se você está começando com a instalação agora preocupado que você é novo em. Se você tiver azar com você, não fique preso em qualquer lugar. Levaria em algum lugar de 2 a 3 horas para configurá-lo, então poupe algum tempo. Se você obter coisas, você pode tomar estes dois resultados dependendo do problema. Você está preso com isso é comum para um dedo do pé novato. Fique preso por dias com a instalação. Mas, de certa forma, é bom como você pode aprender tanto. Então não se decepcione se ficar preso. Mas é por isso que eu fiz este documento que deve ajudá-lo a ir em frente e não a mim. Os erros comuns. Então aqui e desvios dos componentes que estou usando, estou instalando. Como fazer 1.2 ponto um em ir dedo do pé? 80 anos, 12 04 e aberto dedo 80 s trilha 800.4 seria executado em uma máquina virtual. Todos os componentes usaram nossa licença livre, exceto para o Windows on. Eu acho a maneira deste ano de montar um grupo. Eu tentei cigarro nas janelas e todos os exemplos que você veria no curso seria eu correndo em sua dupe em Seagram Leader quando um segredo instalado e tentou dedo do pé alma real . Ao fazer este vídeo, eu tive alguns problemas com a abertura tal e eu ainda estou em processo de resolvê-lo. Então, isso é muito bonito eu recomendo executar mesmo em cima de janelas no Hadoop nele é a maneira mais simples de ir para a frente executando em minutos dá a sensação do ambiente em uma configuração prática em vez de Seguin no Windows. Por isso, recomendo vivamente esta abordagem. Então, neste ponto, eu recomendaria fazer o download do Oracle Virtual Machine Onging. Eu vi que você fez 64 bit Então Passo um é instalar artigo máquina virtual. Eu já comecei. É bastante simples. Se você ficar preso em algum lugar, esta busca por uma solução na Net eu vou começar com você. Faça a instalação no bm. Basta digitar. Você faz isso, ele pega e então eu morri o nome de abelhas que eu bati e eu estou pronto para fazer GP. Eu seria constantemente diferente para a tela curta apenas para ter certeza de que o documento está completo e pronto. Então, Lipiec, onde está tudo bem? Eu tenho para unidade dinâmica selecionada em iria bater-lo até 20 g b. Então você precisa ir para configurações e, em seguida, clique no armazenamento e, em seguida, adicionar unidade da cidade que apontaria para o que você pode fazer. Vi que você baixou o próximo ABC que captura de tela se moveu para cima. Certo, é aqui que estamos. Tudo nas configurações é bom. Vou clicar. Okey, eu não vou ligar a palavra “sua máquina”. Você teria alguns problemas sobre teclado e mouse pode causar Basta lê-los para obter informações e clique. Tudo bem , começaria. Eu só vejo se tudo foi mostrado no documento. Olhando, essa é a coisa. Se você está instalando chefe virtual pela primeira vez, isso pode acontecer de modo que ele fez ao longo de algum ar fora Alguns cumprimentos, como suporte 64 bit ou táticas BD são um suporte familiar. Algo Se assim for, isso significa que a conformação bios não suportam máquina fortuna para executar. Então, nesse caso, você só precisa fazer esses passos simples. Apenas ele começou um computador em Ir para bios em Faça os seguintes passos. Certifique-se de escrever estas etapas em um pedaço de papel, pois não será possível acessar este documento enquanto fizer isso em seguida. Se ele não lhe dá esse problema ou você já resolveu o problema, você daria este creme ir em frente e instalar você foi para sim, em seguida, clique em Continuar. Em seguida, vem esta tela Pedir a ele é o risco e instalá-lo indo para ir em frente, clique em continuar em todo o seu líder seria formatado. Apenas matando isso seria apenas ele é e reformando o disco dinâmico ser localizado. Então agora você vem para esta tela e cívico onde você mora aqui, coloca os leitores olhando para mim mais cheio para colocar no meu passaporte. Ok, agora, vamos ser para que isso termine. Nessa altura, enviaria a mim próprio este documento sobre a refeição, para poder aceder ao mesmo quando se desloca a Israel. Levaria um pouco de tempo para instalar, então eu aceleraria a alergia ao vídeo. Ok, Agora a instalação está concluída em você pode clicar em Reiniciar o computador. A primeira coisa que faço é não olhar o documento. Você pode, é claro, baixado do site. Mas eu preciso compartilhar através do meu eu. Então aqui está o meu documento. Vou abrir uma redoma e trancá-la na plataforma de lançamento. Não, eu não amo o pacote de instalação do Duke dela de uma festa. Tomei os meus passos das documentações do próprio Luke. Então, se você ficar preso em algum lugar, referir a esta coisa boa ou estável, Rudi e não olhe, procure por ela. Fazer uma porta em porta um foi baixar o que termina com a filha Deus. - Jesus. Então, os próximos passos é que fazer uma pasta ou fazer no diretório base? Você pode fazer o seu próprio, mas eu sugiro que você distingue este para que o restante do documento seja realmente fácil para você usar. Você só precisa copiar e colar a maioria das coisas. Teremos que esperar até que isso seja baixado. Tenho a velocidade do vídeo. Está bem. Eu só me lembro que nós precisamos não saber Ricki e J R E bem, então eu iria começar o download deles também. Aceite o contrato de licença no download o que termina com tar dot TZ para Lennox 64 bit Próximo download bgr anos. Bem, procure 64 bits no estilo inglês. - Jesus. E certifiquem-se de que concordam com as licenças onde todos estes descendo, fechem a porta, e neste momento, tenho de acelerar o vídeo. Ok, agora, como é que as lutas de instalação pull foram baixadas? Agora, os próximos passos é copiar o tar dot gz cinco dedos, o novo para que criamos Agora eu mudei para essa pasta e eu vejo a luta título agora, este sem dúvida usando o comando no documento. Basta copiar e colar em uma pequena direção. Nós olhamos na pasta e você vê muitos pensionistas dentro dele não é para obter o próximo passo no documento. Você pode verificar se o trabalho já está instalado no Ubundu. A minha é carne e alma, por isso não a tinha. Se você tiver algo aparecido no Java sete em, você quer se livrar dele, então você pode fazê-lo seguindo os comandos que mencionei no documento. Se você não tem Java e fazendo um fresco na loja como eu, basta seguir as etapas no documento. Fazemos a pasta onde iríamos instalar Java. Então copie o venha e prove. Isso colocar em sua senha misturada é copiar as Tar Fights para a pasta recém-criada. Mudamos para a pasta de download. Então estamos batendo para Jerry Key e Jerry ficarem procurando. Está bem. Agora, G. R. acabou. Eu apenas copiar colar o comando para mover o GRT para a pasta. Ok, agora morra. Agora. Vamos esperar o download do GK. Está bem. Agora gvk está quase pronto. A cópia original Colar Comando para mover jóias. A Kay. Agora temos que passar para a cópia Java Fuller. Paged, em seguida, desonesto , vazando , vazando, e r E. Agora nós iria editar, perfil e colocar Java casa em seu Lupin, resolver os rios lá e adicioná-los às partes. - A próxima vamos fazer os seguintes passos para ultimamente próxima saber onde temos armazenado java. Você pode café peça os comandos. Se você tem a mesma versão geral em Java dobrado como eu criei, não é. Você pode editá-lo em um bloco de notas e, em seguida, encontrá-los um por um. Indo para o 2º 1 Nós apenas Ele se encaixa no perfil para assumir as mudanças que fizemos. Agora, John, uma versão de traço deve funcionar. Devemos ser capazes de igualar a casa Java. Realmente? E aqui vemos. Agora vamos para a próxima. Agora vamos passar para o próximo passo. Oh, sim. Parabéns. Agora você instalou um grupo em padrão em mais. Este modo é uma boa maneira de aprender. Você pode fazer toda a sua programação está aqui neste modo em programação prática em para Duke. Vamos tentar executar um exemplo. Eu mantenho o documento e mostro como ele livros assim com Nikhil diretamente, primeiro, e então eu iria executar um exemplo e usá-lo livros. Nós apenas olhamos para a saída. Ele mastiga que ele foi executado com sucesso padrão e mais é um bom mais para praticar programação e aprender como fazer. Mas neste vídeo, eu iria em frente e mostrar instalação em pseudo distribuído mais Israel seria que precisamos instalar mensagem. Uma cópia é, portanto, uma tensão. Ok, agora precisamos editar as lutas de confirmação força o site da escola dot xml em seguida HD de sua visão não examinar, então importou site dot xml E agora vamos mudar o iPhone Hadoop. Invejar sua mensagem que tem todas as variáveis ambientais em sentar em casa de trabalho lá. Então, nesta luta, há uma série de atividades que tinham abusadores. Acabamos de colocar uma parte da casa Java aqui na casa Java. Muito. Mas certifique-se de que o símbolo hash não está lá para un vir na linha como o próximo passo. Nós precisaríamos configurar sua senha menos em salsicha. As etapas a seguir são o estado com sinal da documentação do Hadoop. E então, quando você faz um host local de salsicha, não deve de você para um passaporte. Eu faço isso mais uma vez e assim ele não pede nenhuma senha. E assim estamos chegando perto de fazer as coisas. Em seguida, nós para Martin implode, em seguida, iniciar o iPhone. Embora Kasich, isso iria começar o nome conhecido, eles não sabiam que segunda nota renomear, em seguida, o cracker piada sobre. Por último, o rastreador de graves a última execução Um exemplo para ver se o bean foi configurado com sucesso. E assim começou com sucesso. Deixe-me lançar os EUA , onde você pode ver assim anos não nomear alegria sobre isso é rastreadores de emprego. Você e você podem ver que o progresso é onde, então, parabéns. Se você chegou a este ponto, - podemos imprimir a saída. - Agora vamos fazer uma parada. Eu posso receber mensagem Hope que este vídeo estava no quadril. Precisamos da próxima codificação feliz 8. 07 Dicas e truques do Ubuntu Linux: Poderíamos fazer uma nova escuta nisso. Ouçam. Compartilhe algumas dicas e truques com você Se você é um grande ou um pouco novo no Linux, isso ajudaria você a andar em torno de lençóis com um pouco mais de facilidade e fazer você trabalhar um pouco mais como profissional do que um amador. Para as pessoas com experiência em Lenox, isso seria elementar. Primeiro de tudo, eu começaria com a cópia e a colagem. Em muitas ocasiões, você seria obrigado a copiar e colar no terminal, para que você possa usar a inserção de controle e a inserção de deslocamento. Por exemplo, abri o editor de texto e digitei. Isto é um teste. Eu escolheria isto. Copie isto usando o controle. Ver nota que fora do terminal normal controle cm. Andaríamos normalmente. Não, eu vou para o terminal e ser agitado usando o inserto de turno. Posso copiar algo na tela também. Usando o controle. Inserir em um pedaço de usar a inserção de deslocamento. Em seguida, truque mais profundo que discutimos é usar Profile ou Bashar Bashar. Veja se você deseja configurar uma variável globalmente, você pode fazê-lo configurando-o no perfil de barra e. D. D. C ou e. T. T. C. Slash. Bashar Bashar See provedores de um que executa uma posição em Logan em Bashar Bashar. Veja bem. Pegue as novas alterações sempre que você fechar e reiniciar o terminal. Porque como configuramos os vizinhos no perfil ao configurar uma nova barra escura D C perfil barra é um comando para re fresco as alterações de perfil em tornar as alterações mais recentes efetivas. Knicks Dipper Trick é parar de completar. Você pode processar fazê-lo barra D c barra bash ponto bashar Ver em você iria encontrar essas linhas. Eu estou chegando eles em sua conclusão superior seria ativado. Então agora eu faço em uma lista. Agora eu tenho um para ir para o espaço de trabalho. Eu iria apenas digitar em CD o azul e, em seguida, o personagem superior e eu não precisaria digitar qualquer outra coisa. próximo truque de deportação é limpar a tela. Vou usar isso muitas vezes em minhas aulas de vídeo. É apenas para pressionar o controle. L na tela estava limpo. próximo truque mais profundo é personalizar um prompt de comando. Normalmente eu não prefiro fazer isso. Mas se você gosta, você pode encurtar o prompt de comando digitando export, ser este igual fazer espaço dólar e a marca de condição e em. E agora a comida moída de comando parecia assim. Se você quiser tornar essas alterações permanentes nos logins, copie esta linha na barra d c perfil barra. Você pode você vai fazer a sua promessa de comando para colorido e brincar com ele. Você pode verificar a Internet com muitas idéias sobre isso. Próximo. Quatro truques é que você pode ter o comando através das linhas. Por exemplo, se você quiser editar o perfil deles na digitação. Suji ated barra D c perfil barra e urinóis o espaço. Você pode voltar atrás nas minhas costas, cortar Endor e continuar com o “venha on line”. Esta seria uma lição contínua, e eu continuaria adicionando dicas e truques a isso. Ouça, enquanto isso, se você se deparar com alguma fita, ele é compartilhado com todos digitando, você não sabia perguntas. Janela. Tenho certeza que haverá muitas boas dicas de você ver o próximo ouvir 9. 08 comandos de HDFS: Bem-vindo a um novo escritório de alta definição. Comando. Neste ouvir, gostaríamos de aprender sobre o SDF é Commanche. Primeiro vamos entender o termo lodges se é frio em seus olhos. Hruby oficial não é nada, mas uma interface entre o usuário no sistema de arquivos distribuído Hadoop que é um DFS. Então, se você quiser executar qualquer ação em sua defesa, nós teríamos que usar o oficial do Hadoop para fazê-lo. Um loop se sua concha quando ele leva nossos olhos, que é uniformemente. Origem identifica como argumentos de importação. Recursos unificados Identificar IRS são parte de lutas na autoridade esquema anterior caindo sobre o esquema real mas. Você pode fora tipos religiosos dependendo do sistema de incêndio que acessa ele pode ser é defesa para arquivo Saanich defesa Local para os arquivos na máquina local. Se BP para o sistema de incêndio Bad por servidor FTP, também são conhecidos como Hadoop Archive, que é um sistema de incêndio em camadas em cima de sua defesa e assim por diante. Então, em suma, grupo oficialmente pode acessar os arquivos de vários sistemas de incêndio e assim esquema I uma autoridade teria que ser colocada uma chamada. Você iria olhar em profundidade sobre como estacionar olhos mais tarde. Mas agora eu quero que você se lembre que existem arquivos de arquivo do Hadoop que são múltiplos . Como fazer arquivos juntos em seu acesso de uma maneira especial como qualquer nosso guia ou arquivo zip ? Mas estes não comprimem o ficheiro. O que eles fazem exatamente é o que virá mais tarde. Alguém poderia imaginar que a mídia de armazenamento do discurso fora de qualquer nota que tenha seu grupo instalado, tem duas palavras. Um é o oficial HD em outro é o seu sistema de incêndio local vai na idade DFS dobrar o esquema Eu usei sua defesa idade em autoridade é host local em nosso esquema de caso sobre autoridade são parâmetros opcionais. Se não lhes é dado o Defour, é apanhado nele é mencionado no XML Court Side. Vamos dar uma olhada no que dissemos em pseudo-distribuição mais aqui Nós vemos que se sua porta antes nome ponto foi enviado para HD brincalhão no host local como autoridade, então estes seriam Billy Force e, em seguida, é uma parte que seria a localização do diretamente. Então você é um para um arquivo filho em um estéril, diretamente seria parecido com seu DFS dois-pontos para frente barra para a frente stash host local forward stash pai barra filho. No sistema de arquivos local, o que você chega seria parecido com coluna PFI, seguido por três barras na parte. Se você estiver familiarizado com comandos UNIX, sua marcha fiscal em D não seria novidade para você. E no caso de você ser novo em comandos UNIX, não se preocupe. Eles são poucos, e eu tenho anexado um documento com este ouvir, que iria deixar você saber tudo sobre eles em. Ele seria capaz de entendê-los muito facilmente. Motor, eu teria marcado os comandos com uma estrela para que você possa se lembrar especificamente pelo menos aqueles off-hand como eles são os mais comumente usados. Acabei de demonstrar alguns 80 de Marte fiscal seguinte, especialmente aqueles que não estão presentes em UNIX ou Linux sistemas cruciforme eu faria e GPS. Este comando retorna todos os treinamentos de programas Java. Então aqui eu vejo todos os demônios têm correndo, e então eu não começar nenhum. Se eles não teriam sido em execução, Eu teria começado com bin barra iniciar traço todos os pontos Shh. Também uma coisa interessante aqui para notar que toda a ação um rastreador nariz trabalho chamado Lords são os programas Java com as classes médias como o que está listado aqui. Então, a nota de nome não é nada além de um programa Java com o nome da classe principal. Sem Libby. Primeiro faça uma lista que é listar todos os arquivos que representam em efeitos HD. Então o que eu faço é digitar feijão para a frente. Esconda o Dube dela. Se é hífen Ellis e depois Indo, há algumas coisas para notar que você sendo a frente barra os esforços do Hadoop estariam no início de cada comando que escrevemos. Lembre-se dela Do professa um shell ou uma interface entre direta com, a fim de executar nove operações de comando em cada DFS. Também em importante. E uma coisa interessante de notar é que quando listamos os arquivos, os sapatos são colocados de forma semelhante ao que vemos em uma lista. Ash L em linho. Antes de gravar este vídeo eu já tinha criado forçou o diretório I R em um arquivo, então você vê-los na listagem. Se você observar de perto, você verá que o diretório é para no hífen significa que é o fogo. Os restantes são as respostas, controla o proprietário, depois o grupo e, em seguida, o outro. Será que artistas para Read the Blues para direita em X não tem significado em esforços HD. há nada que é exalar um projeto de lei em AFIs HD, por isso é fora nenhum significado. Segunda coluna mostra o fator de replicação, Então isso significa que essa luta foi armazenada com um como o fator de replicação. Como já dissemos, a propriedade DFS iniciar replicação toe um em sua defesa. Eu não examinar o segundo, e a terceira coluna mostra o proprietário no grupo na quinta coluna mostra o número de bytes que ocupa. A sétima e a oitava coluna mostra a criação, data e hora e, por último, mostra o. Mas em seguida vou remover o arquivo por comando sendo encaminhado. Esconda a bobagem dela se o hífen dele for ele no nome da luta. Então a final é deletada. Você está observando que nós não retornamos explicitamente o completo que você é como um padrão off HD revistando em autoridade de host local foi tomado para cima. Nenhum Ellis destruído no sistema de arquivos local, atacando Duke. Se isto lista disparados e a cabine esconde. Então, neste caso, ele perderia arquivos completos e diretórios no aviso do sistema de sala. Veja o que está no diretório home. Diz NJ Paris. Olha, o que tem dentro disso? Então, pelo menos, responda documentos em lesão. Então é criar. Se eu no sistema de arquivos local e copiar para idade DFS, eu vou para casa. Preciso desta descoberta que criei em você. Agora eu vou criar mais um arquivo e deixar você nomeá-lo se eu estive aqui. Todos vocês são estrelas do rock. Agora voltarei a Guinn Ellis. Então aqui vemos aquele arquivo na pousada. Tipo de ninguém em ser grupo barra para a frente se é cópia de casa local NJ Fine em, que seria o destino PFI inicialmente se é neste, observar de perto que você veria que nós não especificou o completo seus olhos. Ainda assim, esta cópia de livros do comando local assume start O último argumento seria em HD se um ponto em todos os anteriores se referisse ao sistema de incêndio local e, portanto, este comando funciona . E esta é a diferença entre o comando copy from local no comando get que são semelhantes em todos os seus espetos. Apenas uma cópia do local implica que todos os argumentos, exceto o último, são de um de Lucca. Bom sistema. Então você pode copiar Múltiplos caças estavam usando este comando. Não, está fazendo isso. Isto vemos a nossa bela primavera, a multa. E aqui você veria a mensagem redigitando. Então a cópia funcionou perfeitamente. Não, ele está tentando fazer o reverso para este último radical P este cinco fromage DFS contra o sistema de incêndio local. Então nós temos usado para a frente esconder sua cópia dupe fs para local em um novo nome achado H Fred. Nada deste cheque se recebemos o arquivo de seu Duke So v c h bem. E o grupo dela diz que vocês são estrelas do rock. Por favor, brinque um pouco. Os comandos no documento. Seria bastante simples. Agora basta observar de perto como e onde mencionar você. Nossos olhos e tudo seria mais simples. Veja, na próxima lição 10. 009 como gerenciar um programa MapRed: Bem-vindo a uma nova escuta. Isso não é você aprenderia a compilar e executar um novo programa. Nós estaríamos trabalhando em Ubundu, que significa trabalho em R B M. Primeiro você baixar o Eclipse em uma pesquisa do Google no download Eclipse e clique na bebida Foods. Em seguida, clicávamos no Link Lennox para 64 bits e depois a próxima coisa e, em seguida, salvaríamos a luta. O download levaria algum tempo, então eu encaminhei o vídeo agora. A configuração do clipe foi baixada. Eu só vou para a seção de download copiado na pastelaria na pasta Home. Agora vou extrair o Eclipse Yousef clicando com o botão direito do mouse em extrair Você. Agora vemos a pasta Eclipse no Diretório Home. Então eu vou entrar e clicar em Eclipse Item. Isso iria lançar os clipes I d. Então vamos ter esta janela pop-up pedindo a criação neste espaço de livro. Atenda ao padrão em Lukoki. Eles não vão para arquivo novo e clicar no projeto Java. Vou dar o nome ao meu projecto. Lubick scrimmage no clique no acabamento. Agora eu baixei o código-fonte em uma pasta que você pode baixá-lo a partir do site para que eu iria dormir estes esquivar Outros programas seria Condor jama não poderia mapeá-lo ou Java onboard , não pode reduzi-lo ou Java e copiar colar o seu espaço de trabalho na pasta, que criamos agora. Eu vou até ela fazer experimentos, e depois fonte ainda mais. Então não, no meu eclipse, eu vi o cooler fonte. Eu só veria fissurado. E agora, sob o pacote padrão, vejo toda a Escola de código-fonte Java, que eu copiei neste momento. Você veria muitos erros nesses programas, pois não incluímos os pacotes do fazer em grande parte. Então, para limpar daters você só precisa clicar com o botão direito do mouse sobre o projeto são devido grande gasto mensch neste caso. Em seguida, vá para as propriedades e, em seguida, vá para Java big parts. Depois da biblioteca. Em seguida, clique em Add Extra Villagers e, em seguida, vá para sua pasta raiz e clique nela. Do chamado nosso trabalho como OK, e então você veria que o núcleo do grupo jar externo foi incluído. Clique em OK em todos os seus ouvidos iria embora. próximo passo é criar uma luta de emprego novamente. Gostaríamos de clicar com o botão direito do mouse em um projeto para você, em seguida, ir para a opção de exportação em seguida. Em Java, você veria a opção de arquivo jar, Siddiq. Isso e assumir o próximo foi cresce através do pote. Eu colocaria a luta de emprego no sido dobrado em si. Você pode, é claro, selecionar qualquer parte. Então eu só digitando. O nome contaria com. Clique em. OK, e então clique em terminar, então vamos olhar para a luta de trabalho. Eu estou agora no ser mais cheio em si, onde eu criei o fogo de emprego. Então eu estava fazendo uma lista aqui. Recebi um trabalho palavra condomínio você apenas fazendo nesta honra ela fazer sistema de arquivos eles receberam no fogo que eu tinha criado que encontra isso antes deste vídeo. Eu só vou colocar o conteúdo fora desse arquivo, então e assim aqui você vê a saída. Então, estando nesta pasta onde o arquivo jar está, eu executaria o trabalho de comando arquivado usando o comando que nosso novo jod conduziria. John iria em frente e votar Todos poderiam ser o diretório de saída e seria o arquivo de entrada . Você aprende sobre tudo isso mais tarde no curso, e o programa deve ser executado como você vê na tela. Agora, estávamos fazendo uma lista sobre o novo sistema de incêndio e ver se o automaticamente foi criado ou não. Eles recebem a árvore do Outback. E agora vamos apenas fazer uma escuta. O ABC todos os arquivos associados a luta, começando com a parte contém saída. Deixe-nos Deus esse arquivo e imprimir o conteúdo do arquivo. E então aqui vemos o ascendente. Isso vai com o carro, todos os detalhes sobre como este processo completo foi feito. O que estava objetivando fora do programa sobre o que é a saída sobre como ele processou e como aumentar a eficiência fora dele. Tudo será abordado no curso. Então, se você é capaz de executar o programa, é ótimo. Você calculou a parte difícil deste curso. Tudo depois disto vai ser mais simples e o meu coração, as rações do Congresso dele para acabar com a parte difícil. Vemo-nos na próxima aula. 11. 010 conceitos de HDFS: Bem-vindo aos novos conceitos de escuta HD FX nesta seção. Vamos olhar em profundidade cerca de 80 se é vamos começar com os chalés de cúpula usados em HD. Se for um d, um escritório é um sistema de arquivos distribuído. Isso significa que as lutas são armazenadas em um cluster de computadores e não apenas um. O prazer é nada, mas várias rochas juntas em uma única faixa é nada, mas um monte de computadores juntos, que são individualmente tom. Últimas notas em Easy. É thes nós, que armazenam dados são conhecidos como fez Donald. Eles atuam como corretor ou Steve Nodes Name Node, que é o nó principal, é responsável pelo gerenciamento fora dos iniciadores de incêndio disputados em todo o legado do cluster . Assimilação sobre como o arquivo é armazenado em cada DFS. Pfizer dividiu-se em menor chance. Também conhecido como blocos. Esses blocos são então replicados. Nesse caso, eles são replicados por um fator off três, que é um fator de multiplicação padrão do Office DFS. Estes blocos são então disputados. Todo o cluster neste processo de replicação fora da distribuição é gerenciado por nome. Nota. Nota de nome mantém um controle fora do sistema de arquivos completo em locais de bloqueio se você notar que a distribuição feita pelo nome Node é inteligente feito de modo a fornecer brasileiros. Se uma falha acontecer neste caso, suponha que se alguém fez uma nota sente o nome, nota ainda seria capaz de montar o arquivo completo com a ajuda de réplicas. Se suponha que um rosto de rocha completo mesmo assim nome, ninguém seria capaz de juntar o arquivo. Aprendemos mais tarde. Que considerações? O nome não leva para disputar os cinco quarteirões. Vamos entender as idéias por trás de sua defesa é DFS é projetado para lidar com grandes lutas fora centenas de jeebies e TV e muito mais. Leader Access não é rápido com leituras e gravações aleatórias. Segue-se que os padrões de acesso líder fora os certos e ler muitas vezes é o melhor Então para a análise ação. Sua defesa é projetada para usar hardware de commodities, mas definitivamente não é hardware barato. Uma unidade típica custaria cerca de um K 25 k que estaria disponível com muitos fornecedores. Instalações típicas fora de nossos GMs podem levar até 50 principais despesas com hardware em si, o que tem um limite superior de processamento. Mas isso também, significa que as falhas de hardware não seria um caso de especialidade, mas em nomeou os efeitos. À medida que o tamanho do cluster aumenta para milhares de nós, falhas de hardware podem acontecer todos os dias ou podem acontecer todos os outros são. À medida que estudamos os conceitos de HD FX, veríamos que é igualmente importante aprender sobre os cenários de falha, pois é estudar estreitos de processamento estáveis. Me faz olhar para o que é DFS não é projetado para fazer. Ele não foi projetado para leitura rápida de dados. Não pode funcionar também. Base de dados DP Para isso, definitivamente precisamos de RD. Bemis, pelo menos no cenário atual, é Eva também não funciona bem com um monte de pequenas lutas. A ver se ele não suporta modificações arquivadas arbitrárias também. Somente upend é suportado. Vamos entender o mais importante para a nominal toe qualquer estrutura de arquivo que é. São blocos tamanhos de blocos, uma quantidade mínima de dados que podem ser lidos ou escritos em um sistema de incêndio. Mas o tamanho do bloco Hadoop é um pouco diferente. Primeiro, é grande, enquanto é dedo do pé comum tem um tamanho de bloco fora 51 dedo em uma mídia de armazenamento. É o quarto tamanho. 64 MBI em idade DFS que é 1 28 vezes pequeno. Em segundo lugar, se você encontrar um armazenado em seu DFS é menor do que é o tamanho do bloco de escritório que apenas a quantidade de tamanho que é necessário é sua vida e não o bloco completo. Há uma razão para um grande tamanho de bloco que tínhamos discutido anteriormente como buscar tempo se torna um fundo, bastante processando grandes lutas. Então, a idéia é manter o tempo do mar em torno de uma pessoa fora do ataque de transferência, considerando 100 MBps transferidos e 10 milissegundos como adicional ver tempo sobrecarga. O tamanho do bloco teria que ser 64 Emmy oferece para manter o tempo Sikh em torno de uma pessoa fora do tempo de transferência. Na próxima seção, aprenderíamos em profundidade cerca de 80 de sua arquitetura. 12. 011 Arquitetura de HDFS: Mas eu estou fazendo Você escuta Na escuta anterior, nós estudamos sobre HD de seus blocos em. Isso não é um mergulho profundo em sua arquitetura de defesa. Seus VOCs de defesa em arquiteturas de manga monstro. Nó de nome é um nó mestre. Nas notas de dados estão as notas vocais. Isso significa que a nota de nome seria responsável por toda a gestão da história. Espaço nas notas de dados em Diu Anunciar faria o trabalho de base real fora de armazenar os blocos de dados . Nilou executa uma função de manter um controle fora do sistema de arquivos completo, gerenciando duas coisas. Primeiro nome, imagem de espaço e segunda edição Logs, Nomes enfrenta o meio Rita sobre as lutas em Die Crease, que são armazenados em DFS idade. Ele contém dados sobre todos os blocos a que moscas eles estão associados e em anais vegetados, ele recita Eric Log é nada mais que as atividades de log off em HD. Se ele é executado pelo cliente e perdeu, basta continuar acumulando e crescer à medida que a atividade em sua defesa continua acontecendo. Então, fora dos dois diplo é aquele que continua crescendo a um ritmo mais rápido. Estes dois combinam formar a imagem completa do sistema de arquivos dando detalhes sobre todas as lutas e bloquear defesa Saanich. A informação do bloco é um implorado pelo nome Lord, como em quando as notas de dados se juntaram à rede. Isso significa que assim que ele fez que não inicializa e se conectar à rede, ele iria enviar-lhes saber as informações sobre os blocos que ele tem neste nome iria atualizar a imagem do espaço nome com os dados. Ambos os logs Eric e espaço de nome são mantidos na memória principal fora do nó nome. Isso ajuda a nomear não muito rapidamente. Procure os blocos como e quando necessário. Não. Vamos dar uma olhada no caso em que o nome não sente como você pode dar o sistema de arquivos competir iria para baixo em estaria indisponível como imagem completa espaço nome na informação de bloco de dados é perdida Por esta razão. Aviso de nome Também referido como um único ponto de falha. É uma imagem de onda. DFS. É por isso que é importante para o nome. Não ser resiliente a falhas de hardware nele é altamente aconselhável gastar mais em notas de nome . O hardware ainda, com falhas de hardware atualizadas, pode acontecer para combater essas situações. Queda edição residente está feito. A imagem de espaço de nome em cada entupimento é transferida para um controle remoto altamente disponível no primeiro mês pelo nome, nem de tempos em tempos. Além disso, segunda nota de nome também é adicionada. Não confunda para ser como outro nó de nome. Este é considerado um dos terra-firmes nomeados em seu duque. Em segundo lugar, Nome? Não. Não funciona como eu. Não, é mau e único propósito é combinar a imagem do espaço de nomes em 80 tamancos, para que esse nome me conheça. A memória não se enche por causa dos crescentes registos do Eric. Em segundo lugar, Nome Nota. Também criar pontos estritos fora do nome, imagem espacial e todos os planos muito juntos sobre os direitos de uma luta, este nome quadris Não para liberar a memória média ocupada pela perda de edição até o ponto off último ponto truque em. Este é o único propósito de tirar o nome. Nenhuma nota de segunda leitura é um programa Java, que apenas combina a perda idiota e o espaço do nome e cria um ponto de verificação. É isso. Esta operação de combinar os logs idiotas e rosto nomeado é em si complexo e CPU e memória intensiva. Então, em segundo lugar, Node nome precisa ser executado em uma boa configuração de hardware, como o trabalho de combinar a perda árida no espaço de nome requer bons recursos de computação. Neste ponto do tempo, eu só quero lembrá-lo que o nó do nome e segundo notas do nome não são nada além de programas Java que são executados com classes médias como Nome Senhor e em segundo lugar, nome? Não. Então, em caso de falhas fora do nó de nome, o administrador do Hadoop precisa inicializar um novo nome. Nota. Este é o caso. Deixe aí. Liberações anteriores de um dupe passaram para três. versão e o CDH quatro têm recursos de alta disponibilidade disponíveis neles. Nesses casos, esta situação é um pouco melhorada. Nós olharíamos para eles mais tarde no curso. Então, nos lançamentos anteriores para seu Duke Doctor três em caso off CD s três em caso falha fora nome Lord Administrator teria que trazer para cima outra máquina como nome No. Esta máquina tinha que estar fora de boa configuração como requisitos de sistema de nó de nome tão alto. Então, nesse caso, maioria das vezes em uma pequena máquina de cluster que executou o segundo, o nó de nome é usado para reconfigurado como um novo nome Não novamente. Por favor, não confunda isso. É. Em segundo lugar, o nome notas função Toe Takeover finalmente nomeou Senhor. Não é apenas que a máquina, que executou a nota de segundo nome, é na maioria das vezes a melhor escolha para a nova nota de nome em caso de falha. Assim, em caso de falha, as últimas informações da Montagem NFS são recuperadas manualmente pelo administrador para a máquina, que assumiria como uma nova nota de nome na máquina é então reconfigurada como a nota de nome . Este processo pode levar cerca de 30 minutos para retornar à reta estável. Próximo. Vamos olhar para as diretrizes para o nome notas Memória média como esse tamanho Lester aumenta o número de armazenamento fechado. Esse nome não tem que se cuidar. Também aumenta. Realmente. O bloco na escola de histórias consumiria uma quantidade de nome que me conhece a memória. Portanto, é importante para o nome nem ter memória média suficiente para que ele possa corretamente. O homem é o conjunto de blocos de dados. Como regra de Tom 1000 Pessoas 1.000.000 histórias, Bronx é recomendado. Tomemos um exemplo fora 100 norte, cluster com disco B defeituoso e deixe o tamanho do bloco ser 64 m v. Então o número de livros de histórias sairia para ser dois milhões. Isso significa que o nome não deve ter em torno de comida ZB fora de mim memória na próxima vez são os poucos pontos-chave das duas últimas lições. Paz Pausa o vídeo, se você pode gostar de mais tempo para ler. 13. 012 HDFS leitura e escrita em HDFS: Bem-vindo a uma nova escuta nisto. Escuta, nós olharíamos por trás da cena sobre o que acontece quando você lê tudo certo para a idade. DFS Vamos forçar mergulho profundo em HD. Se é o processo certo, ele é se seu cliente é um GM que tem que ser executado no nó, que interage com o escritório HD? Não, essa replicação filha DFS é uma propriedade que contém o fator de replicação fora dos blocos que esta propriedade pode porque, aos meus olhos, qualquer configuração em pseudo-distribuição humor off implantação no H DFS, é substituído e disse que ninguém no site hífen idade arquivo de configuração DFS, não XML, mas antes de seu valor é três. Então, como um primeiro passo, Klein se comunicaria ao nome conhecido que ele quer direto em seu DFS. Neste ponto, o nome executaria várias verificações na solicitação, como se o arquivo existe ou não, são como se o cliente tem níveis de permissão corretos ou não para executar a atividade. Se tudo estiver bem, nó nome voltaria para 80 escritório Klein, com a lista fora notas a serem copiadas neste ponto, Klein Foot conectar-se ao velho Dayton forçado e pediu-lhe para formar um pipeline para dados subsequentes notas. As notas de dados reconheceriam como eles copiam com sucesso os blocos, Passo 34 e cinco seriam repetidos até que todo o arquivo seja escrito em sua defesa. Depois disso, a linha terminaria com uma mensagem de conclusão. Em caso de falha no nó de dados. O iraniano nevou escapou em blocos seria devolvido no nome notas restantes não iria observar. O aplicativo em que organizaria para o autor de replicação em blocos replicados, parece que aconteceria quando eles são várias falhas de nó. Os dados precisam ser retornados para pelo menos uma nota no sob. Toros replicados seriam tratados pelo nome Lord. Agora vamos olhar para como nós de dados são selecionados por nome. Senhor. Se o nó do cliente em si fizer parte do nome do cluster, nó consideraria que ele é o primeiro conhecido onde a replicação deve acontecer. Se não for a parte do cluster, qualquer conhecido dentro do cluster será escolhido. Tendo em mente que o norte não está ocupado estão carregados. A segunda nota é escolhida fora do rack como o 1º 1 foi escolhido o 3º 1 é escolhido para estar no mesmo rack que o 2º 1 Isto forma a tubulação. Agora vamos olhar para a simulação bêbado, que temos visto no início ouvir. O arquivo é dividido em blocos e, em seguida, replicado e, em seguida, distribuído através do sistema de luta . Agora, se você observar se um fora do nó, o que mesmo caiu sente que ainda há todos os blocos fora do arquivo disponíveis. Falha fora múltipla grama é mais CS um e menos provável de acontecer. Além disso, é de notar que toda a precisão fora seleção e replicação acontece por trás da cortina no desenvolvedor. All Slimbed não precisa se preocupar com o que acontece em segundo plano antes de olharmos para como isso acontece. Vejamos como as distâncias calculadas em cada um é o seu rosto. Em uma rede distribuída, largura de banda é uma mercadoria escassa. Assim, a distância ideal é baseada no bloco bandido para ser o alimento no mesmo nó de dados é dito ter distância zero se os sites bloqueadores em uma data diferente, um velho, mas na mesma volta, a distância seria contada como se o bloco recita em um nó em uma faixa diferente. A distância é considerada como antes. E por último, se um bloco recita em um nó em um data center diferente, a distância é tomada para ser seis e esses são apenas casos possíveis. Agora, vamos olhar para o anatômico liberado para o fácil. Se seu cliente envia uma solicitação para o nó nome no nó nome resposta retorna os nós de dados que contêm os primeiros blocos. Nome nó retorna a lista começando a partir do nó mais próximo que contém esse bloco. Faça a lista de alimentos para que o cliente se conecte à primeira nota em Ler os blocos um por um . Vamos olhar novamente para os casos de sentimento que podem acontecer enquanto ler eles podem ser para falhas. Primeiro, o líder bloqueia sua corrente. Nesse caso, o próximo nó de dados que contém o bloco é contatado. Segundo. Se o cara que eles não conhecem se sentir pequeno CD sete medos enquanto o Bloco B estava sendo lido, então a próxima nota na lista seria contatada. Neste caso, escalar comida. Faça uma nota que o sete é sobre nó de dados e não considerá-lo mais tarde. Se ele aparecer em outra lista, por favor, percorra os pontos-chave para isso. Ouça. 14. 013 Conceitos de HDFS II: Bem-vindo a uma nova escuta em HD de seus conceitos neste Ouça, gostaríamos de olhar para os novos recursos adicionados em sua versão Duke Doctor três que é H DFS Federação em alta disponibilidade. Vamos começar com HD de sua federação. Este recurso é adicionado a fim de equilibrar a carga no nó nome à medida que o tamanho mais próximo aumenta. Vamos entender isso com um exemplo. Digamos que há uma estrutura de árvore de diretório rude sobre. Sob ele estão duas pastas para o um sobre os dois e vamos supor que há um monte de arquivos sob ele. À medida que o tamanho mais próximo aumenta, a nota de nome tem que armazenar mais informações relativas a gráficos em sua memória média. Assim, para o cluster com alto número off notas no intervalo de 2000 notas de nome, memória torna-se um fator limitante para Skilling. Sob federação, um novo nome Newt pode ser adicionado nas reestruturações arquivadas no pull doca pode ser dividido entre os nós nome. Esta nota de nome leste tem que gerenciar apenas o pool off blocos que está associado e não o pull completo isso reduzindo a carga em um nome Lord deve ser observado que os mesmos dados não podem ser associados a diferentes nós de nome ao mesmo tempo. E falha em um nome não não não afetará o outro nó de nome. Por exemplo, se o nome Não. Dois vão para baixo, os arquivos no Forte de um ainda estariam acessíveis. Vejamos apenas os pontos-chave que discutimos. São diferentes endereços de refrigeração. A limitação do nome Nords Memory à escalabilidade. Nota noturna seria responsável pelo volume de espaço de nome em um pool de blocos. As notas de dissuadir podem ser associadas ao meu nome diferente. Notas. Nome. George não se comunicará um com o outro em caso de falha. Um afetaria o outro. Vamos olhar para o próximo recurso. Alta disponibilidade. Este recurso é para abordar o tempo necessário para voltar para a rua estável em reis fora do nome, não falha, como já vimos, que o nó nome é único ponto de falha em que leva cerca de 30 minutos de tempo de folga voltar para a rua estável após o seu fracasso. Então, para resolver esta anêmona está sempre funcionando em espera. O mini nó principal entender pelo nome nem compartilhar a peça de nomes nele bloqueia onde altamente disponível e se for montagem de armazenamento em versões futuras, zookeeper será usado para fazer a transição do primário para este stand por um. Nesta configuração, os nós de dados são configurados para enviar relatórios para ambas as notas de nome. Nesse caso, se o nome principal não falhar, o modo de espera pode assumir o controle muito rapidamente. Na prática, leva cerca de alguns minutos para este sentimento, para que a transição aconteça nesta configuração, é importante para a maneira de espera para confirmar que o primário caiu. Eles podem ser uma situação em que o primário pode não ter sido completamente baixo, mas apenas um pouco lento para responder. Nesse caso, pode haver notas familiares muito ativas, e isso custou corrupção e caos. Então, para evitar tal cenário, as cercas de nó de reserva. O nó primário quando ele assume o fencing significa que o standby eliminaria o nome conhecido processo, revogaria o acesso compartilhado e desabilitaria o footboard de rede do nó final anterior. Em determinada situação, ele vai a uma medida que ele foi parado nó nome anteriormente ativo da própria fonte de alimentação . Isso é muitas vezes chamado de atordoá-lo atirar o outro nó na cabeça. Como você pode imaginar nomear este nó de espera avaliando Henry chamado Lord teria feijão apto . Mas há um erro de nomeação que aconteceu. Isso encerra nossa discussão de alta disponibilidade para uma rápida revisão de pontos-chave sobre a leve positividade de paz, sabe? 15. 014 comandos especiais: Olá e bem-vindo ao ouvir aqui. Gostaríamos de discutir alguns dos HD especial se são comandos que não discutimos até agora no curso. Primeiro olhamos para cada um também são conhecidos como seus arquivos de grupo, como já discutimos que muitos arquivos pequenos não é um bom caso para efeitos HD, principalmente porque exceto o nome me observa memória. Embora seja para ser entendido que as pequenas lutas realmente não ocupam o tamanho completo do bloco na mesa, ou seja, seja, se um arquivo está em pé estar nos tamanhos do bloco 64 nb, então o fogo apenas ocuparia o inimigo fora o espaço de armazenamento. Então, o problema com o arquivo pequeno é que ele ocupa o nome. Notas significam que a memória como nome não tem que manter o leitor do medidor. Para cada arquivo, o mais do que uma questão de fice mais seria o moderador, cujo nome conhecido tem que tomar cuidado para que o nome anote a memória principal se torne um fator limitante. Olá arquivo é uma ferramenta que ajuda em tais situações. Além deste grupo, arquivos de arquivo podem ser usados como entrada para importar Estes programas também. Vamos ver um exemplo de para arquivos de loop e entender como livros antigos. Pouco antes de gravar este vídeo, eu criei esta pequena pasta de luta no meu sistema local na pasta pessoal. Neste eu criei dois documentos. Se lutares, eu ficarei bem. Só faço um GPS para verificar. Tudo está funcionando ou não. Sim, tudo está funcionando em breve. Eu insisto. Copiou esta estrutura de arquivo para HD. Se ele estiver usando a cópia de comando do Não local, eu faço uma lista para ver se as lutas foram criadas. Então lá vemos o diretório. Ninguém arquiva esta reestruturação final. Então o comum é ela. Dube, nosso hífen de vida. Nome arquivado neste ponto bem escondido lá e lá obtemos este índice fora deste comando. Então, o Sendek diz que o comando é arquivar o nome do arquivo hífen seguido do nome desligado . O arquivo HR, seguido pelo iPhone ser seguido pela parte pai caído pela fonte em seguida, o destino. Então eu digitei o arquivo do grupo dela hífen, nome do arquivo. Eles ganharam o arquivo do Hadoop para ser arquivado um ponto h por r. Ele sabe que aqui precisamos de RH é uma extensão que indica como o bar Guy luta? Estes são tratados de forma diferente. Estes são lidos e escritos de uma maneira diferente como veremos para diferenciá-los. Usamos ponto extensão HR O hífen P na parte pai seria barra usuário lesões barra barra barra seguida, seguido pelo nome fora da estrutura de diretório que precisa ser arquivado, em seguida, seguido pela parte de destino, que, que seria corte usuário ferimentos barra barra barra eu pressionaria terminou neste ponto no programa de lançamento mapa estaria envolvido. Vou fazer novamente a análise do seu sistema de arquivos e ver se o arquivo de arquivo do grupo foi criado ou não. Então é assim que eu acho que eu faço uma lista sobre ela. Faça nosso arquivo de cara. Então, como você pode ver, há quatro incêndios que foram criados para e como fazer sobre tiros primeiro. Enquanto o sucesso que marca a conclusão bem sucedida muitas vezes arquivar comando, o poderoso é aquele que tem todos os países fora de todas as lutas concatenação juntos. O índice Doing Next Files nos índices do contendor Master Index usado para procurar o conteúdo que ele está fazendo. Recursivo Ellis em nosso novo arquivo parque I em, nosso produtor vai colocar H Um esquema r de modo a especificar como arquivo Loop foi lido. Então ele mostra se eu for arquivado. O sinal da broca são os arquivos temporários que foram feitos quando copiamos a estrutura do diretório de incêndio do sistema de incêndio local. Eles foram criados porque nós os abrimos em textura. Idem. Em seguida, entendemos as limitações fora Lubar cara luta primeiro você criar um arquivo, você precisa tanto quanto este espaço quanto o original. Seus arquivos de grupo atualmente não suportam compressão, por isso é como uma luta duplicada. Segundo, seus arquivos falsos são imutáveis. Você está? Remova incêndios do arquivo de loop dela. Você deve recriar os arquivos informados se você estiver atingindo os limites das notas de nome, memória usando na Federação DFS lhe daria um escopo melhor na escalabilidade, em seguida, usando seus arquivos duplicados. Em seguida, olhamos para outro comando. Este CP Este comando é usado para copiar os arquivos do sistema de arquivos 100 para outro. O processo de enfrentamento é feito de forma paralela. Este índice deste CPI é a seguinte Helou, este CP seguinte seria a pasta de origem em Depois disso, eles seriam o destino para necessidade nó um. E eles sabem que iria especificar o nome Lords fora da idade diferente DFS implantado. Esse comando normalmente seria usado quando você estiver usando a Federação DFS de idade em seu cluster e tiver duas ou mais notas de nome no mesmo cluster, e você deseja copiar de uma polegada DFS para outra. Eu voei. Irmã, ouça neste momento, vejo você na próxima lição. 16. Introdução 015 MapReduce: Bem-vindo a um. Você ouve a partir desta seção, você pode olhar para o tópico de bis mais importante. aviso de Napoli. Vamos começar olhando para a cúpula do Nagy que eu uso em meu produto primeiro é o Spirit Street não é nada mais que a correção de dados que, assim como entrada para minha casa, isso quer você se lembre que blocos e espíritos são dois conceitos diferentes. Ele não se importava que as leis são 80ª resposta doente e pertencem à HD deste mundo, e os espíritos pertenciam a democratizar. Para notas sobre este tamanho modesto e dados armazenados em HD, AFIS e cuspe são os dados que são inseridos para os trabalhos de marcha. Os processos Mathayus exibem e produzem uma saída no diagrama mostraram que a saída do mapa é menor do que o tamanho da entrada do mapa. Este é um gênero e um bom caso, mas eu não quero dor para que seja uma restrição. Pode ser igual ou mesmo maior do que a ciência de entrada também. Mas esse não é um bom caso. Seria uma vantagem se fosse tão pequena quanto possível. Você vê, líder, líder, por que coisa civil fora dos valores do mapa. O problema é dividido em dois oceanos força minha parte e segunda parte. Em vez disso, reduzir todos os meus trabalhos executando Bannon e produzidos são colocados. Todos os resultados são armazenados sob cuidado em muito juntos em um arquivo. Ele serve como entrada para o programa de rádio. A ordem de produção de liberação data essa entrada como entrada e produz esse resultado. Toda a execução do trabalho é controlada por dois nós. Job Packer no rastreador de graves. Você pode deixar Palin entre DFS idade dourada no rastreador de emprego no meu produto. Está apontando para detalhes. Eles vão bater nossos atacantes na palavra japonesa como o não detém usa Tool. O líder Nossos atacantes correm em cada nó de dados, este chapeamento correndo fora de Martha em reduzidos rastreadores de trabalho nos EUA John é gerenciar roubo faz para entrar em grevistas passados neste dever tratores passado que não funcionam em empregos reduzidos e enviar progresso para o rastreador de tarefas. Ok, eu quero que você imagine laca atleta em rastreadores de gás como um trabalho para trabalhos que estão funcionando nas máquinas ligadas. Eles não são o hardware. Mais um paralelo entre um DFS e meu trabalho policial começar. O empate é que a noite esteve em notas. Falha é um mais grave um HD AFIS lago Voz Aqui em Ma produzir palavra bons crackers trabalho Falha é o mais fácil, como todos os empregos em andamento e nosso status grevistas seria perdido. É por isso que isso sabiamente para gastar mais no hardware que um aviso de laca parou. Passe por esta ignição novamente e tente entender que as taxas estão um pouco mórbidas. A arma tem que trazer o problema em duas porções. Força é a fase matemática e segundo é introduzido. Cara, meu trabalho quebraria na batida Down, que está localizado na normativa. Este princípio é conhecido como localidade de dados. É importante que os trabalhos de mapa obtenham a sua entrada, que são locais. Se eles não são locais, eles seriam necessários para ser pescado a partir da rede, e assim agência líder seria adicionado na rede eu vou sobre o desempenho com a ganância, portanto, o valor ideal. tamanhos fora da rua são iguais ao tamanho do bloco, pois uma lei completa estará presente em uma nota. Este todo mapa teria explicado localizado no próprio armazenamento e assim fala o bloco igual . Depois o mapa. EUA iria realizar o seu processo e escrever a saída na lista local e não em sua defesa com replicações. É de notar que o mapa nosso código, está escrito no Lupul. Este, vez que é um resultado intermediário em, não tem importância após o resultado final ter sido calculado. Assim, ele é armazenado apenas até o momento em que a redução pegou em processá-lo com sucesso. Pode acontecer, modo que irá reduzir e eles se sentem em. Nesse caso, rastreador de emprego, podemos usá-los? Oh, bom. Então rastreamento de trabalho limpa mapas fora só poderia após a conclusão bem sucedida fora do trabalho da Índia . Ele deve ser notado que os mapas são colocados seria feito para 80 se é apenas no caso amigo , zero reduz são especificados em Isso é que os mapas são colocados é o resultado final no resultado final tem que ser armazenado no escritório de mídia como ele em pedaços que os destinatários a perda por causa da insuficiência cardíaca. A experiência é embaralhada e classificar todos os mapas de saída é mesclada, ordenada e partição. Então, há três passos que aconteceram. Primeiro é o muito que não é nada além de combinado. Saída de todos os trabalhos de mapa. A segunda é a espada, que está a ordenar o mapa. Coloque estes no particionamento de chave e polícia, que significa que a saída é dividida com base no valor da chave. Em seguida, vem o rosto de redução. Como você pode ver que o redutor não vai obter os dados nucleares, ele seria pescado da rede. Para a segunda coisa a ser notado é que o número off reduz não são decididos com base na vida de tamanho de entrada. No caso de mapas fora, que é dependente de entrada, tamanho e tamanho spread, o número off em produtores são decididos independentemente reduz o nosso grupo é devolvido para HD se é com replicação para a responsabilidade após um longo processo, os resultados não podem ser obtidos a ser perdidos por causa da insuficiência cardíaca. Então lá, passeando em uma defesa, que é mais insulina para falhas de hardware. Se está ficando um pouco demais, relaxe. Vamos acabar o trabalho de mapeador forçado e as coisas seriam muito mais aqui. Então 17. 016 entendendo o MapReduce Parte 1: Olá e bem-vindo a um novo ouvir sobre isso. Treinando meu mecanismo de produção nisso. Ouça, nós entenderíamos como mapa vários funciona em como quebrar um problema em douma Pretty Solution. Em Buda mapa é dividido uma contenção pé dividido nos tribunais. Cada registro passaria pelo mesmo mapa. Operação uma por uma função de mapa tem entrada na forma de chaves e valores na saída na forma de chaves e valores. Israel no momento da entrada. grupo dela fornece a chave que é única para todos os discos. É pela mordida forte off set desde o início da luta, pode ser número recorde ou número de linha. Programa de Israel. Ele tem algum controle sobre as chaves de entrada, que nós aprenderíamos sobre o líder no curso. Meu processo é chaves e valores um após o outro para produzir 01 ou mais ou colocar pares de valor chave . Então o importante é que os pares de matemática, comida ou biscoito e valor ele sabe que esses pares de chave e valor seriam os mesmos no caso de antes da esfregona ser usada, que também é conhecido como mapa de identidade, que faz Nada além de cópias. Os pares de chave e valor da importação são abertos sem processamento entre outra coisa a notar. Violar entrada para mau funcionamento geralmente têm facilidade única. A saída do mapa geralmente teria conhecido você Nicki. Nós projetaríamos o mau funcionamento. Então isso seria útil para o líder dos EUA na face reduzida porque, bem, classificar os dados com base em Chaves em gostaria de encontrar sentido fora dos valores com as mesmas chaves. Assim, a idéia principal fora da função do mapa é dividir a chave de entrada nas teclas em valores tal forma que os valores, quando colocados juntos para a mesma chave, começam a fazer sentido. Bem, eu entendo este líder na simulação, então vamos avançar com a simulação para que toda a entrada será processada na saída seria criada. A saída do mapa seria motorizada e classificada com base em chaves. Então agora todos os valores da mesma chave juntos. Agora esses valores estão desaparecendo para o produtor. A saída de valor de chave intermediária seria criada pelos meus mapas diferentes. É fundamental para o meu quadro de produção que um redutor em particular recebe todos os valores para chave particular, Então não seremos capazes de fazer sentido fora de qualquer valor. Este único mecanismo para classificar os dados e enviar dados pela rede é gerenciado pelo próprio grupo. No programador não precisa programar nada para isso. Isso é uma beleza fora do meu quadro policial. Eu quero que você note aqui que a entrada de redução está no formulário off key on list off valores associados com a chave e não apenas o valor. Pares valores Muite para a chave. Não estou ordenado. Eles são tirados de tantos mapeados e são colocados juntos. Mapeia-me terminar em momentos diferentes para que o que seria recolhido aleatoriamente. Então todos fora do trabalho podem desertar em uma sequência diferente de valores para chave. A sequência de valores não é importante aqui. A função reduzida é cartão para cada chave em processos de função de redução cada valor um por um para cada chave no comunicado de imprensa Mr Fane e pode escolher entre o nosso put 01 ou mais reparos de TV. Por favor, note que o ou adiar produtor seria classificado como ele está recebendo a importação na maneira Sargento. Agora vamos ver. Como ele compôs um problema em um mapa? Uma solução bonita. O truque BC é fazer engenharia reversa identificar como a saída final deve ser. Então você deve ser capaz de descobrir como eles de entrada para reduzir Deve ser, que por sua vez iria ajudá-lo a encontrar a chave. Identificar chave resolve metade do problema. Então você pode encontrar como os dados de entrada devem ser divididos em chave e valor por mapa e apenas encontrar uma solução. Então agora eu lhe dou um desafio para resolver. Olhamos para um “olá mundo igualando exemplo “em seu dupe. O trabalho sobre o problema neste. Se o seu trabalho é amigo com a linha de ser ou não ser, seu trabalho deve transformá-lo em uma palavra por palavra pelas ocorrências off word no registro. Assim, a saída aqui é para chegar como eles trabalham para aparece duas vezes na entrada em ser dedo do pé comum , como ser aparece duas vezes na entrada e assim por diante. Esta é uma técnica comum que os motores de busca aplicados ao conteúdo fora do site para encontrar as palavras-chave relevantes para o site. As palavras mais verdes são tomadas como palavras-chave de revivência para o site. Então, o próximo desafio aqui é descobrir como o seu mapa deve trazer o registro de importação duas chaves em valores para que o redutor será capaz de produzir a saída como mostrado na próxima palestra realmente discutir a solução. 18. 017 entendendo o MapReduce Parte 2: Olá e bem-vindo aqui. Ouça, vamos discutir a solução para o problema do desafio que falamos no anterior Ouça, se você não tiver tomado tempo para encontrar a solução, eu sugiro que você dê um forte pensamento sobre qual solução deveria ser. Isso ajudaria você a entender os conceitos sobre o design do meu livro de amigos da polícia em um pouco de um Então, no meu registro de entrada recebido, um sair para ser tudo para não ser você quer significa os oficiais de mordida, que é fornecido por um grupo. Então o que estão mapeando ritmo vai fazer é que ele iria organizar sua linha de entrada em palavras e para cada palavra, emitir um mundo comum como um par de valor chave Tão bom seria vir um se tornar um só vírgula um não vir um 12 vírgula um eu serei acontecendo. Um significaria que o mundo tem sido incompetente Uma vez que isso será classificado na base fora da chave que é palavra neste caso. Então agora ele é e valoriza arenas na ordem alfabética para reduzir o processamento, o par de valores-chave seria alterado para chave na lista de valores Então agora seria algo parecido com isso. Agora você pode ver que o mundo tem uma princesa caindo nele. O passo shuffle e sort, que é fornecido por seu grupo, juntou as chaves em seus valores. E assim os valores juntos começaram a precisar de senso. Então agora eles reduzem. Chamaria o método de redução. Uma vez participado no método, você pode negociar sobre os valores de cada chave e resumi-lo para produzir o resultado. Por favor, saiba que toda vez que você veria a mesma estrutura fora do produtor, teria inicialização ordenada por rações fora dos valores A com uma chave. E a função termina com a chave desajeitada e valor que podemos projetar redutor para emitir 01 ou mais valor de chave opera para cada vez que é chamado para um T. Vamos olhar novamente e ver através da assimilação como isso seria como no caso de muitos mapas através de dizer Palin. Vamos considerar o caso fora de dois mapas correndo em paralelo em ter entrada como um para ser nosso e, em seguida, não ser com um terminando sobre os compensações de mordida desde o início da luta Por favor note que no mundo real haveria muitos mapas sobre as importações seria Enorme. Em que cidade você está em reuniões. Isto é uma simulação. Então estamos falando de entradas muito pequenas para entender os conceitos como já vimos minha comida para organizar o registro de linha em direção a uma imagem um como valor, a saída seria perguntado Truman. Estes seriam mais e começados. Estes seriam alimentados no produtor para produzir o estranho. O poder do niilismo pode e deve ser aproveitado com taxas reduzidas também. Vamos dar uma olhada em um caso. São produtores. Neste caso, a entrada do produtor seria partição, mantendo duas coisas em mente curso que o valor de todas as chaves vai para o mesmo produtor . A segunda distribuição é quase igual. Então agora os redutores iria produzir o deserto como mostrado ele é conhecido que saídas redutor único começou a luta. Por que os redutores em coloca para lutas classificadas individualmente? Outra coisa que eu quero que você perceba é que o mundo ser foi processado de volta para diferentes funções do mapa. No entanto, este processo pelo mesmo produtor para produzir o deserto. Isso só foi possível por causa da etapa shuffle e sort no meio. Isso é fundamental para qualquer solução de mapa. É importante entender que as chaves são processadas de forma distribuída na matemática. Face on em taxas reduzidas é trazido juntos para que o cruzamento de todos os valores para uma chave particular pode ser feito pelo mesmo redutor. E tudo isso é possível por causa do pastor e ordenar passos. Se você pode entender este conceito em, trazer o problema para escrever algoritmo mapa no algoritmo de lançamento, então você pode projetar minhas soluções de produção. Marca de produtos podem ser devolvidos em vários idiomas. Neste curso você foi visto geralmente exemplos Java. Mas o ponto é entender este concerto e você será capaz de aplicar toe qualquer linguagem em Java, teríamos que escrever três classes primeira classe de matemática, que teria mapas ajudar fora da lógica Segundo reduzir classe, que teria reduzido a programação do site. Lógica dois está dirigindo Programa, que controlamos e decidir configuração sobre como o trabalho iria ler e escrever os dados. A distribuição lateral função fora da quadra com múltiplas máquinas para que o mapa fica o mais tarde me olhar no mapa do nosso país. Isso é correto? Reduza a máquina junto com o shuffle e comece a pisar entre eles. Isso é sempre tomado cuidado por seu próprio grupo no programa só não chamado nada para isso . Isso é o que o torna especial No próximo Ouça, vamos olhar para os programas Java e ver como ele livros. 19. 018 como executar o primeiro programa MapRo: Bem-vindo ao novo ouvir na escuta anterior, discutimos o algoritmo na lógica fora do programa, e aqui discutimos o código real do programa. Vamos começar com a classe de mapa que é trabalhar no mapeador. Começa com as instruções de importação. Estes tratamentos empurrando importações importar tipos de dados específicos do grupo para chave e valor em seu loop. Os tipos de dados chave e valor podem ser apenas fora de seus tipos específicos de grupo e são feitos sob medida para seus sistemas de loop. Qual foi a necessidade convidativa? Usamos os tipos de empregos já prisionais. Folke e valor seria entendido mais tarde no curso para não apenas entender que longo passeio é algo semelhante a Long Feel, que é usado para cuidar de um número longo e leva é algo semelhante à string em Java, que é usado para transportar sequência de caracteres. At Incredible é um tipo de dados semelhante a Indy GIA em Java. Em seguida, cada classe de mapa iria estender minha classe superior, e vamos ler a função de mapa este ano são os parâmetros de tipo que especificam os tipos de dados Hudood . Isso teria chave de entrada em tipos de dados de valor de entrada, que o Hadoop fornece para mapear, seguido por nossa chave put em tipos de dados de valor. Então aqui os tipos de dados para a chave de entrada é muito credível na entrada. Valor é texto. Andi hoje para todos os bookie é fixo na data de líder para o valor de saída é incrível. Nós declaramos os dois medos que exigimos na lógica de processamento que precisamos para escrever o mau funcionamento. Minha função tem os parâmetros como chave de entrada no valor no contexto. O maior tipo off chave de entrada no valor deve mestre de todos mencionar que uma regra de empate perímetros de contexto é lançar todos colocar chave e valor par depois que esta é a lógica de processamento fora da minha função. Nós não bom corda nas palavras e escrevê-lo no contexto com um esqui em um tão valor como tínhamos discutido anteriormente no jardim. Então, a idéia é entender a estrutura básica fora da classe marca e assim você pode personalizar o mesmo para uma lógica diferente e tudo seria fácil. primeiro ponto é declarar os parâmetros de tipo que são tipos de dados, valores de chave de entrada e saída desligados. Segundo é ler a função de mapa Com a lógica de processamento que você precisa, certifique-se de que os primeiros 2 parâmetros são os valores de chave de entrada, e seus tipos de dados devem coincidir com uma declaração de parâmetros de laço borboleta. Terceiro é escrever a lógica que você precisa no final com contexto. Muito bem, metal para escrever a chave de saída e o par de valores. Em seguida, vamos olhar para o lançamento da classe. Se você tirou a equipe má do lançamento da aula de matemática, por último seria mais fácil se relacionar. Dedo. Cada classe de redução precisa trocar reduzir o excesso de queda. Seria os parâmetros de tipo, que especificaria o produzir tipos de dados específicos para a chave de entrada no valor, seguido pelos tipos de leitor fora todos os cookies e valor. Então precisamos escrever a função de redução. Os caracteres para reduzir função são a chave, seguido pelos valores de campo de rótulo off. Como discutimos antes. A função de importação para reduzir é a chave e a lista de valores. E então aqui você vê que os valores são especificados, como nele de sensação capaz. O Pounder Tour. Reduzir a função é o contexto que recolhe todos os pares alegre e valor para Bagdá é a lógica que já discutimos. Eu quero que você saiba que na lógica de processamento para quase todas as soluções. Você terá exatamente o mesmo loop, que ele classifica, ou os valores. Neste caso. Nós apenas adicionamos os valores no campo algum. E depois que todos os valores fora da fertilidade são processados, todos nós colocamos a chave em valor. Per through contexto não são metal certo. Assim, em alguns aumentos estrutura da classe redutor, que você pode aplicar a qualquer solução. Primeiro, especificamos os tipos de dados específicos do Hadoop para o valor da chave de entrada em valores de chave de saída. Por favor, note que é importante que os tipos de dados uma chave de entrada e valor fora do redutor deve dominar ou colocar chave em valor fora da função de mapa. Segundo, precisamos substituir essa função de redução. Os primeiros 2 parâmetros são chave de entrada no valor, e o terceiro 1 é contexto. É importante que os tipos de dados mencionados sobre caso nenhum líder morra. Menção na função Poderíamos apenas precisar inicializar corretamente e alterar a lógica no loop quatro como por dissolução e usar contexto ou traço de metal em pontos Wright dedo do pé ou colocar a chave no par valor seguinte, eles apenas olhar para o classe de motorista. A estrutura e o fluxo da classe de driver é absolutamente simples. Se você entender a classe de trabalho e sua função, você pode imaginar objeto Job como um painel com entregas para controlar a execução fora do trabalho. E a idéia de classe de motorista é enviar os parâmetros de trabalho para que seu Duke pode levá-lo a partir desse ponto e exalar o trabalho como especificado pelo programador. E assim você veria que isso é o que estamos fazendo em toda a classe de motorista. Primeiro declaramos o objeto de trabalho. Então usaríamos o mesmo metal da classe Bajor e passaríamos o nome da classe de motorista . Isso identificou a multa do trabalho. Quando ele é distribuído através do cluster, eles decidiram o nome do trabalho, que será visível nos EUA Eles disseram do mapa, uma classe de redução de classe, ignorando os nomes fora da classe mapa em classe reduzida, nós apenas projetar. Finalmente, nós configuramos os tipos de valor chave de saída posteriores usando o método, disse classe chave Saída e disse classe de valor de saída. Agora isso tudo colocar chave e valor significa o valor de chave de saída tipo de dados fora do trabalho vendo fazendo isso significa que o tipo de dados de saída fora do par de valor chave fora do redutor, então precisamos ter certeza de que esses valores no que declaramos na classe de produtor deve ser o mesmo. Eles usaram a entrada de luta de metal, ex-ponto adicionando por pote e em uma boa parte para a nossa entrada e lutas abertas para um trabalho. Estes seriam possíveis argumentos de linha de comando trabalho ponto trigo para condição é o metal, que realmente desencadeia a submissão fora do trabalho para um dupe. E isso é tudo o que um programador precisa. Sopa poderia se você notar que não há nada que um programador precisa fazer para distribuir isso pelo cluster e gerenciar a saída de entrada de rede. Tudo é gerido pelo seu grupo, e é isso que a torna especial. Outra coisa maravilhosa é que este tribunal é escalável. Se ele funciona em uma única máquina, ele pode ter medo de milhares fora máquina sem uma mudança fora de linha no tribunal. Não, ele está tentando executar este programa, que é basicamente exatamente o mesmo que fizemos no ouvir duro para compilar e executar um programa que fizemos na seção configurar um grupo I primeiro off irá criar o trabalho lutar por isso eu iria para seus experimentos de loop, certo? Clique nele, vá para exportar, em seguida, clique em arquivos jar. E eles sabem que a seguir o nome já está presente. E então eu vou clicar em terminar. Eu gostaria de lutar contra o trabalho. Agora, neste ponto, eu já estou na pasta onde eu criei a luta. Então estou fazendo Ellis? Isso mostra o mundo Condor. John, lute. Deixe-me fazer uma lista do novo sistema de incêndio dela. Certifique-se de ter executado iniciar iPhone, mensagem Todos Senhor e todos os seus demônios estão prontos e funcionando antes de fazer. Então aqui vemos os combates internos, que já criamos no ouvir, compilando e executando um programa. Talvez só fazer um deus nessa luta. Portanto, ele tem conteúdo como ser ou não ser notado programa Runner sobre este. Então, para isso, estou a escrever o novo frasco dela. Finalmente, lutas de entrada e saída da classe de motorista. Então aqui seria seu novo trabalho conduziria o trabalho. Será que Deus sim, cerca de um. Eu menti. Saída como um como fora banditismo já está presente. Ele recebeu a fuga do programa. Agora ele está novamente fazendo uma lista sobre o novo sistema de incêndio e eles recebem o diretório aberto. Vamos fazer Ellis no diretório aberto, e eles receberam além bem, que contém a saída. É Deus que e lá você vê a sobremesa final. Por enquanto, eu sugiro que você experimente um pouco a entrada do programa e veja como o resultado muda. 20. 019 Combinador e corredor de ferramentas: Bem-vindo a uma nova escuta nisto. Ouça, aprendemos sobre a combinação de funções em fazer um pequeno aprimoramento em nossa classe de motorista, que escrevemos no anterior. Ouça, vamos olhar novamente para a solução, que discutimos na escuta anterior com simulação fora de mapas paralelos em execução. Deixe Martin receber entrada. Um chegar, Toby ou não Toby e o segundo mapa começa a ser colocado nos mostrando depois de ser falso para mapear. Eles produziriam suas respectivas saídas. Quando isso é preenchido em uma função combinada, ele iria produzir nossos produtos mostrou que é recomendado usar a função combinada em sua solução. Se for possível, a função de combinar ER é processar o mapa ou colocar localmente para que eles sejam menos desertos para transferir para reduzi-lo. Então, neste, o que podemos fazer é que podemos adicionar as ocorrências fora das palavras nas máquinas de mapa localmente, e isso pode reduzir a saída do mapa. E assim você veria que a função combinada compactou o mapa uma vez reservado neste exemplo, o segundo comandante não tinha as palavras repetidas e, portanto, não reduziu a saída. Assim, podemos ver com este exemplo que a ideia por trás da etapa de combinação é reduzir o Senhor em bens valiosos em seu novo processamento. Ou seja, é um bandido necessário Tudo isso. Recomenda-se ter o menor número possível de saídas de mapa para que seja mais fácil transferir a saída de mapas. Neste caso, Comandante não está fazendo nada além da mesma coisa que estava fazendo na cara reduzida. Ele está adicionando todos os valores fora das chaves, apenas que ele está executando a mesma coisa localmente na máquina mapa em redutor aplica-se aos dados globais, que é coletado a partir de vários mapas. Mas está ligado. Os passos são os mesmos que vimos durante todo o ano. A combinação é terrível seria classificada, motorista em partição e alimentado para o produtor, que processa e produz o ascendente. Vejamos os pontos-chave com os mineiros da CA. Se você escrever classes combinando, eles trocam a classe redutora. Ao pensar fora, combinar er pensar fora redutores, que estão acontecendo localmente em minhas máquinas, Então o vício estrutura programa lá exatamente o mesmo na liberação estendida uma classe como os produtores fazem. A combinação é lógica construir e introduzir a matéria exatamente da mesma maneira como discutimos para a redução cruz buscando ponto-chave é que estes podem ser aplicados apenas no caso é com a natureza do problema é comunidade em associativa. É apenas uma maneira complicada de dizer que a operação feita por combinar er não deve depender da ordem fora dos valores que são tratados para combinar uma operação. Deixe-me explicar isso. Primeiro, vou falar sobre o associativo sobre perda comunicativa. Comprometido com a lei é um favor ser. Vai ser o Percy? Isso significa que podemos parar as operações e ainda obter o mesmo resultado da mesma operação. O direito associativo é um lugar mais profundo. Veja, com um lugar maior juntos seria igual a um mais B mais C com as pessoas vêem o grupo juntos. Isso significa que mesmo que o agrupamento fora Prince tenha mudado, o resultado é o mesmo. A razão pela qual precisamos dessas leis para aplicar é porque combinando passo Candra mais de uma vez na saída de mapas. Gostaríamos de aprender sobre este indie dias depois, mas o ponto-chave é que a câmera mineiros e várias vezes, de modo a reduzir mapas abertos no caso fora leitores a maneira em que os valores são processados é muitas vezes aleatório, Assim, a operação realizada combinando e têm os mesmos valores em ordem diferente com todos. Esta mudança em ordem não deve mudar a madeira ou o deserto. E assim a combinação e função deve ter a operação que para essas leis associativas e comunicativas, o que é que obteríamos um resultado mais chuvoso. No nosso caso, a operação está cancelada. Adição simples e, portanto, está bem. Algo que faz admitir significar um para esta regra. Terceiro e o ponto mais importante é que a implementação de combinar er reduz a transferência fora dos dados entre mapas e redutores. É a idéia subjacente mais importante fora combinar. Er, se Combinado não executar isso, não há nenhum ponto fora de seu design. Vamos olhar um programa que implementa combinar a nossa função em Ao mesmo tempo, aprenderíamos um novo e melhor ser implementar a nossa classe de motorista. Em primeiro lugar, sentar nossa função combinada é tão simples quanto escrever uma única linha. Claro, foram a classe menor positiva para o trabalho de função, Dot disse, Combinando classe, nós reutilizaríamos reduzir uma classe no programa como ele está executando a mesma função então Se você quiser usar o seu combinando classe, você só precisa escrever a lógica de processamento em uma classe em Passá-lo através do trabalho ficou doente. Combine. Última função. O porão classe combinando seria estendido, Você disse Classe em será legal da mesma forma como classe reduzida como temos discutido no ouvir anterior. Agora olhamos para mais uma mudança que fizemos para o trimestre no driver anterior. Além disso, tínhamos retornado nossa lógica na função principal. Ouvir, ouvir, classe configurada estendida na interface de ferramenta implementada Na função média que acabamos usar para aprender objeto a função Irã, que tem toda a lógica exatamente da mesma maneira. O que isso faz é que dá uma beleza para definir propriedades em seu próprio tempo, e não precisamos escrever um único olho fora frio 200 eles. Expliquei isso com um exemplo de líder. Em primeiro lugar, vamos tentar executar este programa da maneira usual. Eu só exportaria o trabalho. - Tudo bem. Eu faria o que fiz. A primeira coisa que faço é verificar se todos os demônios estão fugindo. Eu faço isso pelo GPS. Vamos. Neste caso, todos eles estão em execução. Caso contrário, você pode começar com hífen estrelado. Embora um comando de busca me deixasse fazer menos em seu novo sistema de incêndio, eu iria pegar o fogo agora mesmo. Então ele tem apenas 19 Nós não estamos para ser. Eu sugiro que você coloque mais linhas no arquivo e tente experimentar um pouco. Quando terminares isto. Ouça, eu estou no ser mais cheio em si, onde eu exportei o arquivo jar. Deixe-me fazer isso. Uma lista sobre o sistema de incêndio local para verificar se o melhor lá. Certo, aí está. Agora eu dirijo o programa com “Venha no novo trabalho dela”. Bem, pote do condomínio, depois a função do motorista, que é conflito mundial. Combine er, em seguida, dentro e eu vou fazer fora e fora um já estão presentes. Então eu escolho outdo diretamente. Eles recebem o programa em execução. Está fazendo uma lista dela. Não encontre o sistema para ver se o aberto diretamente foi criado. Não, é fazer uma escuta em território. Então lá vemos a parte. Se eu me deixar pegar. Então, há o deserto agora. Vamos ver se a magia para correr está sendo armazenada no tribunal. Agora eu dirijo o mesmo programa e configurei o trabalho para funcionar com todo o produtor. Não só depois que eu mencionei a confiança motorista eu vou fazer um hífen capital D espaço Matthew filha usado ancorado EUA igual a zero e, em seguida, dar a em luta em dogmaticamente Se você notar que não precisamos exclusivamente legal para entregar este perímetro como nós têm usado para executar um objeto ao redor do tribunal, podemos ouvir especificar quantas propriedades nascemos com hífen D, seguido pelo nome da propriedade na turnê seria capaz de lidar com isso. Vamos primeiro Inder o trabalho é executado até a conclusão com reduzido como 0%. Deixe-me ver se na árvore que Deus criou há Lacey convencer em três. Então lá vemos o arquivo parte com ele, o que indica um esfregão até uma luta que seu usuário me encontraria sempre tendo estão lá. Vamos ter a luta parte e lá vemos a saída. Aqui nós começamos a ver a saída do mapa exatamente o mesmo que tivemos meses de simulação de discussão Agora eu gostaria de sugerir que você são algumas linhas para entrada e jogar com as propriedades como Sentado A produz dois para todos os conjuntos de mapas para fazer na pesquisa zero e C dois mapas, saída e assim por diante. 21. 020 mapa de Recap reduza e combinando parte 1: eles podem fazer em seu curativo em uma recapitulação rápida no mapa. Reduzir os mineiros de renda neste. Ouça, você faz uma breve recapitulação sobre as coisas que aprendemos ao longo do 1º 1 é um júri, que precisamos ter em mente enquanto projetamos uma solução na próxima lição fará uma recapitulação na quadra. O que aprendemos que nenhuma primeira coisa que precisamos ter em mente ao projetar um mapa da solução é dividir a solução em duas faces a face matemática na face reduzida. É sempre de ser lembrado que a entrada de tomada de boca como uma divisão, que teria vários registros para cada função de mapa de linha de registro seria chamado em. Ele iria quebrar a linha de registro de entrada em chaves e valores. Devemos inteligentemente projetar e esfregar a lógica para que, no congelamento reduzido, quando olharmos para os valores da mesma chave, valores da mesma chave,possamos alcançar o objetivo que queríamos alcançar com a execução fora do trabalho. Próxima coisa a ser notado é que a entrada para redutor está na forma off chave e lista de valores eo resultado está na forma off par off chaves e valores. Além disso, devemos ter em mente que a lógica do mapa pode ser executada em uma máquina diferente e reduzir em outra máquina na rede. Esta transferência de chaves e valores de todas as máquinas de mapa para as máquinas redutoras é tudo cuidado por seu próprio grupo. Nós não precisamos escrever nada para programar para fazê-lo. Nós só precisamos projetar inteligentemente a lógica do mapa na lógica reduzida, que transforma o registro em chaves e valores, peças sobressalentes e todos os valores fora da mesma chave nosso processo e reduzir maneiras de produzir o resultado. Todo o processo de transferência inteligente dos dados é gerenciado por grupo, e isso é feito por meio de etapas de ordem aleatória, classificação e partição. Estamos aprendendo detalhes sobre essas etapas mais adiante no curso que eles aprendem sobre os mineiros da CA . A idéia fora dos mineiros é simplesmente seu único objetivo é reduzir a saída do mapa para que haja menos quantidade fora do mapa a ser transferido para reduzi-lo em empregos que produzem uma grande quantidade de líder. Essa etapa é fundamental para a eficiência de desempenho fora do trabalho. Se Há um monte de saída matemática que precisa ser transferido para a máquina de redução. É uma boa idéia para projetar uma combinar nossa função, que reduz a saída do mapa. Sobre isso, há menos quantidade de dados a serem transferidos. Os desvios terão entrada na forma de chaves na lista de valores off e são colocados no formulário off chave e valor urso. Novamente. Vamos passar por uma simulação sobre como as coisas estão na minha produção. E lá nós também olharíamos para o que vamos aprender nos estágios de liderança deste curso. Primeiro de tudo, minha comida na maioria dos casos recebe sua entrada. Procura localmente. Lembre-se que seu Duque faz o seu melhor para localizar estrelas do mapa nas máquinas onde eles desesperados está localmente presente. Esta seria uma possibilidade sempre, mas como fazer para tentar o seu melhor para fazê-lo? Este lugar é processado pelo mapa Lógica para produzir são preservados Haruf Classificações e grupos Este mapa são puxados por chave e programação me nem chamado nada para isso Agora. No caso, se houver um design de função combinado do que este mapa, saída seria caber em combinar uma função. Lembre-se que o mapa são colocados pode passar pelo er combinar várias vezes e assim natureza off operação feito por combinar er sobre os dados seria uma operação associativa e comunicativa pelo meu na polícia tratado para combinar e várias vezes solicitar detalhado compreensão que passaríamos mais tarde no curso. Isso combinado produz o deserto de saída e sua idéia é reduzir o tamanho fora da saída do mapa de origem . Este mapa é bom, tem várias partições. Partições não são nada, mas a parte fora dos dados que precisa ir para o mesmo redutor. Estas partições são feitas pela função de partição. Gostaríamos, como aprendemos de fato é sobre a função de partição e como podemos usá-lo em nossos casos de solução Estes são particionamento e combinação é feito nas máquinas de mapa localmente como este mapeado nós Há muitos mapeados nós que seria em execução através da rede. Estes políticos são enviados para seus respectivos produtores por seu grupo novamente programa anin são chamados qualquer coisa para isso na máquina de reduzir Do combina todas as partições e alimenta no mais cinco para o produtor no lançamento executa sua lógica dedo do pé todos colocados sobremesa Então eu seria novamente você tratar as coisas que cobrimos um longo no curso forças começar Precisamos apenas projetar a lógica do mapa sob Rajic reduzido em dependendo do caso, a combinar uma lógica a classificação de dados e transferência de dados é tudo tomado cuidado por seu próprio grupo em. Não precisamos nos preocupar com isso. Em segundo lugar, não é obrigatório, mas seria ótimo se projetarmos a função combinando que tem a idéia de reduzir a saída do mapa para que haja menos tarde Toby enviado através do livro Net No. A coisa mais importante a notar é que a função menor se comporta apenas como redutores como ele tem chaves de entrada s na lista de valores off e assim como produtor que são coloca chave em pares de valor . Assim, os mineiros e redutores de comunicação herdaram esta classe de produtores programaticamente, mas é para ser muito bem entendido que eles são logicamente muito diferentes. Embora haja em muitas situações em que podemos ser usados para reduzir uma classe como a classe combinando. Mas nem sempre é verdade, como podemos ver neste diagrama, todo e único objetivo fora combinando é reduzir a quantidade fora do mapa saída no objetivo fora do redutor é encontrar o significado lógico por trás da chave em seus valores, que nos ajudará a alcançar o resultado final. Então eles são significado lógico e importância em estágios em que lá, executados em seus objetivos de design, são muito diferentes uns dos outros e nunca devem ser confundidos uns com os outros. Em seguida, aprendemos que Davis particionamento que acontece por causa da função de partição. Particionamento é um passo no meu dedo do pé de uso da maçã em torno dos cinco. Quais dados vão para o introdutor? Esta mesma lógica para identificar a partição é aplicada em todos os meus poppers individualmente nas máquinas de mapa, e essas partições são então enviadas através para seus respectivos redutores. Vamos aprender detalhes sobre as partições nas próximas lições. As partições são muito de uma luta e desvanecimento para reduzi-lo a produzir. Considero reservado. Espero que no final disso você seja absolutamente claro sobre a regra sobre importância na ordem do mapa de física combinando particionamento sob você, senhor, quando exalar um trabalho também, você teria obtido um Idéia fora. O mapa produzido primavera funciona sob, vamos olhar em profundidade alguns passos como partição. Líder no curso. Por favor, lembre-se que as taxas são em que ordens eles vêm sobre quando um trabalho é executado no meu livro de gritos bonito. Isso ajudaria você a entender melhor as taxas é e sua importância para a solução na próxima. Ouça, vamos fazer uma breve recapitulação do lado do tribunal. 22. 021 mapa de recaptação, reduza e combinando parte 2: Bem-vindo à segunda parte da recapitulação em Isto não é visto um pouco do que aprendemos agora do ponto de vista cortejamento para escrever um trabalho, nós só precisamos projetar e cordar três classes primeiro a classe mapa segundo, a classe reduzida no Em terceiro lugar, a classe de motorista. Se você entender o objetivo por trás dessas classes, o tribunal seria religiosamente simples de entender. Vamos começar com o objetivo fora do mapa. Simplesmente sua função é trazer o registro de entrada em valor chave. Pares Objetivo da classe redutor é processar cada chave em seus valores associados para produzir a reserva final. Último é a classe de driver, como você sabe como fazer cuida de Distribuir o código do mapa no reduzir bom no programa de rede. Ele se comunica com o grupo. Quais são os arquivos de entrada? O que é dieta de ópera? Qual classe é uma classe de mapa em que classe é uma classe reduzida e assim por diante usando esta classe de driver . Então, toda essa informação, que está relacionada com a execução fora do trabalho, é comunicada pela classe de driver. Esta é a estrutura fundamental, e se você se lembrar disso, o tribunal é um simples tribunal Java, que não deve ser muito difícil de entender. Vamos olhar para o tribunal. Vamos começar com a minha vantagem agora, se a sua exportação de trabalho isso seria elementar para você. Esta escuta projetada especificamente para alguém relacionado Lee novo ao Java. Cada classe mapa herda classe matemática classe mapeador é projetado especificamente para seu grupo. Talvez tenha herdado esta classe. Vamos escrever a função de mapa, que tem toda a lógica do mapa. A ideia fundamental é que você já saberia onde existe a lógica de mapa definida pelo usuário para chamá-la. Ele só precisa chamar a função do mapa. Ele ajuda um loop para distribuir e executar os EUA mapeados de maneira distribuída. Em seguida, a lógica do mapa é projetado 200 tipos diferentes fora fazer tipos maiores, que nós estudaríamos no próximo segmento. Assim, o primeiro par especifica tipos de avaliador de entrada, e o segundo par especifica os tipos de dados de valor de chave de saída. Estes são transformados em Java como parâmetros de tipo, e aqui veríamos apenas tipos de líderes Helou Pacific. Como você pode ver, nós colocamos em algumas variáveis aqui, o que seria necessário para a lógica do mapa. Nós declaramos este final e estático para que ele não é criado novamente com cada chamada para mapear função, em seguida, a função mapa tem três parâmetros. Entrada, valor de chave no contexto. Então aqui os tipos de dados fora da chave no valor devem coincidir com um arco desafiando parâmetros de matriz. Contexto é um perímetro em que escrevemos o nosso apostador no par de valor depois de escrever no contexto, para Duke cuida, ordenar, particionar e enviá-lo através para a correta produzir uma máquina. O valor de retorno fora da função de mapa está sempre preocupado também. Ele joga. Você é exceção e interrupção exceção. Estes são necessários como eles são definidos na minha classe superior, e assim classe herdada recebe essas exceções transportadas da classe estéril. Essas exceções são apenas para lidar com os cenários inesperados que podem ocorrer durante a operação ou no caso de a tarefa ser interrompida por algum motivo. Em seguida, vem a lógica, que é simplesmente chamado em jarra tribunal. Não há nada de especial para mencionar aqui, mas apenas que há essa lógica para quebrar a linha de registro de entrada nas chaves em pares de valores na direita ele toe objeto de contexto. Outros tipos de dados fora dos argumentos passados no contexto ou metal direito deve mestre parâmetros tipo mencionar nable. É isto. Esta é a estrutura fundamental do mapa, então certifique-se de que você só precisa alterar os parâmetros de tipo no tipo de argumentos e cenas. A lógica do mapa, que convidaria contexto ou metal direito. E é isso. A secção do restaurante será sempre o Peter. Sim, claro, Como nos mudamos para a programação avançada, veríamos mais algumas funções, mas a equipe média permaneceria a mesma no início. Basta pensar função mapas é tomar o registro de entrada em Break It em conjunto de chaves e valores e é isso. Então vamos olhar para o redutor. Bom país para usar a classe herdaria a reduzir a classe, e a razão é a mesma. Isto dá-lhe devido leste para encontrar e executar a lógica de redução definida pelo usuário como o mapa de classe liberar uma classe. Israel tem quatro gerentes de tipo forçados a especificar a entrada manter e valorizar tipos posteriores, e os dois últimos especificaram nossos corretores e tipos de dados de valor. Em seguida, é o método de redução, que leva o argumento como chaves na lista off valores no contexto, que é usado para escrever o deserto final. Os tipos de dados devem dominar os parâmetros do tipo de menção Bo. Função religiosa também retorna vazio, assim como a função de mapa. A idéia é escrever no contexto curto, metal direito. Em seguida, vem lança Linha de exceção, que está presente para a rescisão graciosa fora do tribunal em caso de um erro, em seguida, vem para deduzir trágico. Isso para Loop será um fator comum em todas as soluções que você criar através de todos os valores fora das chaves em quase todas as soluções. Em seguida, através do contexto, começar metal direito você Positivamente e Valor, que em última análise é passado para seu grupo em seu tom duping, escreve na dieta de ópera, que temos especificado pela execução do programa. Então é no introdutor. Você veria a mesma estrutura no ano passado. Nós olhamos para a classe de motorista, lembre-se de todo e único objetivo fora da classe motorista é dizer ao seu grupo com classe matemática irá reduzir uma classe na entrada na saída no caminho para executar o trabalho. Tudo isso é feito sentando o trabalho Optic. Isso é tudo o que vimos na aula de motorista. Estendemos a interface da ferramenta de configuração e implementação, o que ajuda os parâmetros Dr Classe 200 passados através de um programa na hora errada. Neste momento, eu iria regredir você para passar por todas as lições desta seção mais uma vez se você já não passou por isso. O Mark. Perder e combinar horas são tópicos absolutamente novos e a busca nova maneira de pensar, e leva um pouco de tempo para construir compreensão sobre eles. Mais uma iteração fora do material ajudaria você a entendê-lo e moldá-lo. E então eu te daria um pequeno quiz. Aqui temos que usar produtor perguntou no meu jogo Net. Mas é sempre para ser lembrado que a função fora do redutor é diferente da função fora da combinação. Er, eu sinto que a combinação er é reduzir o mapa para cima onde redutores significa objetivo é olhar para todos os valores associados com uma chave coletivamente para produzir saída reservada. Então minha pergunta é que aqui na classe redutora, se eu tivesse mudado essa linha e em vez desse enigma em algum lugar igual a um, isto é, eu teria sido elogiado alguns com um. Com esta lógica preencha a combinação em Israel. A minha segunda pergunta é uma boa escrita redutor como este teria vivido no âmbito de ca mineiros. Se sim, que tipo de combinação teríamos usado. Por favor, dê um xixi com isso e entre em contato comigo no caso de você estar confuso. 23. 022 MapReduce Tipos e formatos: Bem-vindo a uma nova escuta nisto. Ouça, você aprenderia a ideia fundamental. Por quê? Como os tipos de criadores eram necessários através de nós não usamos os tipos de dados de trabalho já presentes na minha estrutura anterior. Para entender esta última entender o que é serialização quando o devido processo na comunicação, por exemplo, Mark se comunica para reduzir. Então, nesse caso, os dados são transferidos em termos de objetos. Serialização é o processo de desligar o objeto estruturado no Dubai Stream para transmissão através de uma rede toda escrita para ser armazenamento assistente, que eventualmente seria lido por outro processo. Essa civilização, por outro lado, é um processo que o processo de recebimento faz para o fluxo de bytes, ele lê. É um processo de transformar o fluxo de bytes de volta para fora objetos estruturados da cidade. No processo, as comunicações acontecem por chamadas de procedimento remoto do nosso PC em seus recursos de grupo que são necessários na serialização para que ele seja eficaz com o procedimento remoto. As chamadas são primeiro voltar a mensagem que são transmitidas através da largura de banda da rede. Deve ser o mais pequeno possível. Quanto menor a transferência de dados melhor seria a eficiência afundando serialização rápida e a serialização deve acontecer rapidamente. Isso está em muitos aspectos relacionado ao primeiro ponto. Se os dados serializados forem menores, o processo de serialização fora e a serialização também seria mais rápido. Poderia uma mudança política extensível ao longo do tempo, e deve ser capaz de satisfazer os novos requisitos. E por último, interoperável. É desejável que o processo que retorna um idioma possa se comunicar com o processo. Retornando outro idioma. Por exemplo, mapa pode ser refeito em Java e reduzir seria em algum outro idioma, digamos, por tempo. Então, nesse cenário, Israel, o quadro civilizado deve ser eficaz. Então não, nós entendemos isso. Ou as pessoas em chamadas de procedimento remoto e civilização não é importante conceito subjacente para sua eficiência. Mas por que implorou novos tipos de líderes não poderia usar a estrutura de civilização Java em si. A resposta à pergunta é que a serialização inválida de Jarvis teve algumas deficiências. Primeiro e mais importante, não era compacto. Tinha palavras quando os dados foram serializados. serialização Java enviaria o meio Rita, como a definição da classe, juntamente com o leitor enviou isso aumentou consideravelmente o tamanho da serialização em Israel aumentou o tempo de processamento. Ele foi basicamente projetado como um propósito geral no processo. Mecanismo de comunicação A estrutura de serialização do Hadoop. Suponha que fique. O cliente já sabe sobre os dados. Isso é esperado do remetente. Isso diminui muito fora ordenado e esta estrutura de serialização capaz direito foi projetado. Vamos dar uma olhada no quadro aqui. Rideable é uma taxa Indo. Grande mal comparável não é interface que implementa direito sobre. E, em seguida, temos tipos de dados que usamos como chaves sobre valores na matéria usar quadro. Em seguida, recebeu a tabela que usam todos os tipos de líder do grupo em seus tipos de lança correspondentes para que possamos soltar o nosso pouco sobre, entender e se relacionar com eles melhor tê-los colocado em notas para esta palestra para que você possa ter uma olhada eles em detalhes. Olhe até mesmo um montável personalizado. A implementação pode ser feita estendendo a interface comparável adequada. Mas, nesse caso, as funções de queda devem ser sobrecarregadas principalmente porque são herdadas da interface. Estão sendo usados na classificação são estágios embaralhados. Eu coloquei um exemplo fora da tabela personalizada direita junto com isso. Ouça, por favor, passe por isso e dê uma olhada depois de ouvir. Mas como você percebe que a estrutura de tabela certa suporta apenas tipos de dados Java em é dependente da linguagem, então o sistema de serialização neutra da linguagem Abaroa foi conceituado. É um projeto de machucando pato, de modo a construir uma estrutura de civilização que suporta muitas línguas. Outra vantagem com Afro é que futuramente comprova os dados, permitindo-lhe viver mais do que o idioma usado para ler e escrever novamente. O princípio importante é o mesmo. Depois de assumir esquema de início está presente tanto na amarração off ler à direita, Cada esquema Us ordenado. E em Jason, este é um exemplo de como um esquema é declarado em Al através Isto contém o campo no nome no tipo off sente que este humano precisa ser declarado nos programas de leitura e escrita. Avenue é um tópico avançado, então vamos parar aqui. Eu recomendaria o exercício dado após a escuta para construir mais conhecimento neste campo . 24. 023 experiências com o de predefinições: Olá e bem-vindo a um novo ouvir neste. Ouça, nós experimentaríamos com as configurações padrão e isso explorar e aprender mais sobre a estrutura de produção de mapa . Vamos voltar a visitar. Mapa. Combine em reduzir funções e vê-los em uma notação. Forme as chaves e valores do Martick à medida que as entradas e saídas combinam uma lista de chaves e valores. Ele leva entrada como uma chave na lista fora valores correspondentes à chave e produz a lista fora de chaves e valores e exatamente o mesmo é o caso com a função religiosa. Daí a implementação branca combinando extremos reduzi-la mais uma coisa a ser notado aqui é que para um único par de chaves de entrada, o mapa são combinados. Já usar uma função pode emitir vários reparos Kiva e conhecimento Biscuit. Introduzido a uma nova partição de função. Leva valor chave, aparecem como entrada e produz um Jha indie como sobremesa. Isto no ensino é usado para decidir dedo do pé qual redutor o par de valor chave iria para. Veremos mais tarde no mecanismo de partição Ouvir o Defour para que possamos substituir no caso de precisarmos Oh para nenhum experimento de realização de alface. Vamos tentar executar nosso programa de driver com configurações mínimas de trabalho e ver o que ele faz anos antes da classe de driver. Como você pode ver, não há nenhuma configuração de trabalho colocada nesta classe. Não especificamos o mapa mais a classe reduzida, não a classe combinada. Nem nós especificamos os tipos de dados de entrada agora os tipos de dados abertos. Nós apenas definir a parte de entrada na parte de saída. Vamos tentar fazer essa fantasia. Deixe-me primeiro curvar no livro. Então o arquivo de entrada tem duas linhas fora de entrada, sem alface, mas executar o programa. Vamos ver a saída. E assim é assim que a saída se parece. Você pode ver aqui que a linha de saída é um novo professor americano que significa o deslocamento da bicicleta desde o início do fogo na linha que para perdê-lo Então 21 especifica que mentir que é a questão começa a partir do 21 por posição na luta. Isto é do escoamento padrão. Meu colocar sob Yusor é entender como o mapeador padrão e reduz olhar como o mapa de classe, como já sabemos tem entrada de valor chave no valor chave. Emparelhe para cima. Isto é muito colocado Os tipos de líder esta é a função de mapa, que de outra forma substituímos. Como já sabemos, isso tem três parâmetros. Valor-chave no contexto no processamento. Ele apenas claramente imagem adesiva em pares de valores, que recebeu o tipo de dados de chave de entrada padrão é legível por muito tempo. É assim porque ele pode lidar com grandes números. O valor de entrada padrão é texto Andi Ford ou poderia tipos de dados de valor chave são os mesmos que a entrada após mapa produziu sua entrada. A partição é responsável por dividir o deserto em distribuir. O valor é reduzir, senhor, pelo forte. Não há classe combinada. A partição padrão é o particionamento de hash, e é assim que parece. Get função partição leva valor chave. Um número off redutores como entrada. Ele simplesmente produz o hash, pego fora da chave e executa em operação com o valor máximo indigente no Modelo ele para chegar a qual produtor ele deve ir. Suponha que se os produtores são três, então o resultado de todas as chaves sairia para ser 01 ou dois. Dependendo do resultado, o vale-chave seria enviado para um usuário específico. Deve-se notar que apenas a chave é considerada em qual redutor o valor da chave deve ir para. E é assim que deve ser, pois queremos que todos os valores para chave particular para ir para um único redutor. Mas isso pode ser alterado como por exigência fora da situação. Isso pode acontecer para que você precise de um determinado valor chave para ser processado apenas por certos produtores . Vamos dar um exemplo nisso. Vamos supor que nós através de arquivo único com pessoas me forçou segundo nome e cores que eles gostam. Suponha que estamos procurando por um padrão louco Se houver uma coalizão entre os nomes na cor de preferência fora, então considerar parece Marry, que é o primeiro nome Fisher, que é o segundo nome no preferência de cor que se seguiu. Então o arquivo seria preenchido com esses tipos de registro. Então, nesse caso, decidimos definir a chave como um segundo nome no mapa. Isso nos ajuda a crescer os registros com o segundo nome. E assim o mapa é colocar seu segundo nome como uma chave e todo o registro como o valor, e isso seria adequado para a partição. Agora queremos que as pessoas com o primeiro nome devem ir para o mesmo redutor. Então, nesse caso, nós adicionaríamos o primeiro nome, bem como o er partição dura para calcular o hash. Legal. Como você pode ver, que Fisher James foi enviado para um produtor diferente apesar de seu valor chave é o mesmo que Fisher Marry. Isso ocorre porque fora da partição personalizada definir ok. Depois de um pequeno desvio, há agora novamente saltar de volta para a nossa discussão média, que era para entender os padrões. Vamos olhar para o produtor padrão novamente. Como a classe do mapa. A foto que você vende especificaria os tipos de dados para o par de valor de chave de entrada nos tipos de dados para o par de valor de chave de saída. Este é o método de redução que geralmente substituímos. Tem três parâmetros de entrada. Primeiro é um segundo chave, a tabela sentir off valores e terceiro é o contexto na parte de processamento, ele apenas produz o valor que recebeu. Os tipos de jantar defore são longos, legíveis e texto. Vamos olhar para os quatro driver que é explicitamente especificado como discutido. A classe Mapple padrão é mapeador. A tia é longa, certo? Capaz no valor, partição Ext Defour é dura. Partição número padrão de produtores é um lançamento padrão é realmente sitter. Classe na chave de saída é longo rideable no valor é saída de texto sit e formato de entrada não é o que discutimos ao longo e é o que discutimos na próxima escuta. 25. 024 cursos de formato IO: Bem-vindo a uma nova escuta nesta lição. Nós explodiríamos em entender saída de entrada para março Na última lição que vivemos no dito Input ex-mais respondeu saída. As funções de classe anterior percebem a ideia média por trás das funções. Mãe recebe a sua entrada no formulário off chaves em valores, os tipos de dados fora das chaves e valores são definidos na minha definição de classe superior. Então, o Hadoop tem que fornecer os pares de valor de chave à medida que lê os dados do programa de luta. Ele controla este mecanismo de leitura no valor da chave. Analisando usando a função de classe anterior de entrada. Da mesma forma, quando redutor imagem os pares de valor chave, em seguida, Nesse caso, é um conjunto todos colocar a função anterior, que dá ao programador controle sobre como ele deve ser retornado para o arquivo de saída. Vamos ver vídeos formatos de entrada em. Vamos entender o mecanismo básico para que possamos colocá-lo para uso quando necessário. O primeiro é combinado arquivamento colocar classe antiga. Isto é usar casos em que muitas pequenas lutas são necessárias para se tornarem minhas como entrada. O problema com muitos arquivos como entrada é que eles queriam de dados Localidade é perdido combinado cinco entrada para o meu uso classe preserva um pouco de vantagem. Ele tem um interno no mecanismo de construção fora considerando a localidade dos dados. Então ele ainda é bom com muitas lutas, embora as chaves com 1.000.000 de arquivos put não é um bom caso para o meu produto de uma perspectiva de desempenho e deve sempre ser evitado. Combinado de luta, mas ex-é uma classe abstrata e seria necessário para ser personalizar Asper . O cenário seguinte que olhamos leva entrada. Ex leva entrada. Ex-fornece o mapa com a chave como longa gravável, que é a mordida fora porcaria desde o início do arquivo no valor como varas Deitado, que exclui qualquer linha Terminator. Este é um formato de entrada padrão. Em seguida é um valor chave leva entrada. Ex Ele é usado no caso em que a chave já está presente no arquivo de entrada na chave e valor é separado por Demeter de Limited pelo Ford é um personagem superior, mas pode ser personalizado através do mapa realmente usado ou importar ponto Key Value linha Record criador ponto dorky valorizado ou separador nixes na entrada de luz. primeiro em linha de entrada divide a entrada em espíritos com número fixo fora de linhas Então se em é cinco, cada mapa seria distribuído com cinco números fora de linhas como entrada. Antes de continuar e olhar para o formato de entrada de arquivo sequência. Vejamos um caso interessante que pode ocorrer. Isso pode acontecer para que as divisões de entrada possam cruzar, no entanto. limites do bloco DFS são? Por exemplo? Nesse caso, suponha que a polegada de tamanho dividido em 50 registro sobre o valor desse registro cruza sobre o limite fora do bloco no bloco está presente sob outra máquina de mapa. Assim, nesses casos, a parte do registo, que não está presente localmente, seria pescada da rede. Essa perda na localidade de dados causa ouvir uma pessoa off ao longo do tempo. Agora vamos voltar para significaria tópico sobre entender sobre a entrada por meses. Em seguida, olhamos para é esta seqüência de arroz alface Forçado a entender o que seqüência para a sua são arquivo sequência é um arquivo plano especial, que contém finalmente incluiu pares de valor chave. Seria parecido como mostrado em chaves e valores seria binário incluído. Portanto, estas são lutas especiais e não podem ser processadas diretamente como objetos de texto. Estas lutas têm visto um mecanismo pontual na nossa sequência compressível. Cinco são usados principalmente em cenários sem adiar meu trabalho de produção. Então, como dizer, colocar para outro trabalho Demócrito. Estes são bons para classificar Israel, então os resultados do mapa intermediário estão retornando. Sequência 54 meses. Então, forneça facilidade de espada antes das reservas. Com medo de você, senhor. Portanto, existem as seguintes três classes anteriores para processar cinco sequências. Primeiro é o formato de entrada do arquivo de sequência. Neste, o tipo Muppet e Key Value leitor deve meus olhos se eu Leo Segundo é o arquivo de sequência como picks entrada ex. Ele converte as chaves em valores em leva objetos, e assim ambas as chaves e valores serão tratados como arquivo de sequência de texto como finalmente entrada forma arte , que é todo o registro. Como um objeto em retém, o binário, incluindo mapeadores, deve ter o Processo 200. Vejamos agora a produção de Março. A saída para março. Decida como os dados seriam retornados para o arquivo tolos fazer. O primeiro é que os takes são colocados formato. Este é o padrão ou executar. A arte está bem nisto. As chaves e valores são convertidos em cadeias de caracteres. As chaves e os valores são separados pelo limitador, que pode ser controlado usando a propriedade. Uso de mármores. Nem todos colocar ovos escuros são colocados ex-separador de pontos por padrão. É um personagem de topo em. É por isso que vemos chaves e valores separados por topos nas saídas das várias corridas que temos . Isso pode ser doente toe qualquer valor usando o ponto de configuração disse saída de arquivo sequência. Ex, como já discutimos, são muito encorajados. Lutas especiais. Estes são úteis se todos adiar um trabalho é referir-se a outro. Meu trabalho anterior. Meus arquivos são arquivos de sequência especial com pesquisas de índice. Primeiro é o arquivo de boca, que contém os dados, e segundo é o arquivo de índice, que é usado para procurar. O formato de saída múltipla posterior é usado neste. Em áreas onde há múltiplos são colocados necessários, ele fornece maior controle sobre os nomes dos arquivos de saída. Deveríamos dar uma olhadela ao compreendê-la com um exemplo. No caso de você precisar de um documentações detalhadas para estas classes, você pode encontrá-lo em nosso Dugard além você dot org para a frente slash cães, que seria geralmente o primeiro lado. Muitos pesquisam no Google 26. 025 experiências com o conceito avançado de saída de arquivos: Bem-vindo a uma nova escuta nisto. Ouça, nós adicionaríamos um pouco mais de reviravoltas. Conselho de turismo con problema. Nós ainda não vimos apenas um redutor Piper nestas férias. Vamos criar vários incêndios, Produtor. Neste ponto, temos redutor que todos coloca o mundo em suas ocorrências. Agora é Ter um produtor segregar a saída em ordem alfabética. É isso. Pé colocar todas as palavras começando com E em 15 e começando de estar em outra luta assim por diante . Então, neste caso, usaríamos a saída múltipla para a minha classe. No lançamento da classe, seria claro um objeto privado fora do tipo de várias saídas. Então nós ficaríamos bem, configurar em referência com o objeto de contexto. Em seguida, usaríamos a função certa fora deste 100 com os perímetros como valor chave em um novo dito, que é o arquivamento. O nome do arquivo está na forma off nome hífen são hífen 000 Quando o nome está separado, podemos controlar o nosso usuário representado E 000 representa o número de redução ou o número de partição . Então, no nosso caso, o nome seria um alfabeto, então nós simplesmente substituímos o método de limpeza em Verity. Vamos olhar para o mapa de classes. Will. Acabei de fazer duas mudanças aqui. Esta área deitada para converter tudo em minúsculas. De modo que o dedo maiúsculo não é tomado diferente do caso mais pequeno também. Segundo, tomo em cada palavra que este passado começa com o personagem. Eles podem ser um monte de verificações que podem ser feitas para limpar o mais tarde. Há muita escola para isso. Mas esse não é o foco da escuta. E então eu não coloquei todas essas mudanças. Então vem o motorista. Motorista é Astra, como vimos até agora foram mencionados a classe chave de saída mapa sobre o valor fechar na minha classe superior. São quatro condes M'appelle. Então nós declaramos o uso real uma classe que é minha saída tipple reduz classe na classe chave aberta. Em nossa classe put body, estamos acostumados a aprender como em exemplos anteriores. Vamos tentar executar isso e ver. Deixe-me colocar o arquivo de entrada em primeiro lugar. Então este é um arquivo longo. Vamos executar isso OK, está feito. Agora vamos ver a saída. Desde que tudo contado, vemos muitos arquivos no formato. Hífen do alfabeto são hífen. 000 Vamos tentar trazer luta divertida. Imprimi o que começa com dentro e assim podemos ver todas as palavras impressas com o número fora das ocorrências. Como pode ver, não tenho um mapeador perfeito. Seus números e números vírgula são tratados como palavras separadas. Este é um pouco de limpeza de dados necessários na função de mapa. Este exemplo é apenas para explicar o conceito. E então eu não coloquei muito fora do código lateral adicional. Mas claro, este é o espaço para melhorias. Onda. Podemos limpar o líder do lado do mapa. Espero que aprenda coisas novas, vendo o próximo ouvir. 27. 026 de anatomia da execução do MapReduce: Bem-vindo a uma nova escuta nesta lição. Aprendemos como realizar o processo fora da execução do trabalho e o que acontece desde o momento em que enviamos o trabalho até o momento em que o trabalho é concluído. Então, o que vimos até agora talvez submeter o trabalho. Há uma descrição detalhada que vem relacionada ao trabalho. Execução no trabalho conclui o trabalho, é submetido , mas aguardar a função de conclusão, que é a última instrução fora de cada programa. Seja tudo. É uma última declaração no método de execução, que você direita na classe de driver quando estamos usando o corredor de ferramentas na última linha na função principal. Se estamos de acordo com a lógica do driver em mim em função, aguarde a conclusão. Metal faz com que o trabalho seja enviado para processamento do job. A execução depende de um par de propriedades na liberação de ponto zero. O nome da propriedade é mapeamento porta tracker. Isso é predefinido no arquivo de configuração. Marcar taxa de site dot xml. Seu valor padrão é local. Se ele está em pseudo-distribuição ou totalmente molde de distribuição, ele teria chamado Separados que ficar par pobre no caso fora distribuição local. O emprego Cracker Star Striker. Tudo seria executado em uma única pseudo-distribuição CVM. Mais seria completamente imolado acreditar distribuído mais pela execução rastreador de trabalho Anton grevistas em gbmc separado em um único Senhor. No caso de fora, há 23 liberação Nosso Líder liberado ou seja, um não extorquir ovos. Há um novo mapa produzido implementação quadro. A nova implementação é chamada Ma Produzido dois e é construído sobre um sistema chamado Yon yon representa mais um negociador de recursos. Estávamos olhando mais fundo sobre isso mais tarde no curso, mas o importante a ser observado é que, no caso de novos lançamentos propriedade mármore usado nosso quadro. Nome do ponto decide a execução da estrutura fora. Pode-se dizer a local, que é tão bom quanto correr no local mais. Pode ser definido como clássico, que é o que estudamos a seguir. Ou pode ser dito a Young, que estudaríamos mais tarde no curso. O que naturalmente é a anatomia do trabalho que é executado em totalmente distribuído muito. Então vamos ver o trabalho no clássico mob produzir quadro U V C. Que o nó do cliente tem a linha de piada correndo planta piada é a parte fora do produto configurado, que é responsável pela interação com seu grupo. É importante que a planta de trabalho seja executada na máquina que acessa ou interage com seu grupo. O que é a máquina não será capaz de interagir. É o plano de trabalho, que é um programa Java, que realiza todo o processo fora de interação com ela Do It interage com Job Tracker, que é novamente um programa Java chamado Job Tracker em Joe Cracker. Estagiário se comunica com várias tarefas. Trackers, que novamente são programas Java chamados Star Striker Job tracker, é executado em uma nota diferente, e nosso atacante é executado em muitas notas. Palaly aqui consideraríamos apenas uma estrela atacante para facilitar a compreensão. Assim, como o quarto passo suas plantas submete um trabalho para Job Tracker estavam colocando-o no trabalho. Trackers Que Há muitos sit ups e verificações feitas neste rosto como se o estranho já está presente ou não, ou se o fogo de entrada existe ou não. Após essas verificações trabalho cracker picaretas do próximo trabalho de sua ciência Q e A, grevistas de duas estrelas, um nó atacante única estrela tem vários slots para a execução mapeados EUA e reduziu-nos constantemente e cai com cracker trabalho sobre os três slots e de acordo com o trabalho Crackers curios. Essa tarefa para o Han Straker em missão é que Straker assume a tarefa. E desde relatórios regulares para o Tracker trabalho, que por sua vez combinados ainda relatórios gerados a partir de todos os rastreadores tortas em cima caras, ele linha na próxima lição realmente mais profunda vida nos passos que temos discutido aqui. 28. 027 de emprego Run Classic MapReduce: Bacon fazendo novo Ouça isso. Ouça, você morreu sobre como a execução de trabalhos é realizada no uso clássico da Mapple, então voltamos ao diagrama dela, que vivemos no último. Ouça assim que a última linha que é trabalho foi vencida para a conclusão. Desculpe, ele desencadeia um trabalho Klein para iniciar o processo de submissão de trabalho. É um plano completo de trabalho. Pode trabalho extra mais negro e pedir um novo trabalho i d. Ele se conecta ao cracker trabalho usando as entradas de Mattered hífen site dot arquivo de configuração xml . Depois do novo trabalho, eu Lisa, assine sua planta. Executa algumas verificações no escritório HD, obter primeiro verificações em aberto, existe ou não na saída automaticamente já existe. O trabalho pára lá em si. Esta é uma técnica de prova de erro aplicada em seu fazer de modo a evitar qualquer perda de esforços substituindo os resultados depois disso, é país e dizendo colocar splits. Na verdade, ele verifica se a improvisação existe ou não. Foi um erro no caso de não encontrar nenhum arquivo de entrada, dizendo que não pode calcular as divisões se encontrar ficar colocado. Arquivo. Ele prossegue em cópias. O frasco em desabusado para 80. Se for com um fator de litígio muito alto. O padrão, então, afinal, a distribuição fora jar em arquivos importantes foram tomadas. Cuidar de sua planta submete o trabalho. Todo esse processo é cuidar de um objeto fora de trabalhos de classe. Amigo Depois de Joe Klein fez a configuração, ele coloca um trabalho no giz você off trabalho habilidade trabalho rastreador você e vai buscá-lo a partir da fila em Inicializá-lo. Inicialização envolve a criação de um objeto para estar presente, o trabalho sendo errado. O objeto encapsula sua tarefa em informações de contabilidade para manter o controle do status e do progresso. Depois disso, a habilidade que você recuperou as peças sobressalentes de importação de 80 se for e cria um mapa. Tarefa desesperada. O número de produtor é decidido pela propriedade. Ma Peridot produz médicos. O que pode ser definido por trabalho? Não se sente agora reduziu a função dos EUA no programa de driver. Ele tem um corpo padrão off um, mas é conselho que ele é personalizado para um valor mais alto, dependendo do tamanho fora do cluster para desenhá-lo Wanted off. vandalismo nas taxas reduzidas é com Joe Cracker. Israel cria criação e limpeza de empregos em Star Striker que precisa ser executado antes e depois que o mapa nos reduziu. Corra em nossa greve e Senhor depois deste banquete vem às taxas de atribuição dos EUA. Neste ponto, os rastreadores de trabalho devem saber o que começa. Rastreadores têm partidas livres e quais estão ocupados que nossos atacantes simplesmente Russ, um loop que periodicamente envia o batimento cardíaco. Isso ajuda picado como ela para entender que a greve está ativa ou não como uma parte do coração grande rastreadores de trabalho. Como informações sobre a rua isso é fora da poeira correndo no rastreador de baixo, este bate recorde de trabalho para ajudar o saque em Star Striker. E isto é um sinal em New Job. Um único faz câmera atacante. Mais de um mapa usará tarefa de cada vez. Há uma única estrela máquina Striker que pode ter várias partidas para executar. A tarefa. O número de slots depende da capacidade de computação na máquina. Os principais fatores decisivos são a RAM no curso fora da CPU. Agora, a piada Rapid sabe qual estrela atacante atribuir, e atribui-lhes que nós. Então, depois que isso vem em taxas de execução burro, eles são perseguidores como uma parte de configurar recuperar o jarro, que vai colocar em sua defesa pelo cliente de trabalho. Este é o lugar onde vemos que o cool move para os dados para processamento, que é muito diferente do er arquitetura tradicional. Depois disso, o fast track lança dois novos GM para correr leste nós é ao lado. Lembre-se, ele pode ter muitos no momento em que os nossos grevistas, desde média regular sobre a porcentagem de conclusão da tarefa para batimentos cardíacos. E, em seguida, o atleta como um combina o progresso de todos os atacantes de alcatrão para atualizar linha. Vamos com o nosso progresso. Cálculo fora do processo é simples na tarefa de mapa, mas um pouco complicado introduzido rosto. Nós olharíamos no lado seguinte. Em seguida, após as últimas avaliações Job terminou, o atacante limpa os dados intermediários que foram criados durante a execução dos EUA. No final, o trabalho é concluído e aguarde a função de conclusão, que é a última aprovação. Que programa que iniciou toda essa cadeia recebeu certo valor. Nesta luz, observamos como o progresso é calculado, seja, o espírito no console do usuário nos marcou. A porcentagem é simples de calcular, como o tamanho de entrada é conhecido no líder que este processo é conhecido através dos contadores internos , que mantém assim qualquer dado ponto, a quantidade total de dados sobre a quantidade de dados que foram processados é não, e, portanto, a porcentagem de desconto WILBON é fácil de calcular. Reduza. É um pouco complicado como três coisas classificar shuffle em reduzir, contribuir para a quantidade total de livro. Assim, para os cálculos, a contribuição A pé por Sort Scheffer e Reduce é considerada uma para cada que precisa no caso de a corrida reduzida ainda não ter começado, o status de conclusão seria uma bateria contribuída por Sartre, mais outro. Mas três contribuíram por Shuffle que concepto foram três que é 67% ele. O produtor tem processar metade dos seus insumos. A conclusão seria ganha por três. Contribuído por menos SWORD. Outro por três contribuiu por shuffle em um por seis. Contribuído pela redução. É um por seis porque metade das baterias abertas funcionam por seis. Quando esses Ahlers resumiram, dá 56 que é 83%. Vamos apenas obter a recapitulação rápida da lição que vimos sobre como o trabalho é realizado no clássico livro Napoli Scream. A função antes da conclusão faz com que um trabalho seja enviado. Assim, como parte das taxas de submissão de empregos, seu plano recebe um novo emprego. Eu li do escritor de trabalho. Em seguida, ele copia todos os arquivos relevantes tornozelo para a idade, os efeitos com maior aplicação. Em seguida, é um remédio John, colocando-o no trabalho crackers that. Em seguida, vem as taxas de inicialização do trabalho. Nós somos um trabalho. Bracker cria um objeto fora do trabalho, que em absolutos que nós executando e tem métodos de contabilidade. Ele nos encontra personage DFS e cria uma divisão mapeadora. Em seguida, vem um NASA Simon medos, onde Job Tracker procura os slots livres nos rastreadores de dança que é rastreadores comunica esta informação através de batimentos cardíacos. Então, depois que vem na fase de execução dos EUA com Star Striker completa o tribunal do escritório HD para a máquina local e lança-lo nos. Tem sido um sinal que envia regular uma ponte muito difícil alcance para Job Tracker, que combina todos os resultados no espaço para o concerto dos clientes eo final off. O último trabalho de redução nos dados de mídia seria limpo pelo atacante da cidade no trabalho conclusão cara como uma sensação de que ele não chamado através da função de espera para conclusão , que completa o trabalho. 29. 028 Cenários de falha o mapa clássico: Bem-vindos a uma nova escuta em Isto não é? Olhe para os cenários do feto que podem ocorrer e como eles são 100 no clássico meu produto em uso clássico de cavala. Eles podem ser três vezes de cenários de falha. Primeira falha, matemática já usa tarefa. Segundo período fora Star Striker na terceira figura de Joe Cracker. Olhamos para todas as peças uma a uma. Vamos começar com a sensação de sair do ônibus. Assim, nos tribunais do usuário, pode ser um cenário onde o usuário me chamou correr em um loop infinito. Nesses casos, Straker observaria que não houve nenhum progresso na casa por um período de tempo , e então marcaria o trabalho. Medo que o tempo de observação é dito pela propriedade importava a tarefa. Não perca tempo. Ele pode ser definido como zero é bem. Nesse caso, Star Striker nunca sentiria um trabalho de longa duração. Isso não é sugerido, pois os slots não liberarão rapidamente no caso de a tarefa estar presa, isso derrubaria o desempenho da viúva fora do gesso. Outra razão de falha nas tarefas do usuário pode ser feita por espelhos. Nesse caso, a área é reportada à França. Rastreador no rastreador de graves iria colocá-lo na perda de usuário no cenário doca. Eles podem ser realmente caso que a Líbia pode ter sido exposta a cerca de enquanto meu produto Good Ron. Nesse caso, o Dodge pode até cair junto com Star Striker. Nesses casos, seu cartaz percebe que o sonho da criança saiu em Monster Task A esfera Todo o campo. Pergunte ao Thames, um cracker de trabalho notificado no atleta lateralmente. Habilidade. Use a execução fora do destino nós em um rastreador de classe diferente. Isso é feito de modo a garantir que o motivo da falha esteja no hardware subjacente. O número de teoremas que seriam feitos em uma tarefa de mapa está indo pela grade mapa de propriedades mapa ponto marcas de Kim e severamente para o nós reduzido está indo pela grade de mapa. Não realmente você começa maxims, mas antes de seus doentes antes do próximo feto e você pode ser o fracasso fora estrela atacante. Nesse caso, o trabalho Kratter pára de receber os batimentos cardíacos do rastreador de graves. Este é o tráfego de trabalho conclui que não são fortalece fez. Neste caso, corre o risco de abuso que nos em outro ponto atacante Seu Cracker Lease canoas que nos fez completar. E perguntou qual Deus completou, mas seu trabalho incompleto. Até mesmo a tarefa do computador. Nosso líder como reserva teria sido escrito para um disco local e eles teriam sido perdidos por causa do acidente do atacante da cidade. Assim que um trabalho como percebe que os batimentos cardíacos dos grevistas de Dallas pararam, o trabalho Rastreador remove a estrela atacante fromage disponível para os nossos atacantes. Mas esse não é o único critério em que Star Striker pode ser removido do pool disponível . Se o número de Pasfield em um processo de pista rápida que prazer em fica na lista negra e renovada a partir do pool disponível de grevistas, a pressão é dito pelo ponto do mercado imobiliário max. Pare placard ou vídeo ingeriu. Nossa estratégia está na lista negra. Ele se junta de volta no reinício ou após um certo período de tempo. As chaves finais da mídia podem ser o fracasso do cracker. É a maioria CS 1.000.000.000 em produção de mapa clássico em nada muito pode ser feito. Nesse caso, Cracker trabalho é ponto único de falha em revisões de mapa clássico, e por isso é recomendado para ser executado em um hardware melhor, de modo a evitar este cenário, tanto quanto possível. Temos de libertar-nos em meio a todos os postos de trabalho em curso. Uma vez que o cracker de trabalho é criado novamente. Nos jovens, esta situação é um pouco melhorada. 30. 029 de emprego: run de o YARN: Poderíamos fazer uma nova escuta nisso. Ouça, nós aprendemos por que há necessidade. Muitas vezes você pode produzir quadro sobre como o trabalho é realizado. Em jovens, Yang é uma abreviatura de mais um negociador de recursos. Também é conhecido como o meu produzido para toda a próxima relação meu produto ao usar o meu produto um. Observou-se que o Skilling realmente ficou saturado quando o tamanho mais próximo aumentou para 4000 mais notas imediatamente por causa do cracker Senhor on the Job. Em 2010, a Young iniciou o projeto para criar a próxima geração do meu produto com mais recursos para aumentar o desempenho pela utilização de memória mais inteligente em escalabilidade e flexibilidade aprimoradas para que ele pudesse acomodar Andre e muitas versões fora distribuídas quadro em paralelo no mesmo gesso fora todos os adolescentes é a idéia principal era dividir a responsabilidade do motorista trabalho em porções. É uma piada. Cracker se dividiu em dois gerenciador de recursos de força, que lidou com trabalhos matando em parte fora da carga de trabalho e Second Application Master, que lidou com a mente tarefa durante parte fora da carga de trabalho Prevacid e na minha Apple, use um ou mais velho do FBI prata em yon com a introdução fora de Yang. Apenas o quadro que é o V off execução fora do meu programa pretties mudou e tão jovem apoiou ambos os programas escritos nos deputados mais antigos sobre os novos deputados. Nesta luz, olhamos para as vantagens que o jovem traz ou clássico meu produto. Primeiro e acima de tudo é que este calibrar aumentar drasticamente com a divisão de suas responsabilidades fora de rastreadores de trabalho no reboque. Em segundo lugar, mais de um jovem poderia coexistir no mesmo aglomerado. Junto com os meus produtos. Eles podem ser outro livro de quadros disputado ao lado dele no mesmo cluster. 30 é uma melhor utilização fora da memória com a introdução fora do conceito de contêineres. Conveners conceitualmente são semelhantes a este senhor no clássico meu produto apenas que no clássico meu produto, os slots são fixos na natureza, enquanto os recipientes são mais flexíveis no uso do mapeador clássico, uma única estrela atacante teria figos número fora slots específicos para mapeados nos reduziu . No entanto, os recipientes em franqueza jovem e mapa reduzido ou qualquer outro nós e nosso flexível. Esta é uma melhor utilização da memória. Em seguida, olhamos para os ferimentos em jovens. Primeiro é o cliente, que é o mesmo que vimos no clássico meu produto. É responsável por enviar o trabalho em Interact With My Producer em Se o of history Book Second é um gerente de recursos que é responsável por localizar os recursos de computação que são exigidos pelo trabalho. Mesmo no gerenciador de recursos, as responsabilidades de trabalho podem ser próximas. Lute no reboque. Fazer quando é um escapular que só lida com o agendamento fora do trabalho nele não executa qualquer monitoramento ou rastreamento fora do aplicativo. Em outra parte do Streeter é o gerenciador de aplicativos que monitora o status do aplicativo . É o terceiro é um velho gerente. Isso está presente em todas as notas de manga e é responsável por lançar e gerenciar contêineres . Quarto é o aplicativo Mestre Paz conhecido que anteriormente mencionado duas partes fora gerente de recursos pedindo revendedor no aplicativo Manager no aplicativo. Mestre é uma entidade completamente diferente. Application Master é responsável por realizar a execução do trabalho ao qual está associado . É aquele que coordena que nos rodando em monitora o progresso no sit agregado e desde relatórios ao seu cliente é gerado e ignorado. Gerente na instrução pelo gerente de recursos, ele é gerado um para cada inter trabalho. Minutos após a conclusão, você pode pensar que como um gerente de recursos oficial contrata para executar o trabalho e dispará-lo depois de ter feito suas funções. 15 30 Fácil na criança. Isso gerencia a execução fora do mapa e reduzir a tarefa em é responsável para dizer atualização sobre progresso para a aplicação. Mestre Última Entidade é o sistema Ignorar cinco, que contém todas as entradas necessárias sobre onde amplifica nosso retorno. Então vamos ver os passos em execução de trabalho duro em yon livro livre. Primeiro. Poucos passos são exatamente os mesmos que discutimos na aula. Pode produzir o trabalho. Obter alguém para brincar alinhado e seu pedido planta para uma nova aplicação i d. Depois disso, ele verifica se os diários abertos já criados, se encontra, são pobres dietéticos, seria através de um nadir e Pare aí em si. Não verificou, senhor entrada dinamicamente. Depois disso, copia os recursos para HD. Se é com uma replicação muito alta e, em seguida, ele finalmente envia o aplicativo para o gerenciador de recursos. Em seguida, vem uma taxa de inicialização de trabalho. Então, como discutimos anteriormente, o gerenciador de recursos tem duas partes. Primeiro é um escapular, que apenas fará o agendamento e localizará os recursos no outro. Um deles é o Gerenciador de Aplicativos, que monitora o status em andamento está fora dos trabalhos. Assim que o trabalho scapular pega um trabalho, ele entra em contato com um gerenciador de nó para iniciar um novo contêiner no lançamento. Um novo monstro de aplicação para o Mestre de aplicativo de trabalho cria um objeto para fins de contabilidade e de gerenciamento de tarefas. Ele recupera os espíritos fromage DFS e cria uma tarefa pursed lábio. Próximo aplicativo Mestre decide como executar o meu produziu-nos. Se o trabalho for pequeno, o mestre do aplicativo decide executá-lo no mesmo GV em si. Desde que o invernado fora localizar um novo recipiente e transformá-los em que iria custar muito mais do que executá-lo em uma narrativa Estes tipos de trabalhos que mestre aplicação decide executar em um único Zeevi, um desconhecido como Hubert nos. Depois vem as taxas de assinatura. Se os EUA não é Hubert, pediu gerente de vistos toe um olhar que os recursos necessários Esqueletor e desta vez sabe onde essas placas estão localizados. Ele reúne essas informações do coração, bate fora os novos gerentes e, portanto, usa essas informações para considerar a localidade dos dados ao alocar os recursos. Ele chora tanto quanto possível para localizar a nota para que as localidades de dados presentes. Mas se isso não pode ser o caso, ele considera as notas locais rack. Se ele sente até mesmo encontrar tal nota, que é em rack, local, ele localiza. Qualquer nota aleatoriamente das notas WILBON mistura estrela desde aplicação Yushin deve sentar contatos e nenhum gerente, nenhum jantar de transporte. Em seguida, a criança pequena é lançada. Sim, Charlie não é nada além de um programa de piada chamado Jantscher com uma classe média s jovens cereja jovens crianças em um dedo do pé GBM. Isolar o sistema de longa execução Demônios do usuário chamado Este passo é tomado no clássico meu produto, bem como suprema o passado Straker do tribunal de usuários. Mas uma diferença é que no mapa clássico, reduzir o uso off desviante off estrela atacante waas possível. Mas em yon, o uso fora da mesma estréia que Young Child não é suportado como um próximo passo. Uma criança se retira. Todos os recursos de trabalho de efeitos HD sobre localiza-los no resgate são produzidos nos para a próxima fase, irmãzinha, rainha do diagrama e soltar todas as setas. Assim, a próxima fase é o progresso e taxas atualizadas. Aqui, Young Child canta o mestre do aplicativo O progresso relata a cada três segundos no aplicativo. Mestre, um progresso produtor em uma linha básica diretamente na conclusão do trabalho Face aplicação Mestre na coisa de limpeza recipiente tarefa, os dados mediana e elimina-se na conclusão do trabalho. Vamos fazer uma breve recapitulação dos passos em frente. O programa desencadeia o Joe Klein e a piada. Land Contact, Sir Resource Manager para o novo Job i D. Então a piada. Terra copia um trabalho recursos dois dias os efeitos com alta replicação e, em seguida, envia um trabalho. Estes são os mesmos que olhamos. Clássico meu produto. Em seguida, o gerente de recursos pega o trabalho do Q trabalho e conduz um gerente conhecido e patrocinador Novo recipiente e lança mestre de aplicativo para o aplicativo de trabalho, Marceau cria um novo objeto. Ele alivia o espaço de entrada de seu DFS e, em seguida, cria um passaporte entrada, spit aplicativo. Mostarda então decide se o trabalho é você, mas ou não. Se é um trabalho uber, ele é executado em seu próprio TVM em uma única carga. Se não é um trabalho uber, eles tiveram contato com ela gerente de recursos para procurá-lo. Recursos de computação O Resource Manager considera a localidade dos dados ao atribuir o recurso é o mestre do aplicativo. Em seguida, comunicar determinados gerenciadores de nó que inicia a criança pequena. Criança jovem recupera um tribunal e outros recursos de cada DFS e internado em US Young child senso de progresso para Application Master, que cria o relatório. E desde que o relatório para o cliente sobre a conclusão do trabalho, criança jovem na aplicação dominou minutos em si mesmo liberar os recursos de computação para o próximo trabalho. Isto cobre uma solução fora de um trabalho em jovens no próximo ouvir, nós olharíamos para os sentimentos e valores. 31. 030 cenário de falha: mas venha a uma nova escuta nisso. Olha, nós olhamos para os cenários de falha no livro Yon Cream. Podemos ser os cenários biliosos caindo em John Finn gás livro, Aplicação Viniar, Monster Failure, nenhuma figura Gerente. E, por último, gerente de recursos perguntou vários cenários 100 basicamente de maneira para o passado. Fracasso no Classic My Produce, eles podem gravar problemas relacionados como em Tonight, Lou. Nesse caso, aplicativo Master pára de obter o progresso da idade no aplicativo. Massive seria por algum tempo decidido pela propriedade. Médicos Mapfre não têm tempo. É o mesmo que vimos no clássico meu produto. Após este período de tempo aplicação Muster seria modelos seu melhor medo. Em seguida, eles podem ser caso fora erros de tempo de execução na TV em falhas como vimos em Castaic. Minha produção em ação tomada em Young também é a mesma no modelo de casement. EUA reduzidos falham. A casa de campo é realmente grande em outra máquina no número de poucas equipes feitas em. A tarefa seria decidida pela propriedade matemática grau ponto mapa Matéria escura. O Tim está na grade do mapa não usa. Não corresponder temps com essas propriedades têm antes do valor de quatro. Isso quer que você note que nas aulas eu produziu o índio apropriado com Max Door vítimas em Yon? Termina com pedras preciosas enormes, sem dúvida, no meio. Após essas muitas falhas nas primeiras tentativas com a descoberta de espaço, deixar propriedades o trabalho completo com a sensação de Amanda em alguns trabalhos, que foram processo enorme quantidade de dados com centenas de estrelas período fora, por vezes, é aceitável. E assim, o fracasso de um ou dois empregos não deve a Mãe completar o trabalho como um fracasso para esses casos . Casado Não mapear idosos ponto Não corresponder postado no mapa Realmente não reduzir a doutrina Anos . Essa pessoa Max seria as propriedades que seriam sexualmente lado aceitável vídeo percentual fora do mapa e reduziu-nos respectivamente, antes de declarar um trabalho para BP. Em seguida, vem um cenário alimentador fora aplicativo Monster. É o monstro da aplicação. Os medos que o fazem estão sob ele não precisam ser submetidos. Eles podem ser registro, mas antes muito bom não é ligado propriedade. Jovem porta TPP trouxe arte produzida em massa. E m não brincar ponto gov dot enable seria necessário ser dito para este recurso para estar indo sobre os passos dados por ela fazer em caso de falha. Off aplicativo Master está em linhas semelhantes às etapas tomadas em caso de falhas anteriores. Com os medos do mestre de aplicativos, o gerenciador de recursos pára de obter os batimentos cardíacos do aplicativo Mestre Resource Manager As boas noites e o mestre de aplicativos temeu como em caso de falha passada . Gerentes de recursos iniciam o gerenciador de aplicativos em um novo contêiner. Se a opção de recuperação é dito, a rua que está fora do ônibus é recuperado na execução. Fora do trabalho é continuado. O número de EU Tim na aplicação Master é deter minado pela propriedade. Yon ponto gerenciador de recursos ponto em esteiras de ponto iPhone direitos de leitura. Em seguida, olhamos para a chave é mais conhecido, Gerente sente se o gerente Norte sente que, parar de enviar os 100 alunos. Aqueles gerente gerente de recursos Beach para o gerente do Norte colocaram uma mordida restringiu o caso . Pode ter estragado se você está suspenso, não recebe um batimento cardíaco por um certo período de tempo. Ele pressupõe que nenhum gerenciamento tenha travado. Se na ocupação, Mestre estava correndo sob o gerente de campo conhecido. As etapas que descrevem falhas de mestre de aplicativos são seguidas. Todos os conhecer-nos pelo menos nascido em Annunzio vantagens. Se os EUA sob específico conhecido gerenciar se ele muitas vezes em um tesouro o aviso retirado da piscina disponível e é história negra, lista negra é um processo para tentar as notas mal desempenho. Este procedimento é um olhar, como temos discutido atacantes Intar no Classic My Produce Resource Manager Falha é outra falha na maioria falha CS que Annika sem esta noite do trabalho não é os contêineres de tarefa podem ser lançados, mas em jovens há uma melhoria real. Há um mecanismo colocado no lugar para se recuperar do acidente. O mecanismo de controle está puxando o lugar, que é uma melhoria do mapa clássico lançado Single, que Hannah após o acidente. Um novo recurso, instância mais suave, é trazido pelo administrador em que diz respeito a partir do último Steve State. Portanto, as leituras de todos os trabalhos não são necessárias. E então eu gostaria apenas de mencionar que Young não está tentando se aproximar do jornal original de mármore do Google. O Google divulgou jornais, mas nunca teve estes tribunais, então eles são muito mais avançados no resto do mundo. Em seu duque como tecnologia de computação desanimada 32. 031 agendamento de empregos no MapReduce: nós chegamos a um novo ouvir nesta temporada, nós olhamos para como os empregos estão programados no meu livro Scream anterior. O cenário geral seria que haverá vários usuários emitindo os trabalhos na rede distribuída Hadoop . O esquema de programação seria empregado no Job Tracker no caso fora do meu produzir um no gerente fonte no caso de minha produção para se os esquemas de queda podem ser configurados no meu livro quadro anterior forçado em quatro estrelas, também conhecido como taxa para escápula par escápula e, por último, capacidades figuram que o meu produto vem com uma escolha entre todos os três que forçaram a pedra como um relatório sobre o meu produto. Dois vem com apenas um assassino facial na capacidade escapular com capacidade escapular como o Deport . Vamos entender o que são esses assassinos? E isso prova em constante. Vamos começar com forçando para começar a escalar esquema versão muito cedo dela. Dube empregou este esquema de vida da forma mais simples. Este diagrama mostra sabe, começa em Nords, a dieta como você e os empregos insider no rastreador de trabalho. Isso começa pode antes de ser dividido em mapa começa e realmente começa como eles deveriam ser, por exemplo, por exemplo, fora de ambos os tipos de começos em revisões de mapas clássicos. Eu não sou mostrado que o detido neste diagrama, como ele não está relacionado com a idéia principal que precisa ter certeza. Assim, o trabalho que foi submetido forçado, iria ocupar todos os recursos em seria exalado, forçado neste caso de patinação. Se um grande acima apresentado pouco antes de um trabalho pequeno, mas de alta prioridade, o usuário do trabalho pequeno teria que esperar por um tempo excessivamente longo. Esta situação foi um pouco melhorada através da implantação, Aplicado seu esquema junto com este. Então agora os trabalhos poderiam ter sido olhos curiosos para muito alto, alto, normal, baixo em muito baixo. Assim, a situação melhora um pouco como uma prioridade menor e alta. Jobs mudou-se para cima da ordem, mas sente-se. Neste caso, a preempção era impossível. E assim o trabalho menor teve que esperar por um longo tempo se um processo mais longo já estava ocupado e estava no processo. Este jogo dá aos clientes partilha desigual fora do cluster em tempo de resposta aleatório. Em seguida, olhamos para a capacidade escapular. Esta é a pele padrão quer, que vem com meus valores para todos os yon Sente-se. Isso requer uma postura um pouco diferente da minha para usar esse cabeamento. Neste caso, as dicas são divididas com base em usuários, todos os grupos fora de usuários, que é pedra menos organizações. Este assassino é projetado com uma idéia de modo que o mesmo cluster pode ser alugado para várias organizações, eo recurso é talvez dividido para resolver este especificamente questões instalações para a organização. Esta organização não significa que eles não se agrupam, mas eles podem alugar uma parte do Lester, o que seria para seus serviços. Portanto, em caso de capacidade mais assustadora, existem várias filas específicas para as organizações. Cada um recebe uma parte dos recursos do gesso. Estes geralmente são alocações flexíveis e elásticas, mas podem ser configuradas para difícil, mas de muitas maneiras diferentes. Com base na exigência, vamos ver isso com uma simulação. Suponha que um trabalho enders organizações um Que para que ele seria pego como não há um modelo de execução de trabalho com. Isso ocuparia tantos recursos quanto disponíveis. Isso utilizaria efetivamente o cluster quando um trabalho na organização fosse exibido. Assim, do primeiro trabalho seria cuidado para sentir os traços para o novo trabalho. Existem muitos recursos disponíveis neste assassino como garantia de capacidade elasticidade, segurança, etc, que podem ser personalizados pelo administrador para a situação. Em seguida, olhamos para o feroz K fazer isso. Conceitualmente, isso realmente parecia esquiador capacidade com pequenas diferenças como os líderes de habilidade capacidade , as filas são divididas em. Aqui estão eles em baixo que esportes. Assim, os trabalhos seriam retirados da piscina e receberiam suas partes dos recursos. Suponha que se outros trabalhos vêm para o pool o cronograma de capacidade, iria processá-lo como forçar o nosso primeiro em quatro partidas com prioridade neste caso, um pequeno, alto orgulho. O trabalho tem que ler por um longo tempo. Portanto, esta situação está a melhorar um pouco. Computadores de rosto que os trabalhos que esperaram na fila seria apanhado em será painel de processamento, de modo a dar uma melhor experiência de usuário. Este assassino é de fato uma rua no trabalho sobre ele ainda está acontecendo como eu faço este vídeo, este computador e discussão em relação a escapular vê-lo no próximo Ouça 33. 032 shuffle e classificar: Poderíamos fazer uma nova escuta. No sistema anterior, aprendemos sobre a matança de empregos neste. Ouça, nós olharíamos para Shefrin tipo passos, que são legais e duros todos os mapas. Trabalho anterior todos os assuntos. Seu trabalho passa pelo chef em In Sort Face, processos de programa Matt, entrada, chave e valor. Em seguida, a saída do mapa é classificada nesta transferência para reduzi-lo, e isso é conhecido extra, pois vamos ver através de uma simulação executar sobre como as coisas acontecem. Meus processos. A entrada na saída não é radicalmente retornada para o disco, mas Israel Dental na memória antes suspira fora Isso antes é decidido pela propriedade. Eu não começo ponto nb. É D quatro tamanhos 100 me, como Mapa escreve no antes antes enche Brenda antes atinge um limite. O limite limite é pelo fundo 4 80%. Três. Vamos começar a escrever o conteúdo anterior para os mapas de disco ducal. A saída continua a ser devolvida ao antes enquanto este período ocorre. Se o mapa tem mais off saída, ele pode encher o antes, e nesse caso, mapa seria pausado por um tempo até o derramamento em Pisa antes fora do computador espíritos mapear-me novamente chegar ao tesouro e, nesse caso, agora este projeto de lei seria devolvido. Espíritos são detidos em forma round robin sobre estes são retornados para o diretório especificado no mercado imobiliário ponto local Norby ir, então pode haver muitos espaço antes que o último par de valor chave tenha sido bom na tarefa mapa . Cada derramamento é partição e ordenado por. A chave sobre isso é executado através de uma combinação. Er, se a combinação nossa função é projetado para o trabalho, tudo isso é feito por fio de fundo. Uma vez que o mapa tenha terminado dois cruza todos os registros, todo o espaço são então mesclados em um arquivo aberto, que esta partição e ordenados. Se mais de três espaço em março juntos, combinar uma função é novamente executado através da saída final. Lembre-se de que as funções combinadas podem ser executadas muitas vezes sem alterar a final. Reservado, como uma função menor reduz o tamanho fora. Tudo colocado, que é vantagens, como eles serão menos quantidade de dados que seriam necessários para ser transferido para produzir uma máquina. Se a saída de mapas for realmente grande, recomenda-se comprimir a saída de mapas para reduzir a quantidade de dados. Isso pode ser feito sentando-se da propriedade importada. Ponto com pressione ponto ponto ponto saída para desenhar e esquema de compressão pode ser especificado pelo mapa propriedade mapa de pontos vermelhos não abrir ponto de compressão ponto Codec. Depois disso vem as taxas de cópia. Haveria muitos mapeados EUA rodando na definição diferentes vezes Assim que eles terminam, eles terminam, notificam o cracker de trabalho ou o mestre de aplicativos, que pediu a liberá-la para copiar Desert para o disco local. E assim as partições são copiadas pelo produtor do folk da Net. Depois disso vem a superfície em Nesta face, reduzir emerge a saída de mapas, que são, em seguida, falhar para redutor para criar o resultado final. A Gaza na superfície é um pouco mais no mundo. Vejamos a fase de classificação neste rosto. Propriedade, que desempenha um papel importante, é mais fator em seu dito pela propriedade. Você é o fator de ponto de classificação? É o valor padrão. Istan, isso significa, é quantas lutas podem ser mais em um gol. Vamos entender isso com a sala de simulação, suponho que se reduzirem. Ele recebe 35 de mapas diferentes, então estes vindo Bush em lotes de 10 em três rodadas, ele iria criar o intermediário mais preço, e na rodada final seria desbotada. O papá veio ter com o produtor. Só saiba que a maioria das lutas precisa ser classificada pelas chaves, bem como para aumentar a eficiência do disco io que realmente fez Adam falar literalmente amigável. Ele pega o primeiro Orefice, se funde em um e, em seguida, pega as próximas manchas fora da dor na rodada final. Levaria os seis restantes preço em muçulmano em alimentá-los diretamente em redutor. Fazê-lo assim aumenta o disco. Eficiências de ira. Isso encerra a discussão em relação a mostrar e classificar. Vejo você na próxima escuta. 34. 033 recursos de ajuste de desempenho: Poderíamos fazer uma nova escuta. No ismo anterior, aprendemos os detalhes sobre a execução aleatória e ordenada. Nesta aula, nós vamos aprender sobre alguns recursos de ajuste de desempenho em seu grupo. Primeiro, olhamos para a execução especulativa. O desejo é que o Hadoop tem é que ele nos leve em menor para nós e os processa no Parlamento. Este processamento de família lhe dá vantagem Duke sobre o processamento convencional de nota única Eu sou assim como pode produzir maior taxa de transferência. Mas no caso de um fora ele começa a funcionar mal, o desempenho fora de todo o trabalho vai para baixo. Nesta simulação, você pode ver que os últimos três ficaram para trás do resto. Isso pode ser devido à degradação do hardware. Também configurações famosas. Nesses casos, o pré-lançamento dela é a tarefa para outra máquina. O que terminaria primeiro seria levado para o deserto sob o outro seria morto . Eles são esses dois pontos-chave importantes que precisam ser mantidos em mente quando pensar ou execuções especulativas primeiro nós só são lançados depois de toda a poeira dos trabalhos terem sido lançados. Registro de trabalho, depois ponteiros. Se há empregos ficando para trás e eles só seria. Especulativo Lady Executado tarefa Segundo, é um recurso de otimização e não um recurso de confiabilidade. O que isso implica é que, se a tarefa estiver em execução, parafuso por causa de um cabo Bugsy, mas você não será capaz de corrigi-lo ou diagnosticá-lo. Muitas vezes aponta área na quadra. É apenas garantir que as configurações subjacentes de hardware e software não sejam a razão para o lento progresso da tarefa. E assim ele tentará executá-lo em uma nota diferente para que todo o trabalho seja concluído o mais rápido possível . Eu fiz fora crepúsculo original e presa especulativa pode terminar, forçado assim que um termina. O outro foi morto. Propriedades em relação a execuções especulativas são grade de mapa, tarefa de matéria escura, não especulativa, não execução. Esta é a propriedade que a Ford importa. Em seguida, mapa ponto reduziu o nosso passado ou execução ponto especulativo que é para reduzi-nos. Estas são propriedades barras que são por antes do setor True, o que implica que a exploração especulativa é habilitada por padrão. Essas propriedades estão comprometidas a serem definidas como verdadeiras, mas podem ser definidas para cair, diz Bem, não há mentiras. Execuções especulativas. Isso seria feito apenas no caso. Se o cluster já estiver sobrecarregado, não precisamos sobrecarregar. O recurso é com especulativa nos algumas instalações antes de nenhuma execução especulativa sob o seu site. É feito assim porque para começar outra cópia ofereceu-lhe, senhor o mapa. Todos os portos seriam necessários para serem pescados da rede, que aumentaria consideravelmente a carga na rede. Em seguida, olhamos para outro recurso que defendia o meio para usar. Esse recurso pode ser usado para ganhos de desempenho no caso de haver um monte de pequenos trabalhos para trabalhos menores. A sobrecarga do lançamento de um novo GBM é significativa, a última execução em um GBM diferente de modo a segregá-los com os demônios do sistema de longa duração . A razão por trás disso é que o tribunal de usuários tem uma alta probabilidade de estar errado em. Nesse caso, pode interromper o demônio do sistema e as mãos e o gbmc dissipou os EUA, que se qualificam como mortais desconhecidos como Hubert como em yon, e eles são lançados e executados na mesma equipe que o mestre de aplicativos no caso de fora do meu produto um as partilhas atacante e TVM, com mapa já usar tarefa o mapa de propriedade, livrar o trabalho não usamos o ponto gbm Numb tarefas escuras decidir sobre Homing Task e Dylan no JV m. Qual é o padrão em menos um pode ser definido como indicam que não há limite para reutilizar o GBM. O próximo futuro que olhamos é pular discos de “bye”. Eles podem ser uma situação que a tarefa pode estar sentindo por causa da necessidade de um tiro fora do problema central quando os atrasos de entrada grande, Essa situação não é provável que aconteça. Mas nesta temporada seu programa deve ser projetado de tal forma que, caso ele receba um registro ruim, ele não deve processá-lo. Mas sim entregou a exceções em um contador deve ser mantido para manter o controle fora. Quantos desses registros já estiveram lá? Os contadores serão discutidos com um pouco mais de profundidade no próximo segmento do discurso. Então você projetou seu resfriado para lidar com situações inesperadas, mas para que eles possam ser um recorde com Rita, não 100 pelo tribunal. Tem sido analisado observado que não haverá muitos fora desses tipos de registros, mas eles serão apenas alguns, que faria com que a tarefa falhasse e há todo o trabalho para não lidar com tal situação. Mapeie isso. Facebook tem um recurso fora ignorar os registros ruins. Vamos entender como ele funciona. Deixe as linhas significam os registros de entrada nos espíritos de entrada com linhas azuis como bons registros na linha de pão como registro ruim. O trator rápido processaria todos os bons registros para produzir o par de valor chave à medida que atinge o cartão de batalha. Sentiria que observar este cracker trabalho seria lançado. A tarefa em outra máquina para garantir que no hardware de linha também se encaixam. A configuração não é o problema que causa o ar. A poeira processaria todos os bons registros em sentiria no bar o cartão de novo e novo a resposta direta do trabalho para nós em um novo atacante da cidade. Isso faz o que novamente processar os bons registros, e quando isso sente que envia o registro em que ele tem sentir escapando mais é habilitado pelo rastreador de trabalho. Agora a comida alcançou essa tarefa processa os bons registros, e quando alcança o registro ruim, ele iria ignorá-lo, tentar os próximos registros e continuar processando-o. Portanto, há três falhas antes que este modo de doação é incapaz de ser projetado. Então, porque se cada falha fora Star Striker começa a comunicar o registro em que ele tem medo, custaria para potenciais problemas Primeiro alerta largura de banda naval será um lugar para comunicar as informações de registro. Em segundo lugar, o rastreador de trabalho seria carregado com Lord Date off falhas, e seria difícil para o rastreador de trabalho para manter o controle de todos os registros. Então, se você quiser usar esse recurso de forma eficaz, você gostaria de aumentar o valor das tentativas importantes de mestre de pontos em avaliações de pontos Macrae . Tentativas de matéria escura, que controlam o número Manson em três bandejas no mapa, todos nos reduziram, respectivamente. Como discutimos isso em uma escuta, então o valor quatro é para isso está ausente ou discussão sobre esses tópicos visto na próxima lição. 35. 034 olhando para balcões: Olá e bem-vindo a um novo ouvir nesta lição, gostaríamos de aprender sobre os países em contadores de programação de Napoli pode ser cortado Gracie em duas sub-categorias. A primeira categoria é contadores encarregados, que teriam contadores pertencentes ao teste. E a segunda categoria são os contadores de empregos que têm os países associados a todo o Joe. Isso é contadores são passados ou para o atacante de tar e, em seguida, eles são enviados para o rastreador de tarefas , que agregaria os contadores de todas as tarefas de mapa que estão em execução. Quando esses contadores de estrelas são passados, a imagem completa dos contadores de casas é enviada, e não apenas a mudança ou as atualizações de data como nós os chamamos. É feito assim, a fim de evitar os erros em caso de perda, off mensagem e transmissão, o Congresso dos EUA pode, se subdividido em usuário definido em balcões de reprodução. Os contadores definidos pelo usuário são geralmente projetados para ajudar o usuário a entender a natureza dos dados que estão sendo processados. Caçadores de emprego, por outro lado, mediu as estatísticas de vida de trabalho lá manter e rastreador de emprego em revisões de mapa clássico ou aplicação Mestre Índia. Ele teria dados como o número de EUA reduzidos em tarefas de mapa e assim por diante. Vamos olhar para a saída de um fora do meu trabalho de produção no encalhado em pouco mergulhado. Este não é o nosso adiamento de um trabalho. Ele começa com o número da turnê fora parte de entrada que é um neste caso. Em seguida, escolha o progresso fora do trabalho. Como está acontecendo. Lembre-se de que os trabalhos podem ser executados por um longo período de tempo. E assim este mecanismo de feedback é necessário para que os usuários saibam que o trabalho não pendurou como já vimos, 33% de desconto. O tempo reduzido é dividido entre a classificação aleatória no metal de liberação real. Então, nesta mente, provavelmente apenas completou o passo embaralhado. Em seguida, vêm os contadores e seus detalhes. Diz balcões para B 29. Isso significa que haveria 29 contadores em tudo o que seria exibido agora, Como já discutimos, os contadores podem ser divididos em duas partes. Primeiro contadores de trabalho e, em segundo lugar, estes o resto deles, que são os contadores de poeira. Joe Contras mostrou o número fora, reduziu e mapeou uma linha de estatísticas o tempo gasto em fugir reduzir e mapeou-nos. Ele também mostra quantos mapas obtiveram a vantagem de slots de localidade de dados que minutos reduzem mostra o tempo necessário para executar a redução importava em milissegundos. Então é 9350 aqui e, em seguida, vem os contadores de tarefas em. Estes são todos os contadores de reprodução que podemos dividir ainda mais no formato de saída de luta de reboque que contém o número off mordidas escritas, em seguida, cinco contadores de sistema que tem os detalhes sobre as mordidas escritas na leitura do sistema de arquivos. Neste caso, é DFS. Pode ser um sistema de arquivos local também. No caso de fora, fique sozinho mais. Aqui você vê um valor alto como este é o net bites retornar e ler de um sistema de arquivos. Não é o número de bytes retornados a uma luta, Portanto, há um pouco metadados que está sendo transferido. Em seguida, vem a luta colocar antigos contadores que mostra o número de bytes que foram lidos por tarefa mapa. Em seguida, vem os contadores para o mapa. Mapa do livro bastante extremo são bons. mordidas materializadas mostraram o número de bytes que eu gravei no disco pela tarefa de mapa . Em seguida, vem registros de entrada que mapa processou reduzir suas mordidas completas, escolha o número de bytes que foram embaralhados através da Net. registros do espírito popular mostram o número de registros que estavam presentes neste mapa de dados bonito. Fora. Boas mordidas mostram o número de bytes que são colocados pelo mapa. Total de uso de heap comprometido é o número de bytes que foram usados pelo trabalho. É uma métrica importante, particularmente quando você quer saber quanta memória média está sendo utilizada pelo seu trabalho. Economize seu tempo gasto dá indicação de uso de gole. Combinando registros put mostra o número off valores que é classificado pela combinação em sua entrada. Lembre-se, as chaves não darão os registros de entrada reais para o er combinador, mas os valores eram como entrada para combinar. É na forma off chaves na lista de valores, mordidas de linha dividida, ospresentes, os presentes, os do medidor de divisão em vez dos dados de divisão em si. Reduzindo sapatos de gravação. O número off registros de entrada para o reduzi-lo combinar todos os registros put, mostra o número off ou colocar registros pela combinação. memória física e virtual ER mostra a quantidade de memória física e virtual que foi usada. Reduza e mapeie. Nossos registros mostram o número off ou colocar registros que mapeiam e reduzir funções todas colocadas. Então estes são os indicadores do V, que podem dar compreensão sobre os dados de saída de entrada no mecanismo de processamento. Em seguida, vamos aprender sobre os contadores definidos pelo usuário. A idéia geral por trás de projetar os contadores definidos pelo usuário é que eles trariam a visão significativa sobre os dados que estão sendo processados. Além disso, como uma boa prática de programação, recomenda-se ter contadores que tenham o usuário para entender os dados que são processados. Então, em geral, o lado do mapa de bom Adam seria parecido com a função de mapa na lógica de processamento. É sempre recomendável salvar a lógica de processamento com a cláusula if e verificar se o registro de dados está no formato apropriado. Se não for, deve incluir um contador. Assim, no final da execução, o usuário seria capaz de ver em que porcentagem os registros caíram. Categoria ruim em. Se a reserva produzida é realmente representando a grande parte fora contadores de dados são empregados através do objeto de contexto. Nas versões recentes Off grupo Nas versões anteriores fora Duke Reporter objeto foi usado . Embora a estrutura de programação seja exatamente a mesma que olhamos aqui 36. 035 mãos em balcões: Olá Neste Ouça, carne, você descreve como implementar contadores em nosso bom programa con. Gostaria de perguntar o código-fonte junto com isso. Ouça, ele é a classe de motorista sobre isso é o mesmo que ele tinha discutido até agora no curso. As únicas mudanças feitas aqui é que tudo o que uma nova classe mãe aqui trabalhar no mapa com países restauração classe é praticamente o mesmo, então a marca última, a única mudança fez é que colocou na lógica para implementar o contador. Este tratamento usado é ponto de contexto obter contador E então vem o mais apertado sob o Sr. Counter seria grupo E como o segundo argumento vem, o nome fora do contra-ponto metal íntimo é usado para implementar o valor do contador por um. E é assim que você pode projetar um contador simples. Este contador seria implementado somente quando a primeira letra fora do mundo não é alfabética. Como você pode ver no tribunal, o contador de criminosos está na outra parte fora da roupa do outro. Lembre-se, A idéia fora dos contadores é obter a qualidade ea natureza dos dados que está sendo processado por isso aqui. Isso nos daria uma idéia de quantas palavras na importação estão começando com números em lutas. Na verdade, têm as palavras corretas ou não o uso. Foi exactamente o mesmo que discutimos. Deixe-me exportar a luta de emprego. Isolaria todas as classes, exceto essas três classes. Francamente, confiança? Não, quero dizer estar cheio em seu Se eu deixar Ellis e lá eu vejo o teatro de trabalho do Condor Mundial. Eu só faço um GPS e vejo se todos os demônios estão funcionando. Está tudo para cima. Então agora estou fazendo uma lista dela. Façam fogo, irmã. Agora aqui você vê todas as lutas que eu já criei neles arquivo que tem entrada com palavras, começando com membros. Deixe-me apenas amá-lo, mas deixe-me entrar no programa agora. E aqui vemos a fralda no balcão, que mencionamos no tribunal. Eu deveria ter feito ser o bluesy nas capitais para que eles ficassem melhor. Mas então isso é algo que você pode ir quando você está executando este programa. Eu só vou colocar o resultado aqui e você pode ver a saída completa. Isso é uma missão. Eu sugiro que você executá-lo em um grande negócio. Será que experimenta um pouco? Contadores Você pode pesquisar no Google para grandes conjuntos de dados de texto com um pouco de esforço. Você tem um arquivo grande para acreditar. Projete mais alguns contadores para as necessidades e veja como a saída muda. 37. 036 ideias de ordenação com o Particionador Parte 1: Bem-vindo a um novo ouvir, espada usando partição. Vamos dar um mergulho mais profundo na função de particionamento para que entendamos o seu uso em que nos ajudará a aplicar inteligentemente a outros problemas. Valores. Agora temos visto que os dados flui através da lógica do mapa onde ele é processado, e então ele vai para o shuffle e classificar no rosto de particionamento, que é tudo fornecido por ela fazer em. Em seguida, ele vai para a face de redução, que novamente é projetado pelo usuário e, em última análise, produz são preservados. Nesta aula, nós aprendemos como ajustar isso. Helou forneceu passo perseguiu nossas soluções para isso. Vamos pagar a espada e embaralhar no passo de particionamento para que possamos enfatizar sobre a importância fora do er partição em sua importância para a solução. Então, quando você projetar um mapa, solução bonita, você deve sempre visualizar os dados fluindo através do mapa shuffle em classificar partido schnur sob disfunção. Isso representa um fluxo lógico de dados. Lembre-se de que o fluxo real de dados é um pouco diferente. Como minhas conservas são classificadas, eu sou partição nas máquinas de mapa. É se e, em seguida, embaralhar através da rede para fazer as máquinas de redução onde eles são classificados novamente. Essa gripe ocorre no fluxo real. Mas por que projetou a solução? Você gostaria de dividir sua solução nos casos lógicos, como mostrado. Não. Uma coisa a observar é que sua solução terá que usar a cara de classificação. Em qualquer caso, se você não quiser usar a fase de classificação em sua solução, você pode pensar em colocar toda a lógica na boca positiva e executá-la sem os produtores, embora esses tipos de cenários estejam lá e você usaria isso ou enfrentaria sua solução quase o tempo todo. Agora, quando você está andando em um grande conjunto de dados, haveria muitas entradas. Espíritos em muitos mapas estariam trabalhando em paralelo. Isso dá uma taxa de transferência mais alta. Eu deixei o processamento é a força fora do meu livro de cordas bonito sobre ele deve ser usado em todos os momentos. Mas a captura, que um dedo do pé novato fazer força em é que ele ou ela, se muitas vezes se concentrar para usar este processamento de paleta sobre as taxas reduzidas que reduz a eficiência geral fora do trabalho. Lembre-se de que o número de produtores que estão sendo usados precisa ser definido caro pelo usuário. Embora o número de mapas esteja automaticamente na inteligência, não podemos começar pelo trabalho dela mantendo em consideração a ciência dividida na localidade dos dados. Então, no caso de um único redutor, o que acontece é que eu vou adiar todos os mapas, emissão completa através do mesmo redutor no produtor está trabalhando em um hardware de commodities. E assim toda a vantagem que foi gerada na face do mapa é perdida durante a face de redução . Por isso, recomenda-se aumentar o número de produtores considerando o uso desligado antes da partição. Neste caso, o que acontece é que os usuários cara são colocados para lutas iniciadas individualmente. Mas essas duas lutas começaram não são fáceis de se fundir em uma saída. Classificar para você com facilidade, quero dizer que não seremos capazes de produzir uma última ordenada arquivada por co-coordená-los. Vejamos, com um exemplo, deixe-me mostrar a luta de entrada. Acabei de fazer um Lein Stewart aleatório, o vencedor de sua filha mapeamento de propriedade, usado ou clássico para fazer a prova de Amaranth e aqui você pode ver que, também, reduz em torno do trabalho agora, enquanto uma lista fora exatamente UBC para reduzir suas lutas. Deixe-me só ter parte é usar. Usa a tua luta. E agora deixa-me ter uma luta na primeira parte. Então aqui você vê que a porta para encontrar alguns individualmente começou. Mas quando eles estão com cafeína, eles não vão produzir a computação começou a luta. Assim, voltando à apresentação, gostaria de colocar os pontos e observações importantes. Primeiro de tudo, a partição antes é o particionamento hash em. Estamos aprendendo sobre o particionamento de hash. A lógica por trás desta partição é produzir o hash arrefecer fora do tee e ele executa a uma operação com o máximo indigente. E há um paciente modelo dentro do modelo produz especificado. Então, neste caso, o que acontece é que a distribuição de dados é de modo que as lutas de reserva são classificadas individualmente, mas precisam de algum esforço extra se estiverem perto de dois combinados em um grande tipo de luta. Este tipo de cenário com Oezil não é Esta forma é conhecida como um caso fora parciais são outra coisa a ser mantido em mente é que todos os pares de valor chave que o produtor emite para grupo-chave estaria presente no mesmo fogo de reserva. Este é particularmente um ponto importante a ser mantido em mente se você está projetando uma solução com a cadeia fora do meu produto causa em nosso adiamento, este trabalho atua como uma entrada para outro trabalho no caso de você querer que sua solução toe arquivos embaraçosos , que pode ser contato em um tid para produzir um grande arquivo sórdido que é transformado como um caso de luta tipo que ajudou a projetar tais soluções? Pollute fornece expressivamente um er partição conhecido como partição ordem total. Ler uma partição personalizada que pode particionar o mapa tudo poderia em distribuição ordenada e quase igual fora de partições é um pouco difícil. Eu pediria que você pensasse em escrever uma partição tão personalizada ER, que é um lugar capaz de classificar e particionar a saída do mapa em partes iguais. Seria muito difícil, e isso você seria capaz de entender a beleza do Senhor da Partição. O maior desafio projetado tal solução é dividir o mapa fora boa distribuição interior que é quase igual. Seria eficiente se um produtor obtivesse a maior parte da parte do trabalho no outro. Um não tem nenhum. Pode acontecer de modo que a forma de distribuição chave é em forma de um Bilko. Nesses casos, dividindo o espaço chave pelo número de produtores não daria uma distribuição uniforme fora trabalho, Senhor tem com a partição de ordem total er fornece amostrador de entrada com amostras de espaço de entrada para encontrar a distribuição e acerta a partição de ordem total para fazer pelas chaves colar em porções um pouco iguais. Então sempre você veria implementação fora sampler importação junto com Lord of Partition na próxima seção. Entendemos outra técnica. Podemos aplicar soluções de porta que é técnica de segundo tipo. 38. 037 ideias de ordenação com o Particionador Parte 2: Poderíamos fazer uma nova escuta. Em segundo lugar, classifique. Neste sistema, aprenderíamos outra técnica que pode ser aplicada a cenários de problemas. Eles não podem prometer cenário onde você gosta do aberto, um grupo de chaves reservado para ser ordenado por valor e não apenas pela chave. A idéia é que você deseja que os valores de ordem fora sejam estáveis com as execuções consecutivas, que em geral não acontece. Este tipo de técnica será exigido para ter valores na forma de ordem é tecnicamente conhecido como um caso fora de segundo resort. Há entender isso com um exemplo. Suponha que não tenhamos registro de entrada com seu mês e temperatura máxima registrada nesse mês. O objetivo final oferecido problema é alimentar o redutor com os dados na forma que os registros são organizados na ordem decrescente com base no valor da temperatura . Podemos usar esta entrada liberada com as taxas reduzidas e projetado produtor apenas para omitir o primeiro de impressões, que reduz a saída fora da temperatura máxima para aquele ano. Mas esta não é uma abordagem recomendada para encontrar a temperatura máxima, mas para entender o conceito de classificação segura, vamos projetar uma solução para essa abordagem, mais a abordagem comprometida é simplesmente tratar o ano como uma chave e não se preocupar com os valores de classificação e ter lógica ou encontrar a temperatura máxima nas taxas reduzidas. Mas, claro, estamos aqui para entender um novo conceito. Assim, os desafios que deve ser um valor chave pares da face mapa e como você vai atender a saída do mapa para que você obtenha os valores ordenados por temperatura na entrada para o produtor. Esta entrada para reduzi-lo é mostrada apenas como uma diretriz. Você pode, é claro, mudá-lo em sua solução, embora o computador por trás da abordagem não tenha sido abordado aqui, mas ainda assim, eu gostaria de lhe pedir para dar uma conversinha com ele. O que é que não sabemos e pensamos por um minuto. Vejamos a abordagem. Tenho certeza que você teria considerado a combinação fora do ano e a temperatura como a chave e todo o valor dos gravadores mesmo se você estivesse perto dessa abordagem, mas não certo. Por favor, aceite meus parabéns. Você estava na parte certa, então agora o produtor importante seria como mostrado aqui, as chaves seriam a combinação fora do ano e temperatura no valor seria recorde. Mas o que acontece neste caso é que outro registro 1900 comum nove a chave teria um tribunal de hash diferente. Quanto ao registro anterior, com a chave 1900 vida comum, e assim estes dois cartões iria através de redutores diferentes em vez fora do mesmo produtor . Este não seria um bom caso para nós, Então, neste caso, nós aprendemos um novo conceito fora chaves compostas chave é composto de duas partes. Chaves naturais sobre os valores nacionais. nacionalidade é uma parte fora da chave composta, que deve ser considerada para particionamento e agrupamento, e várias chaves nacionais uma parte da chave composta, que pode ser considerada durante a classificação. Então, neste caso, a solução exigiria para implementar o primeiro passo caindo é fazer classe confiável personalizado em orderto lidar. A manutenção composta de chave composta permaneceria sempre acima de dois em mais. Como fazer tipos maiores? Neste caso, seria um par de Incríveis. Ao escrever um direito personalizado capaz, você precisa substituir alguns conjunto básico de funções que são usados pelo mapa produzido Dream Book para ler, escrever, comparar hash e converter o objeto duas strings. A segunda coisa que precisamos fazer é dizer ao Hadoop como comparar as variáveis personalizadas ao executar a classificação. Você faz isso usando o trabalho de função, Dot disse Classificar classe comparativa. Nesta função, você passa uma implementação personalizada fora, direita, capaz, capaz, comparável e sobrecarga. É comparar métodos para ajudá-la a entender qual chave personalizada é menor do que a outra quando comparada. Por exemplo, neste caso, 1900 nove comum teria que vir antes de 1900 comum 11 registro no caso, se quisermos organizar o registro com ordem ascendente, muitas vezes criatura. Então, na função de comparação Off disse, classificar classe comparativa terá que ter lógica certa que compara a primeira parte da chave composta para você e, em seguida, considera a segunda parte da taxa de chave compositor para encontrar a ordem. Em seguida, vem a partição personalizada ER. Isso seria exigido por seu Duque para identificar corretamente a qual partição eles são chamados pertence terá que substituir a função get partition neste neste é sempre a parte de chave natural da chave composta, que seria ao lado da partição no ano passado. Precisamos dizer a ela, faça o que sente que precisa crescer e alimentar o importante. Reduza até agora. Isto também. Natural. Manter o oceano fora. A chave composta seria a sensação de agrupamento. Neste caso, é o ano. Então, em suma, para projetar tal solução, você precisa lembrar a chave composta no valor em executar essas quatro etapas, que seria muito ligeiramente diferentes versões fora do grupo. Mas a pequena ideia permaneceria a mesma. É apenas para dizer a ela dupe fora da partição de classificação no Grupo As Chaves Compostas. 39. 038 a operação de adesão: eles poderiam fazer uma nova escuta nesta lição. No próximo, aprenderíamos como as articulações podem ser aplicadas na matéria. Este quadro articulações é uma operação onde combinamos duas ou mais sobremesas com base em uma coluna ou um conjunto de colunas. Neste momento, estou assumindo que você está ciente de diferentes tipos de articulação. Isso é tudo o conjunto em uma articulação igual durante seis extra. Todos estes podem ser aplicados em que, na minha força quadro anterior é os mapas como conjunto e segundo está sob você diz tentando. Ambos têm seus próprios prós e contras e devem ser aplicados apenas a cenários específicos em que diferentes, enquanto mapeia uma articulação, é mais eficiente em termos de velocidade. Em retrospectiva, ele tem muitas restrições sobre os cenários onde ele pode ser jogado. A secagem lateral da UE é mais flexível dos dois e pode ser aplicada a quase toda a situação. Mas é comparativamente armazenada do que os mapas. Um baseado nisso não é você. Certamente sobre mapas e articulações é bem antes de começarmos. Eu gostaria de mencionar que as articulações são bastante complexas para projetar em mármore Ustream livro em Java. Seria fácil escrever centenas de linhas fora de tribunais com design complexo, e você pode fazer a mesma coisa em estruturas de alto nível, como grandes em colmeias em apenas 5 a 7 linhas. Toda a vantagem de usar a solução Java é que ele é altamente otimizado solução em termos de velocidade de processamento fora dos dados. Mas a otimização não é realmente significativa foram colocados em luz com a facilidade e velocidade de desenvolvimento da solução. Por isso, é altamente recomendável usar maior, alto para pacientes da China. E você parece praticar que pesa, mas simplesmente tem uma olhada em como as soluções são projetadas e o que é esfregão salvo durante este construiria em ordem compreensão fora do mapa produzido livro Scream. Então vamos dar um exemplo. Claro, estamos constrangidos esta manhã. É apenas para entender os conceitos que podem ser aplicados para re grandes conjuntos de dados aqui. Temos umconjunto de dados que mostra os detalhes de faturamento dos funcionários para os projetos com onúmero de funcionários do projeto lêem dólares, mas nosso ponto estrangeiro no nosso que barba por funcionários um Temos umconjunto de dados que mostra os detalhes de faturamento dos funcionários para os projetos com o número de funcionários do projeto lê em dólares, sobre esse projeto. Agora vamos ver que temos outra digerida que tem detalhes do projeto como Projeto I.D. I.D. nome do projeto no orçamento. Vamos supor que queremos combinar essas duas sobremesas com base no Projeto I D. E ver todos os detalhes presentes sobre detalhes de faturamento empregados juntos não em mapas. Um gigante. Minha população produziria isso fora do líder da sobremesa. Podemos usar taxas reduzidas para classificar os líderes ou enfraquecer também. Escolha não usar a visita reduzida em apenas nele com o mapa visitado. Então, olhando para o diagrama, você pode adivinhar que o mapa terá que ter os dados de entrada na forma de queda para produzir o show. Agora coloque Wizard. Então, agora olhando para isso, seremos capazes de entrar para os requisitos rigorosos que devem ser considerados enquanto pensamos fora do meu produto unido como uma força de opção e, o mais importante, todos os conjuntos de dados de entrada devem ser iniciados pela mesma chave em que deve ser o baseado em qual articulação vai ser realizada. Além disso, cada um e colocou-nos deve ser dividido no mesmo número de partições. Todos os registros de uma determinada chave devem decidir na mesma parte de, como você pode ver, que aqui a chave é um número de projeto e é importante para o mapa ter todos os registros de líder de ambos os conjuntos de dados de entrada para um determinado número do projeto apresentado uma vez eles só seria possível toe corretamente juntar os redutores de turismo. Agora, todos estes parecem ser requisitos muito rigorosos e muito difíceis de alcançar. Mas todos estes amigos da conta do Opel fora do mapa Linha mais bonita. Se Boulding colocar as lições passaram pelo meu trabalho anterior com o mesmo uso chave no momento de particionamento sobre o número de produtores utilizados são os mesmos que o Opel será produzido com força igual número de partição. Em segundo lugar, cada um dos desertos seria ordenado pela chave, e por último, todos os registros pertencentes a uma chave estariam apresentando uma única partição. Então, sempre que você parece chateado, aproveitando a lógica aplicada, seria na cadeia de trabalho dos meus produtos. No próximo segmento, aprenderemos sobre a redução da junção, o que é muito mais flexível. Dos dois 40. 039 Reduza a operação de adesão lateral: Nós continuamos. Ouçam. Não é isso que nós entenderíamos. Como você disse que juntar-se é projetado no meu quadro de produtos para entender as articulações entre as 23 sobremesas? Bem, novamente, tomar os mesmos conjuntos de dados de entrada como discutimos no último não é e tentar alcançar o mesmo resultado. Você vai tentar entender as idéias médias e conceitos de design para ver como quebrar o problema no mapa. Introduza rostos primeiro, olhe para o aspecto de design e, no final, entenderíamos como em comunidades ao projetar uma solução introduzir eu me juntar no meu rosto Acabamos de começar o mais recente que registra com sua fonte e isso é tudo o que fazemos aqui na face do mapa. Ambos os desertos importantes seriam tratados para diferentes classes de matemática que só irá produzir. Chave composta, que é uma combinação fora do número do projeto em um número no registro completo, seria tratada como valor. Neste caso, a chave em que a operação conjunta deve ser realizada atua como uma chave nacional sobre o número minúsculo atua como um valor natural, empurrando para fora a chave composta. Toda a idéia de tempo é que no realmente inútil. Gostaríamos da entrada para o produtor no antigo espalhado. Você pode observar que todos os registros com o mesmo projeto i d de ambos os registros ir para o mesmo redutor como nós projetaríamos a partição toe ato sobre a parte chave nacional fora da chave composta apenas aqui A chave nacional é o projeto i d. Outra coisa a observar é que isso iria adicionar como uma porção de valor nacional da chave composta, que iria decidir a classificação fora dos registros e por causa desses tempos, a ordem fora dos registros seria para que os registros de dados que ter os detalhes do projeto, viria antes de todos os registros que têm detalhes de faturamento. Aqui. Queremos expandir o projeto D dias no edifício ser deserto. Então aqui a relação é demais. E então a idéia é que um registro, que precisa ser expandido com o resto dos registros, deve vir no topo e todos os registros devem antes de colocá-lo. Uma vez que nós gerenciamos isso com as taxas reduzidas, nós só precisamos armazenar impressões forçadas fora do registro e expandir o mesmo ou o resto das rações de dados fora dos valores fora dessa chave para produzir a sobremesa final não chegando ao aspecto técnico de solução. Primeiro, precisamos tratar o réu colocar dados conjuntos de duas lógicas de mapas diferentes. Isso pode ser feito usando meu objeto de entradas de pessoas na classe de driver. Isso é possível através do metal. Várias entradas ponto na entrada. Mas aqui você pode especificar o trabalho. Parte do argumento sobre o primeiro de entrada sobre o assunto mais através do qual você deseja que a mensagem seja tratada dedo do pé. Então aqui você pode tomar entrada como múltiplas lutas para o trabalho e tratar cada um dos arquivos de entrada duas lógica mapa diferente. Esta ferramenta ou ideia é útil em todos os cenários onde temos várias entradas para o trabalho. Cada um faz. Ele tem um formato diferente, e eles não podem ser uma única lógica para processar todos os conjuntos de dados diferentes. Então, em todos esses casos, essa ideia de usar meu povo inclui ex é usada. Restaurar idéias de design são os mesmos que estávamos discutindo a chave, então, se eles podem recorrer, tem que haver um tipo de líder personalizado que troca direito capaz compatível, que precisa ser projetado para lidar com a complexidade. Todas as funções necessárias precisam ser concedidas. E para esse direito personalizado sobre o costume, partições devem ser projetadas, o que considera apenas natural. Mantenha o oceano fora da chave composta, e então eles precisam ser uma classe comparador personalizado declarado. Então verifique como fazer como comparar os dois registros e classificar com base fora parte do valor natural fora da chave composta. Em seguida, a lógica reduzida seria simplesmente armazenar o primeiro registro do grupo e expandido em ocorrências subsequentes fora do valor para chegar ao meio. Esta é uma idéia má quando você está se inscrevendo, você disse participar no meu livro de molduras anterior? 41. 040 Distribuição de dados: Poderíamos fazer uma nova escuta nesta lição. Aprendemos outro calor dia que pode ser usado em Napoli solução que é descrição local de dados de distribuição lado do dever pode ser feito através deste mecanismo de caixa rude. Adidas. Ele pode ser distribuído através dos nós de poeira no mapeador e redutores pode ler as cópias locais presentes com eles no momento em que eles estão realizando mapa e reduziu-nos. Este mecanismo é conhecido como mecanismo de descontar distribuído. Este meio de solução geralmente é aplicado quando sua operação em dois ou mais porque sua visão era uma base, mais liderança. Pode ser o caso. Nós somos uma pequena informação precisa ser examinada no tempo fora do mapa ou reduzir esta manhã . Será que eu não é pequeno o suficiente para caber na memória fora do programa? - Não? É uma boa ideia fazê-lo passar pelos diferentes estados? Vamos entender isso com um exemplo. Vamos considerar o que já discutimos na última lição que eles acreditam que está em seus projetos, e precisamos expandir as informações do projeto no conjunto de dados de faturamento neste caso, isso pode acontecer para que haja um número limitado de projetos. Então, neste caso, uma idéia melhor seria que esta rota, o conjunto de dados menor usando o dinheiro distribuído. Então a idéia é usar este abismo pode. Será que vai ser? Será que você quer olhar para cima é pequeno, mas não tão pequeno que você pode colocá-lo no mapa ou reduzir o programa? É se vendo todos os casos em que precisamos nos referir a relacionado o líder menor, sentar-se em matemática ou reduzir rosto, você usa esse conceito de dinheiro distribuído a descoberta que precisa ser distribuidor. É esta luta na hora de folga. Corra usando hífen, luta, formação de hífen. luta é a parte da luta que precisa ser distribuída. Você pode. Israel emitiu arquivos Olá usando arquivos hífen e apenas no caso, se você justificar precisa acessar outro, utilitários são fogo e você quer incluir em sua parte classe. Você pode fazer isso Israel usando o hífen Libdeh opção. Isto é útil quando você está usando lutas jar externas para suas operações em seu núcleo um lado de programação das coisas, você precisa fazer quaisquer alterações para a classe privada se ele é executado usando para aprender durante um extracto. Todos os argumentos Princesa 200 sobre o programador não precisa chamar nada na classe de motorista para que no momento fora do mapa nos apresentou, o atirador faz. É conectado dedo do pé no estado de função, disse Uma função é uma função que é chamada de um mapeador de esperma ou redutor. Então, qualquer coisa relacionada com a configuração que precisa ser executada uma vez. Mas meu objeto redutor, toda essa atividade pode ser feita neste conjunto de funções. A conexão do deserto foi estabelecida no estado de função pode ser usado durante o mau funcionamento, conforme necessário. Veremos o que acontece e como a distribuição acontece. Este é o diagrama, que estamos vendo nas primeiras lições do passo três, quando o Joe Klein copia o trabalho Resource Is it. Copia distribuído cachet bem, com uma replicação muito alta para que cada nota como uma cópia realmente perto com, em seguida, na etapa. Em seguida, a criança jovem Rick deixa este trabalho Recursos como o arquivo jar em dinheiro distribuído e cópias, embora a máquina local por isso é desta maneira, o dinheiro distribuído é transferido para a máquina local, onde um mapa já disse pode se referir e usá-lo 42. 041 Streaming hadoop e Tubos 041: poderíamos fazer uma nova escuta neste sistema vai falar sobre alguns recursos diversos em seu grupo. Especificamente, vamos falar de um loop em seus canos. É para ser entendido que significa que eu em grande parte fora Duke projeto é que o processamento de dados deve ser independente fora da linguagem. Mas é deve ser tão flexível que os programas podem ser projetados em muitas línguas para fazer o processamento. A idéia é que o líder deve ser capaz de potencialmente sobreviver a qualquer linguagem de programação. Quando você manter essa idéia legal fora da mente de Lupin, você seria capaz de entender melhor os conceitos de Afro nossas tropas fluindo e tubos Haru . A ideia central é significar processamento de dados, independente da linguagem em uso. Você está transmitindo? É a capacidade fora de um loop de interface com mapa e reduzir programas escritos em rubi na luta, Aloof aparente usa fluxos padrão UNIX como a interface entre Haruka em seu programa. Em termos mais simples, você pode escrever mapa e reduzir programas em ruby e por tempo e você streaming padrão. Eu não sou apenas ou exportação mordendo, então eu não posso escrever e mostrar o seu programa em lutina fora do trabalho em Mas se você está interessado que eu sugiro que você para Google, pesquisar sobre o problema WorldCom, usando seus lábios streaming em rubi ou mordendo, e você será capaz de encontrar um bom material sobre ele para executar o programa nesta linguagem de script , a linha de comando parecerá como se você O mapa nos scripts de reduções seria necessário para ser feito em especificado pelo mapeador de hífen em alta redutor de fundos. Então, em streaming, não há nenhuma classe de driver como tal. Em seguida, vem outra característica que é Haru Pipes. É apenas um nome fora da interface loops para C mais, além de um Laker Duke Streaming, que usa o padrão indo Extremes C plus First usa soquetes como canal para se comunicar com o atacante estrela olhando. Se você está olhando para exportar possibilidades de escrever C plus code em seu grupo, você pode gostar de pesquisar no Google seus novos tubos e você encontraria uma boa Medea. Em suma, quem suporta essas línguas. Mas o melhor suportado é o trabalho 43. 042 Introdução ao Pig: Bem-vindos a uma nova escuta. Isso não é que aprenderíamos sobre grande, que faz parte de seu ecossistema de grupo. Sempre que você está começando a conhecer qualquer um dos ecossistemas, é de grande importância que você saiba a origem fora do ecossistema sobre a idéia média e a razão por trás de sua necessidade Big foi desenvolvido no Yahoo por volta do mesmo período de tempo. Facebook, Hogan HaiF Então você veria que os ecossistemas não foram inicialmente conceituados para trabalhar ao lado uns dos outros, e assim você veria que há uma sobreposição em capacidades e soluções pode ser possível em variedade. Outro problema que você observaria está desligado. Compatibilidade é entre o ecossistema Hadoop, então vindo para pagar. Ele foi inicialmente desenvolvido em conceituado no Yahoo, e a idéia era ajudar os cientistas de dados a dar capacidade de escrever. Meus programas de beleza rapidamente são facilmente como você teria visto. As operações conjuntas na minha estrutura anterior podem facilmente tirar 100 linhas de frio complicado . Em primeiro lugar, é preciso muito tempo para se desenvolver e, em segundo lugar, é muito difícil para os cientistas de dados colocar esse tipo de tempo em desenvolvimento e ter habilidades para fazer esse tipo de programação complexa. Este desafio dar tanto a estrutura de linguagem superior que é grande no Yahoo. Idea Behind Pig era fornecer uma alternativa mais simples. Tamar produz. Então vamos comparar grande na minha produção em termos de suas capacidades para entender qual deve estar escolhendo sobre o outro e em que situações um tem um desempenho melhor do que o outro. Em primeiro lugar, recomenda-se que o grande seja usado em operações conjuntas complexas. Como você veria mais tarde nos locais que abriram, um pé reduziria muito. No entanto, uma coisa que deve ser mantida em mente é que as soluções retornam na produção do mapa são altamente otimizadas para dar menos tempo de resposta. Então, se você está pensando em escrever um trabalho de relatório, que pode ser exsudado com mais freqüência em um conjunto de dados maior, você pode considerar montá-lo em valores de mapa. Grandes scripts escritos são programas separados e convertidos em meus programas de produção, por isso deve ser entendido que grandes soluções não são soluções otimizadas. Mas com o tempo, a otimização está sendo votada sobre a lacuna está sendo fechada. Dito isso, grandes soluções seriam mais lentas do que soluções Marbury que ele ainda em algum momento no futuro maior, linguagem altamente capaz, e a maioria das operações que podem ser feitas no uso de mármore pode ser facilmente feito através de pick. Portanto, é uma linguagem altamente capaz, mas não tem os recursos para tocar apenas uma pequena parte fora do conjunto de dados. Ele escaneia. Todo o líder se senta com cada operação, então mantenha todos os dispositivos. É quase tão forte quanto os meus valores, mas apenas um pouco menos forte. Agora vamos dar uma olhada em Big em um pouco mais de detalhes. Big tem dois componentes. Primeiro é Pig Latin, que é a linguagem de programação, e segundo é o ambiente, que é necessário para executar grandes programas. O ambiente não é nada além de um arquivo de toalha que precisa ser instalado no cliente conhecido ,o , que traduz as consultas de escolha em meus trabalhos de produção para que o ambiente possa ter a queda dois tipos de sentar-se. Primeiro, o local mais execução no segundo mapa realmente pequeno no local, mais off execução grandes execuções em uma única TVM, enquanto na minha manhã anterior traduz o programa de pagamento tomar produzir programa e se conecta a seu loop em rançoso no cluster Hadoop. Neste ponto do tempo, é para ser muito, muito entendido que há um monte de problemas de compatibilidade entre todos os elementos do ecossistema Hadoop , e, portanto, é um conselho que a compatibilidade deve ser cruzada com o , e isso se aplica a todos os ecossistemas. O pode ser de três maneiras em que porco latino pode ser gravado. Em primeiro lugar, ele pode ser gravado como um script onde um monte de comandos são concedidos para executar a funcionalidade. Arquivos de script grandes terminariam com ponto B i G. Extensão. Em seguida, há conceder mais, que acessar um shell interativo para um comandos de ingestão. Em seguida, há um incorporado mais onde grandes comandos podem ser incorporados em um programa Java. Nesse caso, você teria que usar picaretas de uma classe assim como você usa GBC Torrents SQL Code em Java. Em seguida, vamos olhar para um exemplo de como as coisas funcionam no porco sobre esta vida vai para um conjunto de comandos, como se ele é executado em um mais interativo que é o bebido mais. Basta lembrar que grande visitou uma língua da gripe. Há um ele trazer o mesmo exemplo imobiliário, que tínhamos considerado no anterior. Escuta, que haja detalhes de faturamento. Tendo o número do projeto IDdo funcionário ID Número Afar Construir sobre esse projeto na leitura de faturamento. Em primeiro lugar, vemos um comando de carga grande e carga igual. Em seguida, vem o Você é qualquer uma das multas que está a ser carregado, seguido pelo esquema, que deve ser usado para ler aqui. As colunas são limitadas por vírgula, e com base nisso, passagem aconteceria porque muitos recursos para ler lutas com diferentes tipos fora das limitações na segunda parte. Fora da instrução, nós especificamos o esquema, que tem um nome de coluna no tipo de dados Big, tem seus próprios tipos de líder, e eles podem ser usados para formar compostos, tipos de dados complexos também. Então aqui a primeira coluna é PR Genome, que acessam a galeria E M P I. D. Rabo na construção de como indígena. Este comando de nota carrega o conjunto de dados em um. É para ser observado que big é um líder voou linguagem e aqui você vê a atribuição fora conjunto de dados para disponível, e então a operação realizada na variável para obter o reservado no próximo ano para ver a comida vir em comida. Oh, nós podemos especificar a condição destes com o completamente deserto para B scan no registro que passaria, a condição seria retirada para o conjunto de dados do deserto. O deserto, de fato, é que pode ser visto através de um lixão. Vamos, por exemplo, mais E por projeto agora igual a PR. Nossa, você 01 resultados em registros com doença SPR do genoma PR. Você quer a reserva fora Qualquer comando é tempestade como uma relação e cada registro de Istambul e cada variável é tecnicamente chamado como no sistema de filtro E de Elia como Elias fora do deserto em relação, o comum burro é usado para exibir o conjunto de dados na tela tão estúpido Filtro E produziria o show em relação, em seguida, outra operação que pode ser feita em um negócio. Um certo é a operação de grupo, por exemplo, grupo é igual ao Grupo A pelo genoma PR. Isso significa que agruparíamos a relação nas áreas especificadas pelo genoma PR Feel. Dump Group A produziria um deserto como mostrado o primeiro campo fora de cada fralda seria o campo em que a operação de agrupamento é realizada. O segundo elemento é chamado como um saco, que é uma coleção não ordenada fora dos touros, que têm o número de projeto correspondente. Cada elemento no saco é separado por uma vírgula aqui. Neste caso, haveria para o ônibus em cada saco. Em seguida, os líderes olham para o quão fácil é escrever a operação conjunta para declarações são comandos de carga para carregar o deserto em áreas, em seguida, por um comando simples mostrou juntar um paciente seria realizado dólares. Você representa a primeira coluna nas respectivas áreas com base nas quais a junção precisa ser executada. Então escrever operações complexas é realmente simples em grande, então qualquer coisa fora pode sempre se lembrar. Estes pontos prevêem que é um ato de através da linguagem. Em seguida, ele foi projetado para cientistas de dados que não tinham empregos ou conhecimentos linguísticos complexos . Portanto, esta é uma linguagem de alto nível que é fácil de implementar. Foi desenvolvido um desenvolvimento terrível e rápido a partir de uma solução e é ideal para operações complexas. Como as operações conjuntas, é quase tão capaz quanto o meu produto, mas não tão forte. Big Skanska, completamente deserto não é adequado. Se procurar pequenas porções de dados é uma pequena loja para executar, então Javert e trabalhos, que são altamente otimizados. No entanto, com cada grande lançamento essa lacuna está se aproximando. Big corre um vê fora dos meus programas de produção sob o capô. Isso termina uma introdução sobre grande. 44. 043 Introdução à hive: Bem-vindo a uma nova escuta. Introdução à Vida. Vamos começar com a necessidade e eles saíram da vida. Eu fui desenvolvido no Facebook com uma razão semelhante para duvidar de Off Big. Ele foi desenvolvido para cientista de dados com grandes habilidades Java para dar a eles a capacidade de caminhar sobre os dados em seu grupo. Para atingi-los. Eles projetaram colmeia, que não é uma tela como linguagem. Então, se sua família é Q, você se encontraria em casa com a vida, embora isso combina. E isso é muito bom, uma das limitações de mídia com alta é que o algoritmo de aprendizado de máquina não pode ser projetado em HAIF. Eu fui projetado para executar operações sobre os dados como corte e cubos, e não para processar os dados com operações lógicas avançadas. Fazer esse mapa produzir com linguagem Java ainda é o melhor ajuste. Mas uma ideia mais fundamental com o Hive, que está de acordo com ela. maior arte do Dubai, o esquema, pode ser alterada nasce pelos dados no momento da leitura e não no momento de folga, certo? Esta boa idéia diz oi, além dos sistemas tradicionais de banco de dados relacional onde o líder deve cumprir com o esquema no momento. Off, bem em Hif. A conformidade fora de dados para esquema é muito bom no momento, e o grande é emitido. Vamos olhar para o básico no Texas em alguns comandos básicos no colmeia para obter sensação ou cinco e como você pode executar operações usando colmeia. Primeiro vemos aqui é um comando de tabela criar executado em Phil interativo como grande hive pode ser retorno sobre, executado em script, mais interativo, mais em inválido. Mais alto cinco e significa que o comando é executado no modo interativo. O comando é criar tabela do que o nome da tabela diz, seguido pelo condomínio e os tipos de dados, que não é taticamente o mesmo que parece um Skrill. E então nós executamos a regra para Marty Limited, que é uma mudança de uma escola aqui, nós especificamos Akamai da limitação em qualquer símbolo pode ser explicitamente especificado lá. Em alta, as informações de limitação desempenham uma regra vital quando o atraso armazenar tudo vermelho no momento da criação fora da tabela. As rotas e informações sobre a tabela são armazenadas no banco de dados, que é conhecido s meta store. Modesta é um banco de dados relacional que é usado para armazenar metadados de roubo ou seja, informações pertencentes à tabela. Escolhas populares para este banco de dados relacional são Apache Toby em minha habilidade no momento da criação da tabela, haveria uma lesão específica para que será colocado nesse banco de dados. Depois, há o pequeno comando, que atrai o leitor para o papel. Ele visualiza entrada Pai, parte The Keeper Override especifica que os dados devem substituir. Se houvesse algum dado na tabela antes disso, então, através do comando select, podemos executar sobre isso está no conjunto de dados. Por exemplo, neste caso, selecione prg i d algo Balash de registros onde a unidade do PR não é igual a prg 001 e cresceu por PR Jaidi iria curar o total nosso para todos os projetos, exceto para PR 001 Visto desta forma, Eu posso desempenhar um papel importante em liberdade condicional fora dos dados, que eventualmente seria usado pelo meu programa anterior. Vejamos alguns conceitos importantes de Hif, que construiriam uma ideia fenomenal por trás de como as coisas funcionam em Hif. Há duas maneiras em que comitê de mesa limpo em HIIf primeiro é a tabela gerenciada sob o um é tabela externa. A tabela gerenciada, como o nome significa, implica que a luta de dados precisa ser gerenciada pelo hive. É se, com o comando mostrou que um mal gerenciado é criado, é o três deformado fora, criando o mais profundo Agora, quando nós executaríamos a Ação Lord, o arquivo de dados de entrada iria remover de sua localização original em idade DFS para um novo local em idade. DFS, que é um armazém fora da vida, Hif saberia, gerenciar a luta completamente em seus pagamentos. Oi via House não é nada, mas um específico diretamente no escritório HD, que é gerenciado pela vida. É um líder quando você faz um drop comando hive deixaria os dados de seu armazém em seus dados relacionados a partir do armazenamento intermediário, e, portanto, o arquivo completo deixaria de existir. No entanto, há uma opção para declarar a tabela como uma tabela externa. Israel. Nesta declaração, você viu uma palavra-chave externa adicional que é usada agora quando parece que o Senhor Comando é exalado. Hive executa apenas um link para os líderes originais e nem sequer verifica se os dados estão lá. Ele só faz um dado relacionado e sonhar com o ministro. Portanto, ele nem sequer verifica se o líder está lá e a localização ou se os dados estão em conformidade com o esquema acima. Isso dá capacidade programador para projetar um trabalho, que colocaria os dados no local apenas no nick de tempo antes haIF data definida para processar este processo terrivelmente vinculação fora esquema é transformou-nos preguiçoso em HaiF, e é um Comuns são, então, que seria usado. Então, neste caso, quando o comando é emitido, um líder em limpeza o ministro recebe seu líder e o líder ainda permanece lá. Portanto, há esses dois metros em que as mesas de colméia podem ser declaradas. Ele pode ser gerenciado pelo próprio hive ou pode ser limpo como uma tabela externa. Outra característica interessante ou um conceito que o hive tem é que os dados podem ser divididos em partições e buckets. No momento da criação da tabela, você pode optar por dividir a tabela em uma coluna de dados. Por exemplo, se você pode particionar em P r. G i. D.ruim G i. D. No momento fora da estrada, haveria lutas criadas para todas as idéias de projeto diferentes, como mostrado. E assim, se você quiser executar e isso está em um determinado intervalo fora dos valores dessa coluna, a operação será realizada em um rápido distância. É sempre uma boa ideia particionar a coluna na qual os dados seriam cortados com mais frequência. Então há outra maneira de sair da Divisão de dados, que está indo é orçamento. Para esse pecado, Dicks estaria terminando com o rebocado por cláusula especificando o nome da coluna em que a reserva precisa ser realizada sobre o número de baldes fora do líder que precisam ser divididos em. Mas a obtenção de operação processa os dados do preservativo especificado exatamente da mesma maneira que uma partição tratar esquis. Foi hashes a coluna e executa operações Martino usando o número de buckets para lembrar o número do bucket correspondente ao qual haveria um arquivo em. Os dados seriam colocados em um enorme conjunto de dados. Isso não é grande ajuda, pois significa que os dados algo mais fácil. Outro benefício fora. Isto é que se a sua visita de dois dias, que têm uma coluna semelhante e queremos executar uma operação conjunta entre eles, então se as pessoas formam agrupamento com o mesmo número de buckets na mesma coluna em que a articulação precisa ser feito, os órgãos resolveriam todas as criterias para os mapas de uma articulação. E assim este mecanismo às vezes é usado para preparar o negócio. É para os mapas que eu junto tantos líderes Times seria processado com a vida, e então eu sou um trabalho de produção. Miran nele para que pouco olhar como o dia está ficando armazenado quando processo por HAif suas duas dimensões mais importantes para ser entendido quando o Dia D está sendo armazenado por HaiF. Primeiro é o formato de telhado, e segundo é se eu formatar telhado para Maddie, com como os campos de dados são armazenados na tabela de hive. Como os campos seriam delimitados, como as regras seriam limitadas, como chaves e valores seriam limitados e como as coleções, que é um objeto complexo feito de vários tipos posteriores, seriam limitadas. Isso é importante quando você está escrevendo um trabalho Elise mapa, que lê a taxa em que é processado anteriormente por HAIF declaração explícita padrão off Tal armazenamento seria, como mostrado a terminologia que é usada para descrever Linha Ex é uma CRD, que é uma forma curta fora ver realizável no povo sírio. Os principais tipos de Sadie, que Mr. the Lead objeto como texto ou binário ou formato baseado em coluna ou uma expressão regular e assim por diante, em seguida, entrar no fogo por meses. Cinco primeiros podem ser passeados sob a forma de direitos de sequência. R C cinves Rory em Leo é conhecido como lutas de sequência, e se estes são finalmente incluídos ao projetar o mapa em seu trabalho, estaríamos usando lutas de sequência. Outro metal é apenas dito a coluna orientada Leo, que é conhecido como registro chamado Near File. Em suma, RC combate o passeio de fogo neste primeiro são armazenados. Como mostrado, esse meio de armazenamento dá vantagem. Só se uma porção de preservativos são dois bilhões repetidamente em outros precisam ser descartados. Então você sabe que você deve estar ciente do formato de dados em que eles fizeram um passeio em Hif antes de você cancelar o trabalho do meu produtor, que processa esses dados 45. 044 Introdução ao Sqoop: podemos fazer uma nova escuta em direção a colher nesta lição, vamos aprender como hoje é importado e exportado fora do loop. Scoop é uma ferramenta projetada pelo Apache para ingerir eficientemente um dia em um novo e explodido de um grupo. Uma descrição mais apropriada seria uma colher de parte é um projeto de ferramenta para transferir dados em massa de forma eficiente entre fazer e armazenar posteriores estruturados, como bancos de dados relacionais . Vejamos essa definição de um ponto mais próximo. Uns poucos. Ele faz isso de forma eficiente, fazendo o processo de cópia no Parlamento, como vemos com cada componente do ecossistema do Hadoop o uso do poder do vandalismo, utilizando efetivamente o mapa produzido, único este cozinheiro e transferir os dados de bancos de dados para 80 escritório. A senhora deputada Corless importa-se de um DFS para espaços de armazenamento externos, que é conhecido como exportação. As fontes líderes são geralmente bancos de dados relacionais, mas eles podem estar em um tipo diferente de lojas estruturadas. Por exemplo, os ritmos em uma lata de arquivo plano está bem sendo limitado através da escola vai nascer. Coisa é que os dados devem ser estruturados na forma off estrutura atribuível Astros. Daí vemos na definição que a estrutura de cúpula fez. Uma história é usada agora quando o revendedor está ficando importante em HD. Se é enfraquecer estabelecido no destino para esconder o que é baseado em estufa diretamente, ou podemos colocá-lo iniciar visitas da opção de garantia fora de controlar o primeiro fora de importação de dados também. Entre o limitado fixo Abreu e direitos de sequência na escola, nós só era o comando pai para a escola, a direção fora do movimento do líder, fonte dos dados, o destino dos dados e o formato em que ele deve ser copiado. Então, se você entender este diagrama aqui na sua tela, você entende automaticamente todos os comandos possíveis nas funções da escola e água. Você pode executar com a escola, e você configura todos os comandos da escola automaticamente. Apenas querendo com a escola executa além da transferência de dados é que, ao transferir os dados do deface de armazenamento de banco de dados, ele lê registros um por um, trás da cena. Internamente, ele cria uma classe que mapeia para a gravação da tabela. Por exemplo, se uma tabela tiver numérico. Coluna C i d. Na coluna string como nome seria criar um registro de classe mostrou que esta classe é uma bíblia fora da transferência dos dados. Que professores da escola? Isso é produzido pela escola e pode ser usado se você estiver realizando minhas operações de produção nos dados transferidos. Daí você vê que é importante que o líder seja estruturado ou então a escola não será capaz de realizar quaisquer importações. Então tudo em cima, se você entender este diagrama na tela, então você entende toda a idéia da água escolar de Stein é que você pode fazer com isso. Então vamos olhar para declarações de importação sobre destruir como este tempo aqui é um especificado na escola. Você vê um comandante importante sobre a escola de teste de pessoas importante dado metade em conexão e então há um GBC completo. Você é e hífens duplos usando-o e caindo que é valor em hífen duplo pessoas sobre as pessoas precisam ser um único hífen em que especificar o número de mapas para um na escola. Duplo telefone alto é usado para causar os argumentos específicos verdade que nos ajudariam a comunicar escola, a fonte de dados, disseminação de dados e como lidar com os dados. Vida única em é usado para as opções gerais, então basta encontrar o número de mapeados nos para levar a operação de um seis e valores de propriedade explicitamente por opção hífen B, que já vimos no curso e assim por diante. Assim, pela vida, ele pode ser especificado o GBC ur string, que se parece com o seguinte ele tem um driver. Informações sobre a prata hospedando sua data sobre as baterias, o nome de usuário do depósito e as informações da tabela. Como não especificamos o local de destino, ele será copiado para a fortificação em HD. Se é todos esses parâmetros podem ser especificados usando off enquanto Israel você pode usar o arquivo de opção e pacificar, que contém todos os argumentos sobre o valor U. S. Room. No próximo ano levou alguns quilômetros que podem usar na escola. Eu categorizei as opções de acordo com a sua de caridade apenas para torná-los mais fáceis lembrar neste. Ouça, nós veríamos as opções no próximo. Vamos ver o uso desses comandos primeiro, vamos olhar para as opções básicas que estarão quase lá o tempo todo em uma importação. Vamos, eles não se conectaram. Argumento é real. Podemos colocar cinco GBC. Você está em uma série de assuntos para um número de mapeadores. Eu sou tabela para as pessoas significa, então, quando o líder está sendo importado do banco de dados fonte , pode acontecer que não precisamos dos dados completos no papel. Podemos filtrar os dados usando a sala de opções de financiamento. Mas o espaço encontrar o argumento realmente começar espaço. Encontrar uma pradaria escolar em apenas o resultado do Kuwait seria importado. Da mesma forma, podemos usar seu argumento para especificar o foram fechar em. O argumento de coluna pode ser usado para especificar a coluna, que queremos retirar A combinação de coluna em. Bem, podemos colocar em uma consulta próxima? Começamos específico Ambos os nomes comuns como vários o foram próximos. Então você sabe que nós desistimos é igual em reboque. Coluna de barco em foram colocados juntos. Agora vamos olhar para o importante para muito Você começa a bordo Adidas Abreu O que tem finalmente direitos seqüência, Mas como o emitido próximo com o limitado X Prize, você pode controlar o negócio imolações Israel usando os argumentos. você tivesse terminado com Lance encerrado até lá, podemos controlar o Darwin diretamente em algum lugar em HD se estiver usando o topo do I R no armazém de dados da colméia usando colmeia importante um enfraquecido eu poderia criar uma tabela em abelhas etárias usando as pessoas de tela HP vem usando escavar cenários práticos. Muito tempo você verá que são necessárias importações incrementais. Haverá uma fonte de dados, que acumularia os dados, e precisaríamos transferir o líder recém-acumulado para um local específico no escritório HD . Eles são dois modos em que as importações incrementais Camboja e que é apesar de usar o argumento implementar primogênito Páscoa. Uma dor mais no segundo. Mais é o último modificado mais quando o dinheiro é usado ao importar uma tabela, que tem uma coluna que é constantemente incriminador com cada linha adicionada. Por exemplo, a idéia de sementes, que pode aumentar em um o que cada venda que acontece em uma loja no mesmo pode estar representando uma gravação. Nesse caso, ver você satisfazer a coluna que contém o Rieti com coluna Estado e importações de alimentos escolares subiu onde a coluna de verificação tem um valor maior do que aquele que é satisfeito pelo último valor. Uma tabela desordenada, uma boa estratégia apoiada pela escola é modificado pela última vez mais. Você deve usar isso quando levantou fora da tabela de origem pode ser atualizado, e cada atualização irá definir o valor fora da última coluna luta dinheiro para as regras de carimbo de data/hora atuais , onde a coluna pintinho mantém o carimbo de data/hora com mais recente que o carimbo de data/hora especificado com o último valor é importado. Em seguida, há essas opções especiais, realmente para ocultar importações, que controla as várias opções de colmeia. Então, apenas especificando a instalação hype especificando a matriz limpa controle de armazém alto sobre as limitações nas partições do controlador e assim por diante. Eu vou um documento gradual junto com isso. Ouça, mas lamentável dessas opções, por favor, passe por isso uma vez na próxima lição, gostaria de ver alguns comandos na escola para construir um pouco mais de compreensão sobre os comandos de importação e colher. 46. 045 como saber o Sqoop: Podemos fazer uma nova escuta fazendo furo nisso. Ouça, nós veríamos alguns comandos na escola e na funcionalidade de domingo. Vamos começar com o primeiro comando básico. Sinta-se livre para pausar o vídeo quando o novo comando aparecer destruindo. Pense fora da função que ele executa e, em seguida, ouvir a explicação quando você tentou decifrá-la em sua mente. Essa seria uma maneira divertida de aprender os comandos, então use o comandante da força. Este é o comando mais simples da escola. Nós nos conectamos ao banco de dados Corp e envolveu o líder da tabela Funcionários. Vamos ver o próximo comando agora neste comando foram soltar a coluna de salada e tomar o resto da coluna Data malditos nomes como especificado entre aspas duplas e separados por vírgulas. Vamos ver, o próximo neste comando estava apenas controlando o número fora mapeado e aumentando o número para comer usando a opção hífen am. Os próximos comandos são novos, e eles precisam de alguma explicação. Primeiro vemos o comando com a opção direta neste comando, estamos importando o líder da minha segurança de seu furo. Importante, morrer para levantar a Primeira é uma saída padrão. J, BBC ou BBC são o segundo caminho é para a importação direta o Dalit em barcos e existe apenas através de alguns vencedores, que fornecem funcionalidade adicional para uma importação mais rápida. Neste comando, estamos importando o líder da minha escola ler Abi, que tem essa funcionalidade de importação direta. Então lembre-se que direto é para maior eficiência em uma opção disponível apenas com alguns DB e Miss Renders. Então vamos ver o próximo comando neste comando. Temos colocado em extrair sobrenome, que é usado para criar a definição de classe fora do registro na tabela. É o vibrante fora do líder transferido. Isso acontece se você se lembrar. Já vimos isso na escuta anterior. Scoop é capaz de criar esta classe, utilizando as informações de metadados do banco de dados. Ele apenas mapeia os tipos de líder para os fecha fitas líder Jiao, e isso cria uma classe como opção de sequência garante que o arquivo seria importado em um binário incluído finalmente formato. Então vamos olhar para o próximo comando que você está usando o fusível doado por e linhas terminadas por opções para controlar as limitações de D fora dos campos e as linhas nos arquivos importantes Bill é para obter o próximo comando que ele usou sobre a opção de importação de hifen hive para especificar que o líder deve ser transferido diretamente para o alto, casa muito. Vamos ver o próximo aqui. Receba o uso de roupas de desgaste com respeito à condição que levará as linhas. Com coluna maior que 2010 0101 deve ser retirado. Em seguida, olhar para um último comando mais neste VF inserindo os dados a serem importados por muito perto sentado do alvo diretamente e usando uma opção PIN para upend o líder que foi preenchido para o destino dietético. Eu coloco todos esses comandos em um documento para rapidamente, pois eu espero que você entenda que a escola é uma ferramenta muito simples para importar dados, e os comandos são muito simples na forma. O conhecimento desses comandos é necessário para os exames de certificação 47. 046 Hadoop avançado: Podemos fazer uma nova escuta nisso. Ouçam. Compartilhe algumas dicas e truques com você Se você é um grande ou um pouco novo no Linux, isso ajudaria você a andar em torno de lençóis com um pouco mais de facilidade e fazer você trabalhar um pouco mais como profissional do que um amador. Para as pessoas com experiência em Lenox, isso seria elementar. Primeiro de tudo, eu começaria com a cópia e a colagem. Em muitas ocasiões, você seria necessário uma cópia e colar no terminal, modo que você pode usar a inserção de controle e mudança de inserção. Por exemplo, abri o editor de texto e digitei. Isto é um teste. Eu escolheria isto. Copie isto usando o controle. Ver nota que fora do terminal normal controle cm. Andaríamos normalmente. Não, eu vou para o terminal e ser agitado usando o inserto de turno. Posso copiar algo na tela também. Usando controle, inserção e paz usando inserção de deslocamento. Próximo. Um truque mais profundo que discutimos é usar perfil ou crachado ou Bashar. Veja se você deseja configurar uma variável globalmente, você pode fazê-lo configurando-o em e d c barra perfil ou e. d c. barra. Bashar Bashar See provedores de um que executa uma posição em Logan em Bashar Bashar. Veja bem. Pegue as novas alterações sempre que você fechar e reiniciar o terminal. Porque como configuramos os vizinhos no perfil enquanto criamos um novo perfil de barra d c barra é um comandante do peixe. As alterações de perfil em fizeram com que as alterações mais recentes fossem efetivas. Knicks Dipper Trick é parar de completar. Você pode processar fazê-lo barra d c barra bash ponto bashar Ver em você iria encontrar essas linhas. Eu vou levá-los. Sua condição principal seria ativada. Então agora eu faço em uma lista. Agora eu queria ir para o espaço de trabalho eu iria apenas digitar em CD o azul e, em seguida, o personagem superior e eu não precisaria digitar qualquer outra coisa. próximo truque de deportação é limpar a tela. Eu usaria isso muitas vezes em minhas aulas de vídeo. É apenas para pressionar o controle. L na tela estava limpo. próximo truque mais profundo é personalizar um prompt de comando. Normalmente eu não prefiro fazê-lo, mas se você quiser, você pode encurtar o prompt de comando digitando exportação ser este um igual fazer espaço dólar e a marca de condição no E então agora o alimento terra comando parecia assim. Se você quiser atender essas alterações permanentes nos logins, copie esta linha na barra D c perfil barra. Você pode até mesmo fazer sua promessa de comando para colorido e brincar com ele. Você pode verificar a Internet com muitas idéias sobre isso. Próximo. Quatro truques é que você pode ter o comando através das linhas. Por exemplo, se você quiser editar o perfil deles na digitação. Suji ated barra perfil D c barra e você não sabe se esta peça você pode voltar para o meu solteiro nós em Endor e continuar com o vir on line. Esta seria uma lição contínua, e eu continuaria adicionando dicas e truques a isso. Ouça, enquanto isso, se você encontrar alguma fita que ele compartilhou com todos digitando, você não sabia perguntas. Janela. Tenho certeza que haverá muitas boas dicas de você ver o próximo Ouça. Bem-vindo a um novo ouvir h você marcha fiscal neste Ouça, nós aprenderíamos sobre o SDF é Commanche. Primeiro, vamos entender o termo lodges se é frio em seus olhos. Hruby oficial não é nada, mas uma interface entre o usuário no sistema de arquivos distribuído Hadoop , ou seja, é DFS. Então, se você quiser executar qualquer ação em sua defesa, nós teríamos que usar o oficial do Hadoop para fazê-lo. Um loop se sua concha quando ele leva nossos olhos, que é uniformemente. Origem identifica como argumentos de importação. Identificadores de recursos unificados são parte de lutas na autoridade esquema anterior caindo sobre o esquema real mas. Você pode fora tipos religiosos dependendo do sistema de incêndio que acessa ele pode ser é defesa para arquivo Saanich defesa local para os arquivos na máquina local. Se BP para o sistema de incêndio Bad por servidor FTP Também são conhecidos como seu arquivo dupe, que é um sistema de incêndio em camadas em cima de sua defesa e assim por diante. Então, em suma, loop oficialmente pode acessar os arquivos de vários sistemas de incêndio e assim esquema e autoridade teria que ser colocado. De acordo com você iria olhar em profundidade sobre os arquivos do grupo dela mais tarde. Mas agora eu quero que você se lembre que existem arquivos do Hadoop, que são múltiplos. Como fazer arquivos juntos em seu acesso de uma maneira especial como qualquer arquivo ou sentar-se lutando? Mas estes não comprimem o ficheiro. O que eles fazem exatamente é o que virá mais tarde. Alguém poderia imaginar que a mídia de armazenamento de discurso fora Qualquer nota que tem grupo instalado tem duas palavras. , Um é o oficial HD em outro. É o seu sistema de fogo local vontade no mundo idade DFS O esquema que eu usei sua defesa idade em autoridade é hospedeiro local em nosso esquema de caso sobre autoridade são parâmetros opcionais. Se eles não são dados o de force up pegou nele é mencionado no Court Side XML. Vejamos o que dissemos no Sudão. Distribuição mais aqui Vemos que, se não for antes nome do ponto foi enviado para HD brincalhão no host local como autoridade. Então estes seriam Billy Force e, em seguida, é uma parte que seria a localização do arquivo ou diretamente. Então você é um arquivo para um filho em um pai diretamente seria parecido com sua defesa. Dois-pontos para frente barra para frente stash host local forward stash pai para a frente barra filho No sistema de cinco locais, o seu eu ficaria como coluna PFI, seguido por três barras para a frente na parte. Se você estiver familiarizado com comandos UNIX, sua marcha fiscal em D não seria novidade para você. E no caso de você ser novo em comandos UNIX,não se preocupe, eles são não se preocupe, apenas um punhado, e eu anexei um documento com este listen, que deixaria você saber tudo sobre eles em. Ele seria capaz de entendê-los mais facilmente. Teria marcado os comandos com uma estrela para que você possa se lembrar especificamente pelo menos aqueles off-hand como eles são os mais comumente usados. Acabei de demonstrar alguns 80 de Marte fiscal seguinte, especialmente aqueles que não estão presentes em UNIX ou Linux sistemas cruciforme que eu faria em JPs. Este comando retorna todos os treinamentos de programas Java. Então aqui eu vejo todos os demônios têm correndo, e então eu não começar nenhum. Se eles não teriam sido em execução, Eu teria começado com bin barra iniciar traço todos os pontos Shh. Também uma coisa interessante aqui para notar que toda a ação um rastreador nariz trabalho chamado Lords são os programas Java com as classes médias como o que está listado aqui. Então, a nota de nome não é nada além de um programa Java com o nome da classe principal. Sem Libby. Primeiro faça uma lista que é listar todos os arquivos que representam em efeitos HD. Então o que eu faço é digitar ser atrevido. Esconda-a. O Dube. Se é hífen Ellis e depois Indo, há algumas coisas para notar que você sendo a frente barra os esforços do Hadoop estariam no início de cada comando que escrevemos. Lembra-se dela? Do professa um shell ou uma interface entre direta com, a fim de executar comando nove operações em cada DFS. Também uma coisa importante e interessante de notar é que quando listamos os arquivos, ele mostra tudo colocado semelhante ao que vemos em uma lista. Ash L em linho. Antes de gravar este vídeo, Eu já tinha criado Force de diretório IR identificado, então você vê-los na listagem. Se você observar de perto, você verá que o diretório é para no hífen. Significa que é o fogo. Os restantes são os controles de acesso fora do proprietário, em seguida, o grupo e, em seguida, os outros artistas para Read the blues para direita em X não tem significado em esforços HD. há nada que é exalar um projeto de lei em AFIs HD, por isso é fora nenhum significado. Segunda coluna mostra o fator de replicação Então isso significa que essa luta foi armazenada com um como o fator de replicação. Como já dissemos, a propriedade DFS iniciar replicação toe um em sua defesa. Eu não examinar o segundo, e a terceira coluna mostra o proprietário no grupo na quinta coluna mostra o número de bytes que ocupa. A sétima e a oitava coluna mostra a criação, data e hora, e por último, mostra o Mas em seguida eu removerei o arquivo por comando sendo encaminhado. Esconda a bobagem dela se o hífen for ele no nome da luta. Então a final é deletada. Você está observando que nós não retornamos explicitamente o completo você é como um padrão off HD revistando em autoridade host local foi tomado para cima. Não, que está tentando pelo menos no sistema de incêndio local, looping para frente esconderijo Faça se este arquivo lista e o estande esconderijos Então, neste caso, ele perderia arquivos completos e diretórios no sistema de sala. Nada disso olhar para o que está na dieta doméstica. Diz Engy Paris. Olha o que tem dentro disso? Assim, pelo menos responde documentos em lesão. Agora é credo. Se eu no sistema de arquivos local e copiar para cada DFS, eu vou para casa. Preciso dessa multa que criei em você. Agora eu vou criar mais um arquivo e deixar você nomeá-lo se eu estou mergulhando aqui. Vocês são estrelas do rock agora novamente, Guinn Ellis. Então aqui vemos aquele arquivo no final. Não, este tipo em ser grupo barra se é cópia de casa local NJ se eu entrar, que seria o destino para a energia. Se estiver nisto, observe atentamente que você veria que não especificamos os seus olhos completos. Ainda assim, esta cópia de livros do comando local assumir start O último argumento seria um HD se um ponto e todos os anteriores se referissem ao sistema de incêndio local e, portanto, este comando livros . E esta é a diferença entre o comando copy from local no comando get que são semelhantes em todos os seus espetos. Apenas uma cópia do local implica que todos os argumentos, exceto o último é de um de Lucca. Bom sistema. Então você pode copiar. Vários caças estavam usando este comando. Não, está fazendo isso. Isto vemos a nossa fina, muito primavera, a multa. E aqui você veria a mensagem redigitando. Então a cópia funcionou perfeitamente. Não, ele está tentando fazer o reverso para este último radical P este cinco fromage DFS contra o sistema de incêndio local. Então eles costumavam ser para a frente. Esconda sua cópia dupe fs para local em um novo nome de achado. H. Fred, nada deste cheque se recebemos o arquivo do Duque dela. Então V c h bem. E os laços dela são que vocês são estrelas do rock. Por favor, brinque um pouco. Os comandos no documento. Seria bastante simples. Agora, apenas observe de perto como e onde mencionar você. Nossos olhos e tudo será mais simples. Veja na próxima sessão. Bem-vindos a uma nova escuta. Isto não é você aprender a compilar e executar um novo programa. Nós estaríamos trabalhando em Ubundu, o que significa trabalho em r B M pé. Você baixar o eclipse-lo uma pesquisa do Google no eclipse download e clique no Slink comida . Então nós clicaríamos no Link Lennix para 64 bits e depois a próxima coisa. E então veríamos se o combate ao download levaria algum tempo. Então vou encaminhar o vídeo agora. A configuração do clipe foi baixada. Eu só vou para a seção de download copiado na pastelaria na pasta Home. Agora vou extrair o Eclipse Yousef clicando com o botão direito do mouse em Extrair você. Agora vemos a pasta Eclipse no Diretório Home. Então eu vou entrar e clicar em Eclipse Item. Isso iria lançar os clipes I D. Então vamos ter esta janela pop-up pedindo a criação neste espaço de trabalho. Uma vara para a tia Lukoki antes. Em seguida, vou para o arquivo Novo e clique em Java Project. Vou nomear meu projeto um loop Experimentos no clique em Concluir Agora. Eu realmente não tenho o código-fonte em uma pasta. Você pode baixá-lo do lado para que eu durma estes esquivar. Outros programas iria condomínio Java, trabalhar em mapeamento ou java onboard, não pode reduzi-lo ou Java e copiar colar seu espaço de trabalho na pasta, que nós criamos agora. Irei a ela fazer experimentos, e depois fonte ainda mais. No meu eclipse, vi o refrigerador da fonte. Eu seria apenas fissurado E agora sob o pacote padrão, eu vejo toda a Java Source School que eu copiei neste momento. Você veria um monte de erros nesses programas como nós não incluímos nunca fazer pacotes em uma grande parte. Então, para limpar daters você só precisa clicar com o botão direito do mouse sobre o projeto são devido grande gasto mensch neste caso. Em seguida, vá para as propriedades, em seguida, vá para partes Java bebê sendo a biblioteca. Em seguida, clique em nossos frascos externos e, em seguida, ir para sua pasta raiz e clique em seu trabalho ordem Duke como OK, e então você iria ver que o jar externo Gurukul foi incluído. Clique em OK em todos os seus ouvidos iria embora. próximo passo é criar uma luta de emprego novamente. Gostaríamos de clicar com o botão direito em um projeto para você, em seguida, ir para a opção de exportação em, em seguida, sob Java você veria a opção de arquivo jar Civic que e assumir em seguida foi cresce através do pote. Eu colocaria o trabalho se eu fosse dobrado sozinho. Você pode, é claro, selecionar qualquer parte. Então eu só digitando. O nome contaria com. Clique em. OK, em, então. Clique em Concluir. Então vamos olhar para o trabalho Luta. Eu estou agora no ser mais cheio em si, onde eu criei a luta de emprego. Então eu estava fazendo uma lista sobre você recebeu o trabalho de condomínio que você fez em sua honra, sistema de arquivos dela. Eles receberam o em cinco que eu tinha criado que encontra isso antes deste vídeo. Eu só estou colocando o conteúdo fora desse arquivo, então e assim aqui você vê a saída. Então, estando neste mais completo onde o arquivo jar está, eu executaria o trabalho de comando arquivado usando o comando. Nosso novo jod faria Condor John entrar e sair. Tudo poderia ser o diretório de saída e seria o arquivo de entrada. Você aprende sobre tudo isso mais tarde no curso, e o programa deve ser executado como você vê na tela. Agora nós faríamos em uma lista sobre o novo sistema de incêndio e ver se o antigo diretamente foi criado ou não. Eles recebem a árvore do outback e agora vamos apenas fazer uma escuta. O ABC todos os arquivos associados a luta, começando com a parte contém saída. Deixe-nos Deus esse arquivo e imprimir o conteúdo do arquivo. E então aqui vemos o constrangedor que isso vai cobrir todos os detalhes de como esse processo completo foi feito. O que estava objetivando fora do programa sobre o que é a saída de como ele foi processado e como aumentar a eficiência fora dele? Tudo será abordado no curso. Então, se você é capaz de executar o programa, é ótimo que você tenha computado a parte difícil deste curso. Tudo depois disto vai ser mais simples e o meu coração, as rações do Congresso dele para acabar com a parte difícil. Vemo-nos na próxima aula. Bem-vindo aos novos conceitos de escuta HD FX nesta seção. Vamos olhar em profundidade sobre HD se é vamos começar com os chalés de cúpula usados em HD. Se o escritório for um sistema de arquivos distribuído, isso significa que as lutas são armazenadas em um cluster de computadores e não apenas um. O prazer é nada, mas várias rochas juntas em uma única faixa é nada, mas um monte de computadores juntos, que são individualmente tom Últimas notas em 80. Se são as notas, que loja fez são conhecidos como nós não, eles agem como corretor ou Steve notas. Name Node, que é o nó principal, é responsável pelo gerenciamento fora dos iniciadores de incêndio disputados em todo o cluster. Vamos ver assimilação sobre como arquivo é armazenado em cada DFS Pfizer dividido em blocos menores . Também conhecido como blocos. Esses blocos são então replicados. Neste caso, eles são replicados por um fator de três, que é um fator de multiplicação padrão off H DFS. Esses blocos são disputados, em seguida, todo o cluster neste processo fora de replicação na distribuição é gerenciado pelo nó de nome Nota de nome mantém um controle fora do sistema de arquivos completo em locais de bloqueio. Se você notar a distribuição feita pelo nome, Node é feito de forma inteligente para fornecer brasileiros. Se uma falha acontecer neste caso, suponha que se um fez um nó de nome de campos nota ainda seria capaz de montar o arquivo completo com a ajuda de réplicas. Você acha que uma cara completa de rato mesmo assim nomear ninguém seria capaz de colocar a luta juntos. Aprendemos mais tarde quais considerações. O nome não leva para contestar os blocos de arquivo. Vamos entender as idéias por trás de sua defesa é que o escritório é projetado para lidar com grandes arquivos fora de centenas de GPS e TVs e muito mais. Leader Access não é rápido com leituras e gravações aleatórias. Segue-se que os padrões de acesso líder fora direito uma vez e me ler vezes é o melhor para a análise ação. Sua defesa é projetada para usar hardware de commodities, mas definitivamente não é hardware barato. Mas Unidade Difícil custaria em torno de um K 25 K que estaria disponível com muitos fornecedores . Instalações típicas fora de nossos GMs podem levar até 50 despesas importantes em Harvard, que tem um limite superior de processamento. Mas isso também significa que as falhas de hardware não seriam um caso de especialidade, mas um edifício de nomeação. À medida que o tamanho do cluster aumenta para milhares de notas, falhas de hardware podem acontecer a cada dois dias ou podem acontecer todos os outros são como estudamos o HD. Se é concertos, veríamos que é igualmente importante aprender sobre os cenários de falha como é estudar estreitos de processamento estável me faz olhar para o que a defesa não é projetado para fazê-lo não é projetado para leitura rápida fora de dados. Não pode funcionar também. Banco de dados para isso, nós definitivamente precisamos RTB Miss. Pelo menos no cenário atual é que ele também não funciona bem com um monte de pequenas brigas. A ver se ele não suporta modificações arquivadas arbitrárias também. Somente upend é suportado. Vamos entender o mais importante para qualquer estrutura de arquivo nominal, isto é. São blocos tamanhos de blocos, uma quantidade mínima de dados que podem ser lidos ou escritos em um sistema de incêndio. Mas o tamanho do bloco Hadoop é um pouco diferente. Primeiro é grande. Embora seja comum ter um tamanho de bloco fora, Eu quero em uma mídia de armazenamento. É o quarto tamanho 64 MBI em idade DFS que é 1 28 vezes pequeno. Segundo, se você encontrar um armazenado em seu DFS é menor que o A Z de seu tamanho de bloco que apenas a quantidade de status tamanho necessário é sua vida e não o bloco completo. Há uma razão para um tamanho grande bloco que tinha discutido anteriormente como buscar tempo torna-se um nascido em um bastante processamento grandes lutas. Então a ideia é manter o tempo do mar ao redor. Uma pessoa fora do ataque de transferência, portanto, considerando 100 MBps transferidos e 10 milissegundos como sobrecarga de tempo adicional. O tamanho do bloco teria que ser 64 a m e. R. R. para cima para manter o tempo Sikh ao redor, uma pessoa fora do tempo de transferência. Na próxima seção, nós aprenderíamos em dívida cerca de 80 de sua arquitetura, mas chegar a um novo ouvir no anterior ouvir. Nós estudamos sobre blocos de escritório HD em. Isso não é um mergulho profundo em sua arquitetura de defesa. Seus VOCs de defesa em arquiteturas de manga monstro. Nino é um nó principal. Nas notas de dados estão as notas vocais. Isso significa que a nota de nome seria responsável por toda a gestão da história. Espaço nas notas de dados em Did't notes faria o trabalho de base real fora de armazenar os blocos de dados . Nilou executa uma função de manter um controle fora do sistema de arquivos completo, gerenciando duas coisas. Primeiro nome, imagem espacial e segunda edição nomes tamancos enfrenta o Rita Médio sobre as lutas em Die Crease, que são armazenados em DFS idade. Ele contém dados sobre todos os blocos a que as moscas estão associadas e em anais vegetados, ele recita Eric Log é nada mais do que as atividades longas em sua defesa realizadas pelo cliente. E perdeu. Basta continuar acumulando e crescer como a atividade em sua defesa continua acontecendo. Então, fora da lei para editar é aquela que continua crescendo a um ritmo mais rápido. Estes dois combinam formar a imagem completa do sistema de arquivos, dando detalhes sobre todas as lutas e bloquear defesa Saanich. A informação do bloco é um implorado pelo nome Lord, como em quando as notas de dados se juntaram à rede. Isso significa que assim que ele fez que não inicializar e se conectar à rede, ele iria enviá-los, saber as informações sobre os blocos que ele tem neste nome. Eu atualizaria a imagem do espaço do nome com os dados. Ambas as zonas húmidas no espaço de nome são mantidas na memória principal fora do nó de nome. Isso ajuda a nomear não muito rapidamente. Procure os blocos como e quando necessário. Nenhum logístico Olhe para as chaves quando o nome não se sente como você pode dar o sistema de arquivos da concorrência iria para baixo em estará indisponível como imagem completa do espaço do nome na informação do bloco de dados é perdida. Por esta razão. Aviso de nome também referido como um único ponto de falha. S p uma imagem de onda DFS É por isso que é importante para o nome. Não ser resiliente a falhas de hardware nele é altamente aconselhável gastar mais em notas de nome . O hardware ainda, com falhas de hardware atualizadas, pode acontecer para combater essas situações. Falling Resident Edition está feito. A imagem de espaço de nomes em 80 entupimentos são transferidas para um controle remoto altamente disponível no primeiro mês pelo nome. Senhor de vez em quando. Além disso, segunda nota de nome também é adicionada. Não confunda para ser como outro nó de nome. Este é considerado um dos nomes renderizados em seu Duque. Em segundo lugar, o nome não. Não funciona como eu. Não, é mau e único propósito é combinar a imagem do espaço de nomes em 80 tamancos, para que esse nome me conheça. A memória não se enche por causa dos crescentes registos do Eric. Em segundo lugar, note também criar pontos estritos fora do nome, imagem espaço e todos os planos muito juntos no perfil direito sit. Este nome quadris não para liberar a memória média ocupada pela perda Editar até o ponto fora último ponto truque sobre este é o único propósito de tirar o nome Lord segunda leitura nota é um programa Java, que apenas combina a perda idiota e o espaço de nome e cria um ponto de verificação. É isso. Esta operação de combinar as leis idiotas e rosto nomeado é em si complexo e CPU e memória intensiva. Então, em segundo lugar, o nome Lord precisa ser executado em uma boa configuração de hardware, pois o trabalho de combinar a perda de edição no espaço de nomes requer bons recursos de computação. Neste ponto do tempo, eu só quero lembrá-lo que o nó do nome e segundo notas do nome não são nada além de programas Java que são executados com classes médias como Nome Senhor e em segundo lugar, nome? Não. Então, em caso de falhas fora do nó de nome, o administrador do Hadoop precisa inicializar um novo nome. Nota. Este é o caso. Deixe aí. Lançamentos anteriores do Loop passaram para três lançamento no CDH. Quatro têm recursos de alta disponibilidade disponíveis neles. Nesses casos, esta situação é um pouco melhorada. Nós olharíamos para eles mais tarde no curso. Assim, nos lançamentos anteriores para ela olhar escuro para três em caso off CD s três em caso de falha fora nome Lord Administrator teria que trazer para cima outra máquina como nome No. Mas esta máquina tinha que estar fora de boa configuração como requisitos de sistema de nó de nome tão alto. Então, nesse caso, maioria das vezes em uma pequena máquina de cluster que executou o segundo, o nó de nome é usado para reconfigurado como um novo nome. Não, novamente, Por favor, não confunda que é notas de nome secundário. Função para assumir finalmente nomeou Senhor. Não é apenas que a máquina, que executou a nota de nome secundária, é na maioria das vezes a melhor escolha para a nova nota de nome em caso de falha. Assim, em caso de falha, a última informação da montagem de benefícios é recuperada manualmente pelo administrador para a máquina, que assumiria como uma nova nota de nome na máquina é então reconfigurada como o nome Não . Este processo pode levar cerca de 30 minutos para retornar à rua estável. Em seguida, vamos olhar para as diretrizes para o nome notas significa memória como ele tamanho Lester aumenta o número de armazenamento fechar. Esse nome não tem que tomar cuidado fora também aumenta realmente. O bloco no pool de armazenamento consumiria alguma quantidade de nome me conhece memória. Por isso, é importante para o nome Noto ter memória média suficiente para que ele possa corretamente. homem é o conjunto de blocos de dados como regra de Tom 1000 Pessoas. 1.000.000 Stories Box é recomendado. Tomemos um exemplo fora 100 cluster norte com disco T B completo e deixe o tamanho do bloco ser 64 MB. Então o número de livros de histórias seria de dois milhões. Isso significa que o nome não deve ter em torno de comida ZB fora de mim memória na próxima vez são os poucos pontos-chave das duas últimas lições. A possibilidade é. Se você pode gostar de mais tempo para ler, - Bem-vindo a uma nova escuta neste. Escuta, nós olharíamos por trás da cena sobre o que acontece quando você lê tudo certo para a idade. DFS Vamos forçar mergulho profundo em HD. Se estiver certo, processo é o escritório. Klein é um GM que tem que ser executado no nó, que interage com H DFS. Saiba que a replicação filha DFS é uma propriedade que contém o fator de replicação fora dos blocos. Esta propriedade pode porque aos meus olhos para qualquer configuração em pseudo-distribuição humor off implantação em cada DFS. Ele é substituído e disse que ninguém no arquivo de configuração HD afis site hífen, não XML, mas antes de seu valor é três. Então, como um primeiro passo subir pé nó de nome do comunicador que ele quer escrever em seu DFS. Neste ponto, o nome executaria várias verificações na solicitação, como se o arquivo existe ou não, são como se o cliente tem níveis de permissão eric ou não para executar a atividade. Se tudo estiver bem, nó nome voltaria para 80 escritório Klein, com a lista fora notas a serem copiadas neste ponto, Klein Foot conectar-se ao primeiro nó de dados e pediu-lhe para formar um pipeline para os dados subsequentes notas. As notas de dados seriam reconhecidas como eles copiam com sucesso os blocos. Passo 34 e cinco seriam repetidos até que todo o arquivo fosse escrito em sua defesa. Depois disso, a linha terminaria com uma mensagem de conclusão. Em caso de falha no nó de dados. O iraniano nevou escapou em blocos seria retornado no nome notas restantes não iria observar o aplicativo sob em iria organizar para o autor de replicação sob blocos replicados parecem que aconteceria quando eles são várias falhas de nó. Os dados precisam ser retornados para pelo menos uma nota no sob. Toros replicados seriam tratados pelo nome Lord. Agora vamos olhar para como nós de dados são selecionados por nome. Não. Se o nó do cliente em si fizer parte do nome do cluster, nó consideraria que ele é o primeiro nó onde a replicação deve acontecer. Se não for a parte do cluster, qualquer conhecido dentro do cluster será escolhido. Tendo em mente que o norte não está ocupado estão carregados. A segunda nota é escolhida fora do rack. Como o 1º 1 foi escolhido. O 3º 1 é escolhido para estar no mesmo rack que o 2º 1 Isto forma o pipeline. Agora vamos olhar para a simulação bêbado, que temos visto no início ouvir. O arquivo é dividido em blogs e, em seguida, replicado e, em seguida, distribuído através do sistema de luta . Agora, se você observar se um fora do nó, mas mesmo caiu sente que ainda há todos os blocos fora do arquivo disponível falha da minha grama de ponta é mais CS um, menos que provável que aconteça. Além disso, é de notar que toda a precisão fora seleção e replicação acontece por trás da cortina no desenvolvedor todos. Klein não precisa se preocupar com o que acontece em segundo plano antes de vermos como isso acontece. Vejamos como as distâncias calculadas em cada um é o seu rosto. Em uma rede distribuída, largura de banda é uma mercadoria escassa. Assim, a distância ideal é baseada no bloco bandido a ser referido no mesmo dia. Dizem que Donald tem distância zero. Se o bloco recitar em uma data diferente um antigo, mas na mesma volta, a distância seria contada como se o bloco recita em um nu em uma faixa diferente, a distância é considerada antes. E, por último, se um bloco recitar em um nó em um data center diferente, a distância é tomada para ser seis, e esses são apenas casos possíveis. Agora vamos olhar para o anatômico liberado para o afis fácil, Klein envia um pedido para o nome No. Em resposta, chamado Lord retorna os nós de dados que contêm os primeiros blocos. Nó de nome retorna neste a partir do nó mais próximo que contém esse bloco. Faça a lista de alimentos para que o cliente se conecte à primeira nota em Ler os blocos um por um . Vamos olhar novamente para os casos de sentimento que podem acontecer enquanto ler eles podem ser para falhas. Primeiro, o líder bloqueia sua corrente. Nesse caso, os próximos dados. Nenhum contendo o bloco é contatado. Segundo, se o cara que eles não conhecem se sentir estranho. CD sete medos. Enquanto o bloco B estava sendo lido, então a próxima nota na lista seria contatada. Neste caso. Suba comida. Faça uma nota que o sete é sobre nó de dados e não considerá-lo mais tarde. Se ele aparecer em outra lista, por favor, percorra os pontos-chave para isso. Ouça, mas venha fazer uma nova escuta em HD de seus conceitos neste. Ouça, nós olharíamos para os novos recursos adicionados em seu lançamento Duke Doctor 3 que é a Federação H Davis em alta disponibilidade. Vamos começar com HD Office Federation. Este recurso é adicionado a fim de equilibrar a carga no nó nome à medida que o tamanho mais próximo aumenta. Vamos entender isso com um exemplo. Digamos que há uma estrutura de árvore de diretórios. Rude on Sob ele são duas pastas para o um sobre os dois e vamos supor que há glorificações sob ele. À medida que o tamanho mais próximo aumenta, A nota de nome tem que armazenar mais informações relativas a plugues em sua memória média. Assim, para cluster com alto número off notas no intervalo de 2000 notas nome, memória torna-se um fator limitante para escala sob federação, Um novo nome Newt pode ser adicionado nas reestruturações arquivadas no pull doca pode ser dividido entre os nós de nome. Esta nota de nome leste tem que gerenciar apenas o pool off blocos que está associado e não a puxar completa isso reduzindo a carga em um nome Senhor. Deve-se observar que a mesma nota de dados pode ser associada ao nome diferente do Senhor ao mesmo tempo. E falha em um nome no afetaria esse outro nó de nome, por exemplo. Se o nome não. Dois caem, os arquivos no Forte de um ainda estariam acessíveis. Vejamos apenas os pontos-chave que discutimos. É diferente refrigeração aborda a limitação do nome da memória Nords à escalabilidade . Nota da noite. seria responsável pelo volume de espaço de nome em um pool de blocos. Notas detalhadas podem ser associadas ao meu nome diferente. Notas Nome. George não se comunicará um com o outro em caso de falha. Um afetaria o outro. Vamos olhar para o próximo recurso. Alta disponibilidade. Este recurso é para abordar o tempo necessário para voltar para a rua estável em reis fora do nome. Nenhuma falha, como já vimos que o nó de nome é único ponto de falha em que leva cerca de 30 minutos de tempo para voltar para a rua estável após a sua falha. Então, para abordar este nariz único está sempre funcionando em espera. O principal significa não entender pelo nome nem compartilhar a peça nomes nele. Ele bloqueia onde altamente disponível e, se for montagem de armazenamento em versões futuras, zookeeper será usado para fazer a transição do principal para este suporte por um. Nesta configuração, os detalhes são configurados para enviar relatórios para ambas as notas de nome. Nesse caso, se o nome principal não falhar, o modo de espera pode assumir o controle muito rapidamente. Na prática, leva cerca de alguns minutos para que esse sentimento de transição aconteça nesta configuração. É importante para a maneira de espera para confirmar que o primário caiu. Eles podem ser uma situação em que o primário pode não ter sido completamente baixo, mas apenas um pouco lento para responder. Nesse caso, pode haver notas familiares muito ativas, e isso custou corrupção e caos. Então, para evitar tal cenário, as cercas de nó de reserva. O nó primário quando ele assume o fencing significa que o standby mataria o nome conhecido processo, revogaria o acesso compartilhado e desabilitaria o net put retirado do nó cegamente anterior. Em determinada situação, ele vai a uma medida que ele foi parado nó nome anteriormente ativo da própria fonte de alimentação . Isso é muitas vezes chamado de nós. Atordoá-lo, atirar na outra nota na cabeça. Como você pode imaginar nomeando este nó standby. Avaliar Henry chamado Lorde teria sido apto. Mas não há erro de deixar que tenha acontecido. Isso encerra nossa discussão para alta disponibilidade para uma revisão rápida fora de pontos-chave sobre a leve positividade de paz, você sabe, Olá e bem-vindo ao ouvir aqui. Gostaríamos de discutir alguns dos HD especiais se são comandos que não discutimos até agora , no curso. Primeiro olhamos para cada um são também conhecidos como seus arquivos de grupo, como já discutimos que lotes fora pequenos arquivos não é um bom caso para a sua defesa, principalmente porque ele exceto o nome me nota memória. Embora seja para ser entendido que as pequenas lutas realmente não pegar o tamanho do bloco completo na mesa, seja, se um NMB finalista no tamanho do bloco 64 nb, então o arquivo apenas ocuparia o inimigo o espaço de armazenamento. Então, o problema com arquivo pequeno é que ele ocupa o nome notas significa memória como necessidade, não tem que manter o leitor de medidor para cada arquivo, o mais do que uma questão de fice mais seria o meio mais tarde, que nome conhecido tem que tomar cuidado off . Assim, o nome observa a memória principal torna-se um fator limitante. Olá, arquivo é uma ferramenta que ajuda em tais situações. Além deste grupo, arquivos de arquivo podem ser usados como entrada para importar esses programas, bem pouco ver um exemplo de para arquivos de loop e entender como livros antigos. Pouco antes de gravar este vídeo, eu criei esta pequena pasta de luta no meu sistema local na pasta pessoal. Neste eu criei dois documentos. Se eu ficar bem. Só faço um GPS para verificar. Tudo está funcionando ou não. Está tudo a correr em breve. Copiei esta estrutura de arquivos para HD. Se estiver usando a cópia de comando do local agora eu faço uma lista para ver se as lutas foram criadas. Então lá vemos o diretório. Ninguém arquiva esta reestruturação final. Então o comum é ela. Dube, nosso hífen kaif, nome arquivado neste ponto bem escondido lá dentro e lá nós obtemos este índice fora deste comando. Assim, o Sendek diz que o comando é arquivar nome do arquivo hífen seguido pelo nome fora do arquivo HR, seguido pelo iPhone ser seguido pela parte pai caído pela fonte em então o destino. Então eu digitei o arquivo do grupo dela hífen, nome do arquivo. Eles ganharam o arquivo do Hadoop para ser arquivado um ponto h por r. Ele sabe que aqui precisamos de HR é uma extensão que indica como fazer arquivos de bar cara? Estes são tratados de forma diferente. Estes são vermelhos na Grã-Bretanha de uma maneira diferente, como veremos para diferenciá-los usamos ponto extensão HR o hífen p na parte pai seria barra usuário lesões barra barra barra seguida, seguido pelo nome fora da estrutura de diretório que precisa ser arquivado, em seguida, seguido pela parte de destino, que seria barra usuário lesões barra barra barra eu pressionaria terminou neste ponto no programa de lançamento mapa estaria envolvido. Vou fazer novamente a análise do seu sistema de arquivos e ver se o arquivo de arquivo do grupo foi criado ou não. Então é assim que eu luto de volta. Eu faço uma lista dela. Faça nosso arquivo de cara. Então, como podem ver, há quatro incêndios que foram criados para ela por tiros. Primeira luta no Sucesso, que marca a conclusão bem-sucedida, muitas vezes arquivar comando. O poderoso é aquele que tem todos os países fora de todas as lutas Con coordenadas . O índice Doing Next Files no Master Index contém os índices usados para procurar o conteúdo que ele está fazendo. Recursivo Ellis em nosso novo parque eu luto para fazê-lo vai colocar esquema H A R de modo a especificar seu arquivo de grupo foi lido para que ele exibe se eu ser arquivado. O sinal da broca são os arquivos temporários que foram feitos quando copiamos a estrutura do diretório de incêndio do sistema de incêndio local. Eles foram criados porque nós os abrimos em exito. Em seguida, entendemos as limitações das lutas de Dubah dela. Primeiro você cria um arquivo de arquivo, você precisa tanto quanto este espaço quanto o original. Seus arquivos de loop atualmente não suportam compressão, por isso é como um segundo combate duplicado, seus arquivos de loop são imutáveis. Você está? Remova as lutas do arquivo dela. Você deve recriar os arquivos informados se você estiver atingindo os limites da memória de notas de nome usando uma federação DFS lhe daria um escopo melhor na escalabilidade, em seguida, usando seus arquivos duplicados. Em seguida, olhamos para outro comando. Este CP Este comando é usado para copiar os arquivos do sistema 105 para outro. O processo de enfrentamento é feito de forma paralela. Este índice deste CPI é o seguinte Helou, este CP caindo seria a pasta de origem em. Depois disso, eles seriam o destino para o nó um e eles sabem que iria especificar o nome Lords fora da idade diferente DFS implantado. Esse comando normalmente seria usado quando você estiver usando a Federação DFS antiga em seu cluster e tiver duas ou mais notas de nome no mesmo cluster, e você deseja copiar de um escritório HD para outro. Eu voei. Irmã, ouça neste momento, vejo você na próxima lição. Bem-vindo a um. Você ouve a partir desta seção, você pode olhar para o tópico de bis mais importante. aviso de Napoli. Vamos começar olhando para a redoma. Nagy que eu uso na minha força de produção é que a Rua do Espírito não é nada mais que a correção dados que, assim, como entrada para a minha casa, isso quer que você lembre que blocos e espíritos