Hadoop pour les débutants

1. 000 introduction et aperçu du cours: êtes-vous excité et souhaitez apprendre les technologies Big Data ? Pensez-vous qu'Internet est surchargé de matériaux gratuits, mais c'est compliqué pour un débutant Friederich. Matériel d'apprentissage peut être une boîte hors pièces pour grand maintenant sur l'écologisation de ses conseils pour le démarrage de saut . Mais alors ils ont l'impression que les entraînements de l'entreprise à terre vous coûteraient un bras et une jambe. Et quand vous regardez que nous avons été les nôtres d'autres instituts, vous trouvez qu'il est de mauvaise qualité sur dodgy. Sans vanité, essentiellement un risque énorme, le monde peut aller à l'envers tout en apprenant une nouvelletechnologie compliquée, technologie compliquée, comme je suis devenu un Helou certifié plus grand mais va tout ce que vous devez savoir pour démarrer votre carrière dans les nouvelles technologies et atteindre une expertise à un niveau où vous pouvez faire pipi examens de certification comme Cloudera et Horton travaille en toute confiance. Vous pouvez commencer comme un gros nerd sur ce cours vous aiderait à devenir un professionnel certifié . Ce cours vous emmènera à travers le besoin, et il est parti. Technologies du Big Data. Comment configurer un nouveau mécanisme DFS de détails. Comment mon produit des livres de programme dans les critiques de marque classique sur yon considérations importantes que vous devez prendre pour écrire mes programmes précédents sur l'introduction à son écosystème do. Soyez sur la bonne voie pour entendre les certifications se faire inonder avec des offres d'emploi sur les emplois d'idées les plus cool dans le temps actuel loin des canons au sol et ont besoin de la bonne décision. se voit au cours. 2. 001 Big Data: bienvenue au citoyen de l'alimentation qu'on a fait. Être de la valeur ce n'est pas conçu pour comprendre. Pourquoi ai-je si important dans les temps modernes ? Sur elle est allé sur le besoin de technologies Big Data. Comme vous avez utilisé ce cours, j'espère que vous auriez déjà entendu beaucoup de gens appeler que des entreprises comme Facebook, Twitter, Google génèrent et marchent sur Peter Bytes de données chaque jour. Le grand, durci entre en collision depuis des années, vous ne produisez jamais 15. Peter mord plus tard tous les jours, tel point qu'ils jettent la plupart des données, espérant qu'ils ne devraient pas être quelque chose de précieux pour analyser que, alors que ces faits sont intéressants, mais se sentent à montrer de l'importance off big plus tard à une organisation normale. Donc, je commencerais par le problème classique, souvent l'organisation essayant de trouver le prix sur le nouveau produit et l'importance des données pour obtenir le prix optimal. Dans ce cas, l'organisation serait de retour sur l'assurance nucléaire PC. Ceci est un exemple très peu sophistiqué pour montrer la valeur de gator à une organisation, donc s'il vous plaît ne vous dérange pas les attributs qui ont pris en considération le plus prêt pour toute organisation dans ce cas, cette banque est de trouver prix optimal. Le nouveau produit qui générera des revenus Manson sur est également accueilli par le marché pour calculer la valeur optimale qui a beaucoup hors interne à bas fait qui pourrait être hors aide. Tout d'abord, ils signifient à partir du référentiel, qui peut contenir toutes les informations client sur les journaux de compte qui ont généré depuis tant d'années. Deuxièmement, ils hébergeraient des sites Web et ils publient des activités sur les sites Web, ce qui peut être utile pour comprendre la gamme de marché sur l'intérêt des clients. Ceux-ci peuvent être dérivés de clics sur et les gens montrant une prière politique intéressante sur le grand terrain ont pensé qu'ils ont les schémas de dépenses de tous les clients qui peuvent sentir informations importantes pour comprendre et catégoriser son client. Avec cette interne plus tard qui est disponible. Il existe des sources externes également disponibles, ce qui sera important pour le et c'est tard, tous importants espacement completar le pont des médias sociaux, qui serait généré les formulaires d'étude de marché sur les impressions flamboyantes des activités sur médias sociaux. La semaine dernière, tierce partie a commencé bâtons, qui donnerait une idée comme ce qui est les tendances récentes dans les problèmes médicaux sur les dépenses le long d'eux sont combien d'accidents se produisent, fois logement des gens dans une localité qui recueillerait toutes ces informations. Nous les laisserons sur l'autre 100 algorithme statistique pour trouver le prix optimal. Dans cet exemple, nous voyons comment les données agissent comme un système d'aide à la décision. Plus les acteurs prenant en considération le crédit seront le système d'aide à la décision . Donc, plus que ADA, plus précis seront les prédictions. À ce stade, vous regardez l'avenir et voyez comment la technologie du Big Data va changer le milieu de la prise de décision à l'avenir. À l'avenir, le lecteur serait le fondement du numérique sur le système. Ce qu'il a besoin, c'est que, fonction des changements hors de l'entrée, attribuez l'opérable changer automatiquement des choses comme Skynet. Voyons cela avec un exemple. Supposons que vous sachiez que vous planifiez un voyage à l'étranger sur les réseaux sociaux. Le logiciel de sac reçoit ce feedback de ses sources, qui garde un œil sur les mises à jour des réseaux sociaux et les logiciels ainsi avancés automatiquement. Étant donné que l'offre d'assurance talent adaptée à votre voyage est supposée, la compétition change d'espace. Le prix sur son dos change automatiquement pour une nouvelle valeur optimale afin de maximiser les bénéfices. Il s'agit d'une vision futuriste d'un réseau informatique qui imite le système nerveux biologique dans les quatre caractéristiques principales. Tout d'abord, décider de quelle information est importante et de ce qui ne l'est pas. Deuxièmement, apprendre de l'expérience a permis de s'adapter aux changements de son environnement externe. La nourriture réagit rapidement. Les avantages sont des situations menaçantes, donc c'était à propos de l'avenir. Voyons comment les données sont utilisées comme un système d'aide à la décision actuellement dans l'organisation . À l'heure actuelle, nous l'avons utilisé d'une émouvante et regardons toute la vue de son architecture. Er, ils seront plusieurs sources de données chacune off. Cela serait échantillonné sur propre et mis dans la base de données. Connu un état de votre maison au-dessus de cet entrepôt de données, l'algorithme statistique serait exécuté, qui créerait un rapport à l'avance complet dans les décisions commerciales. Dans ces architectures, sont deux limites. Forest a terminé un échantillon sur la base de notre village et non l'ensemble de la scène leader WAAS Donc, dans ce cas, nous serions à la recherche d'un partiel il. Seul cet échantillonnage est nécessaire pour la maison DW de fonctionner comme si le complètement qui est considéré comme l'analyse de données prendrait des jours à ces deux mérites. Donc, pour cette raison, lorsque l'échantillon de données avec les activateurs les plus importants est concerné pour les foutus fous , il est donc d'aimer, regarder à travers un trou de serrure et essayer d'obtenir la taille de la pièce à la recherche du cèdre diverses sources était propre sur traité, juste pour le donner vraiment pour l'infinie est donc au point de temps l'analyse était Ron le leader était déjà toujours donc la décision n'a pas pris en considération la situation actuelle , qui est le plus important. 3. 002 Comprendre le Big Data: où pourriez-vous écouter comprendre le Big Data dans l'écoute précédente, nous avons compris la valeur hors données Toe Analytics, qui joue un rôle important en tant que système d'aide à la décision. Dans ça. Écoute, on comprendrait un peu plus à propos du Big Data. Examinons la définition, mais la définition big data notre collecte au large des déserts si grande et complexe qu'il devient difficile de traiter en utilisant des outils de gestion de base de données sur les applications traditionnelles de traitement de données . Brisons cette divination en force de Bartsch. Big Data sont une collection d'innocents, comme nous l'avons vu dans l'exemple précédent que la banque avait tant de sources de données, l'application arrière devait obtenir des ensembles de données de chaque source et les démarrer ensemble. Donc notre étudiant a fait des analyses. Deuxièmement, une partie de la définition est vaste et complexe. La taille des données prises en compte dans l'analyse devrait être enseignée comme une fenêtre à travers laquelle nous essayons de voir pour regarder et obtenir l'image hors du monde extérieur. Commencez la taille de la fenêtre, mais ce serait l'image autre sauf si est sur la décision. Il est donc important que la taille du leader soit aussi grande dans le cas de n'importe quel musicien . Il y a une variété de sources qui sont ville trop complexe. troisième partie de la définition est qu'il devient difficile pour les outils traditionnels de traiter lorsque la complexité et la taille augmentent l'efficacité par rapport aux méthodes traditionnelles dont les diminutions et la diminution de la performance sont exponentiellement proportionnelles à l'augmentation en taille. Nous pourrions comparer et comprendre la raison de cela dans un peu plus de détails dans la prochaine leçon. Pour l'instant, regardons les attributs qui décrivent les big data sur les comprendre. Avec le problème bancaire, vous seriez en mesure de vous rapprocher d'eux. Les attributs Big Data sont 1er 1 vous car il y aura tellement de sources. Donc, les données rassemblées seraient volumineuses. Et comme nous l'avons déjà discuté, la taille des données devrait être aussi grande que possible afin que l'algorithme Data Analytics puisse produire des résultats significatifs. Penser est prêt. Chaque source de données aurait son propre schéma et sa maturité de partage. Par exemple, dans Dona Leader, Repository serait un ami moyen Rita abeilles tandis que l'étude de marché forme Monsieur, les mises à jour sur les médias sociaux sur un code de fichier plat est une vitesse. Les nouvelles données nouvelles qui seront acheminées vers l'organisation seraient hebdomadaires tous les jours ou mon au-delà de la base trop la rue de flux de données, dont le temps est décrit comme vitesse. Il y a donc ces trois attributs volume, variété et vitesse, qui doivent être gardés à l'esprit lors de la réflexion sur le Big Data. Examinons quelques points clés qui sont essentiels à l'analyse des données pour obtenir des résultats généralement précis . Est-ce que l'analyse nous donnerait des indices si la décision est digne ou non ? Il est important pour l'algorithme analytique vert sur un grand état afin de prédire correctement plus grand pour s'asseoir mieux serait la précision hors algorithme analytique. Il a été recherché et prouvé que l'algorithme simple sur un grand ensemble de données. Seriez-vous résultat plus précis, puis un algorithme sophistiqué sur un petit statut il Cela montre l'importance de la grandeur hors du pays leader. Des centaines de paramètres plutôt que seulement cinq, augmenterait la précision hors matin analytique afin que plus les périmètres mieux serait notre matin analytique pour statistique sur. C' est le n'a pas besoin d'être un peu une fois qu'il a le doigt pour pleurer et mettre sur le poids de son sur lequel nous exécutons l'analyse de données. Donc, le modèle de l'architecture er serait juste une fois et lu plusieurs fois était. Les données ont été introduites dans son accord sur lequel nous tiendrions des statistiques plus longtemps qu'elles ne seraient à peine modifiées. Ensuite, ils examinent simplement une étude de l'industrie réalisée dans le domaine de la taille des données et de leur groupe, afin d'obtenir ce qui nous attend à l'avenir. International Data Corporation est une étude de marché à partir de laquelle effectue la mesure de toutes les données numériques créées, répliquées et consommant un seul Leo. Il prédit également les crimes sujets injustes relatifs aux données. Voici quelques points passionnants tirés de l'enquête la plus récente. Le leader de 2005 à 2020 augmenterait d'une quantité stupéfiante de 300 fois. Cela implique une énorme télévision 5200, tous les deux être humains. Ils ont fait notre double tous les deux ans à partir de 120 20 33% de réduction. Ces données seraient utiles si elles étaient analysées. Ce serait beaucoup de dépenses dans les technologies du Big Data dans le temps à venir. Donc, si vous entrez dans la sensation du Big Data, je vous félicite comme un excès. Maintenant, je vous suggère de faire une recherche sur Google sur l'Univers I. D C D. Apprenez également un peu plus de tous les IBC sur E M. C. Comme ce sont des entreprises importantes dans le domaine du Big Data. 4. 003 Hadoop et autres solutions: bienvenue pour écouter. Trois. Vous savez, nous avons passé en revue l'importance de Data Analytics en raison de son importance pour les entreprises. En outre, nous avons appris que les données ont un groupe prenant récemment sur continuerait à croître dans ce domaine . Écoutez, nous comprendrions comment ces données volumineuses peuvent être analysées et traitées pour être utilisées. Grace Murray Hopper, les célèbres informaticiens américains qui ont développé le premier compilateur sur conceptualiser l'idée Off machine langage de programmation indépendant, donné un bel exemple pour cela, a-t-elle expliqué, historiquement bœuf pour utilisé pour transporter la charge. Mais ami, la charge a augmenté. Nous n'avons pas envisagé de cultiver le pavillon Elks, mais nous avons plutôt utilisé plusieurs boeufs assemblés pour tirer la lourde charge. La même idée est appliquée en analysant le Big Data. Lorsque ce concept est appliqué au monde de l'informatique, il est appelé informatique distribuée, et c'est bien, c'est un concept cool pour un dupe. Voyons ce problème dans le monde de l'informatique. Nous avions des ressources informatiques sur les données à traiter. Au fur et à mesure que les données augmentaient, nous avions la possibilité d'augmenter la capacité de calcul. Donc nous l'avons fait. Les données ont augmenté à grande vitesse. La solution d'un dispositif informatique de reproduction a augmenté, les dépenses ont chuté à cause de trois raisons principales. abord, le coût du matériel en second lieu, la licence hors pour les coûts toed haut échec disco pour le Il avait une limite supérieure à la capacité hors des données qui peuvent être traitées, mais les données sont toujours en augmentation. Dans ce cas, Maddux concept de calcul distribué vient nous sauver à la place, sur une machine de salle de bain, la tâche a été distribuée entre un cluster hors machines qu'il veut Il est d'abord vous les coûts de matériel comme matériel de base a été utilisé. Le matériel de base Dome est souvent utilisé pour se référer à une spécification de note dans Lester de son groupe . Cela signifie du matériel couramment disponible auprès de nombreux fournisseurs. Ne le confondez pas avec du matériel bon marché ou du matériel de faible qualité. logiciel de deuxième licence est gratuit. Troisièmement, réduction du risque en cas de défaillance unique dans une grappe. Si une note échoue, les performances se dégradent mais ne s'arrêtent pas comme dans le cas d'une seule machine. Utilisation pieds études ont montré que dans certaines situations qui avaient oops cluster distribué peut traiter 10 fois les données à une tente hors personne temps avec tente amusante hors prix. Intéressant, n'est-ce pas ? Sur cette diapositive, nous comparons le système traditionnel de gestion de base de données avec le capot. Umar produit. Je n'ai pas encore décrit mon produit, mais je veux que vous le considériez comme un framework qui fonctionne de manière distribuée sur un cluster de machines. Ne fais pas 40. Nous regardons mes produits dans les détails dans la section suivante, tourner en arrière pour devenir mauvais est dans. Ceci est à bien des égards similaire à une comparaison entre une voiture fraîche sur le moteur du train. La voiture est chère mais rapide à transporter. Petit nombre de personnes. train de l'autre côté produirait un débit plus élevé en transportant beaucoup de flotteurs. Chacun a ses propres avantages sur le social être appliqué habilement en fonction de la nécessité de la situation. Regardons l'écurie. RT. Bemis est une bonne option avec les tailles de données dans la gamme de gigaoctets lorsque mon produit commencerait à briller sur ses performances pour les tailles de données dans la gamme de Peter Bites et jusqu'à Oh , RTB Amiss offre à la fois interactive sur l'accès par lots sur les données. Lorsque mon produit est seulement lot fait Axis Spartans en RVB ? Emma est vraiment et juste plusieurs fois alors que dans le système de fichiers Helou, nous ne pouvons pas éditer un fichier que nous préférons copier au système de fichiers local, supprimer l'original dans son système de fichiers racine et copié à nouveau avec les modifications à faire dans RTB, Mademoiselle Le schéma doit être présent au moment de congé, chargeant le fait lui-même tandis que dans son dupe la liaison du schéma est retardée jusqu'au moment du traitement. C' est l'un des avantages médiatiques hors dupe. Voyons cela avec un exemple. Considérons cette forme formelle d'étude de marché. Nous obtenons des données sur les activités effectuées sur les réseaux sociaux par rapport à une banque. Disons la première colonne. Soyez la source comme Facebook. colonne Twitter sera horodatage et les commentaires du pays B Dans la version RTB Miss off, la solution devra le stocker dans une table pour laquelle le schéma et d'autres contraintes doivent être décidés au préalable dans son groupe. Nous avons juste besoin de copier à son système Do 5 allumé à la fois. Lecture désactivée. On peut décider du schéma. Voyons voir. Nous pouvons combiner les 2 premières colonnes en un seul et considéré comme l'arbre de voir comme calme à. Non, si vous faites un tri sur la colonne à partir de toutes les données seraient triées par la source et chaque ligne de la même source serait triée par l'horodatage. Cela nous donne une grande flexibilité dans la programmation. Ensuite, dans les projecteurs rd, nous gardons les données normalisées, whiling Hadoop. Les données ne sont pas normalisées. Cette première frappe dans les jointures complexes suivante mise à l'échelle. À mesure que les données augmentent, le temps de traitement hors système de base de données relationnelle augmente exponentiellement tandis que dans son groupe, il est linéaire dans cette diapositive, analystes occupés et intéressants sur le temps de siège. Tu vois, le temps s'améliore beaucoup plus lentement que le transfert. C' est généralement dans les années 90 que ce disque serait éteint. Un Go sur la vitesse de transfert serait d'environ 4,5 Mbit/s. Il y a un temps à lire. Tout le trajet aurait duré environ quatre minutes. De nos jours, le scénario typique est un profond dans la mémoire sur les transferts étant de 100 Mbit/s. Il faut un temps pour ne pas lire. Le disque entier est proche de faire un jour fait référence aux orcs sur l'exemple du Seigneur. C' est comme la charge a augmenté et les chiens ont été plus forts. Mais augmenter le Seigneur est beaucoup plus que l'augmentation de la force des stocks. Ce fossé peut être le populisme comblé. Supposons que le même To soit distribué également sur un cluster de 50 notes. Les trois temps complets réduiraient à un de 58. C' est 3,5 minutes. C' est un autre qu'il voulait avec son Dube car il emploie le vandalisme. Une autre qu'il voulait est que Harut maintient, que les répliques hors des données. Par conséquent, l'échec d'une note n'affecte pas l'intégrité de l'ensemble des données. Nous verrions en profondeur à quel point Duke maintient les répliques dans une écoute séparée. 5. 004 d'une architecture distribuée un bref aperçu: où vous pouvez faire écouter dans l'écoute précédente, nous avons appris que le single donc architecture était cher à moins qu'efficace par rapport aux architectures distribuées ici, nous examinions quelques autres architectures distribuées sur, comprendre leurs limites et l'avantage de sa dupe avec eux. Une de la solution distribuée, qui a Donc ce champ est maintenant un calcul haute performance sur image sombre gris. Dans une grande architecture de haute performance typique er, il y a un nombre de processeurs communiquant via l'interface de passage de message, MP I et la mémoire partagée. Ce SOS très dans un travail intensif de calcul dans la situation où de grandes quantités de données disent que des centaines de G B n'est pas nécessaire. Au fur et à mesure que Adidas ice augmente le trafic réseau. Et donc le bandit devient appartement comme à quel point l'architecture des oups est dure. Un groupe un peu différent a des notes, qui sont comme des ordinateurs personnels. Il y a un disque dur avec chaque CPU. Chaque note a aussi leur propre espace de stockage. Lors de l'attribution de la tâche, la note principale considère fait une localité et donc le réseau est utilisé uniquement pour les petits messages apparus. L' évolutivité est élevée. Dans Hadoop, nous ferions plonger en profondeur toutes les terminologies comme job tracker Bass tracker sur la localité de données dans le prochain segment hors cours. Un autre modèle de calcul distribué est le Volunteer Computing City, qui signifie Search for Extraterrestrial Intelligence est un projet qui vise à analyser les ondes radio qu'ils ont reçues de l'univers. Ils essaient de trouver un modèle. Il y a une trace de communication indigente dans la radio fait car s'il y a indigents extraterrestres essayant de communiquer avec nous, ce projet des gens américains comme vous et moi pour télécharger l'application, qui apparaîtrait comme économiseurs d'écran sur notre ordinateur. Et donc quand nous ne faisons rien sur un ordinateur, ce programme utiliserait l'île. Cebu cycle les alliés des orteils de Oak Unit pour des motifs appliquant divers algorithmes avancés ardoise pour vos transformations sauf lorsque le travail est terminé. L' application sur notre ordinateur enverrait les résultats sur demanderait la prochaine unité de travail . Le serveur central doit contester l'unité de travail 23 notes ou plus afin de revenir à l' échec sur les résultats d'Ernest. Cette architecture ne convient qu'aux travaux intensifs de qualité supérieure, qui peuvent avoir un débit variable Le temps sur cela ne peut être appliqué que dans les situations où données peuvent être partagées sur le réseau, sorte que ce n'est pas une option viable pour le la plupart des problèmes d'affaires. 6. 005 versions d'Hadoop: où peut le faire dans cinq. Dans l'écoute précédente, nous avons appris un peu plus sur d'autres solutions distribuées sur leurs limites pour résoudre des problèmes commerciaux courants. Dans cette écoute, nous explorerons un sujet un peu délicat avec Hadoop. Ses versions Hello suit la nomenclature de libération standard indiquée dans la forme hors extorsion Wydad Z, où X signifie est baux de compteurs. Pourquoi signifie ses baux mineurs et voir signifie est le point release, ce qui peut corriger certains bogues. La version majeure changeante peut respirer la compatibilité ascendante. Cela signifie qu'il peut s'agir de quelques fonctionnalités qui peuvent être interrompues ou implémentées d'une manière différente dans les prochaines versions. Dans ces cas, le tribunal doit être modifié et recompilé. Par exemple, le froid monté dans son groupe extorquer l'odeur qui peut ne pas être compatible avec notre do fortune Express un point go dot Cette compatibilité de rupture n'est pas certaine mais peut arriver Dans ces cas, nous devons nous référer à un les notes de sortie off express de Helou convo sur Briser la compatibilité entre le mineur sur les libérations ponctuelles, ce qui signifie que le froid, monté dans un ordre d'exhortation de boucle serait compatible avec l'exhorte de libération mineure on ne va pas sur le point extrait de version 1.1 à propos de votre travail est surtout connu pour son. Mon produit sur son système de fichiers distribué est DFS, mais il a une famille de projets autour d'elle, qui fonctionnent bien ensemble. C' est ce qu'on appelle l'écosystème de son groupe. Les autres projets sont grande ruche, chaque gardien de zoo de base, fumées scolaires ex cetera, que nous regarderions leader dans le cours. Ces cadeaux ont leurs propres versions, et une version politique ne serait compatible qu'avec quelques vierges de son groupe. Il devient donc très compliqué de déployer l'écosystème, qui sont compatibles les uns avec les autres. A party Big Top est un projet qui traite du développement sur l'emballage d'un écosystème compatible . C' est là que d'autres vendeurs, comme Laura sur Harden School sur un Parcher. Ce sont des rejets sont plus faciles à comprendre sur notre compatibilité au sein de l'écosystème. Laissez-nous regarder les récentes libérations de son duc, qui sont importants de savoir toujours assez bon Ilha faire ou aller à complexe t commence après cet espoir ne pas orteil a été étendu orteil tot orteil à orteil sur Parlé à un médecin un a changé leur a I est d'augmenter l'efficacité de la programmation sur un point plus tard à trois. Amélioration de l'architecture Pour mettre en œuvre mon runtime de production yon est la filtration de défense et la haute disponibilité. Sous la main Hadoop Dato Dato s'est dirigé vers une libération stable. Don't Toe Dato five, qui a ajouté un couple czart indication que cette version est stable, impopulaire et a été implémentée dans les affaires. Ce point de groupe ou 0.0.2 ou cinq est devenu Hadoop un Dato La version ne fait pas trois n'est pas son orteil duke officiellement encore que je fais cette vidéo, mais il a été spéculé Toby 2.0, il y a même une possibilité qu'il puisse être nommé son Duke 3.0 et dans ce cas qui ne devrait pas trop devenir sont dus à 0.0, Dans cette diapositive, nous allons voir la différence dans les fonctionnalités entre les versions. Pour comprendre ces différences facilement, je dirais, est question toe penser qu'il comme elle ne X pas être une mise en œuvre précoce de sa boucle qui ne pouvait pas accueillir toutes les caractéristiques architecturales du papier Google. Pourquoi pas ? 23 est celui qui est plus proche du papier original de Google. Pensez à la fusion à ne pas faire comme un pont entre les deux qui a amélioré quelques gains d' efficacité de programmation en introduisant de nouveaux yeux AP et donc les fonctionnalités seraient plus faciles à comprendre. Pourquoi ne pas excuser les anciens noms de configuration ? Pourquoi ne pas faire mis à niveau vers de nouveaux noms de configuration et donc Docteur trois. Les anciens noms de configuration sont pris en charge mais sont dupliqués en intérieur sur environ trois. est exactement la même chose avec le FBI. Nous ne sommes pas des excuses. Les yeux LDP, bien que ne pas faire, utilise de nouveaux députés et de la soude. Commencez à trois. Ne pas Toto et pas à trois supporte les vieux yeux AP pour signifier en rétrocompatibilité. Le changement architectural pour se rapprocher du papier Google a été fait pour cartographier réduire le temps d'exécution dans dr trois version tandis que la photo sur un point oeufs fonctionnent sur l'ancien classique My Produce un autre mise à niveau architecturale. Bord d'orteil, DFS. Patricien sur le bord, DFS La haute disponibilité a été faite dans la libération des dents foncées. Hadoop. Un. Pas d'oeufs avaient amélioré l'authentification Kerberos non sécurisé, qui n'est pas dans le médecin pour libérer, mais a été couvert dans DR trois libération. Cela termine cette discussion en ce qui concerne une partie Hadoop libère comme un exercice, je vous suggère de chercher un peu plus sur un projet de grand chien de fête 7. 006 Configurer Hadoop: bienvenue. Voici le Guide vidéo pour mettre en place son Do. Je vais utiliser ce document tout au long de ma vidéo, que vous trouverez dans le matériel de support avec ceci. Écoutez, j'ai fait ce document afin de faire un guide étape par étape sur la façon de regarder. Extradition peut être fait dans cette revue sur juste tomber toutes les étapes dans le document assurant vous livres de coeur. Il y a toujours une possibilité que vous soyez coincé avec un nouveau problème lorsque vous essayez de le faire , car il y a tellement de conditions différentes dans ce cas hors problème que vous recherchez sur Internet pour demander de l' aide et résoudre le problème et porter à partir du point qui vivait dans le document. Bien que j'ai examiné tous les problèmes que je connais en faisant le document, mais il peut y en avoir beaucoup. Donnez-vous un peu de temps si vous commencez avec l'installation en ce moment préoccupé que vous êtes nouveau sur. Si vous êtes malchanceux sur vous, ne soyez coincé nulle part. Il faudrait quelque part 2 à 3 heures pour le mettre en place, alors épargnez un peu de temps. Si vous obtenez des choses, vous pouvez prendre ces deux résultats en fonction du problème. Vous êtes coincé avec c'est commun pour un orteil débutant. Restez coincé pendant des jours avec l'installation. Mais d'une certaine façon, c'est bon que vous pouvez apprendre tant. Ne soyez pas déçu si vous êtes coincé. Mais c'est pourquoi j'ai fait ce document qui devrait vous aider à aller de l'avant et non pas moi. Les erreurs les plus courantes. Donc ici et les jeux sur les composants que j'utilise, je suis en train d'installer. Comment faire 1.2 point un sur aller orteil ? 80 ans, 12 04 et open toe 80 s piste 800.4 serait en cours d'exécution sur une machine virtuelle. Tous les composants ont utilisé notre licence sans licence sauf Windows sur. Je trouve le moyen de créer un groupe cette année. J' ai essayé la cigarette sur les fenêtres et tous les exemples que vous verrez dans le cours serait moi courir sur sa dupe sur Seagram Leader quand un secret installé et a essayé l'âme réelle . En faisant cette vidéo, j'ai rencontré quelques problèmes d'ouverture tels et je suis toujours en train de le résoudre. Donc, c'est à peu près je recommande de courir même faire sur le dessus des fenêtres sur Hadoop sur c'est le moyen le plus simple d'aller de l'avant en cours d'exécution sur minutes vous donne sensation de l'environnement sur une configuration pratique plutôt que Seguin sur Windows. Je recommande donc fortement cette approche. Donc, à ce stade, je recommande de télécharger Oracle Virtual Machine Permanent. Est-ce que j'ai vu que vous avez fait 64 bits Donc l'étape un est d'installer l'article machine virtuelle. J' ai déjà commencé. C' est assez simple. Si vous êtes coincé quelque part, cette recherche d'une solution sur le Net je vais commencer avec vous. Faites l'installation sur le bm. Il suffit de taper. Vous le faites, il le ramasse et puis je suis mort le nom des abeilles que j'ai cogné que je suis prêt à faire du gp. Je serais constamment différent de l'écran court juste pour m'assurer que le document est complet et prêt. Alors Lipiec, où ça va ? J' ai pour le lecteur dynamique sélectionné sur le bosse jusqu'à 20 g b. Ensuite, vous devez aller aux paramètres, puis cliquez sur le stockage, puis ajouter le lecteur de ville qui pointe vers le vous pouvez faire. J' ai vu que vous avez téléchargé ABC suivant qui capture d'écran ont déplacé vers. Ok, c'est là qu'on est. Ok, tout dans les réglages est bon. Je vais cliquer. Okey, je ne commencerai pas le mot « ta machine ». Vous auriez quelques problèmes concernant le clavier et la souris peut causer Il suffit de les lire pour d'informations et de cliquer. OK, ça commencerait. Je vois juste si tout a été montré dans le document. En regardant, c'est le truc. Si vous installez le boss virtuel pour la première fois, cela peut arriver de sorte qu'il a fait tout au long de l'air off Certains aspects, comme le support 64 bits ou les tactiques BD sont un soutien familial. Quelque chose Si oui, cela signifie que la conformation du bios ne supporte pas la machine de fortune à exécuter. Donc, dans ce cas, vous avez juste besoin de faire ces étapes simples. Juste il a démarré un ordinateur sur Go to bios sur Faites les étapes suivantes. Assurez-vous d'écrire ces étapes sur un morceau de papier car vous ne pourrez pas accéder à ce document pendant que vous le ferez ensuite. Si cela ne vous donne pas ce problème ou si vous avez déjà résolu le problème, vous donneriez cette crème aller de l'avant et installer vous êtes allé à oui, puis cliquez sur Continuer. Puis vient cet écran Demander à elle est le risque et vous installer vouspour aller de l'avant, cliquez sur continuer sur tout votre leader serait formaté. Juste tuer ce serait juste que c'est et reformer le disque dynamique être localisé. Alors maintenant vous venez à cet écran et civique où vous vivez ici, mettez les lecteurs regardant mon dos un plus complet à mettre dans mon passeport. Ok, maintenant, soyons pour que ça finisse. moment-là, je m'enverrais ce document pour le repas afin que je puisse y accéder lorsque vous alliez en Israël. Cela prendrait un peu de temps à installer, donc je voudrais juste accélérer l'allergie vidéo. Ok, Maintenant, l'installation est terminée sur vous pouvez cliquer sur Redémarrer l'ordinateur. La première chose que je fais est de ne pas regarder le document. Vous pouvez, bien sûr, téléchargé à partir du site. Mais j'ai besoin de partager à travers mon moi. Alors voici mon document. Je vais ouvrir un dôme dedans et le verrouiller à l'orteil du lanceur. Non, je n'aime pas son paquet d'installation Duke d'une fête. J' ai pris mes pas à partir des documentations de Luke lui-même. Donc si vous êtes coincé quelque part, fait référence à cette chose bonne ou stable, Rudi est et ne regarde pas, cherche la. Faire une porte à porte un été télécharger celui qui se termine avec la fille Dieu. Jésus. Donc les prochaines étapes est que faire un dossier ou faire dans le répertoire de base ? Vous pouvez faire le vôtre, mais je vous suggère de distinguer celui-ci afin que le reste du document soit vraiment facile à utiliser. Vous auriez juste besoin de copier et coller la plupart des choses. Nous devrons attendre que ce soit téléchargé. J' ai la vitesse de la vidéo. D' accord. Je me souviens juste que nous avons besoin de ne pas connaître Ricki et J R E aussi, donc je commencerais leur téléchargement aussi. Acceptez le contrat de licence sur le téléchargement de celui se terminant par tar dot TZ pour Lennox 64 bits Suivant téléchargement bgr années. Eh bien, cherchez 64 bits dans le style anglais. Jésus. Et assurez-vous que vous êtes d'accord avec les licences où donc tous ces descendre, porte dessus, et à ce stade, j'ai accéléré la vidéo. Ok, Maintenant, comment les combats d'installation de traction ont été téléchargés ? Maintenant, les prochaines étapes est de copier le tar dot gz cinq orteils, le nouveau pour que nous avons créé Maintenant je me suis déplacé dans ce dossier et je vois le combat de titre maintenant, ce incontestable en utilisant la commande dans le document. Il suffit de le copier et de le coller dans une petite direction. Nous regardons dans le dossier et vous voyez beaucoup de bordereaux à l'intérieur il n'est pas d'obtenir l'étape suivante dans le document. Vous pouvez vérifier si la tâche est déjà installée sur Ubundu. La mienne est une chair et une âme, donc elle ne l'avait pas. Si vous avez quelque chose est apparu dans Java sept sur, vous voulez vous en débarrasser, alors vous pouvez le faire en suivant les commandes que j'ai mentionnées dans le document. Si vous n'avez pas Java et que vous faites un nouveau magasin comme moi, suivez simplement les étapes dans le document. Nous faisons le dossier où nous installerions Java. Il suffit de copier le venu et de le goûter. Ceci mis dans votre mot de passe mélangé est de copier les combats de goudron dans le dossier nouvellement créé. Nous avons déménagé vers le dossier de téléchargement. Donc nous battons pour Jerry Key et Jerry pour qu'ils se mettent à la recherche. D' accord. Maintenant, G. R. est fini. Je viens de copier coller la commande pour déplacer le Grt dans le dossier. Ok, maintenant, meurs. Maintenant. Nous attendrons que le GK se télécharge. D' accord. Maintenant, gvk est presque terminé. La copie originale de la commande Coller pour déplacer les bijoux. Kay. Maintenant, nous devons passer à la copie Java Fuller. Pagé, puis dodgy, fuite, puis non ciblé e r E. Maintenant, nous allons éditer, profil et mettre Java à la maison sur son Lupin, résoudre les rivières là et les ajouter aux parties. - La prochaine, nous faisons les étapes suivantes pour savoir récemment où nous avons stocké java. Vous pouvez couper le café les commandes. Si vous avez la même version générale sur Java pliée que j'ai créée, ce n'est pas le cas. Vous pouvez l'éditer sur un bloc-notes, puis les trouver un par un. Aller à la 2ème 1 Nous serions juste Il correspond au profil pour prendre en charge les changements que nous avons fait. Maintenant, John, une version de tiret devrait fonctionner. Nous devrions être capables d'égaler la maison Java. Vraiment ? Et ici, nous voyons. Maintenant passons à la suivante. Passons maintenant à l'étape suivante. Oh, oui. Félicitations. Maintenant, vous avez installé un groupe en standard sur plus. Ce mode est un bon moyen d'apprendre. Vous pouvez faire toute votre programmation est ici dans ce mode sur la programmation de pratique sur pour Duke. Essayons de donner un exemple. Je m'en tiens au document et montre comment il livre donc avec Nikhil directement, abord, et puis je vais exécuter un exemple et l'utiliser livres. Nous regardons juste la sortie. Il mâche qu'il a fonctionné avec succès standard et plus est un bon plus de pratiquer la programmation et apprendre comment faire. Mais dans cette vidéo, je voudrais aller de l'avant et montrer l'installation dans pseudo distribué plus Israël serait que nous avons besoin d' installer message. Une copie est donc une souche. Ok, maintenant nous avons besoin d'éditer les combats de confirmation site école dot xml puis HD de sa vue pas examiner, puis le site important dot xml Et maintenant nous allons changer l'iPhone Hadoop. Enviez votre message qui a toutes les variables environnementales sur sit up job home il. Donc, dans ce combat, il y a un certain nombre d'activités off qui ont eu des agresseurs. Nous venons de mettre dans une partie de la maison Java ici à la maison Java. Très. Mais assurez-vous que le symbole de hachage n'est pas là pour un venir dans la ligne comme l'étape suivante. Nous aurions besoin de configurer votre mot de passe moins en saucisse. Les étapes suivantes sont l'état avec le signal de la documentation Hadoop. Et puis quand vous faites un hôte local de saucisse, il ne devrait pas de vous pour un passeport. Je le fais encore une fois et il ne demande pas de mot de passe. Et donc nous nous rapprochons de faire les choses. Ensuite, nous pour Martin implode, Puis démarrez iPhone. Bien que Kasich, cela commencerait le nom connu, ils ne savaient pas que Second renommer note, puis le cracker blague sur. Enfin, le tracker de basse la dernière exécution Un exemple pour voir s'il a bien mis en place un bean. Et il a donc commencé avec succès. Laissez-moi lancer l'U. Y, où vous pouvez voir si années nom aucune joie sur ce sont des trackers d'emploi. Vous et vous pouvez voir les progrès est où si félicitations. Si vous avez atteint ce point, - nous pouvons imprimer la sortie. - On ferait juste un arrêt. Je peux tous avoir un message J'espère que cette vidéo était dans la hanche. Nous avons besoin de prochain codage heureux 8. 007 conseils et astuces sur les Linux Ubuntu: nous pourrions faire une nouvelle écoute à ce sujet. Écoutez. Partagez quelques trucs et astuces avec vous Si vous êtes un plus grand ou un peu nouveau sur Linux, cela vous aidera à vous promener dans les draps avec un peu plus de facilité et vous fera travailler un peu plus comme un professionnel qu'un amateur. Pour les personnes ayant de l'expérience à Lenox, ce serait élémentaire. Tout d'abord, je commencerais par copier et coller. Dans de nombreuses occasions, vous devrez copier et coller sur le terminal, sorte que vous pouvez utiliser l'insert de contrôle et l'insert de décalage. Par exemple, j'ai ouvert l'éditeur de texte et j'ai tapé. C' est un test sur. Je sélectionnerais ceci sur. Copiez ceci en utilisant le contrôle. Voir noter qu'à l'extérieur de la borne normale contrôle cm. On marchait normalement. Non, je vais aller au terminal et être agité à l'aide d'un insert de changement de vitesse. Je peux copier quelque chose à l'écran aussi. En utilisant le contrôle. Insérer sur un morceau de l'utilisation de l'insert de décalage. Ensuite, truc plus profond que nous discutons est d'utiliser Profile ou Bashar Bashar. Voyez si vous voulez configurer une variable globalement, vous pouvez le faire en la configurant par exemple dans D. profil de barre oblique D. C ou par exemple T. T. C. Slash. Bachar Bashar Voir fournisseurs d'un qui exécute une position sur Logan sur Bachar Bashar. Voir bien. Reprenez les nouvelles modifications à chaque fois que vous fermez et redémarrez le terminal. Parce que la façon dont nous configurons les voisins dans le profil lors de la mise en place d'un nouveau profil barre oblique D C est une commande pour refaire les changements de profil sur rendre les changements plus récents efficaces. Knicks Dipper Trick est d'arrêter l'achèvement. Vous pouvez poursuivre le faire slash D c slash bash point bashar Voir sur vous trouveriez ces lignes. Je les viens sur votre achèvement supérieur serait activé. Alors maintenant je le fais dans une liste. Maintenant, j'en ai un pour aller dans l'espace de travail. Je voudrais juste taper le CD le bleu, puis le caractère supérieur et je n'aurais pas besoin de taper autre chose. Prochaine astuce de déport consiste à effacer l'écran. Je vais utiliser cela nous souvent dans mes leçons vidéo. C' est juste pour appuyer sur le contrôle. L sur l'écran étaient clairs. La prochaine astuce plus profonde consiste à personnaliser une invite de commande. Normalement, je ne préfère pas le faire. Mais si vous le souhaitez, vous pouvez raccourcir l'invite de commande en tapant export, être celui-ci égal faire l'espace dollar et la marque de condition et dans. Et maintenant, la nourriture moulue de commande ressemblait à ceci. Si vous voulez rendre ces modifications permanentes dans les connexions, vous copiez cette ligne dans le profil barre oblique d c. Vous pouvez vous faire votre promesse de commande à coloré et jouer avec elle. Vous pouvez vérifier Internet avec des tas d'idées à ce sujet. Suivant. Quatre astuces, c'est que vous pouvez avoir le commandement à travers les lignes. Par exemple, si vous souhaitez modifier leur profil lors de la saisie. Suji ated slash D c profil slash et urinoirs l'espace. Tu peux retourner sur mon dos, frapper Endor et continuer avec la mise en ligne. Ce serait une leçon continue, et je continuerais à ajouter des conseils et des astuces à cela. Écoute, attendant, si tu trouves une cassette, il est partagé avec tout le monde en tapant, tu ne connaissais pas de questions. Fenêtre. Je suis sûr qu'il y aura beaucoup de bons conseils de vous voir la prochaine écoute 9. 008 commandes de HDFS: Bienvenue dans un nouveau bureau d'écoute HD. Commanche. Dans cette écoute, nous apprendrions sur le SDF est Commanche. D' abord, laissez-nous comprendre le terme loges si c'est froid sur vos yeux. Hruby officiel n'est rien d'autre qu'une interface entre l'utilisateur sur le système de fichiers distribué Hadoop qui est un DFS. Donc, si vous voulez effectuer une action sur sa défense, nous devrions utiliser le responsable Hadoop pour le faire. Une boucle si sa coquille quand il vous prend nos yeux, c'est uniformément. La source identifie comme arguments d'importation. Ressource unifiée Identifier IRS sont des combats partiels dans l'ancienne autorité de schéma de chute sur le schéma réel mais. Pouvez-vous hors types religieux en fonction du système d'incendie auquel il accède il peut être est la défense pour le fichier Saanich défense Local pour les fichiers sur la machine locale. Si BP pour le système d'incendie Bad par serveur FTP, il est également connu comme Hadoop Archive, qui est un système d'incendie superposé sur sa défense et ainsi de suite. Donc, en bref, le groupe peut officiellement accéder aux fichiers à partir de divers systèmes d'incendie et donc schéma I une autorité devrait être mis un appel. Vous regarderiez en profondeur comment faire les yeux de parc plus tard. Mais en ce moment, je veux que vous vous souveniez qu'il y a des fichiers d'archive Hadoop qui sont multiples . Comment les fichiers assemblent-ils sur leur accès d'une manière spéciale comme n'importe quel guide ou fichier zip  ? Mais ceux-ci ne compriment pas le fichier. Ce qu'ils font exactement, c'est ce qui arrivera plus tard. Avoir un imaginerait que les médias de stockage de discours sur n'importe quelle note qui a son groupe installé, a deux mots. L' un est le responsable HD sur un autre est votre système de pompiers local sera dans l'âge DFS plier le schéma que j'ai utilisé sa défense d'âge sur l'autorité est hôte local dans notre schéma de cas sur l'autorité sont des paramètres facultatifs. Si on ne leur donne pas le Defour, il est, euh, ramassé sur elle est mentionné dans Court Side XML. Jetons un coup d'oeil à ce que nous avons dit dans la pseudo distribution plus ici Nous voyons que si sa porte avant le nom du point a été envoyé à HD frisky sur l'hôte local comme autorité, donc ceux-ci seraient Billy Force et alors est une partie qui serait l'emplacement de la directement. Donc, vous êtes un pour un fichier enfant dans un stérile, ressemblerait directement à son dFS deux-points avant slash avant cachette hôte local avant cachette parent avant slash enfant. Dans le système de fichiers local, la colonne que vous arrivez ressemblerait à une colonne PFI, suivie de trois barres obliques vers l'avant sur la pièce. Si vous êtes familier avec les commandes UNIX, sa marche fiscale D ne sera pas nouvelle pour vous. Et dans le cas où vous êtes nouveau aux commandes UNIX, ne vous inquiétez pas. Ils ne sont qu'une poignée, et j'ai joint un document avec cette écoute, qui vous ferait savoir tout à leur sujet. Il serait capable de les comprendre assez facilement. Moteur, aurais-je marqué les commandes avec une étoile afin que vous puissiez spécifiquement vous rappeler au moins ceux hors main car ils sont les plus couramment utilisés. Je viens de démontrer quelques 80 de Mars fiscal, en particulier ceux qui ne sont pas présents dans les systèmes UNIX ou Linux cruciform que je ferais et GPS. Cette commande renvoie toutes les formations des programmes Java. Donc ici, je vois tous les démons ont courir, et donc je ne commence pas tout. S' ils n'auraient pas été en cours d'exécution, je les aurais démarrés avec bin slash start tiret all dot Shh. Aussi une chose intéressante ici pour remarquer que tout l'acte un tracker de travail de nez nommé Lords sont les programmes Java avec les classes moyennes comme ce qui est répertorié ici. Donc la note de nom n'est rien d'autre qu'un programme Java avec le nom de la classe principale. Pas de Libby. Faites d'abord une liste qui consiste à répertorier tous les fichiers qui représentent dans les effets HD. Donc, ce que je fais est de taper bean avant. Cachez son Dube. Si c'est un trait d'union Ellis et puis Indo, il y a quelques choses à noter que vous êtes en avant slash efforts Hadoop serait au début de chaque commande que nous écrivons. Rappelez-vous son Do professe un shell ou une interface entre direct avec afin d'effectuer commandement neuf opérations sur chaque DFS. Aussi important. Et une chose intéressante à noter est que lorsque nous listons les fichiers, les chaussures sont mises similaires à ce que nous voyons dans une liste. Frêne L en lin. Avant d'enregistrer cette vidéo, j'avais déjà créé forcé le répertoire I R sur un fichier, sorte que vous les voyez dans la liste. Si vous observez de près, vous verrez que le répertoire est pour le trait d'union signifie est le feu. Les autres sont les réponses, les contrôles du propriétaire, puis le groupe, puis l'autre. Est-ce que les artistes pour Read the Blues pour droit sur X n'a pas de signification dans les efforts HD. n'y a rien qui soit exsude un projet de loi dans les IFA HD, donc il n'a aucune signification. La deuxième colonne montre le facteur de réplication, donc cela signifie que cette lutte a été stockée avec un comme facteur de réplication. Comme nous l'avons dit, la propriété DFS commencer la réplication orteil un dans sa défense. Je n'examine pas la seconde, et la troisième colonne montre le propriétaire sur le groupe sur la cinquième colonne montre le nombre d'octets qu'il occupe. La septième et la huitième colonne montre la création, date et l'heure, et enfin, elle montre le. Mais ensuite, je vais supprimer le fichier par commande étant en avant. Cachez sa dupe si son trait d'union est lui sur le nom du combat. Donc, la finale est supprimée. Vous observez que nous n'avons pas renvoyé explicitement l'intégralité que vous êtes comme une fouille HD par défaut sur l'autorité hôte locale a été reprise. Pas d'orteil détruit Ellis sur le système de fichiers local, en boucle avant Slash Duke. Si cela, il énumère tiré et le stand Stashes. Donc, dans ce cas, il manquerait des fichiers complets et des répertoires dans l'avis du système de salle. Regardez ce qui se trouve dans le répertoire de base. C' est écrit NJ Paris. Ecoute, qu'est-ce qu'il y a dedans ? Donc, au moins répondre à des documents en cas de blessure. Ensuite, il est créé. Si je suis dans le système de fichiers local et que je copie vers DFS âge, je vais aller à la maison. J' ai besoin de cette trouvaille que j'ai créée sur toi. Maintenant, je vais créer un fichier de plus et vous laisser le nommer si j'ai été ici. Vous êtes tous des rock stars maintenant je vais encore Guinn Ellis. Ici, nous voyons ce dossier à l'auberge. Personne de type à être groupe barre oblique avant si c'est copie de la maison locale NJ Fine sur, qui serait la destination PFI initialement si elle est dans ce, observez de près que vous verrez que nous n'avons pas spécifié le complet vos yeux. Pourtant, cette copie de livres à partir de la commande locale supposent start Le dernier argument serait en HD si un endroit sur tous les précédents ferait référence au système d'incendie local et donc cette commande fonctionne . Et c'est la différence entre la copie de la commande locale sur la commande get qui sont similaires dans toutes ses broches. Juste une copie de local implique que tous les arguments, à l'exception du dernier, sont d'un de Lucques. Système fin. Ainsi, vous pouvez copier plusieurs combattants utilisaient cette commande. Non, il le fait. C' est ce que nous voyons notre beau printemps, l'amende. Et ici, vous verrez le message retaper. Donc, la copie a parfaitement fonctionné. Non, il essaie de faire l'inverse de ce dernier radical P ce cinq fromages DFS dans le système de pompiers local. Donc, nous avons utilisé avant cacher sa copie dupe fs à local dans un nouveau nom de recherche H Fred. Aucun de ce chèque si nous avons reçu le dossier de son duc So v c h amende. Et son groupe dit que vous êtes des rock stars. S' il vous plaît, jouez un peu. Les commandes du document. Ce serait assez simple. Maintenant, il suffit d'observer de près comment et où vous mentionner. Nos yeux et tout serait plus simple. Voir, dans la leçon suivante 10. 009 Running un programme MapRed: Bienvenue à une nouvelle écoute. Ce n'est pas vous apprendrez à compiler et à exécuter un nouveau programme. Nous travaillerions sur Ubundu, ce qui signifie labeur dans R B M. D'abord vous téléchargez l'Eclipse il une recherche Google sur le téléchargement Eclipse et cliquez sur la boisson Foods. Ensuite, nous cliquerions sur le lien Lennox pour 64 bits, puis la prochaine chose et ensuite nous sauverions les combats. Le téléchargement prendrait un certain temps, donc je transmets la vidéo maintenant. La configuration du clip a été téléchargée. Je vais juste à la section de téléchargement copiée sur la pâtisserie dans le dossier Accueil. Maintenant, je vais extraire l'Eclipse Yousef en cliquant avec le bouton droit de la souris sur vous extraire. Maintenant, nous voyons le dossier Eclipse dans le répertoire de base. Ensuite, je vais aller à l'intérieur et cliquer sur Eclipse Item. Cela lancerait les clips I d. Ensuite, nous obtiendrons cette fenêtre pop-up demandant la création sur cet espace de livre. Respectez la valeur par défaut sur Lukoki. Ils ne vont pas au fichier nouveau et cliquez sur le projet Java. Je vais nommer mon projet. Lubick grimmage sur le clic sur la finition. Maintenant, j'ai téléchargé le code source dans un dossier, vous pouvez le télécharger à partir du site afin que je dormirais ces esquiver Autres programmes seraient Condor jama ne peut pas le mapper ou Java à bord , ne peut pas le réduire ou Java et copier coller votre dans le dossier, que nous avons créé tout à l'heure. Je vais aller la voir faire des expériences sur, puis m'approvisionner plus loin. Donc non, dans mon éclipse, je vois le refroidisseur source. Je verrais juste fissurée. Et maintenant, sous le paquet par défaut, je vois toute l'école source Java, que j'ai copié en ce moment. Vous verrez beaucoup d'erreurs sur ces programmes car nous n'avons pas inclus les paquets do dans une grande partie. Donc, pour effacer les daters, vous avez juste besoin de faire un clic droit sur le projet sont en raison grande dépense mensch dans ce cas. Ensuite, allez dans les propriétés, puis allez dans les grandes parties Java. Ensuite, celle de la bibliothèque. Ensuite, cliquez sur Ajouter des villageois supplémentaires, puis allez dans son dossier racine et cliquez sur elle. N' appelez notre travail comme OK, et alors vous verrez que le noyau de groupe de pots externes a été inclus. Cliquez sur OK sur toutes vos oreilles disparaîtraient. L' étape suivante consiste à créer un combat de travail à nouveau. Nous ferions un clic droit sur un projet pour vous, puis allez à l'option d'exportation sur puis. Sous Java, vous verrez l'option de fichier jar, Siddiq. Que et prendre sur la prochaine été pousse à travers le pot. Je mettrais le combat de travail dans l'été lui-même plié. Vous pouvez, bien sûr, sélectionner n'importe quelle pièce. Alors j'ai tapé. Le nom compterait sur. Cliquez sur. OK, puis cliquez sur Terminer, puis regardons le combat du travail. Je suis en ce moment dans l'être plus complet lui-même où j'ai créé le feu de travail. Donc je faisais juste une liste ici. Reçu un travail de condo mot que vous venez de faire en cet honneur son système de fichiers do ils ont reçu dans feu que j'avais créé qui trouve ceci avant cette vidéo. Je vais juste mettre le contenu de ce fichier, donc et donc ici vous voyez la sortie. Donc, étant dans ce dossier où se trouve le fichier jar, j'exécuterais le travail de commande déposé en utilisant la commande que notre nouveau jod conduirait. John continuerait et voterait All pourrait être le répertoire de sortie et serait le fichier d'entrée . Vous en apprendrez plus tard dans le cours, et le programme devrait s'exécuter comme vous le voyez à l'écran. Maintenant, nous faisions une liste sur le nouveau système d'incendie et voir si le système a été créé automatiquement ou non. Ils reçoivent l'arbre de l'Outback. Et maintenant laissez-nous juste faire une écoute. L' ABC tous les fichiers associés le combat, commençant par la partie contient la sortie. Laissez-nous ce fichier et imprimer le contenu du fichier. Et donc ici, nous voyons le haut. Cela va avec la voiture, tous les détails sur la façon dont ce processus complet a été fait. Qu' est-ce qui s'opposait au programme sur Quelle est la sortie sur la façon dont il a traité et comment augmenter l'efficacité de celui-ci. Tout sera couvert dans le cours. Donc, si vous êtes capable d'exécuter le programme, c'est génial. Vous avez calculé la partie difficile de ce cours. Tout après cela va être plus simple et mon cœur, son Congrès rations pour finir la partie difficile. se voit dans la classe suivante. 11. 010 de concepts HDFS: Bienvenue dans les nouveaux concepts d'écoute HD FX dans cette section. Nous allons regarder en profondeur environ 80 si c'est commencer par les pavillons de dôme utilisés en HD. S' il s'agit d'un d, un bureau est un système de fichiers distribué. Cela signifie que les combats sont stockés sur un cluster d'ordinateurs et pas seulement sur un seul. Le plaisir n'est rien, mais plusieurs rochers réunis sur une seule piste est rien, mais beaucoup d'ordinateurs mis en place, qui sont individuellement tonalité. Dernières notes In Easy. Ce sont les nœuds, qui stockent les données sont connus comme l'a fait Donald. Ils agissent en tant que courtier ou Steve Notes Name Node, qui est le nœud maître, est responsable de la gestion des démarreurs d'incendie contestés dans l'héritage du cluster . Assimilation sur la façon dont le fichier est stocké dans chaque DFS. Pfizer s'est divisé en plus petites chances. Également connu sous le nom de blocs. Ces blocs sont ensuite répliqués. Dans ce cas, ils sont répliqués par un facteur de trois, qui est un facteur de multiplication par défaut Office DFS. Ces blocs sont alors contestés. Tout le cluster de ce processus hors réplication sur la distribution est géré par nom. Note. Note de nom garde une trace du système de fichiers complet sur les emplacements de bloc si vous remarquez la distribution faite par nom Node est intelligemment fait afin de fournir des Brésiliens. Si un échec se produit dans ce cas, supposons que si l'on a fait une note se sent nom, note serait toujours capable de mettre en place le fichier complet à l'aide de réplicas. Si supposons une face de roche complète même alors nom, personne ne serait en mesure de mettre le fichier ensemble. Nous apprendrons plus tard. Quelles considérations ? Le nom ne prend pas pour contester les cinq blocs. Laissez-nous comprendre les idées derrière sa défense est DFS est conçu pour gérer de grands combats centaines de jeebies et de téléviseurs et plus encore. Leader Access n'est pas rapide avec des lectures et des écritures aléatoires. Il est suivi que les modèles d'accès de leader sur les bons et lire plusieurs fois est le meilleur Donc pour l'analyse de l'acte. Sa défense est conçue pour utiliser du matériel de base, mais ce n'est certainement pas du matériel bon marché. Une unité typique coûterait environ un K 25 k qui serait disponible auprès de nombreux fournisseurs. Les installations typiques de nos GM over peuvent prendre jusqu'à 50 dépenses clés sur le matériel lui-même, ce qui a une limite supérieure de traitement. Mais cela aussi, signifie que les pannes matérielles ne seraient pas un cas de spécialité, mais dans nominé les effets. À mesure que la taille du cluster augmente à des milliers de nœuds, pannes matérielles peuvent survenir tous les deux jours ou se produire tous les autres. Lorsque nous étudions les concepts HD FX, nous constatons qu'il est tout aussi important d'en apprendre davantage sur les scénarios de défaillance que d' étudier les dérives de traitement stables. Me fait regarder ce qui est DFS n'est pas conçu pour faire. Il n'est pas conçu pour une lecture rapide des données. Il ne peut pas fonctionner aussi bien. Base de données DP Pour cela, nous avons vraiment besoin de RD. Bemis, au moins dans le scénario actuel, est Eva aussi ne fonctionne pas bien avec beaucoup de petits combats. A voir si elle ne prend pas en charge les modifications arbitraires déposées également. Seul upend est pris en charge. Laissez-nous comprendre le plus important pour orteil nominal toute structure de fichier qui est. Il bloque les tailles de blocs, une quantité minimale de données qui peuvent être lues ou écrites dans un système d'incendie. Mais le dimensionnement des blocs Hadoop est un peu différent. abord, il est grand, alors qu'il est commun orteil ont une taille de bloc de 51 orteil sur un support de stockage. C' est la quatrième taille. 64 MBI dans l'âge DFS qui est 1 28 fois petit. Deuxièmement, si vous trouvez un stocké dans son DFS est plus petit que cela est la taille du bloc de bureau que seule la quantité de taille qui est nécessaire est votre vie et non le bloc complet. Il y a une raison pour une grande taille de bloc que nous avions discuté plus tôt comment le temps de recherche devient un fond, assez traiter de grands combats. Donc, l'idée est de garder le temps de mer autour d'une personne hors raid de transfert afin de considérer 100 Mbps transférés et 10 millisecondes comme frais supplémentaires voir le temps supplémentaire. La taille du bloc devrait être 64 Emmy permet de garder le temps Sikh autour d'une personne hors du temps de transfert. Dans la section suivante, nous apprendrions en profondeur environ 80 de son architecture. 12. 011 de l'architecture HDFS: mais je fais Vous écoutez Dans l'écoute précédente, nous avons étudié la HD de ses blocs dans. Ce n'est pas vraiment plonger profondément dans son architecture de défense. Ses COV de défense sur les architectures de manchon monstre. Le nœud de nom est un nœud maître. Sur les notes de données sont les notes vocales. Cela signifie que la note de nom serait responsable de toute la gestion de l'histoire. espace sur les notes de données sur l'annonce Did ferait le travail de base réel sur le stockage des blocs de données . Nilou remplit une fonction de garder une trace de l'ensemble du système de fichiers en gérant deux choses. Prénom, image de l' espace et deuxième édition Logs, Names fait face à la Rita du milieu sur les combats sur Die Crease, qui sont stockés dans l'âge DFS. Il contient des données sur tous les blocs auxquels les mouches sont associées et sur les annales végétales, il récite Eric Log n'est rien d'autre que les activités de déconnexion en HD. Si c'est effectué par le client et qu'il a perdu, il suffit de continuer à s'empiler et de grandir au fur et à mesure que l'activité sur sa défense continue à se produire. Donc, parmi les deux diplo est celui qui continue à croître à un rythme plus rapide. Ces deux combinent forment l'image complète du système de fichiers donnant des détails sur tous les combats et bloquer la défense Saanich. L' information de bloc est un plaidé par le nom Seigneur, comme lorsque les notes de données ont rejoint le réseau. Cela signifie que dès qu'il a fait qu'aucun démarrage et se connecter au réseau, il leur enverrait savoir que les informations sur les blocs qu'il a sur ce nom mettrait à niveau l'image de l'espace de nom avec les données. Les journaux Eric et l'espace de nom sont maintenus dans le nœud de nom de la mémoire principale. Cela aide à nommer pas trop rapidement. Recherchez les blocs au besoin. Non. Jetons un coup d'oeil au cas où le nom ne se sent pas comme vous pouvez donner le système de fichiers concurrent irait vers le bas serait indisponible comme image d'espace de nom complet sur les informations de bloc de données est perdu Pour cette raison. Notification de nom Également appelé point de défaillance unique. C' est une image de vague. DFS. C' est pourquoi il est important pour le nom. Non pour être résilient aux pannes matérielles sur il est fortement conseillé de dépenser plus sur les notes de nom . matériel encore, avec des défaillances matérielles mises à niveau, peut arriver à contrer ces situations. Édition résidente de chute est faite. L' image de l'espace de nom sur chaque sabots est transférée sur une télécommande hautement disponible au cours du premier mois par nom, ni de temps en temps. En outre, deuxième note de nom est également ajoutée. Ne le confondez pas pour être comme un autre nœud de nom. Ceci est considéré comme l'un des fondateurs de son duc. Deuxièmement, Nom ? Non. Ça ne fonctionne pas comme moi. Non, c'est méchant et le seul but est de combiner l'image de l'espace de nom sur 80 sabots, pour que ce nom me connaisse. La mémoire ne se remplit pas à cause de l'augmentation constante des journaux Eric. Deuxièmement, Noms Note. Aussi créer des points stricts sur le nom, l'image de l'espace et tous les plans beaucoup ensemble sur les droits à un combat, ce nom de hanches Non pour libérer la mémoire moyenne occupée par la perte d'édition jusqu'à ce que le point de dernière astuce point sur. C' est le seul but de prendre le nom. Aucune note de deuxième lecture n'est un programme Java, qui combine juste la perte idiot et l'espace de nom et crée un point de contrôle. C' est ça. Cette opération de combinaison des journaux idiots et de la face nommée est elle-même complexe et intensive en CPU et en mémoire. Donc, deuxièmement, name Node doit fonctionner sur une bonne configuration matérielle, car le travail de combiner la perte aride sur l'espace de nom nécessite de bonnes ressources informatiques. À ce stade, je veux juste vous rappeler que le nœud de nom et d'autre part les notes de nom ne sont rien d'autre que des programmes Java qui fonctionnent avec des classes moyennes comme Name Lord et d'autre part, name ? Non. Ainsi, en cas d'échec du nœud de nom, l'administrateur Hadoop doit démarrer un nouveau nom. Note. C' est le cas sur. Laissez-le là. versions antérieures d'une dupe sont passées à trois. Release et CDH quatre ont des fonctionnalités de haute disponibilité disponibles en eux. Dans ces cas, cette situation est un peu améliorée. Nous les examinerons plus tard dans le cours. Donc, dans les versions précédentes à son Docteur Duke trois sur au cas où hors CD s trois en cas d' échec hors nom Lord Administrator aurait à mettre en place une autre machine comme nom No. Cette machine devait être hors bonne configuration en tant que configuration système de nœud de nom aussi élevée. Donc, dans ce cas, le plus souvent dans une petite machine en cluster qui exécutait la seconde, le nœud de nom est utilisé pour reconfigurer comme un nouveau nom Non à nouveau. S' il vous plaît, ne confondez pas ça. Il l'est. Deuxièmement, la fonction de notes de nom Toe Takeover a finalement nommé Seigneur. Ce n'est pas seulement que la machine, qui a exécuté la note de deuxième nom, est le plus souvent le meilleur choix pour la nouvelle note de nom en cas d'échec. Ainsi, en cas d'échec, les dernières informations du montage NFS sont récupérées manuellement par l'administrateur sur la machine, ce qui prendrait le relais en tant que nouvelle note de nom sur la machine est alors reconfigurée en tant que note de nom . Ce processus peut prendre environ 30 minutes pour revenir à la ligne droite de l'écurie. Suivant. Regardons les lignes directrices pour les notes de nom Mémoire moyenne que la taille de Lester augmente le nombre de stockage à proximité. Ce nom n'a pas à s'en occuper. Augmente également. Vraiment. Le bloc de l'école de contes consommerait une certaine quantité de nom me connaît la mémoire. Il est donc important pour le nom ni d'avoir assez de mémoire moyenne pour qu'il puisse correctement. L' homme est le pool de blocs de données. En règle générale, Tom 1000 Personnes 1 000 000 histoires, Bronx est recommandé. Prenons un exemple au large de 100 nord, grappe avec disque B défectueux et laissons la taille du bloc être de 64 m v. Ensuite, le nombre de livres d'histoires serait de deux millions. Cela signifie nom no devrait avoir autour de la nourriture ZB hors de moi la mémoire dans la prochaine fois sont les quelques points clés des deux dernières leçons. Paix Pause la vidéo, si vous voulez plus de temps pour lire. 13. 012 HDFS len llire et l'émail: Bienvenue à une nouvelle écoute dans ce. Écoute, nous regarderions derrière la scène pour savoir ce qui se passe quand tu lis jusqu'à l'âge. DFS Laissez-nous forcer plonger profondément en HD. Si c'est le bon processus, est-il si son client est un GM qui doit fonctionner sur le nœud, qui interagit avec le bureau HD ? Non, cette réplication fille DFS est une propriété qui contient le facteur de réplication hors des blocs que cette propriété peut parce qu'à mes yeux à toute configuration dans l'ambiance de pseudo distribution hors déploiement sur H DFS, il est remplacé et dit que personne dans le site de tiret DFS âge du fichier de configuration, pas XML, mais avant que sa valeur soit trois. Donc, comme une première étape, Klein communiquerait pour nommer connu qu'il veut droit dans son DFS. À ce stade, le nom effectuerait diverses vérifications sur la demande, comme si le fichier existe ou non, sont comme si le client a des niveaux d'autorisation corrects ou ne pas effectuer l'activité. Si tout va bien, nom noeud reviendrait à 80 bureau Klein, avec la liste des notes à copier à ce stade, Klein Foot se connecter à l'ancien Dayton forcé et lui a demandé de former un pipeline aux données suivantes notes. Les notes de données reconnaîtraient qu'ils copiaient avec succès les blocs, étapes 34 et cinq seraient répétées jusqu'à ce que le dossier entier soit écrit sur sa défense. Après cela, la ligne se terminerait par un message d'achèvement. En cas d'échec du nœud de données. L' Iranien enneigé échappé sur des blocs serait retourné sur le nom des notes restantes ne serait pas observer. L' application sous arrangerait pour l'auteur de la réplication sous les blocs répliqués, semble se produire lorsqu'il s'agit de plusieurs échecs de noeud. Les données doivent être renvoyées à au moins une note sous. Les bûches répliquées seraient prises en charge par le nom de Seigneur. Voyons maintenant comment les nœuds de données sont sélectionnés par leur nom. Seigneur. Si le nœud client lui-même fait partie du nom du cluster, nœud considère qu'il est le premier endroit connu où la réplication doit se produire. Si ce n'est pas la partie du cluster, tout connu dans le cluster est choisi. En gardant à l'esprit le nord n'est pas occupé sont chargés. La deuxième note est choisie sur le rack car le 1er 1 a été choisi le 3ème 1 est choisi pour être sur le même rack que le 2ème 1 Cela forme le pipeline. Maintenant, regardons la simulation ivre, que nous avons vu dans l'écoute précoce. Le fichier est divisé en blocs, puis répliqué puis distribué dans le système de combat . Maintenant, si vous observez si un hors du nœud, ce qui a même chuté sent qu'il ya toujours tous les blocs du fichier disponibles. défaillance de l'herbe multiple est la plupart des CS un et moins probable de se produire. En outre, il convient de noter que toute la précision hors sélection et la réplication se produit derrière le rideau sur le développeur. All Climbed n'a pas besoin de s'inquiéter de ce qui se passe en arrière-plan avant de voir comment cela se passe. Voyons comment les distances calculées dans chacun est votre visage. Dans un réseau distribué, bande passante est un produit rare. Par conséquent, la distance idéale est basée sur le bloc bandit pour être la nourriture sur le même noeud de données est dit avoir zéro distance si les sites bloquants sur une date différente, un vieux mais sur le même dos, la distance serait comptée pour savoir si le bloc récite sur un nœud sur une piste différente. La distance est considérée comme avant. Et enfin, si un bloc récite sur un nœud dans un centre de données différent, la distance est prise à six et ce ne sont que des cas possibles. Maintenant, regardons l'anatomique libéré pour le facile. Si son client envoie une requête au noeud de nom dans le noeud de réponse, le noeud de données renferme les noeuds de données contenant les premiers blocs. nœud Name renvoie la liste à partir du nœud le plus proche contenant ce bloc. Faire la nourriture ist afin que le client se connecte à la première note sur Lire les blocs un par un . Regardons à nouveau les cas de sentiment qui peuvent se produire tout en lisant qu'ils peuvent être à des échecs. Tout d'abord, le leader bloque son courant. Dans ce cas, le nœud de données suivant contenant le bloc est contacté. Deuxièmement. Si le mec qu'ils ne connaissent pas lui-même se sent petit CD sept craintes pendant que le bloc B était lu, alors la note suivante de la liste serait contacté. Dans ce cas, grimpez la nourriture. Notez que le sept concerne le nœud de données et ne le considérera pas plus tard. S' il apparaît dans une autre liste, veuillez passer en revue les points clés pour cela. Écouter 14. 013 de concepts HDFS II: Bienvenue à une nouvelle écoute sur HD de ses concepts dans ce Listen, nous examinerons les nouvelles fonctionnalités ajoutées dans sa version trois Duke Doctor qui est H DFS Federation sur la haute disponibilité. Commençons par HD de sa fédération. Cette fonctionnalité est ajoutée afin d'équilibrer la charge sur le nœud de nom à mesure que la taille la plus proche augmente. Voyons cela avec un exemple. Disons qu'il y a une structure d'arborescence de répertoire grossier sur. En dessous il y a deux dossiers pour celui sur pour les deux et supposons qu'il y a beaucoup de fichiers sous elle. À mesure que la taille plus proche augmente, la note de nom doit stocker plus d'informations relatives aux tracés dans sa mémoire moyenne. Donc, pour un cluster avec des notes de nombre élevé dans la plage de 2000 notes de nom, la mémoire devient un facteur limitant pour Skilling. Sous fédération, un nouveau nom Newt peut être ajouté sur les restructurations déposées sur le dock pull peut être divisé entre les nœuds de nom. Cette note de nom de l'Est doit gérer uniquement le pool hors blocs auquel il est associé et non la traction complète cette réduction de la charge sur un nom Seigneur il faut observer que les mêmes données ne peuvent pas être associées à différents nœuds de nom en même temps. Et l'échec d'un nom non n'affectera pas cet autre nœud de nom. Par exemple, si le nom No. Deux fois, les dossiers de Fort d'un seraient encore accessibles. Examinons simplement les points clés dont nous avons discuté. C' est différentes adresses de réfrigération. La limitation du nom Nords Memory à l'évolutivité. Note du soir serait responsable du volume d'espace de nom sur un pool de blocs. Les notes de dissuasion peuvent être associées à mon nom différent. Notes. Nom. George ne communiquera pas entre eux en cas d'échec. L' un affecterait l'autre. Examinons la prochaine fonctionnalité. Haute disponibilité. Cette fonctionnalité est d'aborder le temps pris pour revenir à la rue stable dans les rois hors nom, pas l'échec, pas l'échec, comme nous l'avons déjà vu, que le nœud de nom est un seul point de défaillance sur il prend environ 30 minutes de temps de repos revenir dans la rue de l'écurie après son échec. Donc, pour répondre à cette anémone est toujours en cours d'exécution en veille. Le mini nœud principal comprendre par son nom ni partager les noms de la pièce qu'il verrouille là où il est hautement disponible et si son support de stockage dans les prochaines versions, zookeeper sera utilisé pour passer du primaire à ce stand par un. Dans cette configuration, les nœuds de données sont configurés pour envoyer des rapports aux deux notes de nom. Dans ce cas, si le nom principal n'échoue pas, la veille peut prendre le relais très rapidement. En pratique, cela prend environ quelques minutes pour ce sentiment, pour que la transition se produise dans cette configuration, il est important que la façon de l'orteil veille confirme que le primaire a baissé. Ils peuvent être une situation où le primaire n'aurait pas été complètement en panne, mais juste un peu lent à répondre. Dans ce cas, il peut y avoir des notes de famille trop actives, et cela coûtait la corruption et le chaos. Donc, pour éviter un tel scénario, les clôtures de nœud de réserve. Le nœud principal lorsqu'il prend en charge la clôture signifie que la veille tuerait le processus connu de nom , révoquerait l'accès partagé et désactiverait le pied de lit net du nœud finally précédent. Dans certaines situations, il va dans une mesure qu'il a été arrêté précédemment nœud de nom actif de l'alimentation elle-même. Ceci est souvent appelé nous étourdir il tirer sur l'autre noeud dans la tête. Comme vous pouvez l'imaginer nommer ce nœud de secours évaluant Henry nommé Lord aurait bean apt . Mais il y a une erreur de nommage qui s'est produite. Cela termine notre discussion sur la haute disponibilité pour une révision rapide des points clés sur la légère positivité de la paix, vous savez ? 15. 014 Commandes spéciales: Bonjour et bienvenue à l'écoute ici. Nous discuterions de certains de la HD spéciale si ce sont des commandes que nous n'avons pas discutées jusqu' à présent dans le cours. abord, nous regardons chacun sont également connus comme ses archives de groupe, comme nous avons déjà discuté que beaucoup de petits fichiers n'est pas un bon cas pour les effets HD, principalement parce qu'il sauf le nom me note mémoire. Bien qu'il soit à comprendre que les petits combats ne prennent pas réellement la taille complète du bloc sur le bureau, qui est, si un fichier est debout être sur les tailles de bloc 64 nb, alors le feu occuperait juste l'ennemi hors l'espace de stockage. Donc, le problème avec le petit fichier est qu'il occupe le nom. Les notes signifient la mémoire que le nom n'a pas à maintenir le lecteur de compteur. Pour chaque fichier, plus d'une question de fice serait le modérateur, dont le nom connu doit prendre soin de sorte que la mémoire principale des notes de nom devient un facteur limitatif. Hello archive est un outil qui aide dans de telles situations. En plus de ce groupe, les fichiers d'archive peuvent être utilisés comme entrée à la matière Ces programmes ainsi. Voyons un exemple de pour les archives de boucle et de comprendre comment vieux livres. Juste avant d'enregistrer cette vidéo, j'ai créé ce petit dossier de combat sur mon système local dans le dossier d'accueil. En cela, j'ai créé deux documents. Tu te bats, ça ira. Je fais juste un GPS pour vérifier. Tout fonctionne ou pas. Oui, tout va bientôt tourner. J' insiste. Copie cette structure de fichier en HD. S' il utilise la copie de commande de local No, je fais une liste pour voir si les combats ont été créés. Donc là, nous voyons le répertoire. Personne n'archive cette restructuration finale. Donc la commune, c'est elle. Dube, notre trait d'union de vie. Nom archivé sur à ce point bien caché là-dedans et là nous obtenons cet index de cette commande. Donc, le Sendek dit que la commande est le nom d'archive tiret d'archive suivi du nom off . Le fichier HR, suivi de l'iPhone être suivi de la partie parent tombée par la source sur puis la destination. Donc, je tape son tiret d'archive de groupe, nom d'archive. Ils ont gagné le fichier Hadoop Archive pour être déposé un point h un r. Il sait qu'ici nous avons besoin de HR est une extension qui indique comment les combats Guy bar ? Ceux-ci sont traités différemment. Ceux-ci sont lus et écrits d'une manière différente comme nous le verrons pour les différencier. Nous utilisons l'extension de point HR Le trait d'union P sur la partie parent serait une barre oblique des blessures barre oblique puis suivie par le nom de la structure de répertoire qui doit être archivée, puis suivie de la partie de destination, qui, qui serait slash utilisateur blessures slash slash slash que j'appuie terminé à ce stade sur le programme de libération de la carte serait impliqué. Je vais à nouveau faire une analyse sur son système de fichiers do et voir si le fichier d'archive de groupe a été créé ou non. Donc c'est comme ça que je trouve que je fais une liste sur elle. Faites notre dossier de gars. Ainsi, comme vous pouvez le voir, il y a quatre incendies qui ont été créés pour et comment faire sur les coups de feu d'abord. Alors que le succès qui marque l'achèvement réussi commande souvent archiver, le puissant est celui qui a tous les pays hors de tous les combats concaténation ensemble. L' index Doing Next Files sur les index du concurrent de l'index maître utilisé pour rechercher le contenu qu'il effectue. Ellis récursif sur notre nouveau parc I fichier dans, notre producteur mettra H A schéma r afin de spécifier comment l'archive Loop a été lue. Donc, il s'affiche si je suis classé. Le signe de forage sont les fichiers temporaires qui ont été créés lorsque nous avons copié la structure du petit répertoire d'incendie à partir du système d'incendie local. Ils ont été créés parce que nous les avions ouverts en texture. Ditto. Ensuite, nous comprenons les limitations de Lubar gars combat d'abord vous créez un fichier d'archive, vous avez besoin autant que cet espace que l'original. Ses archives de groupe ne prennent actuellement pas en charge la compression, donc c'est comme un combat en double. Deuxièmement, ses archives en dupe sont immuables. Vous l'êtes ? Retirez les feux de son archive de boucle. Vous devez recréer les archives dites si vous atteignez les limites des notes de nom, la mémoire en utilisant dans la fédération DFS vous donnera une meilleure portée en matière d'évolutivité, puis en utilisant ses archives dupe. Ensuite, nous regardons une autre commande. Cette commande CP Cette commande est utilisée pour copier les fichiers du système de fichiers 100 vers un autre. Le processus d'adaptation se fait de manière parallèle. Cet index de ce CPI est comme suit Helou, ce CP suivant ce serait le dossier source sur Après cela, ils seraient la destination pour le nœud besoin un. Et ils savent pour spécifier le nom des Lords sur les différents âges DFS déployés. Cette commande est généralement utilisée lorsque vous utilisez la fédération DFS âge sur votre cluster et que vous avez deux ou plusieurs notes de nom sur le même cluster, et que vous souhaitez copier d'un pouce DFS à un autre. J' ai volé. Sœurs, écoutez à ce stade, à la prochaine leçon. 16. 015 MapReduce Introduction: Bienvenue dans l'un d'eux. Vous écoutez de cette section, vous pouvez regarder le sujet de rappel le plus important. avis de Napoli. Nous allons commencer par regarder le dôme Nagy's que j'utilise dans mon produit d'abord est que la rue Spirit n'est rien d'autre que le correctif morceau de données qui donc comme entrée dans ma maison ce veulent vous rappeler que les blocs et les esprits sont deux concepts différents. Il ne s'inquiétait pas que les lois soient 80e réponse malade et appartiennent à la HD de ce monde, et les esprits appartenaient à la démocratisation. Pour les notes sur cette taille modeste et les données stockées en HD, AFIS et broche sont les données qui sont entrées pour les travaux de mars. Les processus Mathayus affichent et produisent une sortie dans le diagramme ont montré que la sortie de la carte est plus petite que la taille d'entrée de la carte. C' est un genre et un bon cas, mais je ne veux pas souffrir de sorte que c'est une restriction. Il peut également être égal ou même plus grand que la science d'entrée. Mais ce n'est pas une bonne affaire. Ce serait des avantages si elle est aussi petite que possible. Vous voyez, chef, chef, pourquoi chose civile hors des valeurs de la carte. Le problème est divisé en deux forces océaniques ma part et la seconde partie. Au lieu de cela, réduire tous mes travaux en cours d'exécution Bannon et produits sont mis. Tous les résultats sont stockés sous attention sur beaucoup ensemble dans un fichier. Il sert d'entrée à l'émission de radio. Le travail de lancement date cette entrée et produit ce résultat. L' exécution de la tâche entière est contrôlée par deux nœuds. Job Packer sur le tracker de basse. Vous pouvez déposer Palin entre l'âge d'or DFS sur l'emploi tracker dans mon produit. Ça pointe vers les détails. Ils vont battre nos grévistes dans le mot japonais comme l'outil ne tient pas. Le leader Nos grévistes courent sur chaque nœud de données, ce placage s'enfuit de Martha sur les traqueurs d'emploi américains réduits John est de gérer le vol ne pour obtenir sur les grévistes passés à ce devoir de tracteurs qui ne courent pas sur des travaux réduits et envoient progression vers le suivi des tâches. Ok, je veux que vous imaginiez la laque jock sur les trackers de gaz comme un job pour les travaux qui fonctionnent sur les machines. Ce n'est pas le matériel. Un autre parallèle entre un DFS et mon travail de police commence. Tirage est cette nuit-là été dans des notes. L' échec est un plus grave HD AFIS lac Voix Ici dans Ma produire mot bon travail craquelins L' échec est le plus facile, que tous les emplois en cours et notre statut de grévistes seraient perdus. C' est pourquoi ce sage de dépenser plus sur le matériel que l'on a arrêté avis de laque. Courir à travers cette allumage à nouveau et essayer de comprendre les frais est dans un peu morbide. L' arme doit amener le problème en deux parties. force est la phase mathématique et la seconde est introduite. Face, mon boulot serait cassé sur le battu Down, qui est situé sur le normatif. Ce principe est connu sous le nom de localité de données. Il est important que les tâches de carte obtiennent leur entrée, qui sont locales. S' ils ne sont pas locaux, ils seraient nécessaires pour être pêchés à partir du réseau, et donc agence chef de file serait ajouté dans le réseau je vais sur la performance avec la cupidité donc valeur optimale. tailles hors rue sont égales à la taille du bloc car une loi complète sera présente sur une note. Cette chaque carte aurait expliqué situé sur le stockage lui-même et ainsi parle le bloc égal . Puis la carte. US effectuerait son processus et écrirait la sortie sur la liste locale et non sur sa défense avec des répliques. Il est à noter que la carte notre code, est écrit sur le Lupul. Ceci, étant donné qu'il s'agit d'un résultat intermédiaire, a aucune importance après le calcul du résultat final. Par conséquent, il est stocké seulement jusqu'au moment où la réduction qu'il a ramassé sur le traitement avec succès. Cela peut arriver, sorte que va réduire et ils se sentent sur. Dans ce cas, Job Tracker, on les utiliserait ? Oh, bien. Donc, le suivi des emplois nettoie les cartes sur ne pouvait qu'après l'achèvement réussi du travail de l'Inde . Il est à noter que les cartes sont mises serait fait à 80 si ce n'est que dans le cas ami , zéro réduit sont spécifiés dans C' , est que les cartes sont mises est le résultat final sur le résultat final doit être stocké sur le bureau des médias comme il en morceaux que les bénéficiaires à la perte en raison de l' insuffisance cardiaque. L' expérience est mélangée et trier toutes les cartes sorties sont fusionnées, triées et partitionnées. Il y a donc trois étapes qui se sont produites. Tout d'abord, c'est le bien qui n'est rien d'autre que combiné. Sortie de toutes les tâches de carte. Le deuxième est l'épée, qui est de trier la carte. Mettez-les sur le partitionnement de la clé et de la police, ce qui signifie que la sortie est divisée en fonction de la valeur de la clé. Puis vient le visage réduit. Comme vous pouvez le voir que le réducteur ne recevra pas les données nucléaires, il serait pêché à partir du Net. Pour la deuxième chose à noter est que le nombre réduit réduit ne sont pas décidés en fonction de la durée de vie de la taille d'entrée. Dans le cas de cartes hors carte, qui dépend de l'entrée, taille et la taille de la propagation, le nombre de off dans les producteurs sont décidés indépendamment réduit notre groupe est retourné à HD si c'est avec réplication pour la responsabilité après une long processus, les résultats ne peuvent être perdus en raison d'une insuffisance cardiaque. Donc là, se promener sur une défense, qui est plus d'insuline aux pannes matérielles. Si c'est un peu trop de dis-se détendre. Nous allons manquer de travail de mappeur forcé et les choses seraient beaucoup plus ici. Alors 17. 016 Comprendre MapReduce 16e Partie 1: Bonjour et bienvenue à une nouvelle écoute à ce sujet. Entraîner mon mécanisme de production à ce sujet. Écoutez, nous comprendrions comment la carte fonctionne divers sur la façon de briser un problème dans Douma Pretty Solution. Dans la carte Buda est divisé un pied divisé confinement dans les tribunaux. Chaque enregistrement passerait par la même carte. Opération une par une fonction de carte a entrée sous la forme de clés et de valeurs sur la sortie sous la forme de clés et de valeurs. Israël au moment de la contribution. Son groupe fournit la clé qui est unique à chaque disque. C' est par la morsure du fort off set depuis le début du combat, il peut s'agir d'un numéro record ou d'un numéro de ligne. Programme d'Israël. Il a un certain contrôle sur les clés d'entrée, que nous apprendrions à propos de leader dans le cours. Mon processus est des clés et des valeurs l'une après l'autre pour produire 01 ou plus ou mettre des paires de valeurs clés . Donc, l'important est que les paires mathématiques, nourriture ou cookie et valeur qu'il sait que ces paires clé et valeur seraient les mêmes dans le cas où, avant vadrouille, il est utilisé, qui est également connu sous le nom de carte d'identité, qui ne Rien que des copies. Les paires clé et valeur de l'importation s'ouvrent sans traitement entre une autre chose à remarquer. Violer entrée à dysfonctionnement ont généralement une facilité unique. La sortie de la carte aurait généralement connu vous Nicki. Nous concevions le dysfonctionnement. Donc, cela serait utile pour le leader américain dans le visage réduit parce que, eh bien, trier les données sur la base de Keys sur aimerait rencontrer sens off les valeurs avec les mêmes clés. Donc, l'idée principale de la fonction de carte est de diviser la clé d'entrée dans les clés sur les valeurs telle sorte que les valeurs, lorsqu'elles sont assemblées pour la même clé, commencent à avoir du sens. Eh bien, je comprends ce leader dans la simulation, alors passons de l'avant avec la simulation afin que l'entrée entière soit traitée sur la sortie serait créée. La sortie de la carte serait chauffée et triée sur la base des touches. Donc maintenant toutes les valeurs de la même clé mis ensemble. Maintenant, ces valeurs s'estompent pour le producteur. La sortie de valeur de clé intermédiaire serait créée par mes différentes cartes. Il est essentiel pour le framework my produce qu'un réducteur particulier obtienne toutes les valeurs pour une clé particulière, alors nous ne serons pas en mesure de donner un sens à aucune valeur. Ce mécanisme unique de tri des données et d'envoi de données sur le réseau est géré par son groupe lui-même. Le programmeur n'a besoin de rien programmer pour cela. C' est une beauté hors de mon cadre de police. Je veux que vous remarquiez ici que l'entrée de réduction est sous la forme off key sur liste off valeurs associées à la clé et pas seulement la valeur. Paire des valeurs Muite pour la clé. Je ne suis pas triée. Ils sont pris de tant de nous cartographiés et sont assemblés. Cartes me terminer à différents moments de sorte que le qui serait recueilli au hasard. Donc, tout le monde hors du travail peut déserter dans une séquence différente de valeurs pour la clé. La séquence de valeurs n'est pas importante ici. La fonction réduite est la carte pour chaque clé sur la fonction de réduction traite chaque valeur un par un pour chaque clé sur le communiqué de presse Mr Fane et peut choisir de notre mettre 01 ou plusieurs réparations TV. Veuillez noter que le producteur ou le producteur différé serait trié car il reçoit l'importation de la manière du sergent. Voyons maintenant. Comment a-t-il composé un problème dans une carte ? Jolie solution. L' astuce BC est de procéder à l'ingénierie inverse pour identifier comment la sortie finale devrait être. Ensuite, vous devriez être en mesure de savoir comment ils entrent pour réduire Il devrait être, ce qui à son tour vous aiderait à trouver la clé. L' identification de la clé résout la moitié du problème. Ensuite, vous pouvez trouver comment les données d'entrée doivent être brisées en clé et valeur par carte et juste trouver une solution. Alors maintenant, je vous donne un défi à résoudre. Nous regardons un monde bonjour égalant exemple dans sa dupe. Le travail sur le problème dans ce. Si votre travail est des amis avec la ligne d'être ou de ne pas être, votre travail devrait le transformer en mot par les occurrences off word dans l'enregistrement. Donc, la sortie ici est de venir comme ils travaillent à apparaît deux fois dans l'entrée sur être orteil commun , comme être apparaît deux fois dans l'entrée et ainsi de suite. Il s'agit d'une technique courante que les moteurs de recherche ont appliqué au contenu hors du site Web pour trouver les mots-clés pertinents pour le site Web. Les mots les plus verts sont considérés comme des mots-clés revivre sur le site Web. Donc, le prochain défi ici est de savoir comment votre carte devrait apporter l'enregistrement d'importation deux clés sur les valeurs afin que le réducteur sera en mesure de produire la sortie comme indiqué dans la prochaine conférence vraiment discuter de la solution. 18. 017 Comprendre MapReduce 2e partie: bonjour et bienvenue dans ce. Écoutez, nous allons discuter de la solution du problème de défi dont nous avons parlé dans la précédente Écoutez, si vous n'avez pas pris le temps de trouver la solution, je vous suggère de réfléchir fermement sur quelle solution devrait l'être. Cela vous aiderait à comprendre les concepts sur la conception de mon livre d'ami de la police dans un peu d'un Donc, dans mon dossier d'entrée reçu, on sort pour être tous de ne pas être que vous voulez signifie les agents de morsure, qui est fourni par un groupe. Donc, ce que le rythme de cartographie fera est qu'il organiserait leur ligne d'entrée en mots et pour chaque mot, émet un monde commun comme une paire de valeur clé Donc bon serait de venir un devenir une toute virgule on ne vient pas un 12 virgule je serai en cours. On signifierait que le monde a été incompétent Une fois que cela sera trié sur la base clé C'est mot dans ce cas. Donc maintenant, il est et les valeurs arènes eux-mêmes dans l'ordre alphabétique pour réduire le traitement, la paire de valeur clé serait changée en clé sur la liste des valeurs Donc maintenant il ressemblerait à quelque chose comme ceci. Maintenant, vous pouvez voir que le monde a une princesse qui le tombe. L' étape de saut et de tri, qui est fournie par son groupe, a rassemblé les clés de leurs valeurs. Les valeurs réunies ont donc commencé à avoir besoin de sens. Alors maintenant, ils réduisent. Il appellerait la méthode reduce. Une fois partie sur la méthode, vous pouvez échanger sur les valeurs de chaque clé et la résumer pour produire le résultat. vous plaît sachez que chaque fois que vous verrez la même structure hors du producteur, il aurait l'initialisation ordonnée par rations hors valeurs A avec une clé. Et la fonction se termine par la clé maladroite et la valeur que nous pouvons concevoir réducteur pour émettre 01 ou plus valeur clé fonctionne pour chaque fois qu'il est appelé pour un T. Regardons à nouveau et voyons à travers l'assimilation comment cela ressemblerait dans le cas de nombreuses cartes en disant Palin. Considérons le cas de deux cartes en cours d'exécution en parallèle sur avoir entrée comme un pour être notre et puis ne pas être avec une fin sur les décalages de morsure depuis le début de la lutte S'il vous plaît noter que dans le monde réel, il y aurait beaucoup de cartes sur les importations serait énorme. Quelle ville vous êtes aux réunions. C' est une simulation. Donc, nous parlons de très petites entrées pour comprendre les concepts que nous avons déjà vu ma nourriture pour organiser l'enregistrement de ligne vers une image une comme valeur, la sortie serait demandé Truman. Ce serait le plus et commencé. Ceux-ci seraient introduits dans le producteur pour produire les maladroits. Le pouvoir du nihilisme peut et doit également être exploité à des frais réduits. Jetons un coup d'oeil à une affaire. C' est des producteurs. Dans ce cas, l'apport du producteur serait le partage, en gardant deux choses à l'esprit que la valeur de toutes les clés revient au même producteur . La deuxième distribution est presque égale. Donc maintenant, les réducteurs produiraient le désert comme il a montré qu'un seul réducteur sort seul combat commencé. Pourquoi les réducteurs sur les met à des combats triés individuellement ? Une autre chose que je veux que vous remarquiez est que le monde soit a été traité à différentes fonctions de carte. Pourtant ce processus par le même producteur pour produire le désert. Cela n'a été possible qu'à cause de l'étape de saut et de tri entre les deux. Ceci est essentiel à toute solution de carte vraiment. Il est important de comprendre que les clés sont traitées de manière distribuée en maths. Face on à des frais réduits est rassemblé de sorte que le croisement de toutes les valeurs à une clé particulière peut être fait par le même réducteur. Et tout cela est possible à cause des pas de berger et de tri. Si vous pouvez comprendre ce concept sur, amener le problème à écrire l'algorithme de carte sur l'algorithme de libération, alors vous pouvez concevoir mes solutions de production. Les produits Mark peuvent être retournés dans de nombreuses langues. Dans ce cours, vous avez été vu généralement des exemples Java. Mais le point est de comprendre ce concert et vous serez en mesure d'appliquer orteil n'importe quel langage en Java, nous devrions écrire trois classes première classe de mathématiques, ce qui aurait des cartes aide hors logique Deuxième classe de réduction, ce qui aurait réduit la programmation du site. Logic deux est le moteur du programme, que nous contrôlons et décidons de la configuration sur la façon dont le travail lirait et écrirait les données. La distribution côté fonction de la cour avec plusieurs machines de sorte que la carte obtient le plus tard me regarder sur la carte de notre pays. C' est exact ? Réduire la machine avec le mélange et commencer à marcher entre. Ceci est toujours pris en charge par son groupe lui-même sur le programme seulement pas appelé quoi que ce soit pour cela . C' est ce qui vous rend spécial Dans la prochaine écoute, regardons les programmes Java et voyons comment il livre. 19. 018 Running le premier programme MapReduce: Bienvenue à la nouvelle écoute dans l'écoute précédente, nous discutons de l'algorithme sur la logique du programme, et ici nous avons discuté du code réel du programme. Commençons par la classe de carte qui fonctionne sur le mappeur. Il commence par les instructions d'importation. Ces traitements repoussant les importations importent des types de données spécifiques au groupe pour la clé et la valeur dans sa boucle. Les types de données clés et de valeur ne peuvent être que des types spécifiques à son groupe et sont conçus sur mesure pour ses systèmes de boucle. Quel était le besoin invitant ? On a utilisé les types de travail déjà en prison. Folke et Value seraient compris plus tard dans le cours pour ne pas seulement comprendre que long roudeable est quelque chose de similaire à Long Feel, qui est utilisé pour prendre soin d'un long nombre et prend est quelque chose de similaire à la chaîne en Java, qui est utilisé pour transporter la séquence de caractères. At Incredible est un type de données similaire à Indy GIA en Java. Ensuite, chaque classe de carte étendrait ma classe supérieure, et nous allons lire la fonction de carte cette année sont les paramètres de type qui spécifient les types de données Hudood . Cela aurait une clé d'entrée sur les types de données de valeur d'entrée, que Hadoop fournit pour mapper, suivie de notre clé de mise sur les types de données de valeur. Donc, ici, les types de données pour la clé d'entrée sont longtemps crédibles sur l'entrée. La valeur est du texte. Andi aujourd'hui pour tous bookie est fixé à la date de leader pour la valeur de sortie est incroyable. Nous déclarons les deux craintes que nous exigeons dans la logique de traitement dont nous avons besoin pour écrire le dysfonctionnement. Ma fonction a les paramètres en tant que clé d'entrée sur la valeur sur le contexte. Le plus grand type off clé d'entrée sur la valeur devrait maîtriser de tout mentionner une règle de périmètre de cravate de contexte est de lancer toute paire de clé et de valeur après que c'est la logique de traitement ma fonction. Nous n'avons pas belle chaîne dans les mots et l'écrire dans le contexte avec un ski sur un comme valeur que nous avions discuté plus tôt dans le jardin. Donc, l'idée est de comprendre la structure de base hors classe mark et donc vous pouvez personnaliser la même chose pour une logique différente et tout serait facile. premier point est de déclarer les paramètres de type qui sont les types de données, les valeurs de clé d'entrée et de sortie off. La deuxième est de lire la fonction de carte Avec la logique de traitement dont vous avez besoin, assurez-vous que les 2 premiers paramètres sont les valeurs clés d'entrée, et leurs types de données doivent correspondre à une déclaration des paramètres de noeud papillon. Troisièmement, c'est d'écrire la logique dont vous avez besoin à la fin avec le contexte. Très bien, métal pour écrire la clé de sortie et la paire de valeur. Ensuite, regardons la sortie de la classe. Si vous avez l'équipe moyenne hors de la sortie de classe de maths, il serait plus facile de relier la dernière fois. Orteil. Chaque classe réduire a besoin d'échanger réduire l'excédent chute. Ce seraient les paramètres de type, qui spécifieraient les types de données spécifiques de production pour la clé d'entrée sur la valeur, suivi par le lecteur types de tous les cookies et la valeur. Ensuite, nous devons écrire la fonction de réduction. Les caractères à réduire la fonction sont la clé, suivie des valeurs de champ d'étiquette hors valeurs. Comme nous l'avons discuté plus tôt. L' importation pour réduire la fonction est clé et liste de valeurs. Et donc ici, vous voyez que les valeurs sont spécifiées, comme en elle de sensation capable. Le Pounder Tour. Réduire la fonction est le contexte qui recueille toutes les paires perky et valeur pour Bagdad est la logique que nous avons déjà discutée. Je veux que vous sachiez cela dans la logique de traitement pour presque toutes les solutions. Vous aurez exactement la même boucle, qu'elle évalue, ou les valeurs. Dans ce cas. Nous ajoutons simplement les valeurs dans le champ. Et après que toutes les valeurs de la fertilité ont été traitées, nous avons tous mis la clé en valeur. pairs à travers le contexte ne sont pas le bon métal. Donc, à certaines augmentations structure de la classe de réducteur, que vous pouvez appliquer à n'importe quelle solution. Tout d'abord, nous spécifions les types de données spécifiques à Hadoop pour la valeur de clé d'entrée sur les valeurs de clé de sortie. vous plaît noter qu'il est important que les types de données une clé d'entrée et la valeur hors du réducteur doivent maîtriser ou mettre clé en valeur hors de la fonction de carte. Deuxièmement, nous devons remplacer cette fonction de réduction. Les 2 premiers paramètres sont la clé d'entrée sur la valeur, et le 3ème 1 est le contexte. Il est important que les types de données mentionnés à propos de ne pas mourir ni l'un ni l'autre leader. Mention dans la fonction Pourrions-nous juste besoin d'initialiser correctement et de changer la logique dans les quatre boucles selon la dissolution et utiliser le contexte ou le trait metal à Wright points toe ou mettre la clé dans la paire de valeur suivante, ils regardent simplement le classe de pilote. La structure et le flux de la classe de pilote sont absolument simples. Si vous comprenez la classe de travail et sa fonction, vous pouvez imaginer l'objet Job comme un tableau de bord avec des délivre pour contrôler l'exécution hors du travail. Et l'idée de la classe de pilote est d'envoyer les paramètres de travail afin que son Duke puisse le prendre à partir de ce point et exsuder le travail comme spécifié par le programmeur. Et vous verrez que c'est ce que nous faisons dans toute la classe de conducteurs. Nous avons d'abord déclaré l'objet de travail. Ensuite, nous utiliserions le même métal de classe Bajor et nous avons passé le nom de la classe de pilote . Cela avait identifié l'amende de travail. Quand il est distribué dans le cluster, ils ont décidé le nom du travail, qui sera visible sur les États-Unis. Ils ont dit de la carte, une classe sur la réduction de classe, en contournant les noms hors de la classe de carte sur la classe réduite, nous avons juste conçu. Enfin, nous avons mis en place la valeur de clé de sortie types plus tard en utilisant la méthode, ladite classe de clé de sortie et ladite classe de valeur de sortie. Maintenant, tout cela mettre la clé et la valeur signifient le type de données de valeur de clé de sortie hors du travail voir le faire signifie que le type de données de sortie hors paire de valeur de clé du réducteur, donc nous devons nous assurer que ces valeurs sur celle que nous avons déclarée dans la classe de producteur devrait être le même. Ils ont utilisé l'entrée de combat en métal, ancien point ajouté par pot et sur une bonne partie à notre entrée et des combats ouverts pour un travail. Ce serait possible arguments en ligne de commande travail point blé pour condition est le métal, ce qui déclenche effectivement la soumission du travail à une dupe. Et c'est tout ce dont un programmeur a besoin. Soupe pourrait si vous remarquez qu'il n'y a rien qu'un programmeur a besoin de faire pour distribuer cela sur le cluster et gérer la sortie d'entrée réseau. Tout est géré par son groupe, et c'est ce qui la rend spéciale. Une autre chose merveilleuse est que cette cour est évolutive. Si cela fonctionne sur une seule machine, il peut être effrayé à des milliers hors machine sans changer hors ligne dans la cour. Non, il essaie d'exécuter ce programme, qui est fondamentalement exactement le même que nous l'avons fait dans l'écoute difficile de compiler et d'exécuter un programme que nous avons fait dans la section mise en place d'un groupe que je vais d'abord créer le travail se battre pour que je vais aller à ses expériences de boucle alors droit ? Cliquez dessus, allez à l'exportation, puis cliquez sur les fichiers jar. Et ils savent ensuite que le nom est déjà présent. Et donc je vais cliquer sur la fin. Je voudrais que le travail se bat. Maintenant, à ce stade, je suis déjà dans le dossier bin où j'ai créé le combat. Alors je fais Ellis ? Cela montre le monde Condor. John, combattez. Laisse-moi juste faire une liste de son nouveau système de pompiers. Assurez-vous que vous avez lancé l'iPhone, message All Lord et tous vos démons sont en cours d'exécution avant de le faire. Donc, ici, nous voyons les combats internes, que nous avons déjà créé dans l'écoute, compilation et l'exécution d'un programme. Peut-être juste faire un dieu pour ce combat. Donc, il a du contenu pour être ou ne pas être remarqué programme Runner sur ce. Donc, pour ça, je tape dans son nouveau bocal. Enfin, les combats d'entrée et de sortie de classe pilote. Donc ici, ce serait son nouveau travail conduirait le travail. Est-ce que Dieu oui, à propos d'un. J' ai menti. Sortie comme un comme le banditisme est déjà présent. Il a reçu la fuite du programme. Maintenant, il fait à nouveau une liste sur le nouveau système d'incendie et ils reçoivent le répertoire ouvert. Laissez-nous faire Ellis sur le répertoire ouvert, et ils ont reçu à part bien, qui contient la sortie. C' est Dieu que et là vous voyez le dessert final. Pour l'instant, je vous suggère d'expérimenter un peu l'entrée du programme et de voir comment le résultat change. 20. 019 Combiner et les outils le lun de l'en les: Bienvenue à une nouvelle écoute dans ce. Écoutez, nous apprenons à combiner des fonctions sur faire un peu d'amélioration dans notre classe de pilote, que nous avons écrit dans la précédente. Écoutez, regardons à nouveau la solution, dont nous avons discuté dans la précédente écoute avec simulation hors cartes parallèles en cours d'exécution. Laissez Martin obtenir des commentaires. Un venu, Toby ou pas Toby et la deuxième carte nous font montrer après avoir été faux à la carte. Ils produiraient leurs produits respectifs. Lorsque cela est rempli dans une fonction combinée, il produirait nos marchandises a montré qu'il est recommandé d'utiliser la fonction combinée dans votre solution. Si c'est possible, la fonction de combiner ER est de traiter la carte ou mettre localement afin qu'ils soient moins déserts à transférer pour la réduire. Donc, dans ce cas, ce que nous pouvons faire est que nous pouvons ajouter les occurrences des mots sur les machines de carte localement, ce qui peut réduire la sortie de la carte. Et donc vous verrez que la fonction combinée a compressé la carte une fois réservée dans cet exemple, le second commandant n'a pas eu les mots répétés et n'a donc pas réduit la sortie. Ainsi, nous pouvons voir avec cet exemple que l'idée derrière l'étape de la combinaison est de réduire le Seigneur sur un bien précieux dans son nouveau traitement. C' est, c'est un bandit nécessaire Tout ça. Il est recommandé d'avoir le moins de sorties cartographiques possible afin qu'il soit plus facile de transférer la sortie des cartes. Dans ce cas, le commandant ne fait rien d'autre que la même chose qui faisait dans le visage réduit. Il additionne toutes les valeurs des clés, juste qu'il effectue la même chose localement sur la machine de carte sur le réducteur l'applique aux données globales, qui sont collectées à partir de différentes cartes. Mais c'est allumé. Les étapes sont les mêmes que nous l'avons vu toute l'année. La moissonneuse-batteuse est horrible serait triée, chauffée sur la partition et alimentée au producteur, qui traite et produit le haut. Examinons les points clés avec les mineurs CA. Si vous écrivez des classes combinant, elles échangent la classe de réducteur. Lorsque vous réfléchissez, combiner er er réducteurs, qui se produisent localement sur mes machines, Donc la structure du programme vice il exactement la même chose sur la libération prolongée une classe comme les producteurs font. La combinaison est logique construire et introduire la matière exactement de la même manière que nous avons discuté pour la réduction croisée recherche point clé est que ceux-ci ne peuvent être appliqués que dans le cas est avec la nature du problème est la communauté sur associative. C' est juste une façon compliquée de dire que l'opération effectuée par la combinaison er ne doit pas dépendre de l'ordre des valeurs qui sont traitées pour combiner une opération. Laissez-moi vous expliquer ça. abord, je vais parler de l'association sur la perte communicative. Commis de la loi est un s'il vous plaît être. Ça va être Percy ? Cela signifie que nous pouvons arrêter les opérations tout en obtenant le même résultat de la même opération. Le droit associatif est un lieu plus profond. Tu vois, avec un endroit plus grand ensemble serait égal à un plus B plus C avec les gens voir groupe ensemble. Cela signifie que même si le regroupement de Prince a changé, le résultat est le même. La raison pour laquelle nous avons besoin de ces lois pour s'appliquer est parce que la combinaison de l'étape Candra plus d'une fois sur la sortie des cartes. Nous apprendrions ce jour indépendant plus tard, mais le point clé est que la caméra des mineurs et plusieurs fois afin de réduire les cartes ouvertes au cas où les lecteurs de la manière dont les valeurs sont traitées est souvent aléatoire, Donc, l'opération réalisée en combinant et avoir les mêmes valeurs dans un ordre différent avec tout le monde. Ce changement dans l'ordre ne devrait pas changer le bois ou le désert. Et donc la moissonneuse-batteuse et la fonction devraient avoir l'opération qui pour ces lois associatives et communicatives, ce que nous obtiendrions les résultats les plus pluvieux. Dans notre cas, l'opération est éteinte. Ajout simple et donc c'est bien. Quelque chose qui rend admis signifierait une pour cette règle. Troisièmement et le point le plus important est que la mise en œuvre de combiner er er réduit le transfert des données entre les cartes et les réducteurs. C' est l'idée sous-jacente la plus importante de combiner. Si Combined ne fait pas ça,ça ne sert à rien. Si Combined ne fait pas ça, Voyons un programme qui implémente combiner notre fonction sur Dans le même temps, nous apprendrions un nouveau et mieux être de mettre en œuvre notre classe de pilote. Tout d'abord, asseoir notre fonction combinée est aussi simple que d'écrire une seule ligne. Bien sûr, étaient la classe mineure positive au travail de fonction, Dot a dit, Combinant classe, nous réutiliserions réduire une classe dans le programme car il effectue la même fonction donc Si vous voulez utiliser votre combinant classe, vous avez juste besoin d'écrire la logique de traitement dans une classe sur Passer à travers le travail est tombé malade. Combinez-le. Dernière fonction. Le maintien de la classe combinant serait étendu, Vous avez dit Classe sur sera cool de la même manière que la classe réduite comme nous l'avons discuté dans l'écoute précédente. Maintenant, nous regardons un autre changement que nous avons fait au trimestre dans le pilote précédent. De plus, nous avions retourné notre logique dans la fonction principale. Entendre, entendre, classe configurée étendue sur l'interface de l'outil implémenté Dans la fonction moyenne que nous venons utiliser pour apprendre la fonction de regard de l'objet Iran, qui a toute la logique exactement de la même manière. Ce que cela fait est qu'il donne une beauté à définir des propriétés à leur propre moment, et nous n'avons pas besoin d'écrire un seul œil de froid 200 eux. J' ai expliqué cela avec un exemple de leader. Tout d'abord, essayons d'exécuter ce programme de la manière habituelle. J' exporterais juste le travail. Très bien. Je ferais ce que j'ai fait. La première chose que je fais est de vérifier si tous les démons ont fui. Je fais ça par GPS. Dans ce cas, tous sont en cours d'exécution. Si ce n'est pas le cas, vous pouvez commencer avec un trait d'union d'étoile. Bien qu'une commande de recherche me permette de faire moins sur son nouveau système de pompiers, j'aurais juste le feu en ce moment. Donc il n'a que 19 Nous ne devons pas être. Je vous suggère de mettre plus de lignes dans le fichier et d'essayer d'expérimenter un peu. Quand tu auras fini ça. Écoute, je suis dans l'être plus complet lui-même où j'ai exporté le fichier jar. Laisse-moi le faire. Une liste sur le système d'incendie local afin de vérifier si le meilleur là-bas. Ok, c'est là. Maintenant, je dirige le programme avec Come sur son nouveau job. Eh bien, pot de condo puis la fonction conducteur, qui est conflit mondial. Combiner er puis dans et je vais faire dehors et dehors un sont déjà présents. Donc, je choisis surpasser directement. Ils reçoivent le programme en cours d'exécution. Il fait une liste sur elle. Ne trouvez le système pour voir si l'ouverture a été créée directement. Non, il fait une écoute sur le territoire. Donc, nous voyons la partie. Si je me laisse juste l'avoir. Donc il y a le désert maintenant Voyons voir la magie à courir sont stockés cour. Maintenant, je dirige le même programme et j'ai mis en place le travail pour fonctionner avec tout le producteur. Pas seulement après que j'ai mentionné la confiance du pilote, je vais faire un tiret capital D espace Matthew fille utilisé amarré US égal à zéro, puis donner le combat sur dogmatiquement Si vous remarquez que nous n'avons pas besoin exclusivement cool pour remettre ce périmètre que nous ont utilisé pour exécuter un objet autour de la cour, nous pouvons entendre spécifier autant de propriétés que nous sommes nés avec un trait d'union D, suivi par le nom de la propriété en tournée serait capable de le gérer. Commençons par Inder le travail s'exécute à la fin avec réduit comme 0%. Voyons si sur l'arbre que Dieu a créé il y a Lacey convaincre sur trois. Donc là, nous voyons le fichier de pièce avec lui, ce qui indique un balai un combat que votre utilisateur me trouverait toujours avoir sont là. Nous avons le combat de la partie et là nous voyons la sortie. Ici, nous obtenons à voir la sortie de la carte exactement la même que nous avons eu des mois de simulation de discussion Maintenant, je suggère que vous êtes quelques lignes à entrer et jouer avec les propriétés telles que Sitting A produit deux à tous les ensembles de cartes à faire sur la recherche zéro et C deux cartes, sortie et ainsi de suite. 21. 020 Recap Map, de la réduction et du combineur partie 1: ils peuvent faire dans votre dressing sur un résumé rapide sur la carte. Réduire les mineurs à revenu dans ce. Écoutez, vous faites un résumé rapide sur les choses que nous avons appris le premier est un jury, que nous devons garder à l'esprit lors de la conception d'une solution dans la prochaine leçon fera un résumé sur le terrain. Ce que nous avons appris qu'aucune première chose que nous devons garder à l'esprit lors de la conception d'une carte de la solution est de diviser la solution en deux faces la face mathématique sur le visage réduit. Il faut toujours se rappeler que l'entrée de prise en bouche sous forme de fractionnement, qui aurait plusieurs enregistrements pour chaque fonction de carte de ligne d'enregistrement serait appelée. Il casserait la ligne d'enregistrement d'entrée en clés et valeurs. Nous devrions concevoir intelligemment et serrer la logique de sorte qu'à un gel réduit lorsque nous regardons les valeurs de la même clé, nous puissions atteindre l'objectif que nous voulions réaliser avec l' exécution hors du travail. La prochaine chose à noter est que l'entrée au réducteur est sous la forme off key et la liste des valeurs et le résultat est dans la forme off pair off keys et les valeurs. En outre, nous devons garder à l'esprit que la logique de carte peut être exécutée sur une autre machine et réduire sur une autre machine sur le réseau. Ce transfert des clés et des valeurs de toutes les machines de carte vers les machines de réduction est pris en charge par son groupe lui-même. Nous n'avons pas besoin d'écrire quoi que ce soit pour la programmation. Nous avons juste besoin de concevoir intelligemment la logique de carte sur la logique réduite, qui transforme l'enregistrement en clés et valeurs, pièces de rechange et toutes les valeurs de la même clé de notre processus et de réduire les façons de produire le résultat. L' ensemble du processus de transfert intelligent des données est géré par groupe, et cela se fait par des étapes de saut, de tri et de partition. Nous apprenons des détails sur ces étapes plus tard dans le cours qu'ils apprennent sur les mineurs CA . L' idée des mineurs est simplement que son seul objectif est de réduire la sortie de la carte afin qu' il y ait moins de quantité de sortie hors carte à transférer pour la réduire dans des emplois qui produisent une grande quantité de leader. Cette étape est essentielle à l'efficacité du rendement en dehors du travail. S' il y a beaucoup de sortie mathématique qui doit être transféré à la machine de réduction. Il est une bonne idée de concevoir une combinaison de notre fonction, ce qui réduit la sortie de la carte. Sur ce point, il y a moins de quantité de données à transférer. Les inconvénients auront entrée sous la forme de clés sur la liste des valeurs et sont mis dans la forme hors clé et valeur ours. Encore une fois. Laissez-nous passer par une simulation sur la façon dont les choses ressemblent à mes produits. Et là, nous pourrions aussi jeter un coup d'œil sur ce que nous allons apprendre dans les étapes de leader de ce cours. Tout d'abord, ma nourriture dans la plupart des cas obtenir leur apport. Spect localement. Rappelez-vous que son duc fait de son mieux pour localiser les étoiles de carte sur les machines où ils désespérés est présent localement. Ce serait une possibilité toujours, mais comment faire pour faire de son mieux pour le faire ? Cet endroit est traité par carte Logique à produire sont conservés Haruf Sorts et groupes Cette carte sont tirés par clé et me programmation ni appelé quoi que ce soit pour ce Maintenant. Dans le cas où il y a une conception de fonction combinée que cette carte, sortie serait adaptée à combiner une fonction. Rappelez-vous que la carte sont mis peut passer par la combinaison er plusieurs fois et donc la nature hors opération effectuée par combiner er er sur les données serait une opération associative et communicative par mon sur la police traitée à combiner et demander plusieurs fois détaillée compréhension que nous ferions plus tard dans le cours. Cette combinaison produit le désert de sortie et son idée est de réduire la taille de la sortie de la carte d'origine . Cette carte sont bonnes, a plusieurs partitions. Les partitions ne sont rien d'autre que la partie des données qui doit aller au même réducteur. Ces partitions sont effectuées par la fonction de partition. Nous le ferions, comme nous apprenons en effet est sur la fonction de partition et comment pouvons-nous l'utiliser dans nos cas de solution Ce sont partitionnement et la combinaison se fait sur les machines de carte localement comme ceci nous mappé Il y a beaucoup nous mappés qui seraient s'exécutant sur le réseau. Ces politiciens sont envoyés à leurs producteurs respectifs par son groupe à nouveau programme anin sont appelés quoi que ce soit pour cela sur la machine à réduire Do combine toutes les partitions et les aliments dans le plus cinq au producteur à la sortie effectue son orteil logique tout mis dessert Donc je serais à nouveau vous traiter les choses que nous avons couvert un long dans les forces de cours commencent Nous devons seulement concevoir la logique de la carte sous réduit Rajic en fonction du cas, la combinaison d'une logique le tri des données et le transfert de données est tout pris en charge par son groupe lui-même sur. Nous n'avons pas besoin de nous en inquiéter. Deuxièmement, il n'est pas obligatoire mais serait génial si nous concevons une fonction de combinaison qui a l'idée réduire la sortie de la carte afin qu'il y ait moins tard Toby envoyé à travers le Net book No. chose la plus importante à noter est que la fonction mineure se comporte comme des réducteurs car elle a des clés d'entrée sur la liste des valeurs et tout comme le producteur, elle met la clé dans les paires de valeurs . Ainsi, les mineurs et les réductions ont hérité de cette classe de producteurs par programme, mais il faut bien comprendre qu'ils sont logiquement très différents. Bien qu'il arrive dans de nombreuses situations où nous pouvons être utilisés pour réduire une classe en tant que classe de combinaison. Mais ce n'est pas toujours vrai, comme nous pouvons le voir dans ce diagramme, l'ensemble et le seul objectif de la combinaison est de réduire la quantité hors carte sortie sur l' objectif du réducteur est de trouver le sens logique derrière la clé sur ses valeurs, qui nous aidera à atteindre le résultat final. Donc, ils sont sens logique et importance sur les étapes où, exécutés sur leurs objectifs de conception, sont beaucoup différents les uns des autres et ne doivent jamais être confondus les uns avec les autres. Ensuite, nous avons appris que le partitionnement de Davis qui se produit en raison de la fonction de partition. partitionnement est une étape dans mon orteil d'utilisation de pomme autour des cinq. Quelles données vont à l'initiateur ? Cette même logique pour identifier la partition est appliquée à tous mes poppers individuellement sur les machines de carte, et ces partitions sont ensuite envoyées à leurs réducteurs respectifs. Nous allons apprendre des détails sur les partitions dans les leçons à venir. Les cloisons sont beaucoup d'un combat et de la décoloration pour le réduire à produire. Je le considère réservé. J' espère qu'à la fin de cela, vous devriez être absolument clair sur la règle sur l'importance dans l'ordre de la carte physique combinant le partitionnement sous vous, monsieur, quand vous exsulez un travail aussi, vous auriez obtenu un petite idée. La carte a produit des travaux de printemps sous, nous allons regarder en profondeur quelques étapes comme partition. Euh, leader dans le cours. S' il vous plaît ne rappelez-vous pas que les frais sont sur les ordres qu'ils viennent quand un travail est exécuté dans mon joli livre de cris. Cela vous aiderait à mieux comprendre les frais est et son importance pour la solution dans la prochaine. Écoute, faisons juste un bref résumé du côté cour des choses. 22. 021 Recap Map, de la réduction et du combineur partie 2: bienvenue à la deuxième partie du résumé dans Ce n'est pas vu une partie de ce que nous avons appris maintenant du point de vue de la cour pour écrire un travail, nous avons juste besoin de concevoir et de cordon trois classes d'abord la classe de carte deuxième, la classe réduite sur le troisièmement, la classe des conducteurs. Si vous comprenez l'objectif derrière ces cours, la cour serait religieusement simple à comprendre. Commençons par l'objectif hors carte. Simplement sa fonction est d'apporter l'enregistrement d'entrée en valeur clé. Paires L'objectif de la classe de réducteur est de traiter chaque clé sur ses valeurs associées pour produire la réserve ultime. Dernier est la classe de pilote, comme vous le savez comment faire prend soin de distribuer le code de carte sur le réduire bon sur le programme réseau. Il communique au groupe. Quels sont les fichiers d'entrée ? Qu' est-ce que l'opéra diététique ? Quelle classe est une classe de carte sur laquelle classe est une classe réduite et ainsi de suite en utilisant cette classe de pilote . Donc, toutes ces informations, qui sont liées à l'exécution du travail, sont communiquées par la classe de pilotes. C' est la structure fondamentale, et si vous vous en souvenez, le tribunal est un simple tribunal Java, qui ne devrait pas être très difficile à comprendre. Regardons la cour. Commençons par mon plus maintenant si votre exportation d'emploi serait élémentaire pour vous. Cette écoute spécialement conçu pour quelqu'un lié Lee nouveau à Java. Chaque classe de carte hérite de classe de mappeur classe mathématique est spécifiquement conçue pour son groupe. Peut-être hérité de cette classe. Nous allons écrire la fonction de carte, qui a toute la logique de la carte. L' idée fondamentale est que vous sachiez déjà où la logique de carte définie par l'utilisateur existe pour l'appeler. Il a juste besoin d'appeler la fonction de carte. Il aide une boucle à distribuer et exécuter les États-Unis mappés de manière distribuée. Ensuite, la logique de carte est conçue 200 types différents hors faire des types plus grands, que nous étudierons dans le segment suivant. Ainsi, la première paire spécifie les types d'évaluateur d'entrée, et la deuxième paire spécifie les types de données de valeur de clé de sortie. Ceux-ci sont tournés en Java en tant que paramètres de type, et ici nous ne verrions que les types de leader Helou Pacific. Comme vous pouvez le voir, nous avons mis quelques variables ici, qui seraient nécessaires pour la logique de carte. Nous avons déclaré ce final et statique afin qu'il ne soit pas créé à nouveau avec chaque appel à la fonction de carte , alors la fonction de carte a trois paramètres. Entrée, valeur clé sur le contexte. Donc, ici, les types de données off key on value doivent correspondre avec un arc défiant les paramètres de la matrice. Contexte est un périmètre dans lequel nous écrivons notre bookmaker sur la paire de valeur après avoir écrit dans le contexte, Duke prend soin de, trier, carDuke prend soin de, trier, partitionner et envoyer à travers le bon produit une machine. La valeur de retour de la fonction de carte est toujours inquiet également. Il jette. Êtes-vous exception et interruption exception. Ceux-ci sont nécessaires car ils sont définis dans ma classe supérieure, et donc la classe héritée obtient ces exceptions reportées de la classe stérile. Ces exceptions sont juste pour gérer les scénarios inattendus qui peuvent se produire pendant l' opération ou dans le cas où la tâche est interrompue pour une raison quelconque. Puis vient la logique, qui est simplement appelée dans le pot de la cour. n'y a rien de spécial à mentionner ici, mais juste qu'il y a cette logique pour casser la ligne d'enregistrement d'entrée dans les clés sur les paires de valeurs droite l'objet de contexte orteil. Un autre type de données hors des arguments passés dans le contexte ou le métal droit devrait maitre les paramètres de type mentionnent nable. C' est ça. C' est la structure de la carte fondamentale, donc assurez-vous que vous avez juste besoin de changer les paramètres de type sur le type d'arguments et de scènes. La logique de la carte, qui inviterait le contexte ou le métal droit. Et c'est tout. La section restaurant sera toujours Peter. Oui, bien sûr, Comme nous avons passé à la programmation avancée, nous verrions un peu plus de fonctions, mais l'équipe moyenne resterait la même au début. Il suffit de penser que la fonction de cartes est de prendre l'enregistrement d'entrée sur Break It dans un ensemble de clés et de valeurs et c'est tout. Alors regardons le réducteur. Bon pays à utiliser la classe hériterait de réduire la classe, et la raison est la même. Cela lui donne plein est de trouver et d'exécuter la logique de réduction définie par l'utilisateur comme la carte de la classe libère une classe. Israël a quatre gestionnaires de types forcés de spécifier les types de conservation et de valeur d'entrée plus tard, et les deux derniers ont spécifié nos types de données bookmaker et value. Ensuite, est la méthode reduce, qui prend l'argument comme des clés sur la liste des valeurs sur le contexte, qui est utilisé pour écrire le désert ultime. Les types de données doivent maîtriser les paramètres de type Bo mention. La fonction religieuse renvoie également void, tout comme la fonction de carte. L' idée est d'écrire dans le contexte court, métal droit. Puis vient jette Exception Line, qui est présent pour la fin gracieuse hors de la cour en cas d'erreur, puis vient à déduire tragique. Ceci pour Loop sera un facteur commun dans les solutions que vous créez à travers toutes les valeurs des clés dans presque toutes les solutions. Puis à travers le contexte, commencer à droite métal vous Positively et Value, qui est finalement passé à son groupe sur son ton duping, écrit dans le régime d'opéra, que nous avons spécifié en exécutant le programme. Donc, il est dans l'introduction. Vous auriez vu la même structure l'année dernière. Nous regardons la classe de pilote, rappelons l'ensemble et le seul objectif de la classe de pilote est de dire à son groupe avec la classe de maths va réduire une classe sur l'entrée sur la sortie sur le chemin d'exécuter le travail. Tout cela est fait en s'asseyant le travail Optic sur. C' est tout ce que nous avons vu la classe des conducteurs. Nous étendons l'interface de l'outil de configuration et d'implémentation, ce qui aide Dr Class 200 paramètres passés par un programme au mauvais moment. En ce moment, je vous régresserais pour reprendre toutes les leçons de cette section une fois de plus si vous l' avez pas déjà fait. Mark. Perdre et combiner des heures sont des sujets absolument nouveaux et la quête nouvelle façon de penser, et il faut un peu de temps pour construire la compréhension à leur sujet. Une itération de plus sur le matériel vous aiderait à le comprendre et à le mouler. Et puis je vous donnerais un petit quiz. Ici, nous devons utiliser producteur demandé sur mon jeu Net. Mais il faut toujours se rappeler que la fonction hors du réducteur est différente de la fonction de la moissonneuse-batteuse. Euh, je pense que la moissonneuse-batteuse est de réduire la carte vers le haut où les réducteurs signifient objectif est de regarder toutes les valeurs associées à une clé collectivement pour produire la sortie réservée. Donc, ma question est que, ici, dans la classe des réducteurs, si j'avais changé cette ligne et au lieu de cette énigme quelque part égale à un, c' est-à-dire que j'aurais été félicité certains avec une. Avec cette logique, remplissez la moissonneuse-batteuse en Israël. Ma deuxième question est un bon réducteur d'écriture comme celui-ci aurait vécu dans la portée des mineurs ca . Si oui, Quel genre d'un combiné nous aurions utilisé. S' il vous plaît donner un tinkle avec ceci et contactez-moi au cas où vous seriez confus. 23. 022 Types et formats MapReduce: Bienvenue à une nouvelle écoute dans ce. Écoute, tu apprendrais l'idée fondamentale. Pourquoi ? Comment les types d'éleveur étaient nécessaires via nous n'avons pas utilisé les types de données de travail déjà présents dans mon framework précédent. Pour comprendre cette dernière comprendre ce que la sérialisation est lorsque le processus régulier dans la communication, par exemple, Mark communique pour réduire. Ensuite, dans ce cas, les données sont transférées en termes d'objets hors objets. sérialisation est le processus de désactivation de l'objet structuré dans Dubai Stream pour transmission sur un réseau tout écriture pour être stockage assistant, qui éventuellement serait lu par un autre processus. Ces civilisations, autre côté, est un processus que le processus de réception fait au flux d'octets, il lit. C' est un processus qui désactive le flux d'octets dans les objets structurés de la ville. Dans le processus, communications se produisent par les appels de procédure à distance de notre PC dans ses fonctionnalités de groupe qui sont nécessaires en sérialisation pour qu'il soit efficace avec la procédure à distance. Les appels sont d'abord revenir le message qui sont transmis sur la bande passante réseau. Il devrait être aussi petit que possible. Plus le transfert de données serait petit mieux l'efficacité sombrer sérialisation rapide et la sérialisation devrait se produire rapidement. Cela est lié à bien des égards au premier point. Si les données sérialisées sont plus petites, le processus de désérialisation et la sérialisation seraient également plus rapides. Pourrait évoluer politique au fil du temps, et il devrait être en mesure de répondre aux nouvelles exigences. Et enfin, interopérable. Il est souhaitable que le processus renvoyant une langue puisse communiquer avec le processus. Retourner une autre langue. Par exemple, carte peut être refaite en Java et réduire serait dans une autre langue, disons, par le temps. Ensuite, dans ce scénario, Israël, le cadre civilisé devrait être efficace. Donc non, nous comprenons ça. Ou faire les gens sur les appels de procédure à distance et la civilisation n'est pas important concept sous-jacent pour son efficacité. Mais pourquoi ne plaider de nouveaux types de leaders ne pouvaient pas utiliser le cadre de civilisation Java lui-même. La réponse à la question est que Jarvis sérialisation invalide avait quelques lacunes. D' abord et surtout, ce n'était pas compact. Il y avait des mots quand les données ont été sérialisées. sérialisation Java enverrait le Rita moyen, comme la définition de classe, avec le lecteur envoyé cela a considérablement augmenté la taille de sérialisation sur Israël a augmenté le temps de traitement. Il a été essentiellement conçu comme un but général dans le processus. Mécanisme de communication Cadre de sérialisation Hadoop. Supposons debout. Le client connaît déjà les données. Cela doit être attendu de la part de l'expéditeur. Cela diminue beaucoup sur ordonné et ce cadre de sérialisation droite capable a été conçu. Jetons un coup d'oeil au cadre ici. Rideable est un frais Indo. Grand mal comparable n'est pas l'interface qui implémente droit sur. Et puis nous avons des types de données que nous utilisons comme clés sur les valeurs dans le cadre d'utilisation de la matière. Suivant reçu la table qui utilisent tous les types de leader de groupe sur leurs types javelina correspondants afin que nous puissions laisser tomber notre peu sur, comprendre et se rapporter à eux mieux les mettre dans les notes pour cette conférence afin que vous puissiez jeter un oeil à eux en détail. Regardez même un routeur sur mesure. La mise en œuvre peut être faite en étendant l'interface comparable appropriée. Mais dans ce cas, les fonctions tombantes devraient être surchargées majoritairement parce qu'elles sont héritées de l' interface. Sont utilisés dans le tri sont des étapes mélangées. J' ai mis un exemple sur la table droite personnalisée avec ceci. Écoute, s'il te plait, regarde-le après l'écoute. Mais comme vous remarquez que le cadre de table droit ne prend en charge que les types de données Java sur dépend du langage, sorte que le système de sérialisation neutre du langage Abaroa a été conceptualisé. C' est un projet par canard mal afin de construire un cadre de civilisation qui prend en charge de nombreuses langues. Un autre avantage avec Afro est qu'il prouve à l'avenir les données, ce qui lui permet de survivre à la langue utilisée pour les lire et les écrire à nouveau. Le principe important est le même. Après avoir supposé schéma de démarrage est présent à la fois à la liaison off lecture sur la droite, Chaque Scheme Us commandé. Et dans Jason, ceci est un exemple de la façon dont un schéma est déclaré dans Al via Ceci contient le champ sur le nom sur le type off sent que cet humain a besoin d'être déclaré dans les programmes de lecture et d' écriture. Avenue est un sujet avancé, donc nous nous arrêterons ici même. Je recommande l'exercice donné après l'écoute pour acquérir plus de connaissances dans ce domaine . 24. 023 expériences avec les défauts: Bonjour et bienvenue à une nouvelle écoute dans ce. Écoutez, nous allons expérimenter avec les paramètres par défaut et cela explorer et en apprendre plus sur le framework de production de carte . Revisitons simplement. Carte. Combiner sur réduire les fonctions et les voir dans une notation. Former les clés et les valeurs de Martick comme entrée et sortie une liste de clés et de valeurs combinent. Il prend l'entrée comme une clé sur la liste des valeurs correspondant à la clé et produit la liste des clés et des valeurs et exactement la même chose est le cas avec la fonction religieuse. Par conséquent, l'implémentation blanche combinant les extrêmes la réduisent plus une autre chose à noter ici est que pour une seule paire de clés d'entrée, la carte est combinée. Déjà utiliser une fonction peut émettre plusieurs réparations Kiva et la connaissance Biscuit. Introduit à une nouvelle partition de fonction. Il prend une valeur clé, apparaissent comme entrée et produit un Jha indie comme dessert. Ceci dans l'enseignement est utilisé pour décider orteil quel réducteur la paire de valeur clé irait. Nous verrons plus loin dans le mécanisme de partition Écouter le Defour afin que nous puissions remplacer au cas où nous aurions besoin de Oh pour aucune expérience de fabrication de laitue. Essayons d'exécuter notre programme de pilotes avec des configurations de travail minimales et de voir ce qu'il fait des années avant la classe de conducteur. Comme vous pouvez le voir, il n'y a pas de configuration de tâche mise dans cette classe. Nous n'avons pas spécifié la carte plus la classe réduite, pas la classe combinée. Ni nous n'avons spécifié les types de données en entrée sur les types de données ouvertes. Nous venons de définir la partie d'entrée sur la partie de sortie. Essayons d'exécuter cette fantaisie. Laisse-moi d'abord me pencher dans le livre. Donc, le fichier d'entrée a deux lignes hors entrée, pas de laitue, mais exécutez le programme. Voyons la sortie. Et donc c'est à ça que ressemble la sortie. Vous pouvez voir ici que la ligne de sortie est un nouveau professeur américain qui signifie le décalage de vélo à partir du début du feu sur la ligne que pour perdre So 21 spécifie que le mensonge qui est la question commence à partir du 21ème par position sur le combat. Ceci est à partir du ruissellement par défaut. Mon mettre sous Yusor, il est de comprendre comment le mappeur par défaut et les réductions ressemblent à la carte de classe, comme nous le savons déjà a une entrée de valeur clé sur la valeur clé. Paire vers le haut. Ceci est très mis Le leader types c'est la fonction de carte, que nous remplacons autrement. Comme nous le savons déjà, cela a trois paramètres. Valeur clé sur le contexte dans le traitement. Il est juste clair image collant sur les paires de valeurs, dont il a reçu le type de données de clé d'entrée par défaut est lisible depuis longtemps. Il en est ainsi parce qu'il peut gérer de grands nombres. La valeur d'entrée par défaut est le texte Andi Ford ou pourrait clés types de données sont les mêmes que l' entrée après que la carte a produit son entrée. La partition est responsable de diviser le désert sur distribution. La valeur est de réduire, monsieur, par le fort. n'y a pas de classe de combinaison. La partition par défaut est le partitionnement de hachage, et c'est à ça qu'il ressemble. Obtenir la fonction de partition prend la valeur de clé. Un nombre de réducteurs hors en entrée. Il produit simplement le hachage, pris hors de la clé et effectue en fonctionnement avec la valeur maximale indigente sur Modelo il pour obtenir à quel producteur il devrait aller. Supposons que si les producteurs sont trois, alors le résultat de toutes les clés sortirait pour être 01 ou deux. Selon le résultat, la vallée de la clé serait envoyée à un utilisateur particulier. Il est à noter que seule la clé est considérée sur quel réducteur la valeur clé doit aller. Et c'est ainsi qu'il devrait être, comme nous voulons que toutes les valeurs à clé particulière passent à un seul réducteur. Mais cela peut être modifié selon les exigences hors de la situation. Cela peut arriver de sorte que vous auriez besoin d'une certaine valeur clé pour être traitée uniquement par certains producteurs . Prenons un exemple à ce sujet. Supposons que nous à travers un seul fichier avec People's m'a forcé deuxième nom et les couleurs qu'ils aiment. Supposons que nous cherchons à rechercher un motif fou S'il y a une coalition entre les noms sur la préférence hors couleur, donc regard ressemble à Marry, qui est le prénom Fisher, qui est le deuxième nom sur le préférence de couleur qui a suivi. Donc, le fichier serait rempli avec ce genre d'enregistrement. Donc, dans ce cas, nous avons décidé de définir la clé comme un deuxième nom dans la carte. Cela nous aide à développer les enregistrements avec le deuxième nom. Et donc la carte sont mis son deuxième nom comme une clé et l'enregistrement entier comme la valeur, et cela serait adapté à la partition. Maintenant, nous voulons que les gens avec le prénom passent au même réducteur. Donc, dans ce cas, nous ajouterions aussi le prénom à la partition dur er pour calculer le hachage. Cool. Comme vous pouvez le voir, que Fisher James a été envoyé à un autre producteur malgré sa valeur clé est la même que Fisher Marry. C' est parce que hors de la partition personnalisée définir ok. Après un petit détour, il ya maintenant de nouveau sauter à notre discussion moyenne, qui était de comprendre les valeurs par défaut. Regardons à nouveau le producteur par défaut. Comme la classe de carte. La photo que vous vendez spécifie les types de données pour la paire de valeur de clé d'entrée sur les types de données de la paire de valeur de clé en sortie. C' est la méthode de réduction que nous remplacons généralement. Il a trois paramètres d'entrée. Le premier est une seconde clé, la table se sent hors valeurs et le troisième est le contexte dans la partie de traitement, il génère juste la valeur qu'il a reçue. Les types de dîner débutants sont longs, lisibles et textuels. Regardons les quatre pilotes qui est explicitement spécifié comme discuté. La classe Mapple par défaut est mapper. Tante est longue, non ? Capable sur la valeur, Ext Defour partition est dure. Nombre par défaut de partition de producteurs est une version par défaut est vraiment sitter. classe sur la clé de sortie est longue sur la valeur est le texte sit sortie et le format d'entrée n'est pas ce que nous avons discuté le long et c'est ce que nous discutons dans la prochaine écoute. 25. 024 cours de format IO: Bienvenue à une nouvelle écoute dans cette leçon. Nous allons exploser sur comprendre la sortie d'entrée pour Mars Dans la dernière leçon, nous avons vécu à ladite entrée ancienne plus réponse sortie. Anciennes fonctions de classe remarque Comprendre l'idée moyenne derrière les fonctions. Maman obtient son entrée dans le formulaire hors clés sur les valeurs, les types de données hors les clés et les valeurs sont définies dans ma définition de classe supérieure. Donc Hadoop doit fournir les paires de valeurs clés pendant qu'il lit les données du programme de combat. Il contrôle ce mécanisme de lecture sur la valeur de la clé. Analyse en utilisant ladite entrée ancienne fonction de classe. De même, lorsque l'image du réducteur les paires de valeur de clé, alors Dans ce cas, il s'agit d'un ensemble all put ancienne fonction, ce qui donne au programmeur le contrôle sur la façon dont il doit être retourné au fichier de sortie. Voyons les formats d'entrée de vidéos sur. Laissez-nous comprendre le mécanisme de base afin que nous puissions le mettre à l'usage lorsque cela est nécessaire. Le premier est combiné dépôt mis ancienne classe. C' est en utilisant des cas où beaucoup de petits combats sont nécessaires pour devenir le mien en tant qu'intrant. Le problème avec de nombreux fichiers en entrée est qu'ils voulaient de Data Locality est perdu cinq entrées combinées pour mon utilisation de classe préserve un peu d'avantage. Il a un mécanisme de construction interne en tenant compte de la localité de données. Donc, il fonctionne toujours bien avec de nombreux combats, bien que les clés avec 1 000 000 de fichiers de mise n'est pas un bon cas pour mon produit du point de vue de la performance et devraient toujours être évitées. Combats combinés mais ancien est une classe abstraite et serait nécessaire pour personnaliser Asper . Le scénario suivant que nous examinons prend des données. Ancien, il prend entrée. Ancien fournit la carte avec la clé aussi longtemps inscriptible, qui est la morsure off shit depuis le début du fichier sur la valeur comme bâtons Longing, ce qui exclut toute ligne Terminator. Il s'agit d'un format d'entrée par défaut. Suivant est une valeur clé prend entrée. Ancien Il est utilisé dans le cas où la clé est déjà présente dans le fichier d'entrée sur la clé et la valeur est séparé par Demeter de Limited par la Ford est un caractère supérieur, mais il peut être personnalisé à travers la carte vraiment utilisé ou importer point clé ligne de valeur Record éleveur dorky dot évalué ou nixes séparateur en entrée de lumière. Ancienne entrée en ligne ancienne divise l'entrée en spiritueux avec un nombre fixe hors lignes Donc si dans est cinq, chaque carte serait distribuée avec cinq lignes de numéro hors ligne comme entrée. Avant de continuer et de regarder le format d'entrée de fichier de séquence. Examinons un cas intéressant qui peut se produire. Cela peut arriver de sorte que les fractionnements d'entrée puissent se croiser, cependant. Est-ce que les limites des blocs DFS ? Par exemple ? Dans ce cas, supposons que le pouce de taille fractionnée à 50 enregistrement sur la valeur de cet enregistrement traverse la limite du bloc sur le bloc est présent sous une autre machine de carte. Donc, dans ces cas, la partie du dossier, qui n'est pas présente localement, serait pêchée à partir du réseau. Cette perte dans la localité de données provoque l'écoute d'une personne au fil du temps. Maintenant, revenons à ce qui signifie sujet sur comprendre l'entrée pendant des mois. Ensuite, nous regardons est cette séquence laitue de riz Forcé de comprendre quelle séquence pour son fichier de séquence sont un fichier plat spécial, qui contient enfin inclus des paires de valeurs clés. Il ressemblerait comme indiqué sur les clés et les valeurs seraient binaires inclus. Ce sont donc des combats spéciaux et ne peuvent pas être traités directement en tant qu'objets de texte. Ces combats ont vu le mécanisme ponctuel sur notre séquence compressible. Fives sont principalement utilisés dans les scénarios sans reporter mon travail de production. Donc, comme dire, mettre à un autre travail de démocrite. Ceux-ci sont bons avec le tri d'Israël, donc les résultats intermédiaires de la carte sont de retour. Séquence 54 mois. Donc, ne fournir la facilité de l'épée avant les réserves. Vous avez peur, monsieur. Il y a donc les trois anciennes classes suivantes pour traiter les cinq séquences. Le premier est le format d'entrée du fichier de séquence. En cela, le type de lecteur Muppet et Key Value devrait mes yeux si je Leo Second est le fichier de séquence que sélectionne entrée ancienne. Il convertit les clés sur les valeurs en objets prend, et donc les clés et les valeurs seront traitées comme un fichier de séquence de texte comme enfin l'art de formulaire d'entrée , qui est l'ensemble de l'enregistrement. En tant qu'objet sur les retains, le binaire, y compris les mappers, devrait avoir le processus 200. Examinons maintenant la production de mars. La sortie pour mars. Décidez comment les données seraient retournées aux imbéciles de fichier font. Le premier est le format prend sont mis. Il s'agit de la valeur par défaut ou d'effectuer. L' art est bien là-dedans. Les clés et les valeurs sont converties en chaînes. Les clés et les valeurs sont séparées par le limiteur, qui peut être contrôlé à l'aide de la propriété. Utilisation de marple. Ne pas mettre tous les oeufs sombres sont mis ancien séparateur de points par défaut. C' est un personnage de haut niveau sur. C' est pourquoi nous voyons des clés et des valeurs séparées par des sommets dans les sorties des différentes séries que nous avons . Cela peut être malade toe n'importe quelle valeur en utilisant la configuration point ladite sortie du fichier de séquence. anciens, comme nous l'avons déjà discuté, sont très encouragés. Des combats spéciaux. Elles sont utiles si le tout reporté à un emploi est de se référer à un autre. Mon travail précédent. Mes fichiers sont des fichiers de séquence spéciaux avec des recherches d'index. premier est le fichier de bouche, qui contient les données, et le second est le fichier d'index, qui est utilisé pour rechercher. Le format de sortie multiple ultérieur est utilisé dans ce. Dans les zones où il y a plusieurs mises sont nécessaires, il fournit un meilleur contrôle sur les noms de fichiers de sortie. Nous devrions jeter un coup d'oeil à la comprendre avec un exemple. Dans le cas où vous avez besoin d'une documentation détaillée pour ces classes, vous pouvez le trouver sur notre Dugard à part vous dot org avant Slash dogs, qui serait généralement le premier côté. Beaucoup le recherchent sur Google 26. 025 de l'expérience avec le concept avancé de la sortie de la fichier: Bienvenue à une nouvelle écoute dans ce. Ecoute, on ajouterait un peu plus de rebondissements. Tour Board problème. Nous n'avons toujours pas vu un seul réducteur Piper dans ces vacances. Créons des feux multiples, Producteur. À ce stade, nous avons un réducteur qui met le monde sur ses occurrences. Maintenant, il est Avoir un producteur séparer la sortie par ordre alphabétique. C' est ça. Pied mis tous les mots commençant par E dans 15 et à partir d'être dans un autre combat sur ainsi . Donc, dans ce cas, nous utiliserions la sortie multiple pour ma classe. Dans la version de la classe, nous serions clair un objet privé hors de type plusieurs sorties. Ensuite, nous aurions tout droit, mis en place sur le référencer avec l'objet contextuel. Ensuite, nous utiliserions la bonne fonction de ce 100 avec les périmètres comme valeur clé sur un nouveau dit, qui est le dépôt. Le nom du fichier est sous la forme hors nom tiret sont tiret 000 Lorsque le nom est séparé, nous pouvons contrôler notre utilisateur représenté Et 000 représente le nombre de réduction ou le numéro de partition . Donc, dans notre cas, le nom serait un alphabet, alors nous remplacerions simplement la méthode de nettoyage sur Verity. Voyons la carte des classes. Will. J' ai fait deux changements ici. Cette zone située pour convertir tout en minuscules. Donc, ce point capital n'est pas pris différent de la plus petite caisse aussi. Deuxièmement, je prends chaque mot que ce passé commence par le personnage. Ils peuvent être beaucoup de vérifications qui peuvent être faites pour nettoyer plus tard. Il y a beaucoup d'école pour ça. Mais ce n'est pas le point de mire de l'écoute. Et donc je n'ai pas mis tous ces changements. Puis vient le chauffeur. Driver est Astra, comme nous l'avons vu jusqu'à présent ont été mentionnés la classe de clé de sortie de carte sur la valeur proche de ma classe supérieure. C' est quatre comtes M'appelle. Ensuite, nous avons déclaré l'utilisation réelle une classe qui est ma sortie de pointe réduit la classe dans la classe de clé ouverte. Sur notre classe de corps de mise, nous sommes habitués à l'apprenant comme dans les exemples précédents. Essayons de lancer ceci et de voir. Laissez-moi juste que je vais mettre le fichier d'entrée en premier. Donc, c'est un long dossier. Laissez-nous faire ça OK, c'est fait. Voyons maintenant la sortie. Depuis tout dit, nous voyons beaucoup de fichiers dans le format. trait d'union de l'alphabet est un trait d'union. 000 Essayons d'apporter un combat amusant. J' imprime celui commençant par dans et donc nous pouvons voir tous les mots imprimés avec le nombre off occurrences. Comme vous pouvez le voir que je n'ai pas un mappeur parfait. Vos chiffres et chiffres virgules sont traités comme des mots séparés. Il s'agit d'un peu de nettoyage des données requises dans la fonction de carte. Cet exemple est juste pour expliquer le concept. Et donc je n'ai pas mis beaucoup de code supplémentaire. Mais bien sûr, c'est une place pour l'amélioration. Onda. On peut nettoyer le chef du côté de la carte. J' espère que vous apprenez de nouvelles choses, en voyant la prochaine écoute. 27. 026 Anatomy de la conduite d'emploi MapReduce: Bienvenue à une nouvelle écoute dans cette leçon. Nous apprenons comment effectuer le processus hors exécution du travail et ce qui se passe du moment où nous avons soumis le travail jusqu'au moment où le travail est terminé. Donc, ce que nous avons vu jusqu'à présent peut-être soumettre le travail. Il y a une description détaillée qui vient en rapport avec le travail. Exécution sur le travail termine le travail, soumis mais attendez la fonction d'achèvement, qui est la dernière déclaration de chaque programme. Sois tout. C' est une dernière instruction dans la méthode run, que vous droit dans la classe de pilote lorsque nous utilisons le coureur d'outil sur la dernière ligne de la fonction principale. Si nous sommes en fonction de la logique du pilote en moi, attendez la fin. Metal provoque l'envoi de la tâche pour le traitement de la tâche. L' exécution dépend de quelques propriétés dans la libération de point zéro. Le nom de la propriété est le traqueur de travail de porte. Ceci est prédéfini dans le fichier de configuration. Marquer le point xml du site de taux. Sa valeur par défaut est locale. S' il est dans la pseudo-distribution ou moule de distribution complète, il aurait appelé Séparé qui supportent la paire pauvre en cas de distribution locale. L' attaquant étoile Cracker. Tous s'exécuteraient sur une pseudo distribution CVM unique. Plus serait complètement immolé croire distribué plus en cours d'exécution traqueur Anton grévistes sur gbmc séparé sur un seul Seigneur. Au cas où, il y a 23 libération Notre chef libéré qui est, un pas extorquer des œufs. Il y a une nouvelle cartographie mise en œuvre du cadre. La nouvelle implémentation est appelée Ma Produit deux et est construite sur un système appelé Yon yon représente encore un autre négociateur de ressources. Nous avons regardé plus loin à ce sujet plus tard dans le cours, mais la chose importante à noter est que dans le cas de nouvelles versions marbre propriété utilisé notre cadre. Le nom du point décide de l'exécution du cadre. Il peut être dit à local, ce qui est aussi bon que de courir dans plus local. Il peut être défini sur classique, qui est ce que nous étudions ensuite. Ou on peut le dire à Young, que nous étudierons plus tard dans le cours. Ce que nous sommes naturellement l'anatomie du travail qui fonctionne dans entièrement distribué beaucoup. Donc, voyons le travail dans le cadre de production de mob classique U V C. Que le nœud client a la ligne de blague en cours d'exécution usine de blague est la partie hors produit mis en place, qui est responsable de l'interaction avec son groupe. Il est important que l'usine de travail fonctionne sur la machine qui accède ou interagit avec son groupe. Qu' est-ce que la machine ne sera pas en mesure d'interagir. Il est le plan de travail, qui est un programme Java, qui effectue l'ensemble du processus hors interaction avec son Do It interagit avec Job Tracker, qui est à nouveau un programme Java nommé Job Tracker sur Joe Cracker. Intern communique avec plusieurs tâches. Trackers, qui sont à nouveau des programmes Java nommés Star Striker Job tracker, fonctionne sur une note différente, et notre attaquant fonctionne sur de nombreuses notes. Palaly ici, nous ne considérerons qu'un attaquant étoile pour faciliter la compréhension. Donc, comme la quatrième étape, vos usines soumettent un travail à Job Tracker le plaçaient dans le travail. Trackers Qué Il y a beaucoup de sit ups et de vérifications faites dans ce visage comme si le maladroit est déjà présent ou non, ou si le feu d'entrée existe ou non. Après ces vérifications choix de cracker emploi de la prochaine tâche de sa science Q et A, A deux attaquants étoiles, un nœud attaquant étoile unique a plusieurs fentes pour courir mappé US et nous a réduit constamment et tombe avec cracker de travail sur les trois fentes et selon quel emploi Crackers curios. Cette tâche pour le Han Straker sur l'affectation sont Straker prend la tâche. Et depuis les rapports réguliers à l'emploi Tracker, qui à son tour combiné encore rapports générés à partir de tous les trackers de tartes sur les mecs, il ligne dans la leçon suivante vie vraiment plus profonde dans les étapes que nous avons discuté ici. 28. 027 de l'emploi MapReduce: bacon faire nouveau Écoutez ça. Écoutez, vous êtes mort sur la façon dont l'exécution du travail est effectuée dans l'utilisation classique de Mapple, alors nous sommes retournés à son diagramme, que nous avons vécu dans le dernier. Écoutez dès que la dernière ligne qui est travail a été battue pour l'achèvement. Excusez-moi, ça déclenche un job Klein pour commencer le processus de soumission. C' est un plan de travail complet. Peut travail supplémentaire plus noir et demander un nouveau travail i d. Il se connecte au cracker de travail en utilisant les entrées de Mattered site point fichier de configuration xml . Après le nouveau boulot, je Lisa, signe ton usine. Effectue quelques vérifications sur le bureau HD, obtenir les premiers contrôles à l'ouverture, existe ou non dans la sortie existe automatiquement déjà. Le travail s'arrête là même. agit d'une des techniques de vérification des erreurs appliquées dans son faire afin d'éviter tout effort de perte en surmontant les résultats après cela, il pays et dire mettre scissions. En fait, il vérifie si l'improvise existe ou non. C' était une erreur dans le cas où il ne trouve aucun fichier d'entrée, disant qu'il ne peut pas calculer les fractionnements s'il trouve rester mis. Dossier. Il procède sur des copies. Le pot sur désabusé à 80. Si c'est avec un facteur de litige très élevé. La valeur par défaut, puis, après tout, la distribution hors jar sur les fichiers importants ont été prises. Prenez soin de votre usine soumet le travail. Tout ce processus est de prendre soin par un objet hors des travaux de classe. Amigo Après que Joe Klein a fait la mise en place, il met un travail sur la craie que vous hors job tracker skill job job tracker vous et va le ramasser dans la file d'attente sur Initialize it. initialisation consiste à créer un objet pour être présent, le travail étant incorrect. L' objet encapsule sa tâche sur les informations de tenue de livres pour suivre l'état et la progression. Après cela, la compétence que vous avez récupérée les pièces de rechange d'importation de 80 si c'est le cas et crée une carte. Tâche désespérée. Le nombre de producteurs est déterminé par la propriété. Ma Peridot produit des médecins. Que peut-on définir par emploi ? Ne vous asseyez pas maintenant réduit la fonction US dans le programme pilote. Il a un corps par défaut hors un, mais il est conseillé qu'il soit personnalisé à une valeur plus élevée, en fonction de la taille du cluster pour l'extraire Wanted off. vandalisme dans les frais réduits est avec Joe cracker. Israël crée mis en place et nettoyer les emplois sur Star Striker qui doit être exécuté avant et après que la carte nous a réduits. Courez sur notre grève et Seigneur après cette fête vient aux frais d'affectation américains. À ce stade, les traqueurs d'emploi devraient savoir ce qui commence. Trackers ont des départs libres et ceux qui sont occupés que nos grévistes simplement Russ, une boucle qui envoie périodiquement le rythme cardiaque. Cela aide haché comme elle à comprendre que la grève est active ou pas comme une partie de coeur gros trackers de travail. Puisque les informations concernant la rue, c'est hors de la poussière qui coule sur le tracker de basse, cela frappe le record de travail pour aider le butin sur Star Striker. Et ceci un signe dans New Job. Un seul ne caméra attaquant. Plus d'une carte utilisera une tâche à la fois Il y a une seule étoile machine Striker peut avoir plusieurs démarrages à exécuter. La tâche. Le nombre d'emplacements dépend de la capacité de calcul de la machine. Les principaux facteurs déterminants sont le bélier sur le parcours hors du CPU. Maintenant, la blague Rapid sait quels attaquants étoiles assigner, et il les assigne que nous. Donc, après cela vient à frais d'exécution du cul, ils sont harceleurs dans le cadre de la mise en place récupérer le pot, qui mettra sur sa défense par le client de travail. C' est là que nous voyons que le cool se déplace vers les données pour le traitement, ce qui est très différent de l'architecture traditionnelle er. Après cela, la voie rapide lance deux nouveaux GM pour courir Est nous il est à côté. Rappelez-vous, il peut avoir beaucoup à l'époque que nos grévistes, depuis moyenne régulière sur le pourcentage d'achèvement de la tâche à battements cardiaques. Et puis le jock comme un combine la progression de tous les grévistes de goudron pour mettre à jour la ligne. Nous allons avec nos progrès. Calcul hors processus est simple dans la tâche de carte, mais un peu difficile introduit face. Nous nous pencherions sur le côté suivant. Ensuite, après la fin des dernières évaluations Job, l'attaquant nettoie les données intermédiaires qui ont été créées lors de l'exécution des États-Unis. En fin de compte, le travail est terminé et attendre la fonction d'achèvement, qui est la dernière signature. Quel programme qui a commencé toute cette chaîne a reçu une certaine valeur. Sur cette lumière, nous regardons comment le progrès est calculé, c' est-à-dire que l'esprit sur la console utilisateur nous a été marqué. Le pourcentage est simple à calculer, car la taille d'entrée est connue sur le leader que ce processus est connu à travers les compteurs internes , qui maintient donc n'importe quel point donné, le montant total des données sur le montant des données qui ont été traitées est non, et le pourcentage de WILBON est donc facile à calculer. Réduire. C' est un peu délicat car trois choses trient mélange sur réduire, contribuent à la quantité totale de livre. Donc, pour les calculs, la contribution A foot de Sort Scheffer et Reduce est considérée comme une pour chacun d'entre eux si la course réduite n'a même pas commencé, le statut d'achèvement serait une batterie fournie par Sartre, plus un autre. Mais trois ont contribué par Shuffle que concepto étaient trois qui est 67% il. Le producteur a procédé à la moitié de ses intrants. L' achèvement serait remporté par trois. Contribué par SWORD less. Un autre par trois a contribué par un saut sur un par six. Contribué par réduire. C' est un par six parce que les batteries à moitié ouvertes fonctionnent par six. Quand ces Ahlers ont résumé, il donne 56 qui est 83%. allons juste obtenir le résumé rapide de la leçon que nous avons vu sur la façon dont le travail est effectué dans livre classique Napoli Scream. La fonction avant l'achèvement entraîne l'envoi d'un travail. Ainsi, dans le cadre des frais de soumission d'emplois, votre plan obtient un nouvel emploi. Je viens de l'écrivain d'emploi. Ensuite, il copie tous les fichiers pertinents cheville à l'âge, les effets avec une application plus élevée. Ensuite, il est un médicament John en le plaçant sur le travail crackers Qué. Vient ensuite les frais d'initialisation de la tâche. On est du travail. Bracker crée un objet hors du travail, qui en absolu que nous exécutons et a des méthodes de comptabilité. Il nous trouve personage DFS et crée une division de mappeur. Puis vient une NASA Simon craint, où Job Tracker recherche les fentes gratuites sur les trackers de danse qui est trackers communique cette information à travers les battements de cœur. Puis, après cela vient à la phase d'exécution américaine avec Star Striker complète le tribunal du bureau HD à la machine locale et nous le lance. Il a été un signe qu'il envoie régulièrement un pont trop difficile portée à Job Tracker, qui combine tous les résultats sur l'espace pour le concert des clients et la fin. Le dernier travail de réduction dans les données des médias serait nettoyé par l'attaquant de la ville dans le travail fin de travail face comme un sentiment qu'il n'a pas appelé par la fonction d'attente d'achèvement , qui complète le travail. 29. 028 les scénarios de l'échec de l'de la carte classique: Bienvenue à une nouvelle écoute dans Ce n'est pas nous ? Regardez les scénarios du fœtus qui peuvent se produire et comment ils sont 100 en classique mes produits dans l' utilisation classique du maquereau. Il peut s'agir de trois fois de scénarios de défaillance. Premier échec, les mathématiques utilisent déjà la tâche. Deuxième période au large de Star Striker sur la troisième figure de Joe Cracker Nous regardons toutes les pièces un par un. Commençons par le sentiment de sortir du bus. Ainsi, sur les tribunaux d'utilisateurs, il peut s'agir d'un scénario où l'utilisateur m'a appelé courir dans une boucle infinie. Dans les cas qui le sont, Straker constaterait qu'il n'y a pas eu de progrès sur la maison pendant un certain temps , et alors cela marquerait le travail. Craignez le temps d'observation est dit par la propriété importait la tâche. Ne t'arrête pas. Il peut être mis à zéro est bien. Dans ce cas, Star Striker ne se sentirait jamais un travail de longue durée. Cela n'est pas suggéré car les fentes ne se libèreront pas rapidement au cas où la tâche serait collée, cela réduirait la performance de la veuve du plâtre. Une autre raison d'échec des tâches utilisateur peut être faite par les miroirs. Dans ce cas, la zone est signalée à la France. Tracker sur le tracker de basse mettrait dans la perte de l'utilisateur dans le scénario de dock. Ils peuvent être vraiment le cas que Libyan a pu être exposé à environ pendant que mon produit Good Ron. Dans ce cas, l'Dodge peut même s'écraser avec Star Striker. Dans ces cas, votre pancarte remarque que le rêve de l'enfant est sorti sur Monster Tâche A sphère Tout le terrain. Demandez à Thames, un prévenu de travailler cracker sur jock latéralement. Compétence. Utilisez l'exécution du destin nous sur un autre traqueur de classe. Ceci est fait de manière à s'assurer que la raison de la défaillance se trouve dans le matériel sous-jacent. Le nombre de théorèmes qui seraient faits sur une tâche de carte va par la carte de la carte de la propriété point marque Kim et sévèrement pour la réduction nous va par grille de carte. Ne pas vraiment vous commencez maxims, mais avant leur malade avant le prochain fœtus et vous pouvez être l'échec de l'attaquant étoile. Dans ce cas, le travail Kratter cesse de recevoir les battements de coeur du tracker de basse. C' est le trafic de travail conclut que ne sont pas renforcés fait. Dans ce cas, il risque d'abus que nous sur un autre attaquant point Votre Cracker Lease canots que nous qui avons terminé. Et il demanda quel Dieu a accompli mais son travail incomplet. Même la tâche de l'ordinateur. Notre chef en tant que réserve aurait été écrit sur un disque local et ils auraient été perdus à cause de l'écrasement de l'attaquant de la ville. Dès que job like se rend compte que les battements de cœur des grévistes de Dallas ont cessé, le job Tracker enlève le fromage de l'attaquant étoilé à la disposition de nos grévistes. Mais ce n'est pas le seul critère sur lequel Star Striker peut être retiré du pool disponible . Si le nombre de Pasfield sur un processus rapide il plaisir dans obtient liste noire et renouvelé à partir de la piscine disponible des grévistes, la pression est dit par le point de marché immobilier max. Arrêter la plaque ou la vidéo ingérée. Notre stratégie est mise sur liste noire. Il se joint au redémarrage ou après un certain laps de temps. Les dernières touches de média peuvent être l'échec du cracker de job. Il est un plus CS 1.000.000.000.000 dans la carte classique produire sur rien beaucoup peut être fait. Dans ce cas, Cracker de travail est un point de défaillance unique dans les revues de carte classiques, et il est donc recommandé de fonctionner sur un meilleur matériel afin d'éviter ce scénario autant que possible. Nous devons libérer au milieu de tous les travaux en cours. Une fois que le cracker de travail est soulevé à nouveau. Chez les jeunes, cette situation est un peu améliorée. 30. 029 Le d'emploi de l'exécution de l'emploi: nous pourrions faire une nouvelle écoute à ce sujet. Écoutez, nous apprenons pourquoi il y a besoin. Souvent, vous pouvez produire un cadre sur la façon dont le travail est effectué. Chez les jeunes, Yang est une abréviation pour encore un autre négociateur de ressources. Il est également connu comme mon produit à toute la relation suivante mon produit tout en utilisant mon produit un. On a observé que le Skilling était vraiment saturé lorsque la taille plus proche augmentait à 4000 plus notes immédiatement à cause du cracker Lord on the Job. En 2010, Young a lancé le projet pour créer la nouvelle génération de mes produits avec plus fonctionnalités pour augmenter les performances grâce à une utilisation plus intelligente de la mémoire sur une évolutivité et une flexibilité accrues afin qu'il puisse accueillir Andre et de nombreuses versions hors distribuées cadre en parallèle sur le même plâtre de tous les adolescents est l'idée principale était de diviser la responsabilité du conducteur de travail en parties. C' est une blague. Cracker a été divisé en deux gestionnaire de ressources de force, qui traitait des tâches tuant en partie de la charge de travail et Second Application Master, qui traitait de l'esprit de tâche pendant la partie de la charge de travail Prevacid et dans mon Apple, utiliser un ou l'argent du FBI plus ancien sera sur yon avec l'introduction au large de Yang. Seul le cadre qui est le V hors exécution de mon programme de jolies a changé et si jeune soutenu les deux programmes écrits dans les anciens députés sur les nouveaux députés. Sur cette lumière, nous regardons les avantages jeunes apporte ou classique mes produits. Tout d'abord, c'est que cet étalonnage augmente considérablement avec le partage de leurs responsabilités sur les traceurs de travail dans le remorquage. Deuxièmement, plus d'un jeune pourrait coexister sur la même grappe. Avec mes produits. Ils peuvent être un autre livre-cadre contesté à côté d'elle sur le même cluster. 30 est une meilleure utilisation hors mémoire avec l'introduction du concept de conteneurs. Convoyeurs conceptuellement sont similaires à ce seigneurs dans mon produit classique juste que dans mon produit classique , fentes sont fixes dans la nature, tandis que les conteneurs sont plus flexibles dans l'utilisation de mappeur classique, un attaquant unique étoile aurait des figues nombre hors fentes spécifiques pour nous mappés sur nous réduit . Cependant, les conteneurs en jeune candeur et carte réduite ou tout autre nous et notre flexible. C' est une meilleure utilisation de la mémoire. Ensuite, nous regardons les blessures chez les jeunes. Tout d'abord, c'est le client, qui est le même que nous avons vu dans le classique mes produits. Il est responsable de soumettre le travail sur Interagir avec mon producteur sur If the of history Book Second est un gestionnaire de ressources qui est chargé de localiser les ressources informatiques requises par le travail. Même dans le gestionnaire de ressources, les responsabilités de travail peuvent être proches. Combattez en remorque. Faire quand est un scapulaire qui ne traite que de la planification hors travail sur elle n'effectue aucune surveillance ou suivi de l'application. Streeter Sur une autre partie est le gestionnaire d'application qui surveille l' état de l'application . Est troisième est un vieux manager. Ceci est présent sur toutes les notes de manchon et est responsable du lancement et de la gestion des conteneurs . Quatrièmement est l'application Master Peace connu que mentionné précédemment deux parties de gestionnaire de ressources demandant concessionnaire sur le gestionnaire d'application sur l'application. Master est une entité complètement différente. Application Master est responsable de l'exécution du travail auquel il est associé . C' est celui qui coordonne que nous exécutons sur surveille la progression sur le sit agrégé et depuis les rapports à son client, il est généré et ignoré. Gestionnaire sur l'instruction par le gestionnaire de ressources, il est généré un pour chaque poste inter. Quelques minutes après l'achèvement, vous pouvez penser qu'il est comme un gestionnaire de ressources d'agent embauche pour exécuter le travail et le déclenche après avoir accompli ses tâches. 15 30 Facile sur l'enfant. Cela gère l'exécution hors de la carte et réduire la tâche sur est responsable de dire mise à jour sur la progression vers l'application. Master Last Entity est le système Ignorer cinq, qui contient toutes les entrées nécessaires sur où amplifie notre retour à. Voyons donc les étapes sur dur travail fonctionne dans yon livre gratuit. D' abord. Peu d'étapes sont exactement les mêmes que nous avons discuté en classe. Ça pourrait produire le travail. Obtenir quelqu'un à blaguer Lined et votre demande de plante pour une nouvelle application i d. Après cela, il vérifie si les journaux ouverts déjà créés, si elle trouve, sont pauvres diététiques, il serait à travers un nadir et arrêtez là lui-même. Il n'a pas vérifié, monsieur entrée dynamiquement. Ensuite, il copie les ressources en HD. Si c'est avec une réplication très élevée, puis il soumet enfin l'application au gestionnaire de ressources. Vient ensuite les frais d'initialisation de travail. Ainsi, comme nous l'avons discuté plus tôt, le gestionnaire des ressources a deux parties. Le premier est un scapulaire, qui va juste faire la planification et localiser les ressources de l'autre. L' un d'entre eux est le Gestionnaire d'applications, qui surveille l'état de la progression est hors des tâches. Donc, dès que le travail scapular prend une tâche, il contacte un gestionnaire de nœuds pour démarrer un nouveau conteneur au lancement. Un nouveau monstre d'application pour le maître d'application d'emploi crée un objet à des fins de comptabilité et de gestion des tâches. Il récupère les spiritueux fromage DFS et crée une lèvre purée tâche. Suivant le maître d'application décide comment exécuter mon produit nous. Si la tâche est petite, le maître d'application décide de l'exécuter sur le même GV en lui-même. Depuis l'hivernage de localiser un nouveau conteneur et de les allumer, il coûterait beaucoup plus cher que de l'exécuter sur un seul récit Ces types de travaux qui maître d'application décide de fonctionner sur un seul Zeevi, um inconnu comme Hubert nous. Vient ensuite les frais de signature. Si les États-Unis n'est pas Hubert, il a demandé le gestionnaire de visas orteil un regard il les ressources nécessaires Skeletor et cette fois sait où ces plaques sont situées. Il rassemble ces informations du cœur, bat les nouveaux gestionnaires et utilise donc ces informations pour tenir compte de la localité des données tout en allouant les ressources. Il pleure autant que possible de localiser la note de sorte que les localités de données présentes. Mais si cela ne peut pas être le cas, il considère les notes locales du rack. S' il se sent même de trouver une telle note, qui est stockée, locale, elle localise. Toute note au hasard des notes WILBON mélange étoile depuis l'application Yushin doit rester contacts et aucun gestionnaire, dîner d'expédition. Ensuite, le jeune enfant est lancé. Ouais, Charlie n'est rien d'autre qu'un programme de blague nommé Jantscher avec un jeune cerisier jeune enfant sur un orteil GBM. Isoler le système à long terme Démons de l'utilisateur appelé This Step est pris dans mon produit classique ainsi pour suprême le passé Straker de la cour de l'utilisateur. Mais une différence est que dans la carte classique, réduire l'utilisation de déviant off star attaquant waas possible. Mais dans yon, l'utilisation sur le même début que Young Child n'est pas supportée comme une étape suivante. retraites de jeunes enfants. Toutes les ressources de travail des effets HD sur les localise sur rançon sont produits nous pour la prochaine phase, petite soeur, reine du diagramme et laisser tomber toutes les flèches. Donc, la phase suivante est la progression et les frais mis à jour. Ici, Young Child chante le maître d'application Les rapports d'avancement toutes les trois secondes sur l'application. Maître, un producteur progresse sur une ligne de base directement dans l'achèvement du travail Face application Master sur le conteneur tâche nettoyage chose, les données médianes et se élimine à la fin du travail. Nous allons juste faire un résumé rapide des pas en avant. Le programme déclenche le Joe Klein et la blague. Contact terrestre, Sir Resource Manager pour le nouveau travail i D. Puis la blague. Land copie une ressource de travail deux jours les effets avec une réplication élevée, puis soumet un travail. Ce sont les mêmes que nous regardons dedans. Classique mes produits. Ensuite, le gestionnaire de ressources récupère le travail à partir de la tâche Q et conduit un gestionnaire connu et sponsor Nouveau conteneur et lance le maître d'application pour l'application de travail, Marceau crée un nouvel objet. Il soulage l'espace d'entrée de son DFS, puis crée une entrée de passeport, application crachée. Moutarde décide alors si le travail est vous, mais ou non. S' il s'agit d'un travail uber, il fonctionne sur son propre TVM sur une seule charge. Si ce n'est pas un emploi uber, ils ont contacté son gestionnaire des ressources pour le regarder. Le Gestionnaire de ressources informatiques prend en compte la localité des données lors de l'affectation de la ressource est le maître d'application. Communiquez ensuite certains gestionnaires de nœuds qui lance le jeune enfant. Jeune enfant récupère un tribunal et d'autres ressources de chaque DFS et interné à US Jeune enfant sentiment de progrès à Application Master, qui crée le rapport. Et depuis le rapport au client sur l'achèvement du travail, jeune enfant sur demande maîtrisé fait minutes eux-mêmes sur la libération des ressources informatiques pour le prochain travail. Cela couvre une solution d'un emploi chez les jeunes dans la prochaine écoute, nous examinerions les sentiments et les valeurs. 31. 030 de l'échecde le scenario: mais venez à une nouvelle écoute dans ce. Écoute, on regarde les scénarios d'échec dans le livre Yon Cream. Nous pouvons être les scénarios bilieux de chute dans John Finn Book Gaz, Viniar Application, Monster Failure, pas de figure Manager. Et enfin, le gestionnaire de ressources a demandé divers scénarios 100 essentiellement de manière au passé. Échec dans Classic My Produce, ils peuvent enregistrer des problèmes connexes comme dans Tonight, Lou. Dans ce cas, le maître d'application cesse d'obtenir la progression de l'âge sur l'application. Massive serait pour un certain temps décidé par la propriété. Les docteurs de Mapfre ne s'écoulent pas. C' est la même chose que nous avons vu dans le classique mes produits. Après cette période d'application Muster modéliserait votre meilleure peur. Ensuite, ils peuvent être casse-off erreurs d'exécution sur la télévision dans les échecs comme nous l'avons vu en Castaic. Mon produit à l'action menée dans Young est également le même dans le modèle à battant. Échec aux États-Unis réduits. La maison de campagne est vraiment génial sur une autre machine sur le nombre de quelques équipes faites sur. La tâche serait décidée par la propriété mathématique note point map Matière noire. Tim sur la grille de carte n'utilise pas vraiment. Ne pas faire correspondre le temps avec ces propriétés ont avant la valeur de quatre. Cela veut que vous remarquiez que dans les cours, j'ai produit l'indien correctement avec les victimes Max Door sur Yon ? Il se termine par des pierres précieuses massives sans aucun doute entre les deux. Après ces nombreux échecs sur les premières tentatives avec la recherche de l'espace, laisser des propriétés le travail complet avec la sensation d'Amanda dans certains emplois, qui ont été traiter une énorme quantité de données avec des centaines d'étoiles période off est parfois acceptable. Et donc l'échec d'un ou deux travail ne doit pas Mère terminer le travail comme un échec pour ces cas . Marié Ne pas cartographier dot seniors Ne correspond pas affiché sur la carte Vraiment ne pas réduire la doctrine Années . Cette personne Max serait les propriétés qui seraient sexuellement côté acceptable pourcentage vidéo hors de la carte et nous réduit respectivement, avant de déclarer un emploi à BP. Puis vient un scénario d'alimentation hors application Monster. C' est le monstre de l'application. Les craintes qui ont couru sous elle n'ont pas besoin d'être soumises. Ils peuvent être enregistrés, mais avant très bon n'est pas allumé sur la propriété. Jeune porte tpp a apporté de l'art produit en masse. E m ne blague pas dot gov dot enable serait nécessaire pour dire que cette fonctionnalité va sur les étapes prises par elle faire en cas d'échec. Off application Master est sur des lignes similaires aux étapes effectuées en cas de défaillance passée. Avec les craintes du maître d'application, le gestionnaire de ressources cesse d'obtenir les battements de cœur de l'application Master Resource Manager Les bonnes nuits et le maître d'application a craint comme en cas d'échec passé . Les gestionnaires de ressources démarrent le gestionnaire d'applications sur un nouveau conteneur. Si l'option de récupération est dit, la rue qui est hors du bus est récupéré à l'exécution. Hors du travail se poursuit. Le nombre de EU Tim sur demande Master est dissuadé par la propriété. Yon dot gestionnaire de ressources point dans les tapis de points droits de lecture iPhone. Ensuite, nous regardons la clé est mieux connue, gestionnaire se sent si le gestionnaire du Nord le sent, arrêter d'envoyer les 100 étudiants. Ces gestionnaire de ressources gestionnaire Beach pour le gestionnaire Nord mis une morsure contraint le cas . Il peut avoir foutu si vous êtes suspendu, ne reçoit pas de battement de cœur pendant une certaine période de temps. Il suppose qu'aucune direction ne s'est écrasée. En cas d'occupation, Master était en cours d'exécution sous le gestionnaire connu sur le terrain. Les étapes décrivant les défaillances du maître d'application sont suivies. Toute la rencontre nous au moins né sur Annunzio avantages. Si les États-Unis sous spécifique connu gérer si il souvent sur un trésor l'avis retiré de la piscine disponible et c'est l'histoire noire, liste noire est un processus pour essayer les notes mal performantes. Cette procédure est un semble, comme nous avons discuté les grévistes Intar dans Classic My Produce Resource Manager Failure est un autre échec sur la plus CS échec que Annika sans cette nuit du travail n'est pas les conteneurs de tâche peuvent être lancés, mais chez les jeunes, il y a une véritable amélioration. Un mécanisme est mis en place pour se remettre de l'accident. Le mécanisme de point de contrôle tire l'endroit, ce qui est une amélioration par rapport à la carte classique publié Single, qui Hannah après l'accident. Une nouvelle ressource, instance plus douce, est soulevée par l'administrateur sur elle concerne de la dernière Steve State. Donc, les lectures de tous les travaux n'est pas nécessaire. Et puis je voudrais juste mentionner que Young n'est pas tentative de se rapprocher du journal de marbre original de Google. Google ont publié des documents, mais jamais eu ces tribunaux, donc ils sont beaucoup plus avancés dans le reste du monde. Dans son duc comme la technologie informatique dépiritée 32. 031 Programmation des emplois dans MapReduce: nous arrivons à une nouvelle écoute dans cette saison, nous regardons comment les emplois sont prévus dans mon précédent livre Scream. Le scénario général serait qu'il y aura plusieurs utilisateurs délivrant les tâches sur le réseau distribué Hadoop . Le schéma de programmation serait utilisé chez Job Tracker au cas où mon produit sur le gestionnaire de la source dans le cas de mon produit à savoir si les schémas de chute peuvent être mis en place dans mon précédent livre de cadre forcé dans quatre étoiles, également connu sous le nom de frais pour scapulaire paire omoplate et enfin capacités figure mon produit un est livré avec un choix de tous les trois qui ont forcé pour la pierre comme un rapport sur mon produit. Deux vient avec juste un tueur de visage sur la capacité scapulaire avec la capacité scapulaire comme le Deport . Voyons ce que sont ces tueurs ? Et cela se révèle en permanence. Commençons par forcer pour commencer le schéma de mise à l'échelle très tôt sa version. Dube a utilisé ce régime de vie dans la forme la plus simple. Ce diagramme montre sait, commence sur les Nords, le régime alimentaire comme vous et les emplois initiés sur le tracker d'emploi. Cela commence avant que la carte ne commence et commence vraiment comme ils sont censés être,par exemple, par exemple, deux types de démarrages dans les revues de carte classiques. Je ne suis pas montré que détenu dans ce diagramme, car il n'est pas lié à l'idée principale qui doit être sûr. Donc, le travail qui a été soumis forcé, prendrait toutes les ressources sur serait exsudé, forcé dans ce cas de patinage. Si un grand dépassement soumis juste avant un travail de petite taille mais hautement prioritaire, l'utilisateur du petit travail devrait attendre un temps déraisonnablement long. Cette situation a été un peu améliorée par le déploiement, Appliqué son schéma avec cela. Donc maintenant, les emplois auraient pu être des regards indiscrets à très haut, haut, normal, bas sur très bas. Donc, la situation s'améliore un peu comme une priorité plus petite . emplois se sont déplacés en haut de l'ordre, mais assis. Dans ce cas, la préemption était impossible. Et donc le plus petit travail a dû attendre longtemps si un processus plus long était déjà et était en cours. Ce jeu donne aux clients une part inégale hors du cluster sur un délai d'exécution aléatoire. Ensuite, nous regardons la capacité scapulaire. C' est le skin par défaut non plus, qui vient avec mes valeurs à tous les yon Asseyez-vous. Cela prend une position un peu différente de mon pour utiliser ce câblage. Dans ce cas, les indices sont divisés sur la base des utilisateurs, tous les groupes hors utilisateurs, ce qui est pierre moins organisations. Ce tueur est conçu avec une idée de sorte que le même cluster peut être loué à plusieurs organisations, et la ressource est peut-être divisée pour résoudre cette question spécifiquement installations pour l' organisation. Cette organisation ne veut pas dire qu'ils ne se regroupent pas, mais ils peuvent louer une partie de Lester, ce qui serait pour leurs services. Donc, en cas de capacité plus effrayant, il y a plusieurs files d'attente spécifiques pour les organisations. Chacun vous est donné une partie des ressources hors du plâtre. Ce sont généralement des allocations douces et élastiques, mais peuvent être configurées à dur mais de nombreuses façons différentes. Sur la base de l'exigence, voyons cela avec une simulation. Supposons un emploi Enders organisations un Qué donc il serait ramassé car il n'y a pas de modèle de travail en cours d' exécution avec. Cela nécessiterait autant de ressources que possible. Cela utiliserait efficacement la grappe lorsqu'un poste dans l'organisation apparaît. Ainsi, du premier emploi serait pris soin de sentir les coups pour le nouvel emploi. Il existe de nombreuses fonctionnalités disponibles dans ce tueur comme la capacité garantit l'élasticité , la sécurité , etc., qui peut être personnalisé par l'administrateur pour la situation. Ensuite, nous regardons le féroce K faire cela. Conceptuellement, cela semblait vraiment capacité skieur avec des différences mineures comme les leaders de compétences de capacité , les files d'attente sont divisées sur. Ici, ils sont en bas de ce sport. Ainsi, les emplois sortiraient du bassin et se verraient attribuer leur part des ressources. Supposons que si un autre travail vient à la réserve le calendrier de capacité, il le traiterait comme si le forçage avait empêché notre premier départ sur quatre avec la priorité dans ce cas, une petite fierté. Le travail doit lire pendant longtemps. Donc, cette situation s'améliore un peu. Les ordinateurs faciaux sur lesquels les travaux qui ont attendu dans la file d'attente seraient récupérés seront le panneau de traitement afin de donner une meilleure expérience utilisateur. Ce tueur est en effet une rue sur le travail sur il est toujours en cours que je fais cette vidéo, cet ordinateur et la discussion en ce qui concerne scapular vous voir dans la prochaine Écoutez 33. 032 Shuffle et triage: nous pourrions faire une nouvelle écoute. Dans le système précédent, nous avons appris les emplois qui tuent dans ce domaine. Ecoute, nous regarderions les étapes de tri Shefrin, qui sont cool et dur à chaque carte. Travail précédent chaque affaire. Son travail passe par le chef dans In Sort Face, Matt processus de programme, entrée, clé et valeur. Ensuite, la sortie de la carte est triée sur ce transfert pour le réduire, et cela est connu en plus car nous allons voir à travers une simulation sur la façon dont les choses se passent. Mes processus. Entrée sur la sortie n'est pas radicalement retourné sur le disque, mais Israël Dental en mémoire avant soupirs hors Ceci avant est décidé par la propriété. Je ne commence pas Dot Nb. Il est D quatre tailles 100 moi, comme la carte écrit dans l'avant avant remplit sur Brenda avant d'atteindre un seuil. La limite de seuil est de 4 80% de fond. Trois. Commençons à écrire le contenu avant dans les cartes de disque ducal. La production continue d'être retournée à l'avant pendant que cette période a lieu. Si la carte a plus hors sortie, il peut remplir l'avant, et dans ce cas, et dans ce cas, carte serait suspendue pendant un certain temps jusqu'à ce que le déversement à Pise avant hors de la carte de l'ordinateur des esprits moi à nouveau atteindre le trésor et dans ce cas maintenant, ce projet de loi serait renvoyé. Les esprits sont détenus en mode round robin sur ceux-ci sont retournés dans le répertoire spécifié dans le point de marché immobilier local Norby ir, donc il peut y avoir beaucoup d'espace avant que la dernière paire de valeur clé ait été bonne dans la tâche de carte . Chaque déversement est cloisonné et trié par. La clé est exécutée à travers une moissonneuse-batteuse. Er, si la combinaison de notre fonction est conçue pour le travail, tout est fait par fil de fond. Une fois la carte a terminé deux croix tous les enregistrements, tout l'espace est ensuite fusionné dans un fichier ouvert, qui cette partition et trié. Si plus de trois espaces sur Mars ensemble, combiner une fonction est à nouveau exécuté à travers la sortie finale. Rappelez-vous que les fonctions combinées peuvent fonctionner plusieurs fois sans changer la finale. Réservé, comme une fonction mineure réduit la taille. Tout mettre, ce qui est des avantages, car ils seront moins quantité de données qui seraient nécessaires pour être transférés pour produire une machine. Si la sortie des cartes est vraiment grande, il est recommandé de compresser la sortie des cartes pour réduire la quantité de données. Cela peut être fait en s'asseyant de la propriété importante. Dot com appuyez sur la sortie point de la carte de points à dessiner et schéma de compression peut être spécifié par la carte de la propriété carte de points rouges n'ouvre pas le point de compression codec. Après cela vient les frais de copie. Il y aurait beaucoup de US mappés en cours d'exécution sur la définition différentes fois Dès qu'ils ont terminé, ils notifient le cracker de travail ou le maître d'application, qui a demandé à la libération de lui copier Desert sur le disque local. Et donc les partitions sont copiées par le producteur du Net folk. Après cela vient la surface sur Dans cette face, réduire émerge la sortie des cartes, qui ne parviennent alors pas à réduire pour créer le résultat final. La bande de Gaza en surface est un peu plus dans le monde. Examinons la phase de tri dans ce visage. La propriété, qui joue un rôle important, est le plus facteur sur son dit par la propriété. Êtes-vous point tri facteur point ? C' est la valeur par défaut. Istan, cela signifie, est combien de combats peuvent être le plus à un seul but. Comprenons cela avec la salle de simulation, je suppose que si elles réduisent. Il reçoit 35 de différentes cartes, puis ces Bush à venir par lots de 10 sur en trois tours, il créerait le prix intermédiaire le plus, et dans le tour final il serait fané. Papa est venu voir le producteur. Sachez juste que la plupart des combats doivent être triés par les touches ainsi pour augmenter l' efficacité de l'io disque qui a réellement fait parler Adam littéralement amical. Il sélectionne le premier Orefice, fusionne en un, puis ramasse les patchs suivants sur la douleur lors du dernier tour. Il faudrait les six prix restants sur musulman sur les nourrir directement dans le réducteur. faire comme ça augmente le disque. efficacité de l'Ire. Cela se termine sur la discussion en ce qui concerne la démonstration et le tri. se voit dans la prochaine écoute. 34. 033 les fonctionnalités de la performance en la matière: nous pourrions faire une nouvelle écoute. Dans le précédent isme, nous avons appris les détails de l'exécution aléatoire et tri. Dans cette leçon, nous allons en apprendre davantage sur quelques fonctionnalités de réglage des performances dans son groupe. Nous examinons d'abord l'exécution spéculative. Le souhait de Hadoop, c'est qu'il nous ramène à plus petit pour nous et qu'il les traite au Parlement. Ce traitement familial lui donne l'avantage Duke par rapport au traitement classique des notes uniques . Je suis donc comment faire peut produire un débit plus élevé. Mais dans le cas où un hors, il commence fonctionne mal, la performance de l'ensemble du travail diminue. Dans cette simulation, vous pouvez voir que les trois derniers sont tombés derrière le reste. Cela peut être dû à une dégradation matérielle. Aussi des configurations célèbres aussi bien. Dans ces cas, son faire pré-lancement est la tâche à une autre machine. Celui qui finirait en premier serait pris pour le désert sous celui serait tué . Ce sont ces deux points clés importants qui doivent être gardés à l'esprit lorsque la pensée ou exécutions spéculatives d'abord nous ne sont lancés qu'après que toute la poussière des emplois ont été lancés. Enregistrement de travail, puis pointeurs. S' il y a des emplois en retard et ils seulement il le ferait. Lady spéculative Tâche exécutée Deuxièmement, il s'agit d'une fonctionnalité d'optimisation et non d'une fonctionnalité de fiabilité. Ce que cela implique, c'est que si la tâche est en cours d'exécution, vissez à cause d'un cordon Bugsy, mais vous ne serez pas en mesure de le réparer ou de le diagnostiquer. Souvent point zone sur la cour. Il s'agit simplement de s'assurer que les configurations matérielles et logicielles sous-jacentes ne sont pas la raison de la lenteur de la progression de la tâche. Et donc il essaiera de l'exécuter sur une note différente afin que l'ensemble du travail se termine le plus rapidement possible . Je l'ai fait au crépuscule original et la défense spéculative peut finir, forcée dès que l'on se termine. L' autre est tué. propriétés en ce qui concerne les exécutions spéculatives sont la grille de carte, tâche de matière noire, pas spéculative, pas l'exécution. C' est la propriété qui compte Ford. Ensuite, map dot a réduit notre exécution de point passé ou spéculative qui est pour nous réduit. Ce sont des propriétés d'investissement qui sont avant le secteur True, ce qui implique que l'exploration spéculative est activée par défaut. Ces propriétés sont engagées à être définies vraies, mais elles peuvent être réglées pour tomber, dit Eh bien, dit Eh bien, il n'y a pas de mensonge. Exécutions spéculatives. Cela ne serait fait que dans le cas. Si le cluster est déjà surchargé, nous n'avons pas besoin de surcharger. La ressource est avec spéculative nous quelques installations avant aucune exécution spéculative sous votre site. C' est fait parce que pour commencer une autre copie vous a offert, monsieur la carte. Tous les ports devraient être pêchés à partir du réseau, ce qui augmenterait considérablement la charge sur le réseau. Ensuite, nous regardons une autre fonctionnalité qui a épousé le moyen à utiliser. Cette fonctionnalité peut être utilisée pour des gains de performance dans le cas où il y a beaucoup de petits travaux pour travaux plus petits. La surcharge de lancement d'un nouveau GBM est importante, la dernière course sur un GBM différent afin de les séparer avec les démons du système à long terme . La raison derrière elle est que le tribunal de l'utilisateur a une forte probabilité d'être erroné sur. Dans ce cas, il peut perturber le démon système et les mains et gbmc dissipé Les États-Unis, qui se qualifient comme des mortels inconnus comme Hubert comme dans yon, et ils sont lancés et exécutés sur la même équipe que le maître d'application au cas où hors de mon produit un les partages de l'attaquant et TVM, avec la carte déjà utiliser la tâche la carte de propriété, débarrasser le travail ne nous utilisons pas le gbm dot Numb tâches sombres décider sur Homing Task et Dylan sur le JV m. Quelle est la valeur par défaut sur moins un peut être définie sur indiquent qu'il n'y a pas de limite pour réutiliser le GBM. Le prochain avenir que nous envisageons est de sauter des records. Ils peuvent être une situation que la tâche peut se sentir en raison de la nécessité d'une prise de vue sur la question centrale lorsque les retards d'entrée grande, Cette situation n'est pas susceptible de se produire. Mais cette saison, votre programme devrait être conçu de telle sorte qu'au cas où il reçoit un mauvais dossier, il ne devrait pas le traiter. Mais plutôt remis à des exceptions sur un compteur devrait être maintenu pour garder une trace. Combien y a-t-il eu de tels enregistrements ? Les compteurs seront discutés un peu plus en profondeur dans le prochain segment du discours. Donc, vous avez conçu votre froid pour gérer les situations inattendues, mais pour qu'ils puissent être un record avec Rita, pas 100 par la cour. Il a été analysé observé qu'il n'y aura pas beaucoup de documents de ce genre, mais ils ne seront que quelques-uns, ce qui entraînerait l'échec de la tâche et il y a tout le travail de ne pas gérer une telle situation. Cartographiez. Facebook a une fonctionnalité de sauter les mauvais records. Voyons comment cela fonctionne. Laissez les lignes signifier les enregistrements d'entrée dans les esprits d'entrée avec des lignes bleues comme de bons enregistrements sur la ligne de pain comme mauvais enregistrement. Le tracteur rapide traiterait tous les bons enregistrements pour produire une paire de valeur clé à mesure qu'il atteint la carte de bataille. Il aurait l'impression d'observer ce cracker d'emploi serait lancé. La tâche sur une autre machine pour assurer que sur le matériel de ligne également adapter. La configuration n'est pas le problème de l'air à l'origine. La poussière traiterait tous les bons dossiers sur se sentir au bar la carte encore et encore la réponse directe du travail à nous sur un nouvel attaquant de la ville. Cela fait ce qui traite à nouveau les bons enregistrements, et quand cela sent qu'il envoie l'enregistrement sur lequel il a l'impression d'échapper plus est activé par le tracker de travail. Maintenant, la nourriture atteinte à cette tâche traite les bons enregistrements, et quand il atteint le mauvais record, il l'ignorait, essayait les enregistrements suivants et continuait à le traiter. Il y a donc trois échecs avant que ce mode de don ne soit incapable qu'il soit conçu. Donc, parce que si chaque échec de Star Striker commence à communiquer le dossier sur lequel il a peur, cela coûterait aux problèmes potentiels La bande passante navale première alerte sera un endroit pour communiquer l'information du dossier. Deuxièmement, le traqueur de travail serait chargé avec Lord Date hors échecs, et il serait difficile pour le traqueur de travail de garder une trace de tous les dossiers. Donc, si vous voulez utiliser cette fonctionnalité efficacement, vous souhaitez augmenter la valeur hors des tentatives de maître de points importantes sur les avis de points Macrae . Les tentatives de matière noire, qui contrôlent le nombre de Manson sur trois plateaux sur la carte, nous ont tous réduits, respectivement. Comme nous l'avons discuté dans une écoute, alors la valeur quatre est pour cela est absent ou discussion concernant ces sujets vus dans la leçon suivante. 35. 034 Voir les Counters: Bonjour et bienvenue à une nouvelle écoute dans cette leçon, nous apprendrions sur les pays dans les compteurs de programmation de Napoli peuvent être découpés Gracie en deux sous-catégories. La première catégorie est les compteurs affectés, qui auraient des compteurs relatifs au test. Et la deuxième catégorie est les compteurs d'emplois qui ont les pays associés à l'ensemble Joe. C' est que les compteurs sont passés ou à l'attaquant goudron, puis ils sont envoyés au traqueur de tâches , qui agrégerait les compteurs de toutes les tâches de carte en cours d'exécution. Lorsque ces marqueurs d'étoiles sont passés, l'image complète des compteurs de maison est envoyée, et pas seulement le changement ou les mises à jour de la date comme nous les appelons. Il est fait ainsi afin d'éviter les erreurs en cas de perte, hors message et transmission, le Congrès américain peut, le Congrès américain peut, s'il est subdivisé en utilisateur défini sur les compteurs d'élevage. compteurs définis par l'utilisateur sont généralement conçus pour aider l'utilisateur à comprendre la nature des données traitées. Les chasseurs d'emploi, d'autre part, mesuré les statistiques de vie d'emploi il maintenir et traqueur d'emploi dans les revues de cartes classiques ou l'application Master India. Il aurait des données telles que le nombre de tâches américaines réduites sur la carte et ainsi de suite. Regardons la sortie d'un sur mon travail de production sur le brin dans peu trempé. Ce n'est pas notre travail reporté. Il commence par le numéro de tour hors partie d'entrée qui est un dans ce cas. Ensuite, choisissez la progression hors de la tâche. Comment ça se passe. Rappelez-vous que les travaux peuvent fonctionner pendant une longue période. Et donc ce mécanisme de rétroaction est nécessaire pour que les utilisateurs sachent que le travail n'a pas été suspendu comme nous l'avons déjà vu, 33% de réduction. temps réduit est divisé entre le tri aléatoire sur le métal à libération réelle. Donc, à cet esprit probablement juste terminé l'étape de shuffle. Vient ensuite les compteurs et ses détails. Ça dit des compteurs à B 29. Cela signifie qu'il y aurait 29 compteurs dans tout ce qui serait affiché maintenant, Comme nous l'avons discuté, les compteurs peuvent être divisés en deux parties. D' abord les compteurs de travail et deuxièmement, ceux-ci le reste d'entre eux, qui sont les compteurs de poussière. Joe Contras a montré le nombre off, réduire et cartographié une ligne statistique le temps passé à courir réduire et nous a cartographié. Il montre également combien de cartes ont eu l'avantage de fentes de localité de données minutes réduire montre Le temps qu'il a fallu pour exécuter la réduction importait en millisecondes. Donc, il est 9350 ici et vient ensuite les compteurs de tâche sur. Ce sont tous les compteurs de reproduction que nous pouvons encore diviser dans le format de sortie de combat de remorquage qui contient le nombre de morsures écrites puis cinq compteurs système qui a les détails les morsures écrites sur lecture à partir du système de fichiers. Dans ce cas, c'est DFS. Il peut s'agir d'un système de fichiers local. En cas de désactivation, autonome plus. Ici, vous voyez une valeur élevée car il s'agit du retour net piqûres et lu à partir d'un système de fichiers. Ce n'est pas le nombre d'octets retournés à un combat, Il y a donc un peu de méta-données qui sont transférées. Vient ensuite les combats mis anciens compteurs qui montre le nombre d'octets qui ont été lus par tâche de carte. Puis vient les compteurs de la carte. Carte de livre assez extrême sont bonnes. morsures matérialisées montraient le nombre d'octets que j'ai écrits sur le disque par la tâche de carte . Vient ensuite les enregistrements d'entrée dont la carte a traité réduisent vos morsures complètes, choisissez le nombre d'octets qui ont été mélangés sur le Net. Les enregistrements d'esprit folklorique montrent le nombre d'enregistrements qui étaient présents sur cette jolie carte de données. l'extérieur. bonnes piqûres montrent le nombre d'octets sont mis par la carte. utilisation totale du tas validé est le nombre d'octets qui ont été utilisés par le travail. Il s'agit d'une mesure importante, en particulier lorsque vous voulez savoir combien de mémoire moyenne est utilisée par votre travail. Économisez votre temps passé donne une indication sur l'utilisation de la gorgée. La combinaison des enregistrements de mise affiche le nombre de valeurs de désactivation qui est évalué par la moissonneuse-batteuse dans son entrée. Rappelez-vous, les clés ne donneront pas les enregistrements d'entrée réels à la combinaison er, mais les valeurs étaient comme entrée à combiner. Il est sous la forme des touches off sur la liste des valeurs, des piqûres de ligne fractionnées, les présents, les données de compteur divisé plutôt que les données fractionnées elles-mêmes. Réduire mettre des chaussures record. Le nombre des enregistrements d'entrée à réduire il combine tous les enregistrements de mise, affiche le nombre de désactivés ou mettre les enregistrements par la combinaison. mémoire physique et virtuelle ER indique la quantité de mémoire physique et virtuelle utilisée. Réduire et cartographier. Nos enregistrements montrent le nombre off ou mettre des enregistrements qui mappent et réduisent les fonctions tous mis. Ce sont donc les indicateurs du V, qui peuvent donner une compréhension sur les données de sortie d'entrée sur le mécanisme de traitement. Ensuite, nous allons en apprendre davantage sur les compteurs définis par l'utilisateur. L' idée générale derrière la conception des compteurs définis par l'utilisateur est qu'ils donneraient un aperçu significatif des données en cours de traitement. En outre, comme bonne pratique de programmation, il est recommandé d'avoir des compteurs qui permettent à l'utilisateur de comprendre les données traitées. Donc, en général, le côté de la carte de bon Adam ressemblerait à une fonction de carte sur la logique de traitement. Il est toujours recommandé d'enregistrer la logique de traitement avec la clause if et de vérifier si l' enregistrement de données est dans le bon format. Si ce n'est pas le cas, il devrait détourner un compteur. Ainsi, à la fin de l'exécution, l'utilisateur serait en mesure de voir dans quel pourcentage sur les enregistrements sont tombés. Mauvaise catégorie. Si la réserve produite représente réellement la grande partie des compteurs de données sont utilisés via l'objet contextuel. Dans les versions récentes Off groupe Dans les versions antérieures de Duke Reporter objet a été utilisé . Bien que la structure de programmation soit exactement la même que nous regardons ici 36. 035 mains sur les Counters: Bonjour Dans ce Écoutez, boeuf, vous décrivez comment mettre en œuvre des compteurs dans notre programme de bonne escroquerie. Je demanderais le code source avec cela. Ecoute, il est la classe de pilote sur elle est la même que pour il avait discuté jusqu'à présent dans le cours. Les seuls changements apportés ici est que tout orteil une nouvelle classe mère ici travail sur la carte avec les pays restauration de classe est à peu près la même que la dernière marque, le seul changement ont fait est que a mis en logique pour implémenter le compteur. Ce traitement utilisé est le contexte dot get counter Et puis vient le plus serré sous Mr Counter serait groupe Et comme le second argument vient, le nom du compteur dot métal intime est utilisé pour mettre en œuvre la valeur du compteur par un. Et c'est ainsi que vous pouvez concevoir un compteur simple. Ce compteur ne serait mis en œuvre que lorsque la première lettre hors du monde est non alphabétique. Comme vous pouvez le voir de la cour, le comptoir criminel est dans l'autre partie des vêtements de l'autre. Rappelez-vous, L'idée hors des compteurs est d'obtenir la qualité et la nature des données qui sont traitées ici. Cela nous donnerait une idée de combien de mots dans l'importation commencent par des chiffres sur les combats. En fait avoir les mots corrects ou pas l'utilisation. C' est exactement le même que nous en avons discuté. Laisse-moi juste exporter le combat du travail. Je voudrais isoler toutes les classes sauf ces trois classes. Franchement, confiance ? Non, je veux dire être plein si je vais Ellis et là je vois le théâtre d'emploi World Condor. Je fais juste un GPS et je vois si tous les démons sont en marche. Tout est terminé. Maintenant, je fais une liste sur elle. Fais feu, ma sœur. Maintenant, vous voyez ici tous les combats que j'ai déjà créés dans leur fichier qui a entrée avec des mots, commençant par les membres. Laisse-moi juste gentil, mais laisse-moi participer au programme maintenant. Et ici, nous voyons la couche sur le comptoir, que nous avons mentionnée dans la cour. J' aurais dû être le bluesy dans les capitales pour qu'ils aient l'air mieux. Mais alors c'est quelque chose que vous pouvez aller lorsque vous exécutez ce programme. Je vais juste mettre le résultat ici et vous pouvez voir la sortie complète. C' est une mission. Je vous suggère de l'exécuter sur un gros do. Est-ce qu'il expérimente un peu ? Compteurs Vous pouvez rechercher des jeux de données de texte volumineux sur Google avec un peu d'effort. Vous obtenez un fichier volumineux pour le croire. Concevez quelques compteurs supplémentaires en fonction des besoins et voyez comment la sortie change. 37. 036 d'idées de tri avec Partitioner partie 1: bienvenue à une nouvelle écoute, épée en utilisant la partition. allons plonger plus profondément dans la fonction de partitionnement afin que nous comprenions son utilisation sur qui nous aidera à appliquer intelligemment à d'autres problèmes. Valeurs. Maintenant, nous avons vu que les données circulent à travers la logique de la carte où elles sont traitées, puis il va au shuffle et trier sur la face de partitionnement, qui est tout fourni par elle faire sur. Ensuite, il va à la face réduire, qui est à nouveau conçu par l'utilisateur et finalement il produit sont conservés. Dans cette leçon, nous apprenons comment modifier cela. Helou a fourni étape a poursuivi nos solutions pour cela. Payons l'épée et mélangeons l'étape de partitionnement afin que nous puissions souligner l' importance de la partition sur son importance pour la solution. Donc, lorsque vous concevez une carte, jolie solution, vous devriez toujours visualiser les données qui circulent à travers la carte shuffle dans la partie de tri schnur sous dysfonctionnement. Cela représente un flux logique de données. Rappelez-vous que le flux réel de données est un peu différent. Comme mes conserves sont triées, je partage sur les machines de carte. C' est si et puis mélanger à travers le net pour faire les machines de réduction où ils sont triés à nouveau. Cette grippe est survenue sur le flux réel. Mais pourquoi conçu la solution ? Vous souhaitez diviser votre solution dans les cas logiques, comme indiqué. Non. Une chose à noter est que votre solution devra utiliser la face de tri. Dans tous les cas, si vous ne voulez pas utiliser la phase de tri dans votre solution, vous pouvez penser à mettre toute la logique dans la bouche positive et l'exécuter sans les producteurs, bien que ces types de scénarios soient là et vous utiliseriez ceci ou visage dans votre solution presque tout le temps. Maintenant, lorsque vous marchez sur un grand ensemble de données, il y aurait beaucoup d'entrées. Les esprits sur de nombreuses cartes travailleraient en parallèle. Cela donne un débit plus élevé. Je laisse le traitement est la force de mon joli livre de cordes sur elle devrait être utilisé à tout moment. Mais le rattrapage, dans lequel un orteil débutant force est qu'il ou elle, si souvent se concentrer à utiliser ce traitement de palette sur les frais réduits qui réduit l'efficacité globale hors travail. Rappelez-vous que le nombre de producteurs qui sont utilisés doit être fixé de façon coûteuse par l'utilisateur. Alors que le nombre de cartes est automatiquement sur l'intelligence, nous ne pouvons pas commencer par son travail en tenant compte de la science divisée sur la localité des données. Donc, dans le cas d'un réducteur unique, ce qui se passe, c'est que je vais remettre toutes les cartes, question complète à travers le même réducteur sur le producteur travaille sur un matériel de base. Ainsi, tous les avantages générés sur la face de la carte sont perdus pendant la face de réduction . Il est donc recommandé d'augmenter le nombre de producteurs en tenant compte de l'utilisation hors avant partage. Dans ce cas, ce qui se passe est que les utilisateurs de mec sont mis à des combats lancés individuellement. Mais ces deux combats commencés ne sont pas faciles à fusionner ensemble en une seule sortie. Triez-le pour vous par simple, je veux dire que nous ne serons pas en mesure de produire un dernier classement trié en les coordonnant. Voyons voir, avec un exemple, laissez-moi juste montrer la lutte d'entrée. Je viens juste de faire un lain aléatoire Stewart, le gagnant de sa fille de cartographie de propriété, utilisé ou classique pour faire la preuve Amaranth Et ici vous pouvez voir que, aussi, réduit autour du travail maintenant, tandis qu'une liste à l'extérieur exactement UBC pour réduire leurs combats. Laisse-moi juste avoir une partie est l'utilisation. Utilisez votre combat. Et maintenant, laisse-moi me battre pour la première partie. Donc, ici, vous voyez que la porte pour trouver certains individuellement commencé. Mais quand ils sont concaféinés, ils ne produiront pas le combat de calcul commencé. Pour en revenir à la présentation, je mettrai les points et observations importants. Tout d'abord, la partition avant est le partitionnement de hachage sur. Nous apprenons ici sur le partitionnement de hachage. La logique derrière cette partition est de produire le hachage refroidir le tee et il effectue l' opération une avec le max indigent. Et il y a un patient modèle dans le modèle produit spécifié. Donc, dans ce cas, ce qui se passe est que la distribution des données est de sorte que les combats de réserve sont triés individuellement, mais ont besoin d'un effort supplémentaire s'ils sont près de deux combinés dans une grande sorte de combat. Ce type de scénario avec Oezil n'est pas Ce formulaire est connu comme un cas hors partiels sont autre chose à garder à l'esprit est que toutes les paires de valeurs clés que le producteur émet pour groupe clé seraient présentes dans le même feu de réserve. C' est particulièrement un point important à garder à l'esprit si vous concevez une solution avec la chaîne de ma cause de production sur notre remise, ce travail agit comme une entrée à un autre travail au cas où si vous voulez votre solution orteil fichiers maladroits , qui peut être un contact dans un tid pour produire un gros fichier sordide qui est tourné comme un cas de lutte sorte qui a aidé à concevoir de telles solutions ? Pollute fournit expressivement une partition connue sous le nom de partition d'ordre total. lecture d'une partition personnalisée qui peut partitionner la carte tout pourrait dans une distribution triée et presque égale hors partitions est un peu difficile. Je vous demanderais de réfléchir à l'écriture d'une telle partition ER personnalisée, qui est un endroit capable de trier et de partitionner la sortie de la carte en portions égales. Ce serait très difficile, et cela vous seriez en mesure de comprendre la beauté de Seigneur de Partition il. Le plus grand défi conçu pour une telle solution est de diviser la carte en une bonne distribution intérieure qui est presque égale. Il serait efficace que l'un des producteurs obtienne la majeure partie du travail de l'autre. On n'en a pas. Cela peut arriver de sorte que la forme de distribution de clé soit sous la forme d'un Bilko. Dans ces cas, diviser l'espace clé par le nombre de producteurs ne donnerait pas une distribution uniforme hors travail, Lord a avec partition d'ordre total er fournit échantillonneur d'entrée avec des échantillons d'espace d'entrée pour trouver sur la distribution et frappe la partition d'ordre total à faire par les clés coller en portions quelque peu égales. Donc, vous verrez toujours la mise en œuvre hors échantillonneur d'importation avec Lord of Partition dans la section suivante. Nous comprenons une autre technique. Nous pouvons appliquer des solutions de porte qui est d'autre part la technique de tri. 38. 037 d'idées de tri avec Partitioner 2e partie: nous pourrions faire une nouvelle écoute. Deuxièmement, triez. Dans ce système, nous apprendrions une autre technique qui peut être appliquée à des scénarios de problèmes. Ils peuvent t promettre scénario où vous aimez l'ouverture, un groupe de clés réservé pour être trié par valeur et pas seulement par la clé. L' idée est que vous voulez que les valeurs d'ordre hors soient stables avec les exécutions consécutives, ce qui en général ne se produit pas. Ce type de technique sera nécessaire pour avoir des valeurs dans le formulaire de commande est techniquement connu comme un cas hors deuxième recours. Il y a comprendre cela avec un exemple. Supposons que nous n'ayons pas d'enregistrement avec votre mois et la température maximale enregistrée dans ce mois. Le problème ultime proposé est d'alimenter le réducteur avec les données sous la forme que les enregistrements sont disposés dans l'ordre décroissant sur la base de la valeur de température . Nous pouvons utiliser cette entrée libérée à la réduction des frais et conçu producteur juste pour omettre la première des impressions, ce qui réduit la sortie de la température maximale pour cette année. Mais ce n'est pas une approche recommandée pour trouver la température maximale, mais pour comprendre le concept de tri en toute sécurité, nous allons concevoir une solution à cette approche, plus l'approche engagée est de simplement traiter l'année comme une clé et non s'inquiéter des valeurs de tri et avoir une logique ou trouver la température maximale à la réduction des frais. Mais bien sûr, nous sommes là pour comprendre un nouveau concept. Donc, les défis qui devraient être une paire de valeurs clés de la face de la carte et comment allez-vous répondre à la sortie de la carte afin que vous obtenez les valeurs ordonnées par température dans l'entrée au producteur. Cette entrée pour le réduire est présentée juste comme une ligne directrice. Vous pouvez, bien sûr, changer dans votre solution, bien que l'ordinateur derrière l'approche n'ait pas été couvert ici, mais quand même, je vous demanderais de lui parler un peu. Qu' est-ce que nous ne savons pas et réfléchissons pendant une minute. Regardons l'approche. Je suis presque sûr que vous auriez considéré la combinaison hors année et la température comme la clé et l'ensemble de la valeur des enregistreurs, même si vous étiez proche de cette approche, mais pas certain. Veuillez accepter mes félicitations. Vous étiez sur la bonne partie, donc maintenant le producteur important ressemblerait comme montré ici, les clés seraient la combinaison hors année et la température sur la valeur serait record. Mais ce qui se passe dans ce cas, c'est qu'un autre record 1900 commune neuf la clé aurait un tribunal de hachage différent. Comme pour le record précédent, avec la clé 1900 vie commune, et donc ces deux cartes irait à travers différents réducteurs au lieu du même producteur . Ce ne serait pas un bon cas pour nous, Donc, dans ce cas, nous apprenons un nouveau concept de clés composites Composite Key est composé de deux parties. Clés naturelles sur les valeurs nationales. La nationalité est une partie de la clé composite, qui devrait être considérée pour le partitionnement et le regroupement, et diverses clés nationales une partie de la clé composite, qui peut être considérée lors du tri. Donc, dans ce cas, la solution nécessiterait d'implémenter la première étape de chute est de faire une classe crédible personnalisée dans orderto gérer. Le donjon composite de clé composite resterait toujours au-dessus de deux sur d'autres. Comment faire des types plus grands ? Dans ce cas, ce serait une paire d'Indestructibles. Tout en écrivant un droit personnalisé capable, vous devez remplacer quelques ensembles de base de fonctions qui sont utilisés par la carte produite Dream Book pour lire, écrire, comparer hachage et convertir l'objet deux chaînes. La deuxième chose que nous devons faire est de dire à Hadoop comment comparer les variables personnalisées tout en effectuant le tri. Vous le faites en utilisant le travail de fonction, Dot a dit classe comparative de tri. Dans cette fonction, vous passez une implémentation personnalisée hors, droite, capable, comparable et surcharge. C' est comparer les méthodes pour l'aider à comprendre quelle clé personnalisée est plus petite que l'autre lorsqu'elle est comparée. Par exemple, dans ce cas, 1900 commune neuf devrait venir plus tôt que 1900 record 11 commun dans le cas où si nous voulons organiser l'enregistrement avec ordre croissant, souvent créature. Donc, dans la fonction de comparaison Off dit, tri classe comparative devra avoir une logique correcte qui compare la première partie de la clé composite pour vous et considère ensuite la deuxième partie de la taxe de la clé du compositeur pour trouver l'ordre. Vient ensuite la partition personnalisée ER. Cela serait requis par son Duke pour identifier correctement à quelle partition ils sont appelés appartient devra remplacer la fonction get partition dans ce cas, c'est toujours la partie clé naturelle de la clé composite, ce qui à côté de la partition l'année dernière. Nous devons lui dire, faites ce qui sent qu'il a besoin de grandir et de nourrir l'important. Réduisez-le jusqu'à présent. Cela aussi. Naturel. Garder l'océan loin. La clé composite serait la sensation de regroupement. Dans ce cas, c'est l'année. Donc, en bref, pour concevoir une telle solution, vous devez rappeler la clé composite sur la valeur sur effectuer ces quatre étapes, ce qui serait très légèrement différentes versions hors groupe. Mais la petite idée resterait la même. C' est juste pour lui dire dupe de la partition de tri sur Group The Composite Keys. 39. 038 le l'opération de la carte: ils pourraient faire une nouvelle écoute dans cette leçon. Sur le suivant, nous apprendrions comment les articulations peuvent être appliquées sur la matière. Ce joint de cadre est une opération où nous combinons deux ou plusieurs desserts basés sur une colonne ou un ensemble de colonnes. À ce stade, je suppose que vous êtes au courant de différents types d'articulation. C' est tout l'articulation dans une articulation égale pendant six supplémentaires. Tous ceux-ci peuvent être appliqués dans lequel, dans ma force de cadre précédente est les cartes comme joint et second est sous vous dire essayer. Les deux ont leurs propres avantages et inconvénients et devraient être appliqués uniquement à des scénarios spécifiques dans lesquels différents, tandis que les cartes un joint, est plus efficace en termes de vitesse. Avec le recul, il a beaucoup de contraintes sur les scénarios où il peut être joué. Le séchage côté de l'UE est plus souple des deux et peut être appliqué à presque toute la situation. Mais il est relativement stocké que les cartes. Un joint dans ce n'est pas toi. Certainement sur les cartes et les articulations est bien avant que nous commencions. Je voudrais mentionner que les joints sont assez complexes à concevoir en marbre Ustream livre en Java. Il vous faudrait facilement écrire des centaines de lignes hors des courts avec un design complexe, et vous pouvez faire la même chose dans les cadres de haut niveau tels que les grosses ruches en seulement 5 à 7 lignes. Tout le seul avantage de l'utilisation de la solution Java est qu'il est une solution hautement optimisée en termes de vitesse de traitement des données. Mais l'optimisation n'est pas vraiment significative ont été mis en lumière avec la facilité et la rapidité du développement de la solution. Il est donc fortement recommandé d'utiliser plus gros, élevé pour les patients en Chine. Et vous semblez pratiquer qui pèse, mais simplement ne jeter un oeil à la façon dont les solutions sont conçues et ce qui est vadrouille sauvé au cours de ce serait construire afin de comprendre hors de la carte produit livre Scream. Prenons donc un exemple. Bien sûr, nous sommes contraints ce matin. Il est juste pour comprendre les concepts qui peuvent être appliqués à re grands ensembles de données ici. C' est, euh, nous avons un ensemble de données qui montre les détails de facturation des employés pour les projets avec le numéro de projet Employé I D. Lis en dollars, mais notre point étranger sur le nôtre cette barbe par les employés sur ce projet. Voyons maintenant que nous avons un autre digéré qui a des détails du projet comme le projet I. D. Nom du projet sur le budget. Supposons que nous voulons combiner ces deux desserts sur la base du Projet I D. Et voir tous les détails actuels sur les détails de facturation employés ensemble non pas dans les cartes. Un géant. Ma population produirait ce chef de dessert. Nous pouvons utiliser la réduction des frais pour trier les dirigeants ou affaiblir aussi. Choisissez de ne pas utiliser la visite réduite sur juste sur elle avec la carte visitée. Donc, regardant le diagramme, vous pouvez deviner que la carte devra avoir les données d'entrée sous la forme tombante afin de produire le spectacle. Maintenant, mettez Wizard. Donc maintenant en regardant cela, nous serons en mesure d'entrer pour les exigences strictes qui devraient être considérées en pensant à mon produit joint comme une force d'option et surtout, tous les jeux de données d'entrée devraient être démarrés par la même clé sur ce devrait être celui basé sur lequel joint va être effectué. En outre, chacun et mis nous a fait il doit être divisé en le même nombre de partitions. Tous les enregistrements d'une clé particulière doivent décider dans la même partie de, comme vous pouvez le voir, qu'ici la clé est un numéro de projet et qu'il est important que la carte ait tous les enregistrements de leader des deux ensembles de données d'entrée pour un numéro de projet présenté une fois qu'ils seulement il serait possible orteil rejoindre correctement les réducteurs de tournée. Maintenant, tout cela semble être des exigences très strictes et très difficiles à atteindre. Mais ces amis le projet de loi de l'Opel sur la carte la plus jolie rangée. Si Boulding mettre les leçons ont passé par mon travail précédent avec la même utilisation clé au moment de partitionnement sur le nombre de producteurs utilisés sont les mêmes que l'Opel sera produit avec un nombre fort égal de partition. Deuxièmement, chacun des déserts serait trié par la clé, et enfin, tous les enregistrements relatifs à une clé présenteraient une seule partition. Donc, chaque fois que vous semblez bouleversé, profiter de la logique appliquée, ce serait dans la chaîne de travail de ma production. Dans le prochain segment, nous apprendrons à réduire la jointure, ce qui est beaucoup plus flexible. Des deux 40. 039 Réduisez l'opération de l'adhérence latérale: nous continuons. Écoutez. Ce n'est pas que nous comprendrions. Comment avez-vous dit joindre est conçu dans mon cadre de produits pour comprendre les articulations entre les 23 desserts ? Eh bien, encore une fois, prenez les mêmes jeux de données d'entrée que nous avons discuté dans le dernier n'est pas et essayez d'obtenir le même résultat. Vous allez essayer de comprendre les idées moyennes et les concepts de conception pour voir comment briser le problème dans la carte. Introduire les visages d'abord, regarder l'aspect de conception et à la fin, nous comprendrions comment dans les communautés tout concevant une solution introduire je rejoins dans mon visage Nous venons de commencer la dernière qu'il enregistre avec sa source et c'est tout ce qui nous le faisons dans la face de la carte ici. Les deux déserts importants seraient traités à différentes classes de mathématiques qui vont juste sortir. clé composite, qui est une combinaison de numéro de projet sur un nombre figurant sur l'enregistrement complet, serait traitée comme une valeur. Dans ce cas, la clé sur laquelle l'opération conjointe doit être effectuée agit comme une clé nationale sur le petit nombre agit comme une valeur naturelle, poussant la clé composite. Toute l'idée du timing est que dans le vraiment inutile. Nous aimerions l'apport au producteur dans le premier parsemé. Vous pouvez observer que tous les enregistrements avec le même projet i d des deux registres vont au même réducteur que nous concevions l'acte de cloison sur la partie clé nationale la clé composite seulement ici La clé nationale est le projet i d. Une autre chose à observer est que cela ajouterait comme une partie de valeur nationale de la clé composite, ce qui déciderait du tri des enregistrements et à cause de ces temps, l'ordre des enregistrements serait de sorte que les enregistrements de données qui avoir les détails du projet, viendrait avant tous les dossiers qui ont des détails de facturation. Ici. Nous voulons étendre le projet D jours dans le bâtiment être désert. Donc ici, la relation est une relation de trop. Et donc l'idée est qu'un seul disque, qui doit être élargi avec le reste des enregistrements, devrait venir en haut et tous les enregistrements devraient avant de le déposer. Une fois que nous gérons cela à des frais réduits, nous avons juste besoin de stocker les impressions de force hors de l'enregistrement et étendre la même ou le reste des rations de données sur les valeurs de cette clé pour produire le dessert final ne venant pas à l' aspect technique de solution. abord, nous devons traiter les jeux de données mis défenderesse deux logiques de carte différentes. Cela peut être fait en utilisant mon objet d'entrées de gens dans la classe de pilote. C' est possible à travers le métal. Points d'entrée multiples sur l'entrée. Mais ici, vous pouvez spécifier le travail. Une partie de l'argument sur l'entrée ancienne sur la question plus à travers laquelle vous voulez que le message soit traité orteil. Donc, ici, vous pouvez prendre l'entrée comme plusieurs combats à la tâche et traiter chacun du fichier d'entrée deux logique de carte différente. Cet outil ou cette idée est utile dans tous les scénarios où nous avons plusieurs entrées pour le travail. Chacun le fait. Il a un format différent, et ils ne peuvent pas être une seule logique pour traiter tous les différents ensembles de données. Donc, dans tous ces cas, cette idée d'utiliser mon peuple inclure ancien est utilisée. Les idées de conception de restauration sont les mêmes que nous discutions de la clé, donc si elles peuvent recourir, il doit y avoir un type de leader personnalisé qui échange droit compatible, qui doit être conçu pour gérer la complexité. Toutes les fonctions nécessaires doivent être attribuées. Et pour ce droit personnalisé sur la coutume, partitions doivent être conçues, ce qui ne considère que naturel. Gardez l'océan hors de la clé composite, puis ils doivent être une classe de comparaison personnalisée déclarée. Donc, assurez-vous comment faire comment comparer les deux enregistrements et trier sur la base de la partie de valeur naturelle de la clé composite. Ensuite, la logique réduite serait simplement de stocker le premier enregistrement du groupe et élargi dans les occurrences suivantes hors valeur pour atteindre le milieu. C' est une idée méchante quand vous postulez, avez-vous dit rejoindre mon précédent livre de cadres ? 41. 040 de la distribution secondaire des données: nous pourrions faire une nouvelle écoute dans cette leçon. Nous avons appris une autre chaleur de jour qui peut être utilisé dans la solution Napoli qui est la description du site distribution côté données du devoir peut être fait à travers ce mécanisme grossier de caisse. Adidas. Il peut être distribué à travers les nœuds de poussière sur le mappeur et les réducteurs peuvent lire les copies locales présentes avec eux au moment où ils effectuent la carte et nous ont réduits. Ce mécanisme est connu sous le nom de mécanisme d'encaissement distribué. Ce milieu de solution est généralement appliqué lorsque leur opération sur deux ou plus parce que sa vision était une base, plus de leadership. Ça peut être le cas. Nous sommes une petite information doit être consultée à l'heure hors carte ou réduire ce matin . Est-ce que je ne suis pas assez petit pour tenir dans la mémoire du programme ? Non ? Est-ce une bonne idée de le faire passer par les différents états ? Voyons cela avec un exemple. Considérons celui que nous avons déjà discuté dans la dernière leçon qu'ils croient il est sur leurs projets, et nous devons étendre les informations de projet dans l'ensemble de données de facturation dans ce cas, cela peut arriver de sorte qu'il y ait un nombre limité de projets. Donc, dans ce cas, une meilleure idée serait que cette route, le plus petit ensemble de données en utilisant l'argent distribué. Donc, l'idée est d'utiliser ce peut gouffre. Ce sera le cas ? Est-ce que vous voulez regarder est petit, mais pas si petit que vous pouvez le mettre dans la carte ou réduire le programme ? C' est si voir tous les cas où nous avons besoin de se référer à lié le plus petit leader, assis en maths ou réduire le visage, vous utilisez ce concept de l'argent distribué la trouvaille qui doit être distributeur. C' est ce combat au temps libre. Exécuter en utilisant un trait d'union, se battre, former un trait d'union. lutte est la partie de la lutte qui doit être distribuée. Tu peux. Israël a publié des archives hello en utilisant des archives de tiret et juste au cas où, si vous justifiez besoin d'accéder à un autre, les utilitaires sont feu et vous voulez inclure dans votre partie de classe. Vous pouvez le faire en Israël en utilisant l'option Libdeh tiret. Ceci est utile lorsque vous utilisez des combats de jar externes pour leurs opérations dans votre cœur un côté de programmation des choses, vous devez apporter des modifications à la classe privée si elle est exécutée en utilisant pour apprendre pendant un extrait. Tous les arguments Princess 200 sur le programmeur n'ont pas besoin d'appeler quoi que ce soit dans la classe de pilote pour cela au moment hors carte nous a présenté, le tireur fait. Il est connecté orteil dans l'état de la fonction, ladite fonction Une est une fonction qui est appelée un mappeur de sperme ou un réducteur. Donc, tout ce qui concerne la mise en place qui doit être effectué une fois. Mais mon objet tout réducteur, toute cette activité peut être faite dans cet ensemble de fonction. La connexion du désert a été établie dans l'état de fonctionnement peut être utilisé pendant le dysfonctionnement selon les besoins. Nous verrons ce qui se passe et comment la distribution a lieu. C' est le diagramme, que nous voyons dans les premières leçons de l'étape 3, lorsque le Joe Klein copie le travail Ressource Is it. Copie également le cachet distribué, avec une réplication très élevée de sorte que chacun fait note comme une copie vraiment approché avec alors à l'étape. Ensuite, le jeune enfant Rick quitte ce travail Ressources comme le fichier jar sur l'argent distribué et des copies, bien que la machine locale donc il est de cette manière, l'argent distribué est transféré à la machine locale, où une carte déjà dit peut se référer et l'utiliser 42. 041 les tuyaux d'Hadoop de Hadoop et de Hadoop: nous pourrions faire une nouvelle écoute dans ce système parlera de quelques caractéristiques diverses dans son groupe. En particulier, nous allons parler d'une boucle en streaming sur ses pipes. Il est à comprendre que cela signifie que je largement hors Duke design est que le traitement des données doit être indépendant de la langue. Mais il devrait être si flexible que les programmes peuvent être conçus dans de nombreuses langues pour faire le traitement. L' idée est que le leader devrait être capable de survivre potentiellement à n'importe quel langage de programmation. Lorsque vous gardez cette idée cool hors de l'esprit Lupin, vous seriez en mesure de mieux comprendre les concepts de Afro nos troupes en streaming et les pipes Haru . L' idée de base est de signifier le traitement des données, indépendant de la langue utilisée. Vous êtes en streaming ? Est la capacité hors d'une boucle à interfacer avec la carte et réduire les programmes écrits en rubis sur combats, Aloof semble utiliser les flux standard UNIX comme interface entre Haruka sur votre programme. En termes plus simples, vous pouvez écrire la carte et réduire les programmes en rubis et par le temps et vous streaming standard. Je ne suis pas seulement ou mordre l'exportation, donc je ne peux pas écrire et montrer votre programme en combattant hors travail sur Mais si vous êtes intéressé que je vous suggère Google, recherche sur le problème WorldCom, utilisant ses lèvres en streaming en rubis ou mordre, et vous serez en mesure de trouver un bon matériel dessus pour exécuter le programme dans ces langages de script , la ligne de commande ressemblera à vous La carte sur les scripts de réduction serait nécessaire à faire sur spécifié par le mappeur de trait d'union sur le réducteur de fonds élevé. Donc, en streaming, il n'y a pas de classe de pilote en tant que telle. Puis vient une autre caractéristique qui est Haru Pipes. Il est juste un nom hors boucles interface à C plus, plus un Laker Duke Streaming, qui utilise la norme allant Extremes C plus First utilise sockets comme canal pour communiquer avec l'attaquant étoile à la recherche. Si vous cherchez à exporter des possibilités en écrivant C plus code dans son groupe, vous pourriez vouloir rechercher Google sur ses nouvelles pipes et vous trouverez un bon Medea. Dans l'ensemble, qui soutient ces langues. Mais la meilleure prise en charge est l'emploi 43. 042 Introduction au cochon: bienvenue à une nouvelle écoute. Ce n'est pas que nous apprendrions à propos de Big, qui fait partie de son écosystème de groupe. Chaque fois que vous commencez à connaître l'un des écosystèmes, il est hors d'importance légale que vous connaissiez l'origine de l'écosystème sur l'idée moyenne et la raison de son besoin Big a été développée à Yahoo autour de la même période de temps. Facebook, Hogan HaiF Donc, vous verrez que les écosystèmes n'ont pas été initialement conceptualisés pour travailler les uns aux autres, et donc vous verrez qu'il y a un chevauchement dans les capacités et les solutions pourraient être possibles dans variété. Un autre problème que vous remarqueriez est désactivé. La compatibilité est entre l'écosystème Hadoop, donc venir à payer. Il a été initialement développé sur conceptualisé à Yahoo, et l'idée était d'aider les scientifiques de données à donner la capacité d'écrire. Mes programmes jolis sont rapidement facilement comme vous l'auriez vu. Les opérations conjointes dans mon cadre précédent peuvent facilement prendre 100 lignes de froid compliqué . Premièrement, il faut beaucoup de temps pour se développer, et deuxièmement, il est très difficile pour les spécialistes des données de mettre ce genre de temps dans le développement et avoir les compétences nécessaires pour exécuter ce genre de programmation complexe. Ce défi donne à la fois à un cadre de langage supérieur qui est grand à Yahoo. Idea Behind Pig était de fournir une alternative plus simple. produits tamars. Alors comparons gros sur mon produit en termes de capacités pour comprendre lequel l'un devrait choisir par rapport à l'autre et dans quelles situations l'un fonctionne mieux que l' autre. Tout d'abord, il est recommandé que le gros soit utilisé dans les opérations conjointes complexes. Comme vous le verriez plus tard dans les sites qu'ils ont ouverts, un pied réduirait considérablement. Cependant, une chose qui doit être gardée à l'esprit est que les solutions retournent dans les produits cartographiques sont hautement optimisées pour donner moins de temps d'exécution. Donc, si vous envisagez d'écrire une tâche de reporting, qui peut être extraite plus fréquemment sur un ensemble de données plus volumineux, vous pouvez envisager de l'utiliser dans des valeurs de carte. gros scripts écrits sont des programmes séparés et convertis en programmes de production, il faut donc comprendre que les grandes solutions ne sont pas des solutions optimisées. Mais avec le temps, l'optimisation est en cours de vote sur l'écart est en train de combler. Cela dit, les grandes solutions seraient plus lentes que les solutions Marbury qu'il a encore parfois dans le futur plus grand, très capable langage, et la plupart des opérations qui peuvent être faites dans l'utilisation du marbre peut facilement être fait par pick-up. C' est donc un langage hautement capable, mais il n'a pas les capacités de toucher seulement une petite partie de l'ensemble de données. Il scanne. Le leader entier est assis à chaque opération, alors gardez chaque appareil. Il est presque aussi fort que mes valeurs, mais juste un peu moins fort. Maintenant, jetons un coup d'oeil à Big dans un peu plus de détails. Big a deux composants. abord, Pig Latin, qui est le langage de programmation, et le second est l'environnement, qui est nécessaire pour exécuter de gros programmes. L' environnement n'est rien d'autre qu'un fichier de serviette qui doit être installé sur le client connu , ce qui traduit les requêtes de prélèvement dans mes travaux de production afin que l'environnement puisse avoir les deux types de chute de s'asseoir. abord, l'exécution locale plus sur la deuxième carte vraiment petite en local, plus hors exécution grandes courses sur un seul TVM, alors que dans ma matinée précédente, il traduit le programme de paiement tomar produire programme et se connecte à sa boucle sur rance sur le cluster Hadoop. À ce stade, il faut être très, très bien compris qu'il y a beaucoup de problèmes de compatibilité entre tous les éléments de l' écosystème Hadoop , et il est donc conseillé que la compatibilité soit vérifiée avec le , et cela s'applique à tous les écosystèmes. Le peut être de trois façons dans lesquelles porc latin peut enregistrer. Tout d'abord, il peut être enregistré comme un script où un tas de commandes sont accordées pour exécuter la fonctionnalité. gros fichiers de script se termineraient par point B i G. Extension. Ensuite, il y a grant more, qui accèdent à un shell interactif pour une commande d'entrée. Ensuite, il y a un plus intégré où de grandes commandes peuvent être intégrées dans un programme Java. Dans ce cas, vous devrez utiliser des sélections d'une classe tout comme vous utilisez le code SQL GBC Torrents en Java. Ensuite, regardons un exemple sur la façon dont les choses fonctionnent dans le porc sur cette vie ira à un ensemble de commandes, comme si elle fonctionne dans un plus interactif qui est le plus bu. Rappelez-vous que grand a visité une langue grippale. Il y a un lui apporter le même exemple immobilier, que nous avions considéré dans le précédent. Écoutez, qu'il y ait des détails de facturation. Avoir le numéro de projet employé I. D. Numéro Afar Construire sur ce projet sur la facturation lire. Tout d'abord, nous voyons une commande de grande charge e charge égale. Vient ensuite le Vous êtes l'une de l'amende qui doit être chargé, suivi du schéma, qui devrait être utilisé pour lire ici. Les colonnes sont limitées par une virgule, et sur la base de cela, passer se produirait parce que de nombreuses fonctionnalités pour lire des combats avec différents types hors des limitations dans la deuxième partie. En dehors de l'instruction, nous spécifions le schéma, qui a un nom de colonne sur le type de données Big, a ses propres types de leader, et ils peuvent également être utilisés pour former des types de données composites et complexes. Donc ici la première colonne est PR Génome, qui accèdent à la galerie de l'E M P I. D. Arse sur la construction à comme indigène. Cette commande de note charge l'ensemble de données dans un. Il est à observer que big est une langue volée leader et ici vous voyez l'affectation hors jeu de données disponibles, puis l'opération effectuée sur la variable pour obtenir le réservé l'année prochaine pour voir la nourriture venir dans la nourriture. Oh, nous pouvons spécifier les conditions sur avec le désert complètement pour B scan sur l'enregistrement qui passerait, la condition serait retirée pour l'ensemble de données du désert. Le désert, en effet, il peut être vu à travers une décharge. Allez, par exemple, plus E par projet maintenant égal à PR. Bon sang, vous 01 résultats avec la maladie RPS du génome PR. Vous voulez la réserve hors N'importe quelle commande est tempête en tant que relation et chaque estoppel d'Istanbul record et chaque variable est techniquement appelé comme dans le système So filter E d'Elia comme Elias hors du désert en relation, le commun stupide est utilisé pour afficher l'ensemble de données à l'écran afin que le filtre E stupide produise le spectacle en relation, puis une autre opération qui peut être effectuée sur une affaire. Un certain est l'opération du groupe, par exemple, groupe est égal au groupe A par génome PR. Cela signifie que nous pourrions regrouper la relation dans les zones spécifiées par le génome PR Feel. Le groupe de vidange A produirait un désert comme le montre le premier champ de chaque couche serait le champ sur lequel l'opération de regroupement est effectuée. Le deuxième élément est appelé comme un sac, qui est une collection non ordonnée sur les taureaux, qui ont le numéro de projet correspondant. Chaque élément du sac est séparé par une virgule ici. Dans ce cas, il y aurait à l'autobus dans chaque sac. Ensuite, les dirigeants regardent à quel point il est facile d'écrire l'opération conjointe pour les déclarations sont commandes de charge pour charger le désert dans les zones puis par une simple commande a montré rejoindre un patient serait effectué dollars. Vous représente la première colonne dans les zones respectives sur la base desquelles l'articulation doit être exécutée. Donc écrire des opérations complexes est vraiment simple en gros, donc n'importe quoi peut toujours se souvenir. Ces points prévoient qu'il s'agit d'un acte de la langue. Ensuite, il a été conçu pour les chercheurs de données qui n'avaient pas d'emploi ou d' antécédents linguistiques complexes . Par conséquent, il s'agit d'un langage de haut niveau qui est facile à mettre en œuvre. Il a été développé à un rythme effroyable et rapide à partir d'une solution et est idéal pour des opérations complexes. Comme les opérations conjointes, il est presque aussi capable que mon produit, mais pas aussi fort. Big Skanska, complètement désert ne convient pas. Si la recherche de petites portions de données est un petit magasin à exécuter, alors Javert et les travaux, qui sont hautement optimisés. Cependant, avec chaque grande publication, ce fossé se rapproche. Big exécute un voit hors de mes programmes de produits sous le capot. Cela termine une introduction sur grand. 44. 043 Introduction à Hive: Bienvenue à une nouvelle écoute. Introduction à la vie. Commençons par le besoin et ils sont partis de la vie. J' ai été développé sur Facebook avec une raison similaire de douter Off Big. Il a été développé pour les chercheurs de données avec de grandes compétences Java pour leur donner la possibilité de marcher sur données dans son groupe. Pour les frapper. Ils ont conçu ruche, ce qui n'est pas un écran comme la langue. Donc, si votre famille de ce s Q, vous vous retrouveriez à la maison avec la vie, bien qu'il convient fait. Et c'est très bien, une des limitations des médias avec haute est que l'algorithme d'apprentissage automatique ne peut pas être conçu dans HaiF. J' ai été conçu pour effectuer des opérations sur les données telles que la découpe et la découpe, et non pas pour traiter les données avec des opérations logiques avancées. Pour faire cette carte produire avec le langage Java est toujours le meilleur ajustement. Mais idée plus fondamentale avec Hive, ce qui est en ligne avec elle. plus grand art de Dubaï, le schéma, peut être modifié sur est né par les données au moment de la lecture et non pas au moment de congé, est-ce pas ? Cette bonne idée dit salut, dehors des systèmes de base de données relationnelles traditionnels où le leader devrait se conformer au schéma à l'époque. Off, juste à HaiF. La conformité des données au schéma est très fine à l'époque, et le grand est émis. Regardons les bases au Texas sur quelques commandes de base dans la ruche pour obtenir sensation ou cinq et comment vous pouvez effectuer des opérations en utilisant la ruche. abord, nous voyons ici est une commande de création de table exécutée en Phil interactive comme la grande ruche peut être retournée, exécutée en script, plus interactive, plus sur invalide. Plus haut cinq e signifie que la commande est exécutée en mode interactif. La commande est créer une table que le nom de la table considère, suivie par le condominium et les types de données, ce qui n'est pas tactiquement le même que nous semblons un Skrill. Et puis nous effectuons la règle pour Marty Limitation, qui est un changement d'une école ici, nous spécifions Akamai de la limitation sur n'importe quel symbole peut être explicitement spécifié là. En haut, les informations de limitation jouent une règle vitale lorsque le délai stocke tout rouge au moment de la création hors de la table. Les routes et les informations sur la table sont stockées dans la base de données, qui est connu méta store s. Modesta est une base de données relationnelle qui est utilisée pour stocker les méta-données de vol, c'est-à-dire les informations relatives à la table. choix populaires pour cette base de données relationnelle sont Apache Toby sur ma compétence au moment de création de la table, il y aurait une blessure spécifique à ce qui sera mis dans cette base de données. Ensuite, il y a la petite commande, qui attire le lecteur dans le papier. Il voit l'entrée Père, partie The Keeper Override spécifie que les données doivent remplacer. S' il y avait des données dans la table avant cela, alors à travers la commande select, nous pouvons effectuer sur ce est sur l'ensemble de données. Par exemple, dans ce cas, sélectionnez prg i d quelque chose Balash à partir des enregistrements où l'unité de PR n'est pas égale à prg 001 et a augmenté par PR Jaidi guérirait le total nôtre pour tous les projets sauf pour PR 001 Vu de cette façon, J' ai pu jouer un rôle important dans la probation hors des données, qui serait éventuellement utilisé par mon spectacle précédent. Regardons quelques concepts importants de HaiF, qui construiraient une idée phénoménale derrière le fonctionnement des choses dans HaiF. Il y a deux façons dont le comité de table a été autorisé dans HAIF premier est la table gérée sous la table externe. La table gérée, comme son nom l'indique, implique que la lutte de données doit être gérée par ruche. C' est si, avec la commande a montré qu'un mal géré est créé, il est le trois déformé, créant le plus profond Maintenant lorsque nous effectuions l'action du Seigneur, le fichier de données d'entrée supprimerait de son emplacement d'origine dans âge DFS à un nouvel emplacement en âge. DFS, qui est un entrepôt hors de la vie, HaiF sache, gérer le combat complètement à ses paiements. Salut via House n'est rien d'autre qu'un spécifique directement dans le bureau HD, qui est géré par la vie. C' est un leader lorsque vous faites une ruche de commande de dépôt laisserait les données de son entrepôt sur ses données liées du magasin du milieu, et donc le fichier complet cesserait d'exister. Cependant, il existe une option pour déclarer la table en tant que table externe. Israël. Dans cette déclaration, vous avez vu un mot clé externe supplémentaire qui est utilisé maintenant quand cela semble que Lord Command est exsudé. Hive n'effectue qu'un lien vers les leaders d'origine et ne vérifie même pas si les données sont là. Il fait juste une donnée connexe et rêve le ministre. Donc, il ne vérifie même pas si le leader est là et l'emplacement ou si les données sont conformes au schéma vers le haut. Cela donne la possibilité au programmeur de concevoir un travail, qui mettrait les données à l'emplacement juste dans le temps avant que la date HAIF fixée pour traitement de ce processus terriblement lier le schéma nous devienne paresseux dans HaiF, et c'est un Les communes sont alors qui seraient utilisées. Donc, dans ce cas, lorsque l'ordre de largage est émis, un chef de la propreté, le ministre obtient son chef et le chef reste toujours là. Il y a donc ces deux mètres dans lesquels les tables de ruche peuvent être déclarées. Il peut être géré par ruche elle-même ou il peut être effacé comme une table externe. Une autre caractéristique intéressante ou un concept que la ruche a est que les données peuvent être divisées en partitions et compartiments. Au moment de la création de la table, vous pouvez choisir de diviser la table sur une colonne de données. Par exemple, si vous pouvez partitionner en mauvais P r. G i. D. Au moment hors de la route, il y aurait des combats créés pour toutes les idées de projet différentes comme indiqué. Et donc, si vous voulez effectuer et c'est sur une certaine plage de valeurs hors de cette colonne, l'opération sera effectuée rapidement. C' est toujours une bonne idée de partitionner la colonne sur laquelle les données seraient tranchées le plus souvent. Ensuite, il y a un autre moyen d'écarter les données de la Division, qui est en cours de budgétisation. Pour ce péché, Dicks se terminerait par le plâtré par clause précisant le nom de la colonne sur laquelle la réservation doit être effectuée sur le nombre de seaux sur le leader qui doivent être divisés en. Mais l'obtention de l'opération traite les données de condom spécifiées exactement de la même manière qu'une partition traiter les skis. Il a été haché la colonne et effectue des opérations Martino en utilisant le nombre de compartiments pour rappeler le numéro de compartiment correspondant à lequel il y aurait un fichier sur. Les données seraient mises dans cela dans un énorme ensemble de données. Ce n'est pas une grande aide, car cela signifie que les données sont quelque chose de plus facile. Un autre avantage sur. C' est que si leur visite de deux jours, qui ont une colonne similaire et nous voulons effectuer une opération conjointe entre eux, alors si les gens forment un clustering avec le même nombre de seaux sur la même colonne sur laquelle le joint doit être fait, les organes résoudraient tous les critères pour les cartes un joint. Et donc ce mécanisme est parfois utilisé pour préparer l'accord. Est-ce pour les cartes que je rejoins tellement un chef du Times serait traité avec la vie, et puis je suis un travail de production. Miran dessus pour ce petit regard comment le jour est stocké lorsque le processus par HaiF leurs deux dimensions les plus importantes à comprendre lorsque le jour D est stocké par HaiF. premier est le format de toit, et le second est si je formate le toit pour Maddie, avec la façon dont les champs de données sont stockés dans la table de ruche. Comment les champs seraient délimités, comment les règles seraient limitées, comment les clés et les valeurs seraient limitées et comment les collections, qui est un objet complexe composé de plusieurs types ultérieurs, seraient limitées. Ceci est important lorsque vous écrivez un travail Elise de carte, qui lit le taux auquel est précédemment traité par la déclaration explicite par défaut HaiF off Un tel stockage serait, comme indiqué la terminologie utilisée pour décrire la ligne Ancien est un CRD, qui est une forme courte hors voir réalisable sur le peuple syrien. Les principaux types de Sadie, qui Mr l'objet Lead en tant que texte ou binaire ou en format de colonne ou une expression régulière et ainsi de suite, viennent ensuite dans le feu pendant des mois. Cinq premiers peuvent être soit flânés sous la forme de droits de séquence. R C cinq Rory dans Leo est connu sous le nom de combats de séquence, et si ceux-ci sont finalement inclus lors de la conception de la carte dans son travail, nous utiliserions des combats de séquence. Un autre métal est juste dit à la colonne orientée Leo, qui est connu comme enregistrement appelé Near File. En bref, RC combat la promenade de feu dans ce premier sont stockés. Comme le montre, ce milieu de stockage donne avantage. Seulement si une partie des préservatifs sont de deux milliards à plusieurs reprises sur d'autres doit être jetée. Vous savez donc que vous devriez être au courant du format de données dans lequel ils ont fait une promenade dans HaiF Avant de radier le travail de mon producteur, qui traite ces données 45. 044 Introduction à Sqoop: nous pouvons faire une nouvelle écoute dans cette leçon, nous allons apprendre comment aujourd'hui est importé et exporté hors de la boucle. Scoop est un outil conçu par Apache pour ingérer efficacement une journée dans un nouveau et explosé d'un groupe. Une description plus appropriée serait une partie scoop est une conception d'outil pour transférer efficacement des données en vrac entre les magasins do et structurés ultérieurs tels que les bases de données relationnelles . Regardons cette définition d'un point de plus près. Quelques-uns. Il le fait efficacement en effectuant le processus de copie au Parlement, comme nous le voyons avec chaque composante de l'écosystème Hadoop l'utilisation de la puissance du vandalisme en utilisant efficacement la carte produite, isoler ce cuisinier et transférer les données de bases de données à 80 bureau. Mrs Corless importer à partir d'un DFS vers des espaces de stockage externes, qui est connu sous le nom d'exportation. Les sources leaders sont généralement des bases de données relationnelles, mais elles peuvent être sur un autre type de magasins structurés. Par exemple, les rythmes dans un fichier plat peut est bien être bordé par l'école va naître. La chose est que les données doivent être structurées dans la forme hors structure attribuable Astros. Par conséquent, nous voyons dans la définition que la structure du dôme a fait. Une histoire est utilisée maintenant quand le croupier devient important en HD. S' il est affaibli défini dans la destination pour cacher directement ce qu'il est basé serre, ou nous pouvons le placer initier des visites de l'option de privilège hors contrôle de l'ancienne importation de données ainsi. Entre la limite fixe Abreu et les droits de séquence à l'école, nous étions juste commande père à l'école, la direction hors du mouvement de leader, source des données, la destination des données et le format dans lequel il doit être copié. Donc, si vous comprenez ce diagramme ici sur votre écran, vous comprenez automatiquement toutes les commandes possibles dans les fonctions de l'école et de l'eau. Vous pouvez effectuer avec l'école, et vous vous conformez automatiquement à toutes les commandes de l'école. Juste vouloir avec l'école effectue en dehors du transfert de données est que tout en transférant les données de la déface de stockage de base de données, il lit les enregistrements un par un, derrière la scène. En interne, il crée une classe qui mappe à l'enregistrement de la table. Par exemple, si une table a une valeur numérique. Colonne C i d. Sur la colonne de chaîne comme nom, il créerait un enregistrement de classe a montré que cette classe est une bible du transfert des données. Quels professeurs d'école ? Ceci est produit par l'école et peut être utilisé si vous effectuez mes opérations de production sur les données qui sont transférées. D' où vous voyez qu'il est important que le leader soit structuré ou bien l'école ne sera pas en mesure d'effectuer des importations. Donc, tout sur, si vous comprenez ce diagramme à l'écran, alors vous comprenez toute l'idée de l'eau de l'école de Stein est que vous pouvez faire avec. Alors regardons les déclarations d'importation sur la destruction de la façon dont ces temps ici est un spécifié à l'école. Voyez-vous un commandant important sur l'école de test des gens important étant donné la moitié en connexion et puis il y a un GBC complet. Vous êtes et des tirets doubles en utilisant lui et en tombant qui est la valeur sur les gens double tiret sur les gens ont besoin été un trait d'union unique dans qui spécifier le nombre de cartes à un à l'école. Double téléphone haut de gamme est utilisé pour provoquer la vérité des arguments spécifiques qui nous aideraient à communiquer l'école, la source des données, la diffusion des données et la façon de traiter les données. vie unique dans est utilisée pour les options générales, il suffit de trouver le nombre de nous mappés pour effectuer l'opération d'un six et les valeurs de propriété explicitement par l'option B tiret, que nous avons déjà vu dans le cours et ainsi de suite. Donc, par la vie, il peut être spécifié la chaîne GBC ur, qui ressemble à ce qui suit, il a un pilote. Informations l'argent hébergeant votre date sur les batteries, le nom d'utilisateur de dépôt et les informations de table. Comme nous n'avons pas spécifié l'emplacement cible, celui-ci sera copié vers la fortification en HD. Si c'est tous ces paramètres peuvent être spécifiés en utilisant off alors qu'Israël, vous pouvez utiliser le fichier d'option et pacify, qui contient tous les arguments sur la valeur U. S. Room. L' année prochaine a pris quelques kilomètres qui peuvent utiliser à l'école. J' ai catégorisé les options en fonction de leur de la charité juste pour les rendre plus faciles à retenir dans ce domaine. Écoute, on verrait les options dans la prochaine. Nous verrons d'abord l'utilisation de ces commandes, regardons les options de base qui seront presque là tout le temps dans une importation. Allez, ils ne se connectent pas. L' argument est réel. On peut espacer cinq GBC. Vous êtes dans un certain nombre de questions pour un certain nombre de cartographes. Je suis table pour les gens signifie alors quand le leader est importé de la base de données source , il peut arriver que nous ne pouvons pas avoir besoin des données complètes sur le papier. Nous pouvons filtrer les données en utilisant la salle des options de financement. Mais l'espace trouver l'argument vraiment commencer l'espace. Trouver une prairie scolaire sur seulement le résultat du koweïtien serait importé. De même, nous pouvons utiliser leur argument pour spécifier les étaient proches sur. L' argument de colonne peut être utilisé pour spécifier la colonne, que nous voulons reculer La combinaison de colonne sur. Eh bien, on peut mettre une requête à la fin ? Nous commençons spécifique Les deux noms communs comme divers étaient proches. Donc vous savez qu'on a arrêté est égal en remorquage. La colonne de bateau sur ont été mis en place. Maintenant, regardons l'important pour beaucoup Vous obtenez dans le conseil Adidas Abreu Ce qui a enfin des droits de séquence, Mais comme le prochain émis avec le prix X limité, vous pouvez contrôler les immolations d'accord Israël en utilisant les arguments. Étais-tu terminé par sur la lance terminée D'ici là, nous pouvons contrôler le Darwin directement à un endroit en HD si elle utilise topping le I R sur l' entrepôt de données ruche en utilisant ruche important un affaibli je pourrais créer une table dans les abeilles âge utilisant les gens d'écran HP ont utilisé des scénarios pratiques de scooping. Beaucoup de temps, vous verrez que des importations incrémentielles sont nécessaires. Il y aura une source de données, qui accumulerait les données, et nous aurions besoin de transférer le leader nouvellement accumulé à un endroit spécifique dans le bureau HD . Ils sont deux modes dans lesquels les importations incrémentielles Cambodge et qui est malgré l'utilisation de l'argument de mise en œuvre premier-né Pâques. Une douleur plus dans la seconde. Plus est le dernier modifié plus quand l'argent est utilisé lors de l'importation d'une table, qui a une colonne qui est constamment incriminant avec chaque ligne ajoutée. Par exemple, l'idée de graines, qui peut augmenter d'un ce que chaque vente qui se produit dans un magasin sur le même peut représenter un enregistrement. Dans ce cas, voir vous satisfaites la colonne contenant la colonne Rieti avec la colonne État et les importations d'aliments scolaires ont augmenté où la colonne de contrôle a une valeur supérieure à celle qui est satisfaite par la dernière valeur. Une table démesurée, une bonne stratégie soutenue par l'école est modifiée en dernier lieu. Vous devriez l'utiliser lorsque rose hors de la table source peut être mis à jour, et chaque mise à niveau définira la valeur de la dernière colonne de combat d'argent aux règles actuelles d' horodatage , où la colonne poussin détient l'horodatage avec plus récent que l'horodatage spécifié avec la dernière valeur sont importés. Ensuite, il y a ces options spéciales, vraiment pour cacher les importations, qui contrôle les différentes options de ruche. Donc, il suffit de spécifier l'installation de battage médiatique spécifiant le contrôle d'entrepôt élevé de la matrice sur les limitations sur les partitions de contrôleur et ainsi de suite. Je vais un document graduel avec ça. Écoutez mais regrettable de ces options, s'il vous plaît passer par une fois dans la leçon suivante, verrait quelques commandes à l'école pour construire un peu plus de compréhension sur les commandes d'importation et scoop. 46. 045 Connaissant Sqoop: nous pouvons faire une nouvelle écoute en faisant un scoop là-dedans. Écoute, on verrait quelques commandes à l'école et dans la fonctionnalité du dimanche. Commençons par la première commande de base. N' hésitez pas à mettre la vidéo en pause lorsque la nouvelle commande est détruite. Pensez à la fonction qu'il effectue, puis écoutez l'explication lorsque vous avez essayé de la déchiffrer dans votre esprit. Ce serait une façon amusante d'apprendre les commandes, alors utilisez le commandant de la force. Ok, c'est la commande la plus simple de l'école. Nous nous connectons à la Database Corp et impliqué le leader de la table Employés. Voyons voir que la commande suivante maintenant dans cette commande était de déposer la colonne salade et prendre le reste de la colonne Données noms foutus comme spécifié entre guillemets doubles et séparés par des virgules. Voyons voir, le suivant dans cette commande était juste de contrôler le nombre hors nous mappé et d'augmenter le nombre à manger en utilisant l'option de tiret am. Les deux prochaines commandes sont nouvelles, et elles ont besoin d'explications. Nous voyons d'abord la commande avec l'option directe dans cette commande, nous importons le leader de ma sécurité de son scoop. Fait important, mourir pour élever First est un moyen par défaut. J, BBC ou BBC sont la deuxième voie est à l'importation directe le Dalit dans les bateaux et n'existe que par quelques gagnants, qui fournissent des fonctionnalités supplémentaires pour une importation plus rapide. Dans cette commande, nous importons le leader de mon école lire Abi, qui a cette fonctionnalité d'importation directe. Rappelez-vous donc que direct est pour une plus grande efficacité sur une option disponible uniquement avec quelques DB et Miss Renders. Ensuite, voyons la commande suivante dans cette commande. Nous avons mis en extrait nom de famille, qui est utilisé pour créer la définition de classe hors de l'enregistrement dans la table. C' est le vibrant hors du chef transféré. Ça arrive si tu t'en souviens. Nous l'avons vu dans l'écoute précédente. Scoop est capable de créer cette classe, en utilisant les méta-données de la base de données. Il mappe juste les types de leader aux bandes de leader Jiao ferme, et cela crée une classe comme option de séquence assure que le fichier serait importé dans un format binaire inclus enfin. Ensuite, regardons la commande suivante que vous utilisez le fusible donné par et les lignes terminées par les options pour contrôler les limitations D hors des champs et les lignes dans les fichiers importants Bill est d'obtenir la commande suivante qu'il a utilisée sur l'option d'importation de ruche de trait d'union préciser que le leader doit être transféré directement à la haute, très maison. Voyons le suivant. Recevoir l'utilisation hors porter des vêtements dans le respect de la condition qui mènera les rangées. Avec colonne supérieure à 2010 0101 devrait être ramassé. Ensuite, regardez une dernière commande plus dans ce VF en entrant les données à importer par une séance très rapprochée de la cible directement et en utilisant une option PIN pour renvoyer le leader qui a été rempli à la diète de destination. Je place toutes ces commandes dans un document pour rapidement, j'espère que vous comprenez que l'école est un outil très simple pour importer des données, et les commandes sont très simples dans la forme. La connaissance de ces commandes est nécessaire pour les examens de certification 47. 046 d'un d'un supérieur: nous pouvons faire une nouvelle écoute à ce sujet. Écoutez. Partagez quelques trucs et astuces avec vous Si vous êtes un plus grand ou un peu nouveau sur Linux, cela vous aidera à vous promener dans les draps avec un peu plus de facilité et vous fera travailler un peu plus comme un professionnel qu'un amateur. Pour les personnes ayant de l'expérience à Lenox, ce serait élémentaire. Tout d'abord, je commencerais par copier et coller. Dans de nombreuses occasions, vous auriez besoin d'un copier-coller sur le terminal, de sorte que vous pouvez utiliser l'insert de contrôle et l'insert de décalage. Par exemple, j'ai ouvert l'éditeur de texte et j'ai tapé. C' est un test sur. Je sélectionnerais ceci sur. Copiez ceci à l'aide du contrôle. Voir noter qu'à l'extérieur de la borne normale contrôle cm. On marchait normalement. Non, je vais aller au terminal et être agité à l'aide d'un insert de changement de vitesse. Je peux copier quelque chose à l'écran aussi. En utilisant le contrôle, insertion et la paix en utilisant l'insert de décalage. Suivant. Truc plus profond que nous discutons est d'utiliser profil ou badged ou Bashar. Voyez si vous voulez configurer une variable globalement, vous pouvez le faire en la configurant dans e d c profil barre oblique ou e. D c. Slash. Bachar Bashar Voir fournisseurs d'un qui exécute une position sur Logan sur Bachar Bashar. Voir bien. Reprenez les nouvelles modifications à chaque fois que vous fermez et redémarrez le terminal. Parce que la façon dont nous avons mis en place les voisins dans le profil tout en mettant en place un nouveau profil slash d c slash est un commandant du poisson. Les modifications apportées au profil ont rendu les modifications les plus récentes efficaces. Knicks Dipper Trick est d'arrêter l'achèvement. Vous pouvez poursuivre le faire slash d c slash bash point bashar Voir sur vous trouveriez ces lignes. Je les fais venir. Votre condition maximale serait activée. Alors maintenant je le fais dans une liste. Maintenant, j'ai voulu aller dans l'espace de travail, je voudrais juste taper le CD le bleu, puis le caractère supérieur et je n'aurais pas besoin de taper autre chose. Prochaine astuce de déport consiste à effacer l'écran. Je l'utiliserais souvent dans mes leçons vidéo. C' est juste pour appuyer sur le contrôle. L sur l'écran étaient clairs. La prochaine astuce plus profonde consiste à personnaliser une invite de commande. Normalement, je ne préfère pas le faire, mais si vous le souhaitez, vous pouvez raccourcir l'invite de commande en tapant export soit celui-ci égal faire l'espace dollar et la marque de condition dans le Et donc maintenant la commande de nourriture au sol ressemblait à ceci. Si vous souhaitez répondre à ces modifications permanentes dans les connexions, vous copiez cette ligne dans le profil barre oblique D c. Vous pouvez même faire votre promesse de commande de coloré et de jouer avec elle. Vous pouvez vérifier Internet avec des tas d'idées à ce sujet. Suivant. Quatre astuces, c'est que vous pouvez avoir le commandement à travers les lignes. Par exemple, si vous souhaitez modifier leur profil lors de la saisie. Suji ated slash D c profil slash et vous ne savez pas si cette pièce vous pouvez revenir sur mon bachelor nous sur Endor et continuer avec le venir en ligne. Ce serait une leçon continue, et je continuerais à ajouter des conseils et des astuces à cela. Écoutez, attendant, si vous rencontrez une cassette qu'il a partagée avec tout le monde en tapant, vous ne saviez pas de questions. Fenêtre. Je suis sûr qu'il y aura beaucoup de bons conseils de vous voir la prochaine écoute. Bienvenue à une nouvelle écoute h faites-vous mars fiscal dans cette Écoutez, nous apprendrions sur le SDF est Commanche. abord, comprenons le terme loges si c'est froid sur vos yeux. Hruby officiel n'est rien d'autre qu'une interface entre l'utilisateur sur le système de fichiers distribué Hadoop, c'est-à-dire, c'est DFS. Donc, si vous voulez effectuer une action sur sa défense, nous devrions utiliser le responsable Hadoop pour le faire. Une boucle si sa coquille quand il vous prend nos yeux, c'est uniformément. La source identifie comme arguments d'importation. identificateurs de ressources unifiées font partie des combats dans l'ancienne autorité de schéma en baisse sur le schéma mais réel. Pouvez-vous hors types religieux en fonction du système d'incendie auquel il accède il peut être est la défense pour le fichier Saanich défense local pour les fichiers sur la machine locale. Si BP pour le système d'incendie Bad par serveur FTP Il est également connu sous le nom de son archive dupe, qui est un système d'incendie en couches au-dessus de sa défense et ainsi de suite. Donc, en bref, boucle officiellement peut accéder aux fichiers à partir de divers systèmes d'incendie et donc le schéma et l'autorité devraient être mis. D' après vous regarderiez en profondeur les archives de son groupe plus tard. Mais en ce moment, je veux que vous vous souveniez qu'il y a des fichiers d'archive Hadoop, qui sont multiples. Comment les fichiers assemblent-ils sur leur accès d'une manière spéciale comme toute archive ou assis se battre ? Mais ceux-ci ne compriment pas le fichier. Ce qu'ils font exactement, c'est ce qui arrivera plus tard. Avoir un imaginerait que les supports de stockage de discours hors N'importe quelle note qui a un groupe installé a deux mots. , L' un est l'officiel HD sur l'autre. Est votre système d'incendie local sera dans le monde de l'âge DFS Le schéma que j'ai utilisé sa défense d'âge sur l'autorité est hôte local dans notre schéma de cas sur l'autorité sont des paramètres facultatifs. S' ils ne sont pas donnés le de force ramassé sur elle est mentionné dans Court Side XML. Voyons ce que nous avons dit au Soudan. Distribution plus ici Nous voyons que si ce n'est pas avant le nom du point a été envoyé à HD frisky sur l'hôte local en tant qu'autorité. Donc, ce serait Billy Force et alors est une partie qui serait l'emplacement du fichier ou directement. Donc, vous êtes un dossier enfant dans un parent directement ressemblerait à sa défense. barre oblique vers l'avant cachette de l'hôte local vers l'avant de l'hôte local Slash parent vers l'avant enfant Dans le système local cinq, la colonne de votre I ressemblerait à PFI, suivie de trois barres obliques vers l'avant sur la pièce. Si vous êtes familier avec les commandes UNIX, sa marche fiscale D ne sera pas nouvelle pour vous. Et au cas où vous êtes nouveau aux commandes UNIX, ne vous inquiétez pas, elles ne sont que quelques, et j'ai joint un document avec cette écoute, qui vous ferait savoir tout à leur sujet. Il serait capable de les comprendre assez facilement plus. Ai-je marqué les commandes avec une étoile afin que vous puissiez spécifiquement vous rappeler au moins ceux hors main car ils sont les plus couramment utilisés. Je viens de montrer quelques 80 de Mars fiscal, en particulier ceux qui ne sont pas présents dans les systèmes UNIX ou Linux cruciform que je ferais dans les JP. Cette commande renvoie toutes les formations des programmes Java. Donc ici, je vois tous les démons ont courir, et donc je ne commence pas. S' ils n'auraient pas été en cours d'exécution, je les aurais démarrés avec bin slash start tiret all dot Shh. Aussi une chose intéressante ici pour remarquer que tout l'acte un tracker de travail de nez nommé Lords sont les programmes Java avec les classes moyennes comme ce qui est répertorié ici. Donc la note de nom n'est rien d'autre qu'un programme Java avec le nom de la classe principale. Pas de Libby. Faites d'abord une liste qui consiste à répertorier tous les fichiers qui représentent dans les effets HD. Donc, ce que je fais est de taper être en avant. Cachez-la. Dube. Si c'est un trait d'union Ellis et puis Indo, il y a quelques choses à noter que vous êtes en avant slash efforts Hadoop serait au début de chaque commande que nous écrivons. Tu te souviens d'elle ? Ne professe un shell ou une interface entre direct avec afin d'effectuer la commande neuf opérations sur chaque DFS. Aussi une chose importante et intéressante à noter est que lorsque nous listons les fichiers, il montre tous mis similaire à ce que nous voyons dans une liste. Frêne L en lin. Avant d'enregistrer cette vidéo, j'avais déjà créé le répertoire Force de IR identifié, donc vous les voyez dans la liste. Si vous observez de près, vous verrez que le est pour le répertoire sur tiret. Signifie est le feu. Les autres sont les contrôles d'accès du propriétaire, puis le groupe, puis les autres artistes pour Read the blues pour droit sur X n'a pas signification dans les efforts HD. n'y a rien qui soit exsude une facture dans les IFA HD, donc il n'a aucune signification. La deuxième colonne montre le facteur de réplication Donc, cela signifie que cette lutte a été stockée avec un comme facteur de réplication. Comme nous l'avons dit, la propriété DFS commencer la réplication orteil un dans sa défense. Je n'examine pas la seconde, et la troisième colonne montre le propriétaire sur le groupe sur la cinquième colonne montre le nombre d'octets qu'il occupe. La septième et la huitième colonne montre la création, date et l'heure, et enfin, elle montre la Mais suivante je vais supprimer le fichier par commande étant en avant. Cachez sa dupe si son trait d'union est lui sur le nom du combat. Donc, la finale est supprimée. Vous observez que nous n'avons pas renvoyé explicitement l'intégralité que vous êtes comme une fouille HD par défaut sur l'autorité hôte locale a été reprise. Non, c'est d'essayer au moins sur le système d'incendie local, boucle avant cachette Faire si ce fichier liste et le stand Stashes Donc dans ce cas, il manquerait les fichiers complets et les répertoires dans le système de salle. Aucun de ce regard sur ce qui est dans le régime alimentaire à la maison. C' est écrit Engy Paris. Regarde ce qu'il y a dedans ? Donc, il répond moins aux documents en cas de blessure. Maintenant, c'est la croyance. Si je suis dans le système de fichiers local et que je copie dans chaque DFS, je vais aller à la maison. J' ai besoin de cette amende que j'ai créée sur toi. Maintenant, je vais créer un fichier de plus et vous laisser le nommer si je plonge ici. Vous êtes tous des rock stars. Encore une fois, Guinn Ellis. Donc nous voyons ce dossier à la fin. Non, ce type en étant groupe barre oblique avant si c'est une copie de la maison locale NJ Si je suis dans, qui serait la destination pour l'énergie. Si c'est là, observez de près que vous verrez que nous n'avons pas spécifié le complet de vos yeux. Pourtant, cette copie de livres de commande locale supposent start Le dernier argument serait un HD si un spot et tous les précédents se réfèrent au système d'incendie local et donc ce livre de commande . Et c'est la différence entre la copie de la commande locale sur la commande get qui sont similaires dans toutes ses broches. Juste une copie de local implique que tous les arguments, sauf pour le dernier est d'un de Lucques. Système fin. Pour que vous puissiez copier. Plusieurs combattants utilisaient cette commande. Non, il le fait. Ce que nous voyons notre belle, très printemps, l'amende. Et ici, vous verrez le message retaper. Donc, la copie a parfaitement fonctionné. Non, il essaie de faire l'inverse de ce dernier radical P ce cinq fromages DFS dans le système de pompiers local. Donc ils utilisaient été en avant. Cachez sa copie dupe fs à local sur un nouveau nom de recherche. H Fred, aucun de ce chèque si nous avons reçu le dossier de son Duc. Donc V c h bien. Et ses boucles, c'est que vous êtes tous des rock stars. S' il vous plaît jouer un peu. Les commandes du document. Ce serait assez simple. Maintenant, observez de près comment et où vous mentionner. Nos yeux et tout sera plus simple. Voir dans la prochaine session. Bienvenue à une nouvelle écoute. Ce n'est pas vous apprendre à compiler et exécuter un nouveau programme. Nous travaillerions sur Ubundu, ce qui signifie labeur dans r B M pied. Vous téléchargez l'éclipse il une recherche Google sur téléchargement éclipse et cliquez sur la nourriture Slink. Ensuite, nous cliquerions sur le lien Lennix pour 64 bits, puis la prochaine chose. Et puis nous verrions si le combat le téléchargement prendrait un certain temps. Donc je vais transmettre la vidéo maintenant. La configuration du clip a été téléchargée. Je vais juste à la section de téléchargement copiée sur la pâtisserie dans le dossier Accueil. Maintenant, je vais extraire l'Eclipse Yousef en cliquant avec le bouton droit sur Extraire You. Maintenant, nous voyons le dossier Eclipse dans le répertoire de base. Ensuite, je vais aller à l'intérieur et cliquer sur Eclipse Item. Cela lancerait les clips I D. Ensuite, nous aurons cette fenêtre pop-up demandant la création sur cet espace de travail. Un bâton à la tante Lukoki avant. Ensuite, j'irai au fichier Nouveau et cliquez sur Java Project. Je nommerai mon projet une boucle Expériences sur le clic sur Terminer maintenant. Je ne fais pas vraiment le code source dans un dossier. Vous pouvez le télécharger sur le côté pour que je dormirais ces esquives. D' autres programmes conserveraient Java, travailler sur le mappage ou java à bord, ne peuvent pas le réduire ou Java et copier coller votre espace de travail dans le dossier, que nous avons créé tout à l'heure. Je vais aller chez elle faire des expériences, puis trouver plus loin donc non. Dans mon éclipse, je vois le refroidisseur source. Je serais juste fissured Et maintenant sous le paquet par défaut, je vois toute l'école source Java que j'ai copiée en ce moment. Vous verrez beaucoup d'erreurs sur ces programmes car nous n'avons jamais inclus de paquets dans une grande partie. Donc, pour effacer les daters, vous avez juste besoin de faire un clic droit sur le projet sont dus gros mensch dépenser dans ce cas. Ensuite, allez dans les propriétés, puis allez dans les parties bébé Java étant la bibliothèque. Ensuite, cliquez sur nos pots externes, puis allez dans son dossier racine et cliquez sur son travail de commande Duke comme OK, et puis vous verrez que le pot externe Gurukul a été inclus. Cliquez sur OK sur toutes vos oreilles disparaîtraient. L' étape suivante consiste à créer un combat de travail à nouveau. Nous ferions un clic droit sur un projet pour vous, puis allez à l'option d'exportation sur puis sous Java, vous verrez l'option de fichier jar Civic qui et prendre sur la prochaine été pousse à travers le pot. Je mettrais le travail si je dans le été plié lui-même. Vous pouvez, bien sûr, sélectionner n'importe quelle pièce. Alors j'ai tapé. Le nom compterait sur. Cliquez sur. OK , , alors. Cliquez sur Terminer. Alors regardons le travail Combat. Je suis en ce moment dans l'être plus complet lui-même où j'ai créé le combat de travail. Donc je faisais juste une liste sur vous avez reçu mot job condo que vous faites juste en son honneur, son système de fichiers do. Ils ont reçu le en cinq que j'avais créé qui trouve ceci avant cette vidéo. Je suis juste mis le contenu de ce fichier, donc et donc ici vous voyez la sortie. Donc, étant dans ce plus complet où se trouve le fichier jar, j'exécuterais le travail de commande classé en utilisant la commande. Notre nouveau Jod serait Condor John allait entrer et sortir. Tout pourrait être le répertoire de sortie et serait le fichier d'entrée. Vous en apprendrez plus tard dans le cours, et le programme devrait s'exécuter comme vous le voyez à l'écran. Maintenant, nous ferions dans une liste sur le nouveau système d'incendie et de voir si l'ancien directement a été créé ou non. Ils reçoivent l'arbre de l'outback et maintenant laissez-nous juste faire une écoute. L' ABC tous les fichiers associés le combat, commençant par la partie contient la sortie. Laissez-nous ce fichier et imprimer le contenu du fichier. Et donc ici, nous voyons que l'embarras que cela va couvrirait tous les détails de la façon dont ce processus complet a été fait. Qu' est-ce qui s'opposait au programme au sujet de la façon dont il a été traité et de la façon dont il a augmenté son efficacité ? Tout sera couvert dans le cours. Donc, si vous êtes capable d'exécuter le programme, c'est génial que vous ayez calculé la partie difficile de ce cours. Tout après cela va être plus simple et mon cœur, son Congrès rations pour finir la partie difficile. se voit dans la classe suivante. Bienvenue dans les nouveaux concepts d'écoute HD FX dans cette section. Nous examinerons en profondeur la HD si nous commençons par les pavillons de dôme utilisés en HD. Si le bureau est un système de fichiers distribué, cela signifie que les combats sont stockés sur un cluster d'ordinateurs et pas seulement un. Le plaisir n'est rien d'autre que plusieurs rochers réunis sur une seule piste n'est rien d' beaucoup d'ordinateurs mis en place, qui sont individuellement tonifier Dernières notes en 80. Si ce sont les notes, qui magasin a fait sont connus comme n'a pas noeuds, ils agissent comme courtier ou Steve notes. Node de nom, qui est le nœud maître, est responsable de la gestion des démarreurs d'incendie contestés dans le cluster. Voyons l'assimilation sur la façon dont le fichier est stocké dans chaque DFS Pfizer divisé en morceaux plus petits . Aussi connu sous le nom de blocs. Ces blocs sont ensuite répliqués. Dans ce cas, ils sont répliqués par un facteur de trois, qui est un facteur de multiplication par défaut hors H DFS. Ces blocs sont ensuite contestés tout le cluster sur ce processus hors réplication sur distribution est géré par le nom noeud Note de nom garde une trace du système de fichiers complet sur les emplacements de bloc. Si vous remarquez la distribution faite par nom, Node est intelligemment fait afin de fournir des Brésiliens. Si un échec se produit dans ce cas, supposons que si l'on a fait une note Fields nom noeud serait toujours capable de rassembler le fichier complet à l'aide de réplicas. Vous pensez qu'un visage de rat complet même alors, personne ne serait capable de mettre le combat ensemble. Nous apprenons plus tard quelles considérations. Le nom no prend pour contester les blocs de fichiers. Laissez-nous comprendre les idées derrière sa défense est que le bureau est conçu pour gérer de gros fichiers sur des centaines de GPS et TV et plus encore. Leader Access n'est pas rapide avec des lectures et des écritures aléatoires. Il est suivi que les modèles d'accès leader hors de droite une fois et lire moi fois est le meilleur donc pour l'analyse de l'acte. Sa défense est conçue pour utiliser du matériel de base, mais ce n'est certainement pas du matériel bon marché. Mais l'unité difficile coûterait environ un K 25 K qui serait disponible avec de nombreux fournisseurs . Les installations typiques de nos GM over peuvent prendre jusqu'à 50 dépenses clés sur Harvard lui-même, qui a une limite supérieure de traitement. Mais cela signifie aussi que les pannes matérielles ne seraient pas un cas de spécialité, mais un édifice de nomination. À mesure que la taille du cluster augmente à des milliers de notes, pannes matérielles peuvent survenir tous les deux jours ou se produire tous les autres le sont lorsque nous étudions le HD. Si c'est des concerts, nous verrions qu'il est tout aussi important d'en apprendre davantage sur les scénarios d'échec car il est d' étudier les dérives de traitement stables me fait regarder ce que la défense n'est pas conçu pour le faire, il n' est pas conçu pour une lecture rapide hors données. Il ne peut pas fonctionner aussi bien. Base de données Db pour cela, nous avons certainement besoin RTB Miss. Au moins dans le scénario actuel est qu'il était aussi ne fonctionne pas bien avec beaucoup de petits combats. A voir si elle ne prend pas en charge les modifications arbitraires déposées également. Seul upend est pris en charge. Comprenons le plus important pour orteil nominal toute structure de fichier, c'est-à-dire. Il bloque les tailles de blocs, une quantité minimale de données qui peuvent être lues ou écrites dans un système d'incendie. Mais le dimensionnement des blocs Hadoop est un peu différent. D' abord, c'est grand. Bien qu'il soit courant d'avoir une taille de bloc désactivée, je veux sur un support de stockage. C' est la quatrième taille 64 MBI dans l'âge DFS qui est 1 28 fois petite. Deuxièmement, si vous trouvez un stocké dans son DFS est plus petit que le A Z de sa taille de bloc que seule la quantité de statut de taille nécessaire est votre vie et non le bloc complet. Il y a une raison pour une grande taille de bloc que nous avions discuté plus tôt comment le temps de recherche devient un né dans un traitement assez grands combats. Donc l'idée est de garder le temps de la mer autour. Une personne hors transfert raid donc considérant 100 Mbit/s transférés et 10 millisecondes comme frais supplémentaires voir le temps supplémentaire. La taille du bloc devrait être de 64 m e Rvers R haut pour garder le temps Sikh autour, une personne hors du temps de transfert. Dans la section suivante, nous apprendrions dans la dette environ 80 de son architecture, mais venons à une nouvelle écoute dans l'écoute précédente. Nous avons étudié sur les blocs de bureau HD dans. Ce n'est pas vraiment plonger profondément dans son architecture de défense. Ses COV de défense sur les architectures de manchon monstre. Nino est un nœud maître. Sur les notes de données sont les notes vocales. Cela signifie que la note de nom serait responsable de toute la gestion de l'histoire. espace sur les notes de données sur Didn't notes ferait le travail de base réel sur le stockage des blocs de données . Nilou remplit une fonction de garder une trace de l'ensemble du système de fichiers en gérant deux choses. Prénom, image de l' espace et deuxième édition Sabots noms fait face à la Rita du milieu sur les combats sur Die Crease, qui sont stockés dans l'âge DFS. Il contient des données sur tous les blocs auxquels les mouches sont associées et sur les annales végétales, il récite Eric Log n'est rien d'autre que les longues activités sur sa défense effectuées par le client. Et il a perdu. Il suffit de continuer à s'empiler et de grandir au fur et à mesure que l'activité sur sa défense continue à se produire. Donc, hors de la loi pour éditer est celle qui continue de croître à un rythme plus rapide. Ces deux combinent forment l'image complète du système de fichiers, donnant des détails sur tous les combats et bloquer la défense Saanich. L' information de bloc est un plaidé par le nom Seigneur, comme lorsque les notes de données ont rejoint le réseau. Cela signifie que dès qu'il a fait qu'aucun démarre et se connecter au réseau, il les enverrait, connaître les informations sur les blocs qu'il a sur ce nom. Je mettrais à jour l'image de l'espace de nom avec les données. Les deux zones humides sur l'espace de noms sont maintenues dans le nœud principal de mémoire hors nom. Cela aide à nommer pas trop rapidement. Recherchez les blocs au besoin. Pas de logistique Regardez les clés lorsque le nom ne se sent pas comme vous pouvez donner le système de fichiers de concurrence va tomber sur sera indisponible car l'image complète de l'espace de nom sur les informations de bloc de données est perdue. Pour cette raison. Notification de nom également appelé point de défaillance unique. S p une image d'onde DFS C'est pourquoi il est important pour le nom. Non pour être résilient aux défaillances matérielles sur il est fortement conseillé de dépenser plus sur les notes de nom . matériel encore, avec des défaillances matérielles mises à niveau, peut arriver à contrer ces situations. Falling Resident Edition est terminée. L' image de l'espace de nom sur 80 sabots est transférée par nom à une télécommande hautement disponible dans le premier mois. Seigneur de temps en temps. En outre, deuxième note de nom est également ajoutée. Ne le confondez pas pour être comme un autre nœud de nom. Ceci est considéré comme l'un des rendus de nommage dans son Duc. Deuxièmement, le nom no. Ça ne fonctionne pas comme moi. Non, c'est méchant et le seul but est de combiner l'image de l'espace de nom sur 80 sabots, pour que ce nom me connaisse. La mémoire ne se remplit pas à cause de l'augmentation constante des journaux Eric. Deuxièmement, noter également créer des points stricts sur le nom, image de l' espace et tous les plans beaucoup ensemble sur le profil de siège droit. Ce nom de hanches non pour libérer la mémoire moyenne occupée par la perte Edit jusqu'à ce que le point hors dernier point de truc sur ce est le seul but de prendre le nom Lord deuxième lecture note est un programme Java, qui combine juste la perte idiot et l'espace de nom et crée un point de contrôle. C' est ça. Cette opération consistant à combiner les lois idiotes et le visage nommé est elle-même complexe et intensive en CPU et en mémoire. Donc, deuxièmement, nommé Lord doit fonctionner sur une bonne configuration matérielle car le travail de combiner la perte d' édition sur l'espace de nom nécessite de bonnes ressources informatiques. À ce stade, je veux juste vous rappeler que le nœud de nom et d'autre part les notes de nom ne sont rien d'autre que des programmes Java qui fonctionnent avec des classes moyennes comme Name Lord et d'autre part, name ? Non. Ainsi, en cas d'échec du nœud de nom, l'administrateur Hadoop doit démarrer un nouveau nom. Note. C' est le cas sur. Laisse-le là. versions antérieures de Loop sont passées à trois versions sur CDH. Quatre ont des fonctionnalités de haute disponibilité disponibles en eux. Dans ces cas, cette situation est un peu améliorée. Nous les examinerons plus tard dans le cours. Donc, dans les versions précédentes à son regard sombre à trois sur au cas où hors CD s trois en cas d' échec hors nom Lord Administrator aurait à mettre en place une autre machine comme nom No. Mais cette machine a dû être hors bonne configuration que les exigences système de nœud de nom aussi élevées. Donc, dans ce cas, le plus souvent dans une petite machine en cluster qui exécutait la seconde, le nœud de nom est utilisé pour reconfigurer en tant que nouveau nom. Non, encore une fois, S'il vous plaît ne pas confondre qu'il s'agit de notes de nom secondaire. La fonction de prendre le relais a finalement nommé Seigneur. Ce n'est pas seulement que la machine, qui a exécuté la note de nom secondaire, est le plus souvent le meilleur choix pour la nouvelle note de nom en cas d'échec. Ainsi, en cas d'échec, les dernières informations de montage des avantages sont récupérées manuellement par l'administrateur sur la machine, ce qui prendrait le relais en tant que nouvelle note de nom sur la machine est alors reconfiguré comme le nom No . Ce processus peut prendre environ 30 minutes pour retourner dans la rue de l'écurie. Ensuite, regardons les lignes directrices pour les notes de nom signifient mémoire car il taille Lester augmente le nombre de stockage fermer. Ce nom n'a pas à prendre soin de l'augmente également Vraiment. Le bloc dans le pool de stockage consommerait une certaine quantité de nom me connaît la mémoire. Donc, il est important pour le nom Noto avoir assez de mémoire moyenne pour qu'il puisse correctement. L' homme est le pool de blocs de données en règle générale de Tom 1000 People. 1 000 000 Stories Box est recommandé. Prenons un exemple sur 100 cluster nord avec disque T B complet et laissez la taille du bloc être 64 Mo. Ensuite, le nombre de livres d'histoires s'élèverait à deux millions. Cela signifie nom no devrait avoir autour de la nourriture ZB hors de moi la mémoire dans la prochaine fois sont les quelques points clés des deux dernières leçons. C' est la possibilité. Si vous voulez plus de temps pour lire, - Bienvenue à une nouvelle écoute dans ce. Écoute, nous regarderions derrière la scène pour savoir ce qui se passe quand tu lis jusqu'à l'âge. DFS Forçons plonger profondément en HD. Si c'est juste, le processus est le bureau. Klein est un GM qui doit fonctionner sur le nœud, qui interagit avec H DFS. Sachez que la réplication fille DFS est une propriété qui contient le facteur de réplication hors blocs. Cette propriété peut parce qu'à mes yeux à toute configuration dans pseudo distribution humeur hors déploiement sur chaque DFS. Il est remplacé et dit Personne dans le fichier de configuration HD afis tiret site, pas XML, mais avant sa valeur est trois. Donc, comme un premier nœud de nom de communicateur pied de montée qu'il veut écrire dans son DFS. À ce stade, le nom effectuerait diverses vérifications sur la demande, comme si le fichier existe ou non, sont comme si le client a des niveaux d'autorisation eric ou ne pas effectuer l'activité. Si tout va bien, le nœud de nom reviendrait à 80 bureau Klein, avec la liste des notes à copier à ce stade, Klein Foot se connecte au premier nœud de données et lui a demandé de former un pipeline vers les données suivantes notes. Les notes de données confirmeraient qu'elles copiaient avec succès les blocs. étapes 34 et 5 seraient répétées jusqu'à ce que tout le dossier soit écrit sur sa défense. Après cela, la ligne se terminerait par un message d'achèvement. En cas d'échec du nœud de données. L' Iranien enneigé échappé sur les blocs serait retourné sur le nom des notes restantes pas observer l'application sous serait organiser pour l'auteur de la réplication sous blocs répliqués semble se produire quand ils sont des échecs de nœuds multiples. Les données doivent être renvoyées à au moins une note sous. Les bûches répliquées seraient prises en charge par le nom de Seigneur. Voyons maintenant comment les nœuds de données sont sélectionnés par leur nom. Non. Si le nœud client lui-même fait partie du nom du cluster, le nœud le considère comme le premier nœud où la réplication doit se produire. Si ce n'est pas la partie du cluster, tout connu dans le cluster est choisi. En gardant à l'esprit le nord n'est pas occupé sont chargés. La deuxième note est choisie sur le rack. Comme le 1er 1 a été choisi. Le 3ème 1 est choisi pour être sur le même rack que le 2ème 1 Cela forme le pipeline. Maintenant, regardons la simulation ivre, que nous avons vu dans l'écoute précoce. Le fichier est brisé en blog, puis répliqué puis distribué dans le système de combat . Maintenant, si vous observez si un hors du nœud, mais même tombé sent qu'il ya toujours tous les blocs de l'échec du fichier disponible de mon herbe de pointe est la plupart CS un, à moins que probable de se produire. En outre, il convient de noter que toute la précision hors sélection et la réplication se produit derrière le rideau sur tous les développeurs. Klein n'a pas besoin de s'inquiéter de ce qui se passe en arrière-plan avant de voir comment ça se passe. Voyons comment les distances calculées dans chacun est votre visage. Dans un réseau distribué, bande passante est un produit rare. Par conséquent, la distance idéale est basée sur le bloc de bandit pour être référé le même jour. On dit que Donald n'a aucune distance. Si le bloc récite à une date différente un ancien mais sur le même dos, la distance serait comptée comme si le bloc récite sur un nu sur une piste différente, distance est considérée comme avant. Et enfin, si un bloc récite sur un nœud dans un centre de données différent, la distance est prise à six, et ce ne sont que des cas possibles. Maintenant, regardons l'anatomique libéré pour l'afis facile, Klein envoie une demande au nom No. En réponse, nommé Lord renvoie les nœuds de données contenant les premiers blocs. Le nœud de nom retourne dans ce à partir du nœud le plus proche contenant ce bloc. Faire la nourriture ist afin que le client se connecte à la première note sur Lire les blocs un par un . Regardons à nouveau les cas de sentiment qui peuvent se produire tout en lisant qu'ils peuvent être à des échecs. Tout d'abord, le leader bloque son courant. Dans ce cas, les données suivantes. Aucun contenant le bloc n'est contacté. Deuxièmement, si le mec qu'ils ne connaissent pas lui-même se sent bizarre. CD sept craintes. Pendant que le bloc B était en cours de lecture, on communiquerait avec la note suivante de la liste. Dans ce cas. Grimpez la nourriture. Notez que le sept concerne le nœud de données et ne le considérera pas plus tard. S' il apparaît dans une autre liste, veuillez passer en revue les points clés pour cela. Écoutez, mais venez faire une nouvelle écoute sur HD de ses concepts. Écoutez, nous regarderions les nouvelles fonctionnalités ajoutées dans sa version trois Duke Doctor qui est H Davis Federation sur la haute disponibilité. Commençons par HD Office Federation. Cette fonctionnalité est ajoutée afin d'équilibrer la charge sur le nœud de nom à mesure que la taille la plus proche augmente. Voyons cela avec un exemple. Disons qu'il y a une structure d'arborescence de répertoires. Crude on Under il y a deux dossiers pour celui sur pour les deux et supposons qu'il y a des glorifications en dessous. Au fur et à mesure que la taille plus proche augmente, La note de nom doit stocker plus d'informations relatives aux fiches dans sa mémoire moyenne. Donc, pour le cluster avec des notes de nombre élevé dans la gamme de 2000 notes de nom, mémoire devient un facteur limitant pour la mise à l'échelle sous fédération, Un nouveau nom Newt peut être ajouté sur les restructurations déposées sur le dock pull peut être divisé entre les nœuds de nom. Cette note de nom de l'Est doit gérer uniquement la piscine hors blocs avec laquelle il est associé et pas la traction complète cette réduction de la charge sur un nom Seigneur. Il est à noter que la même note de données peut être associée à un nom différent du Seigneur même temps. Et l'échec d'un nom non affecterait cet autre nœud de nom, par exemple. Si le nom No. Deux fois, les dossiers de Fort d'un seraient encore accessibles. Examinons simplement les points clés dont nous avons discuté. C' est différent réfrigération aborde la limitation du nom de la mémoire Nords à l'évolutivité . Note du soir. serait responsable du volume d'espace de nom sur un pool de blocs. Des notes détaillées peuvent être associées à mon nom différent. Nom des notes. George ne communiquera pas entre eux en cas d'échec. L' un affecterait l'autre. Examinons la prochaine fonctionnalité. Haute disponibilité. Cette fonctionnalité est d'aborder le temps pris pour revenir à la rue de l'écurie dans les rois hors nom. Pas d'échec, car nous avons déjà vu que le nœud de nom est un point de défaillance unique sur il prend environ 30 minutes de temps libre pour revenir dans la rue stable après son échec. Donc, pour répondre à cette une nez est toujours en cours d'exécution en veille. Le premier signifiant ne pas comprendre par nom ni partager les noms morceau sur elle. Il se verrouille là où il est hautement disponible et s'il est montage de stockage dans les prochaines versions, zookeeper sera utilisé pour passer du primaire à ce stand par un. Dans cette configuration, les détails sont configurés pour envoyer des rapports aux deux notes de nom. Dans ce cas, si le nom principal n'échoue pas, la veille peut prendre le relais très rapidement. Dans la pratique, il faut environ quelques minutes pour que ce sentiment de transition se produise dans cette mise en place. Il est important que la façon de l'orteil veille confirme que le primaire a baissé. Ils peuvent être une situation où le primaire n'aurait pas été complètement en panne, mais juste un peu lent à répondre. Dans ce cas, il peut y avoir des notes de famille trop actives, et cela coûtait la corruption et le chaos. Donc, pour éviter un tel scénario, les clôtures de nœud de réserve. Le nœud principal lorsqu'il prend en charge la clôture signifie que la veille tuerait le processus connu de nom , révoquerait l'accès partagé et désactiverait le réseau retiré du nœud aveugle précédent. Dans certaines situations, il va dans une mesure qu'il a été arrêté précédemment nœud de nom actif de l'alimentation elle-même. On l'appelle souvent. Étourdissez-le, tirez l'autre note dans la tête. Comme vous pouvez l'imaginer nommer ce nœud de secours. Évaluer Henry nommé Lord aurait bean apt. Mais il n'y a pas d'erreur qui s'est produite. Cela termine notre discussion pour la haute disponibilité pour une révision rapide des points clés sur la légère positivité de paix, vous savez, Bonjour et bienvenue à l'écoute ici. Nous discuterions de certains de la HD spéciale si ce sont des commandes dont nous n'avons pas discuté jusqu'à présent , dans le cours. abord, nous regardons chacun sont également connus comme ses archives de groupe, car nous avons déjà discuté que beaucoup de petits fichiers n'est pas un bon cas pour sa défense, principalement parce qu'il sauf le nom me note mémoire. Bien qu'il soit à comprendre que les petits combats ne prennent pas réellement la taille complète du bloc sur le bureau, qui est, si un finaliste NMB sur la taille du bloc 64 nb, alors le fichier occuperait juste l'ennemi au large l'espace de stockage. Donc, le problème avec un petit fichier est qu'il occupe le nom notes signifie mémoire comme besoin, pas besoin de maintenir lecteur de compteur pour chaque fichier, le plus d'une question de fice plus serait le milieu plus tard, dont le nom connu doit prendre soin . Ainsi, la mémoire principale des notes de nom devient un facteur limitant. Bonjour, archive est un outil qui aide dans de telles situations. En plus de ce groupe, les fichiers d' archive peuvent être utilisés comme entrée pour importer ces programmes ainsi peu voir un exemple de pour les archives de boucle et de comprendre comment vieux livres. Juste avant d'enregistrer cette vidéo, j'ai créé ce petit dossier de combat sur mon sys