Cours d'écrasement en nuage Apache Kafka et Confluent pour débutants | AMG Inc | Skillshare

Vitesse de lecture


1.0x


  • 0.5x
  • 0.75x
  • 1 x (normale)
  • 1.25x
  • 1.5x
  • 1.75x
  • 2x

Cours d'écrasement en nuage Apache Kafka et Confluent pour débutants

teacher avatar AMG Inc, Technologist

Regardez ce cours et des milliers d'autres

Bénéficiez d'un accès illimité à tous les cours
Suivez des cours enseignés par des leaders de l'industrie et des professionnels
Explorez divers sujets comme l'illustration, le graphisme, la photographie et bien d'autres

Regardez ce cours et des milliers d'autres

Bénéficiez d'un accès illimité à tous les cours
Suivez des cours enseignés par des leaders de l'industrie et des professionnels
Explorez divers sujets comme l'illustration, le graphisme, la photographie et bien d'autres

Leçons de ce cours

    • 1.

      Introduction au cours

      3:42

    • 2.

      Qu'est-ce que l'analyse de diffusion en continu

      5:27

    • 3.

      Qu'est-ce que Apache Kafka

      3:02

    • 4.

      Architecture de Kafka

      4:40

    • 5.

      Solution gérée Kafka

      1:38

    • 6.

      Démarrage rapide avec le Cloud Confluent

      22:02

    • 7.

      Introduction à KSQLDB

      1:53

    • 8.

      Utilisation de KSQLDB

      19:02

    • 9.

      Aperçu des flux Kafka

      2:47

    • 10.

      Introduction à Kafka Connect

      2:29

    • 11.

      Catalogue de livres de Project1 : Aperçu

      0:57

    • 12.

      Catalogue de livres de Project1 : Créer un producteur

      2:55

    • 13.

      Catalogue de livres de Project1 : Créer un sujet

      1:08

    • 14.

      Catalogue de livres de Project1 : produire des messages

      1:29

    • 15.

      Catalogue de livres de Project1 : Créer un consommateur

      2:07

    • 16.

      Catalogue de livres de Project1 : consommer des messages

      2:56

    • 17.

      Project2 PacMan : Aperçu

      1:08

    • 18.

      Project2 PacMan : Configurer et exécuter

      6:32

    • 19.

      Project2 PacMan : Mise en place de requisites

      2:30

    • 20.

      Project2 PacMan : Configuration de KSQLDB

      4:53

    • 21.

      PacMan : Exécuter des données de projet et de puits

      11:14

  • --
  • Niveau débutant
  • Niveau intermédiaire
  • Niveau avancé
  • Tous niveaux

Généré par la communauté

Le niveau est déterminé par l'opinion majoritaire des apprenants qui ont évalué ce cours. La recommandation de l'enseignant est affichée jusqu'à ce qu'au moins 5 réponses d'apprenants soient collectées.

121

apprenants

--

projets

À propos de ce cours

Bienvenue au cours d'introduction en nuage Confluent. Confluent utilise l'utilisation d'Apache Kafka pour diffuser des événements en temps réel, ce qui est devenu une nécessité pour la majorité des entreprises du Fortune 500. Le Streaming d'événements en temps réel est le moyen par lequel de nombreuses entreprises prennent des décisions au bon moment et évitent des pertes financières importantes. Nous couvrons la partie d'introduction pour chacun d'entre eux avec des concepts fondamentaux couverts d'exemples de cas d'utilisation. Ce cours est conçu pour les étudiants qui en sont à leur stade initial dans l'apprentissage de l'informatique en nuage et du streaming d'événements et est le mieux adapté pour ceux qui veulent commencer leur carrière dans ce domaine.

Ce cours se concentre sur ce qu'est Confluent et sur la façon dont il peut être utilisé pour diffuser des événements et des données en temps réel. Il comprend également des exercices pratiques en laboratoire qui couvrent une partie importante dans le déploiement et l'orchestration des applications.

Nous utilisons une combinaison de l'interface et de la programmation de ligne / terminal CMD pour lancer n'importe quelle application de votre choix en tant qu'architecture Microservice. La partie de programmation comprend principalement l'écriture de scripts d'interprétation, puis l'utilisation de commandes de ligne de commande pour les exécuter et obtenir les résultats que nous souhaitons.

Même si vous n'avez pas d'expérience préalable en utilisant l'une de ces technologies, vous serez toujours en mesure de bénéficier de 100 % de ce cours.

Rencontrez votre enseignant·e

Teacher Profile Image

AMG Inc

Technologist

Enseignant·e

Our company goal is to produce best online courses in Data Science and Cloud Computing technologies. Below is our team of experienced instructors.

Instructor1

Adnan Shaikh has been in the information technology industry for the past 18 years and has worked for the fortune 500 companies in North America. He has held roles from Data Analyst , Systems Analyst, Data Modeler, Data Manager to Data Architect with various technology companies.

He has worked with Oracle , SQL Server, DB2 , MySql and many other relational and non relational databases over the course of his career. He has written multiple data access applications using complex SQL queries and Stored Procedures for critical production systems.

He has a masters degree from Northwestern University of Chica... Voir le profil complet

Level: Beginner

Notes attribuées au cours

Les attentes sont-elles satisfaites ?
    Dépassées !
  • 0%
  • Oui
  • 0%
  • En partie
  • 0%
  • Pas vraiment
  • 0%

Pourquoi s'inscrire à Skillshare ?

Suivez des cours Skillshare Original primés

Chaque cours comprend de courtes leçons et des travaux pratiques

Votre abonnement soutient les enseignants Skillshare

Apprenez, où que vous soyez

Suivez des cours où que vous soyez avec l'application Skillshare. Suivez-les en streaming ou téléchargez-les pour les regarder dans l'avion, dans le métro ou tout autre endroit où vous aimez apprendre.

Transcription

1. Introduction au cours: Bonjour, bienvenue dans le cours d'introduction à la console cloud. m'appelle Shannon, et j'ai hâte de passer ensemble dans ce cours. Pendant toute la durée de ce cours, vous vous concentrerez sur les points suivants. abord, nous allons vous enseigner les événements à la demande, les capacités de streaming en confluent grâce à des exercices pratiques en laboratoire. Nous vous enseignerons également l'utilisation de l'environnement cloud de console, extrêmement facile à utiliser et très fonctionnel. Les concepts clés de ce cours sont expliqués avec des visuels appropriés pour que le ciment soit facile et que vous les compreniez rapidement. Nous allons également avoir un projet de pierre angulaire à la fin du cours. Vous trouverez régulièrement des questionnaires pendant toute la durée de ce cours pour tester vos connaissances sur ce que vous avez appris et cimenter certains fondamentaux au fur et à mesure. Rencontrez notre équipe d' instructeurs qui a créé et conçu ce cours. Ensemble, nous avons un peu plus de dix ans d'expérience dans mise en œuvre pratique de la technologie dans l'enseignement de cours techniques au niveau universitaire. Les membres de notre équipe sont spécialisés dans les domaines de la technologie de l' information, de l'ingénierie logicielle, de la science et de la conception des données. route d'apprentissage que nous allons suivre pour ce cours. Nous allons commencer par Apache Kafka et vous enseigner tout ce que vous devez savoir à ce sujet pour travailler avec les contours. L'étape suivante consiste à vous montrer confluent et vous montrer de quoi il s' agit et à le configurer pour vous. Après cela, nous allons examiner Case Egal db, comment nous l'utilisons et quelles sont ses applications. À partir de là, nous allons explorer les flux, ce qu'ils sont, les bibliothèques impliquées et la façon dont vous pouvez travailler avec eux. Enfin, nous allons examiner Catholic Connect sur la façon dont nous pouvons travailler avec cela et comment nous pouvons lier nos projets en externe. Une fois tous ces concepts terminés, nous allons créer deux projets. Kafka est un service de streaming de données qui permet au producteur d' écrire des messages sur un sujet consommé par le consommateur. Bien que ce concept soit extrêmement simple dans la pratique, les choses peuvent devenir un peu déroutantes et perdues en cours de route. C'est pourquoi nous avons essayé d'expliquer les concepts ce week-end. Avec des explications visuelles, Among confluent est un service de streaming d' événements basé sur le cloud. Il fournit l'environnement sous la forme de clusters pour empêcher diffusion en continu et offre une très belle visualisation des opérations. Cela dit, vous allez beaucoup voir cet écran pendant toute la durée de ce cours. Au-delà de la théorie et explication, trois parties de ce cours pour la maison. De même, pour travailler beaucoup dans la biopsie, nous allons voir comment nous pouvons fonctionner dans notre cloud de console et Kafka à l'aide de l'interface de ligne de commande. Et nous allons mettre en place un projet dans lequel nous allons créer quelque chose d'incroyable et voir comment il produit toutes ces informations dans streaming de nos événements est une phrase de grand objectif. Et aujourd'hui, les entreprises du Fortune 500 ne sont que quelques-unes des entreprises qui ont besoin d'experts en streaming d' événements pour répondre à leurs opérations quotidiennes et à leurs besoins critiques en matière de développement logiciel. Nous sommes impatients de vous voir rejoindre notre cours. Et nous avons promis que ce cours vous aidera à bâtir vos bases de diffusion d'événements et de console de connaissances. Cela vous aidera à faire ressortir votre CV et à exiger un salaire compétitif sur le marché. 2. Qu'est-ce que l'analyse de streaming: Bonjour, et bienvenue dans ce cours où je vais vous apprendre à utiliser Confluent et vos applications de streaming d'événements. Dans cette première section, nous discuterons Apache Kafka et de tout ce que vous devez savoir à ce sujet afin de comprendre et d'utiliser Confluent comme service. abord, nous devons comprendre ce que signifie même l' analyse de streaming à la mode et pourquoi elle est si populaire de nos jours. Qu'est-ce que l'analyse de streaming ? En termes profanes ? Il s'agit du traitement constant des données telles qu'elles sont générées et reçues en temps réel. Ces données se trouvent dans la plupart des endroits. Par exemple, la forme de données la plus courante utilisée pour être analysée dans l'analyse en streaming est l'information sur les réseaux sociaux. Au moment où vous effectuez quelque chose sur les réseaux sociaux, cet événement est diffusé en temps réel pour être traité afin de vous montrer un contenu plus pertinent pour vos goûts que pour des choses que vous ne voudriez pas. J'aime voir. Dans le passé. Et en fait, dans de nombreux endroits encore aujourd'hui, les données ont été envoyées par lots plutôt que sous forme de flux continu. Les données ont été collectées jusqu'à un intervalle de temps. Et lorsque le point médian interne est arrivé, les données ont été envoyées sous forme de gros morceaux à traiter. Bien que ce processus soit beaucoup moins cher que le streaming de données en temps réel. Il ne fournit pas d'informations en temps réel et ne peut pas être utilisé pour des actions instantanées et la génération de graphiques en temps réel. analyse en continu a été créée pour résoudre ce problème dans le traitement par lots, que des décisions en temps réel puissent être prises et des actions pouvaient être prises. Voyons maintenant comment fonctionne l'analyse en streaming. La première partie du streaming d'événements est l'événement produit. Cet événement peut être produit soit par un appareil ou une application, soit par tout autre producteur, il s'agit essentiellement d'un message. Ce message est envoyé à un hub. Ce Q est le message derrière d'autres messages et rend ingestible au sein du service d'analyse de streaming. Au cours de la phase d' analyse de streaming, il a été décidé quoi faire de ce message. il s'agisse de le présenter sur un graphique sur un tableau de bord ou d'envoyer une commande pour effectuer une action ou un événement donné simplement pour stocker ce message. C'est tout ce qui a été décidé dans la partie analytique du flux. Enfin, le message est envoyé à partir du service Stream Analytics pour être consommé par le consommateur final. Ce sont des processus qui peuvent sembler un peu techniques. Et vous vous demandez peut-être à ce stade pourquoi même passer par un tel processus en premier lieu. L'utilisation de l' analytique en streaming présente de nombreux avantages . Utilisation de la visualisation des données. Même quelqu'un qui ne sait pas bien lire les chiffres peut comprendre comment les choses progressent. De plus, il vous offre un avantage concurrentiel lorsque vous obtenez informations en temps réel et que vous pouvez faire des mouvements plus rapidement que ce que vos concurrents ne le réalisent même. Il vous donne également un aperçu beaucoup plus approfondi et plus clair des opérations, car vous savez quelles opérations sont effectuées en temps réel. La possibilité d'obtenir des informations dès qu'elles sont produites peut à la fois créer et identifier des opportunités perdues dans le monde des affaires et plus encore. Enfin, identifier les tendances à l'aide analyse de streaming peut aider à atténuer les pertes en alertant l'entreprise des bonnes choses au bon moment. De nombreuses entreprises sur le marché utilisent aujourd'hui l' analyse en streaming et l'adoptent encore plus chaque jour. La plupart des entreprises découvrent qu'elles ont besoin de données continues en temps réel et à quel point elles en tirent profit. Il n'est peut-être pas évident à la surface, mais dans de nombreux secteurs d'activité, les candidats naturels à la diffusion de données sont des candidats naturels. Par exemple, considérez les secteurs suivants. Finance, il est essentiel de savoir si une fraude est commise en temps réel. Sinon, cela pourrait entraîner une perte énorme pour l'entreprise. En outre, l'analyse du marché en temps réel est un élément central des décisions commerciales dans le commerce électronique. Examinons le père de tous les e-commerce, dit Amazon. Amazon traite une quantité de données absolument énorme. Et il utilise ces données pour ajuster continuellement les offres et les valeurs de leurs produits afin d'optimiser leurs cellules. De plus, il aide à recommander des produits aux clients et à optimiser la logistique de l' ensemble de l'opération. Amazon a en fait son propre produit pour cela, il s'appelle Amazon Kinesis. Dans le sport. Jetons un coup d'œil à la Formule 1. Chaque voiture de Formule 1 produit des gigaoctets données grâce au nombre de données grâce au nombre d'instruments installés. Pendant la seule course, les équipes collectent énormément de données dont elles ont besoin pour prendre des décisions en temps réel qui peuvent prendre ou briser la course à leur place. La même logique s'applique également aux jeux en ligne, où les détails techniques et les données des joueurs sont utilisés pour optimiser les performances du jeu et affiner l'expérience globale. 3. Qu'est-ce que Apache Kafka: Lorsque vous parlez du terme analytique en streaming, vous constaterez qu'il est principalement associé à Apache Kafka. C'est parce qu'Apache Kafka est le service de streaming de données le plus courant que la plupart des entreprises utilisent pour leurs besoins en streaming de données. Examinons ce qu'est Apache Kafka. Dans un manuel scolaire. Apache Kafka est un service de streaming de données. Il est open source et utilisé par des milliers d'entreprises pour l'analyse en streaming. Dans une définition plus simple, il fournit le service dont nous avons discuté lorsque nous avons examiné ce diagramme de flux sur le fonctionnement de l'analyse en continu. Ce que fait Apache Kafka, c'est qu'il prend des événements ou des messages d'un producteur. Maintenant, ce producteur peut être un appareil IoT ou un smartphone, et il le pousse vers Apache Kafka. Apache Kafka le gère ensuite de manière à ce qu'il puisse être donné à de nombreux consommateurs, élimine le besoin d'avoir des flux de données individuels de chaque producteur vers un consommateur. Il permet essentiellement que chaque producteur et chaque consommateur n'ait qu'un seul flux de données qui n'est pas affecté par des facteurs externes. Voyons un exemple pour une meilleure compréhension. Maintenant, en disant qu'il faut des producteurs et trois consommateurs sans Apache Kafka, chaque producteur a besoin d'un flux vers un consommateur avec deux producteurs et trois consommateurs. Cela nous donne un total de six flux à gérer. Ces flux sont couplés, c'est-à-dire qu'ils peuvent s' étouffer en raison de facteurs externes. consommateur lent peut avoir une incidence sur le producteur. L'ajout de consommateurs aurait une incidence sur les producteurs. La défaillance d'un consommateur bloquerait un flux entier. Il y a de nombreuses faiblesses dans un système comme celui-ci. Prenons le système avant et ajoutons trois autres producteurs et plus de consommateurs. Sans Apache Kafka, nous aurions besoin de maintenir et de gérer 25 flux. Maintenant, il y a beaucoup de flux et de maintenance, ce qui implique également des coûts élevés et des risques supplémentaires. Avec Apache Kafka, nous n'aurions besoin que de dix flux et nous aurions la garantie que ces flux sont découplés et ne seront pas affectés par la capacité d'un producteur ou d'un consommateur à accomplir leurs tâches. À partir de cet exemple, vous devriez maintenant être en mesure de dire à quel point Apache Kafka est avantageux et à quel point il est important d'entretenir les avantages de Kafka ou qu'il est très rapide, facilement évolutif, fiable, extrêmement durable, et surtout , c'est qu'il est open source. Cependant, vous pouvez également le trouver en tant que service géré, comme nous le verrons plus tard au cours de ce cours. 4. Architecture de Kafka: Maintenant que nous savons ce qu' est Apache Kafka et à quoi il sert. Voyons comment cela fonctionne à l'intérieur. Au sein d'Apache Kafka, vous trouverez les compétences suivantes. Producteurs, consommateurs, courtiers, sujets, partitions, clusters et zookeeper. Nous examinerons chaque confiance séparément et verrons ce qu'ils font. Producteurs. Ce sont les éléments qui produisent les événements qui sont des messages envoyés à Apache Kafka. Comme nous l'avons déjà mentionné, il pourrait s'agir d'un appareil ou d'une application. Les messages que les producteurs envoient sont écrits sur un sujet contenant des messages similaires à l'intérieur. Il est important de comprendre que plusieurs producteurs peuvent exister dans la même application. Tous les messages qui sont producteurs produisent du sens directement vers le cluster Kafka. Consommateurs. Ce sont les gars à l'opposé du producteur. Ils sont là pour prendre les messages du producteur et les lire ou, dans un sens plus technique, les consommer. Les consommateurs s'abonnent à des sujets. Et lorsque des messages sont envoyés à ces sujets, le consommateur consomme ces messages au fur et à mesure qu'ils arrivent. Lorsque vous travaillez avec Apache Kafka, plusieurs consommateurs peuvent consommer le même message du même sujet. Bien que les messages soient consommés, ils ne sont pas détruits après le processus. C'est l'une des beautés d'Apache Kafka. Les consommateurs peuvent également consommer différents types de messages provenant des clusters. En outre, les consommateurs savent exactement où se trouvent les données qu'ils doivent consommer dans le cluster Kafka. Courtiers. Lorsque nous avons discuté de la façon dont les producteurs envoient des messages à Apache Kafka, où ils envoient réellement ces messages sont les courtiers du cluster Kafka. courtiers sont les serveurs Kafka qui reçoivent puis stockent ces messages pour les consommateurs les prennent et les consomment. Un cluster Kafka peut comporter plusieurs courtiers, et chaque courtier gère plusieurs partitions. Comme nous le verrons bientôt. Sujets. s'agit simplement des canaux définis par lesquels les données sont diffusées en continu. Les producteurs produisent leurs messages sur des sujets. Les consommateurs s'abonnent à des sujets pour consommer les messages qu'ils contiennent. Il s'agit essentiellement d'un moyen de compartimenter et d' organiser les messages et de les classer en fonction de leurs caractéristiques particulières. Sujets de noms d'identification uniques au sein du cluster Kafka. Et il y aura un certain nombre de sujets. n'y a pas de limite définie. Cloisons. Les sujets sont divisés en ces partitions et sont répliqués sur d'autres courtiers. Plusieurs consommateurs peuvent lire à partir d'un sujet en parallèle à l'aide de celui-ci Avec les partitions, les producteurs peuvent ajouter des clés à leurs maîtres pour contrôler la partition vers laquelle le message est envoyé. Sinon, il ne fait que contourner le modèle Robin, où une partition reçoit un message et l'autre partition reçoit le suivant, etc. Les clés permettent au producteur contrôler l'ordre de traitement des messages, ce qui peut être pratique si l'application nécessite ce contrôle sur les enregistrements. Tout comme les sujets, il n'y a pas de limite définie sur les partitions. Étant donné que le cluster est en cours de traitement, la capacité peut gérer et gérer l'informatique. Clusters. Ce sont les systèmes qui gèrent les courtiers. C'est essentiellement l'architecture complète des courtiers que nous appelons un cluster. Les messages sont écrits sur des sujets qui se trouvent dans des courtiers, qui se trouvent dans des clusters. Ces messages sont ensuite lus par les consommateurs suivant la même hiérarchie. Le Zookeeper, cet élément est responsable de la gestion et la coordination du cluster Kafka, peu comme un chef d'orchestre. Il avertit tous les nœuds du système lorsqu'un changement de topologie se produit. Il peut s'agir de l'adhésion d' un nouveau courtier ou même de l'échec d'un courtier. Le Zookeeper permet également élections de leadership entre les courtiers et les paires de partitions de sujets afin déterminer quel courtier doit être le leader d' une partition particulière et ceux qui détiennent réplicas de ces données. En termes simples, le Zookeeper gère et coordonne tout ce que fait le cluster Kafka et fournit une sécurité intégrée pour un jour de pluie. 5. Solution gérée Kafka: Examinons les solutions gérées disponibles sur le marché pour Apache Kafka. À l'heure actuelle, en 2021, il existe un certain nombre de fournisseurs de solutions gérées pour Apache Kafka. L'un d'eux est confluent. En dehors de cela, nous avons également Azure, HDInsight, AWS, Kinesis, au lieu de cela. Et même il y a de nombreux avantages à payer un fournisseur de services gérés pour Apache Kafka plutôt que d'en utiliser la saveur open source. Le kafka open source comporte de nombreux problèmes et beaucoup de gestion et maintenance sont nécessaires régulièrement. Il y a tellement d'opérations qui doivent être effectuées uniquement pour faire fonctionner les choses. Avec un service géré. Vous n'avez pas à vous soucier d' effectuer des opérations, où le terme « no ops ». De plus, vous n' avez pas besoin de télécharger des fichiers ou de gérer des fichiers localement. Tout est fait sur le Cloud. Enfin, vous pouvez être sûr de faire fonctionner Kafka sans problème. Pensez à utiliser l'open source comme moteur de voiture gratuit. Il est puissant et peut générer beaucoup de couple, mais en soi, il ne peut vraiment rien faire. Pas avant que vous ayez construit le reste des pièces nécessaires pour rendre le moteur utile. En comparaison, les solutions gérées sont comme des voitures à part entière prêtes à conduire. Pas de tracas de régler beaucoup de choses, il suffit de tourner une clé et d'y aller. C'est cette commodité que beaucoup d'entreprises envisagent lorsqu'elles envisagent des solutions gérées. 6. Commencer rapidement avec Confluent Cloud: Démarrez le Cloud confluent. Nous allons donner le coup d'envoi en effectuant certaines tâches de base dans le cadre d'un conflit. Nous allons configurer un cluster plutôt qu'un sujet. Ensuite, nous allons voir comment créer producteurs et des consommateurs qui enverront des messages depuis et vers ce sujet à l'aide de la console et du Cloud CLI. Pour commencer avec confluent, la première chose que nous allons devoir faire est d'aller sur le site Web de la console, qui n'est que confluent.io. Une fois sur place, vous pouvez voir la possibilité de commencer gratuitement. Lorsque vous cliquez dessus, vous seront présentées vos options de déploiement vous seront présentées et vous pouvez simplement choisir l' option de déploiement et sans frais. Ici, vous pouvez renseigner votre nom complet, votre entreprise, pays de messagerie, choisir un mot de passe et cliquez simplement sur ce bouton. Lorsque vous faites cela, comme il est indiqué ici, vous recevrez 400$ à dépenser dans Console et Cloud pendant vos 60 premiers jours. Lorsque vous remplissez ce formulaire et que vous cliquez sur Démarrer gratuitement, il vous enverra un lien vers votre e-mail dans lequel vous devrez confirmer la propriété et l'accès à cet e-mail, partir de quoi vous pourrez vous connecter en cas de conflit. Puisque nous avons déjà un compte avec confluent, nous ne le ferons pas, mais nous nous connecterons à confluent. Pour ce faire, il va falloir revenir à la page Commencer. Et il est dit juste en bas ici que j'ai un identifiant de compte. On y va. Ouvrez cela dans un nouvel onglet où nous pouvons nous connecter. On y va. C'est mon e-mail. Je clique sur Suivant, c'est mon mot de passe. Je clique sur Suivant. C'est à ce moment que les conflits vont commencer à vous donner un tutoriel sur la façon dont vous êtes censé configurer vos clusters dans Console et Cloud. C'est un excellent tutoriel si vous voulez prendre le temps, je vous recommande de le parcourir et de le lire. Cependant, pour nos projets, nous fournirons tout le matériel dont vous aurez besoin pour les créer. Il y a ce bouton ici qui indique Créer un cluster. Allez-y et cliquez dessus. Vous allez maintenant vous présenter trois options différentes pour créer un cluster. Vous disposez de votre cluster de base, votre cluster standard et d'un cluster dédié. Maintenant, la base est celle que nous utiliserons car, comme vous pouvez le constater, il n'y a aucun coût de base associé. Et il a de nombreuses limites d'utilisation. Vous avez une entrée de 100 mgs, une sortie de 100 MBA et un stockage allant jusqu' à 5 000 Go. Il peut prendre en charge un flux de données élevé. Nous ne serions pas près de ces chiffres, pas dans nos projets. Nous pouvons simplement sélectionner le type de base souci de connaissance, il est bon de savoir que si vous optez pour l'option standard, cela vous coûtera 1,50$ l'heure. Et il peut prendre en charge plus de stockage. En fait, vous pouvez l'utiliser jusqu'à un stockage illimité. C'est juste le seul avantage que vous allez vraiment tirer de prendre le standard par rapport à la base. Lorsque vous allez le consacrer, vous pouvez constater qu' au fur et à mesure que vous progressez dans cette barre, vous obtenez de plus en plus d'avantages. Ensuite, vous atteignez un point où ils vous indiquent que sommes en contact pour que nous puissions gérer quelque chose pour les clusters dédiés. Mais comme nous n'optons pas pour l'une ou l'autre de ces options, mettons simplement en place un cluster de base. Lorsque vous arrivez dans cette région, la zone où ils vous demandent quelle région vous souhaitez sélectionner. Ici, vous pouvez voir à quel point confluent est réellement associé à AWS, gcp et Azure. Et vous pouvez constater que vous avez des options de service parmi toutes ces options, vous pouvez choisir un serveur AWS, un serveur GCP ou un serveur Azure, quel que soit le type de votre choix, ou les services que vous souhaitez . déjà utilisé. est généralement idéal que si vous souhaitez connecter kafka à un service déjà en cours d'exécution, vous devez créer le cluster dans une région à l'aide d'un service vous devez créer le cluster dans une région à l'aide d'un service déjà utilisé auparavant. Par exemple, supposons que vous ayez un Hub Azure IoT. Vous souhaitez utiliser confluent pour le streaming d'événements, alors vous devriez probablement utiliser Microsoft Azure pour héberger votre cluster confluent. En général, il rend les choses plus fluides et facilite les choses et il y a moins de tracas et le processus Connect, mais plus encore, il est simplement facile à gérer et réduit la latence de nos projets Puisque nous n' avons vraiment rien d'autre, nous pouvons simplement y aller directement. Nous pouvons simplement choisir. N'y a-t-il pas d'Asie, Singapour, on y va. Nous n'avons pas besoin d'une disponibilité multi-zones. zone unique fonctionne parfaitement bien pour nous. C'est donc exactement celui que nous allons chercher. Maintenant, lorsque vous arrivez à cette troisième page, il vous demandera une carte de crédit. Et il débitera initialement cette carte de crédit, mais votre montant vous sera remboursé et il faut une carte de crédit pour vérifier. Donc, si vous dépassez votre limite ou si vous dépassez les 60 jours, il vous envoie une notification pour vous informer, hé, si vous voulez continuer à utiliser confluent, faites-le nous savoir, facturerez sur la carte et nous conservera simplement les clusters que vous avez dans les projets que vous avez en cours. Ce cluster est donc parfaitement parfait. Nous pouvons appeler ce cluster de cluster de soulignement 0, ce qui fonctionne pour nous. Et nous pouvons simplement lancer ce cluster. On y va. Avec ça. Nous avons configuré notre cluster de consoles. Passons maintenant à la création d' un sujet au sein de notre cluster cathodique, ainsi qu'à la connexion notre Cloud confluent via notre CLI. Pour cela, passons à confluent maintenant. À partir de là, nous pouvons simplement revenir au lien Démarrer et simplement vous connecter. On y va. C'est mon e-mail, donc je vais cliquer sur Suivant, c'est mon mot de passe. Je vais me connecter. On y va. Une fois que vous aurez configuré un cluster, c'est ce que vous verrez à l'intérieur de Confluent. Cela va vous montrer que vous avez une configuration de cluster. Il est en direct, il fonctionne. Il suffit donc d'aller de l'avant et de cliquer sur ce cluster que vous avez créé. Une fois que vous êtes à l'intérieur, vous verrez le tableau de bord. Vous verrez qu'il vous offre un tas d' options dans lesquelles vous pouvez transférer des données, configurer un client si vous souhaitez configurer l'interface de ligne de commande. Nous allons bientôt mettre en place l'interface de ligne de commande, mais avant cela, nous allons définir un sujet. Passons au sujet ici et créons un sujet. Nous pouvons donner n'importe quel nom à ce sujet. On peut dire qu'il y a des sujets. Pourquoi pas ? Nous pouvons créer ces cours scolaires, et nous pouvons simplement laisser cela à cette valeur par défaut, par défaut alors que vous six, cela ne changera rien, donc nous pouvons simplement le créer avec ses valeurs par défaut. Nous avons eu plus de deux messages. Nous pouvons donc produire un nouveau message sur ce sujet. On peut dire qu' il y a une vue sur la montagne CA, tout le reste. Bon, donc comme nous ne voulons pas envoyer message technique pour le moment, nous essayons simplement de comprendre quels sont les sujets, ce qu'ils font et comment les messages seraient renvoyés et la façon dont nous les voyions. Oublions tous ces bits de code techniques qui se trouvent dans la section valeur et nous pouvons simplement lui donner n'importe quelle valeur, disons que nous lui donnons le sujet de l'anglais. C'est toujours un sujet amusant. Et nous pouvons transformer ce volume en un seul. Vous pouvez le produire. On y va. Arbre de partition anglais, génial. Ensuite, nous pouvons dire que nous ne voulons pas produire. On peut dire que nous voulons un autre sujet, les mathématiques. Et je suppose que le dernier serait la science. Nous disons que nous voulons que notre dernier message soit scientifique. On y va. Nous avons maintenant trois messages que nous avons configurés. Ce ne sont que trois sujets que nous avons dit, d'accord, s'agit de trois messages sous le thème du ou des sujets. Dans notre cas, comme nous pouvons le voir ici, les sujets. Et nous voulons simplement transmettre ces trois messages indiquant que nous avons la science, mathématiques et l'anglais comme sujet. Maintenant que nous avons configuré notre sujet et que nous avons maintenant quelques messages à l'intérieur de notre sujet, nous devrions probablement essayer de configurer notre interface de ligne de commande afin que nous puissions alors configurer un consommateur. Les constructions sont vraiment simples. Si vous accédez ici à la page de configuration de l'interface de ligne de commande, toutes les instructions sont juste devant vous et vous pouvez simplement copier ces commandes. Si vous travaillez sur un Mac, cela devrait être assez simple car cette commande fonctionnera immédiatement. Il n'y aura aucun problème. Cependant, si vous êtes comme moi et que vous utilisez, essayez de configurer Confluent Cloud ou CLI sur une machine Windows, vous avez besoin d'un terminal Linux pour cela. Si vous êtes sous Windows 11, pour obtenir une fenêtre, le terminal Ubuntu est assez facile. Il vous suffit de vous rendre dans le Windows Store. À partir de là, vous pouvez simplement rechercher Ubuntu. Ubuntu, vous obtiendrez cette application Ubuntu ainsi que Ubuntu 12.04 LTS et 18.04 LTS. Puisque je l' ai déjà installé, je dois juste aller de l'avant et l'ouvrir. Je dois cependant vous aviser que si vous allez configurer une aubaine pour aimer cela, vous aurez besoin de Windows Hypervisor si vous travaillez avec des machines Intel ou si vous travaillez avec AMD machines, vous devez activer la SVM pour que cela fonctionne. Ok, donc maintenant que nous avons, le terminal Ubuntu est ouvert, il est probablement temps d' exécuter nos commandes CLI. Cependant, je n'exécuterai pas cette commande curl car je l'ai déjà exécutée et je ne veux pas tomber dans le problème des répertoires en double. Vous devriez probablement aller de l'avant et courir ça en premier. Il devrait vous fournir un Cloud C installé par la suite. Et lorsque cela se produit, il suffit d'exécuter une simple commande qui indique voir la mise à jour du cloud. Et il vérifiera s'il y a des mises à jour sur le cloud C pour voir s'il y en a. Il devrait probablement y avoir une mise à jour majeure pour moi, mais je ne vais pas la mettre à jour pour le moment. Oui, on y va. La seule mise à jour est une version majeure et je n'ai pas le temps pour le moment. Je vais le laisser après. Je pense qu'il est temps de se connecter à num2. Une autre chose que nous devons faire depuis notre CLI ou notre terminal, c'est que nous devons accéder à notre console et à notre Cloud à partir d'ici. Pour ce faire, nous devons disposer de certains moyens de communiquer avec notre console et notre Cloud. Pour communiquer avec la console et le Cloud, vous devez passer à l'intégration des données sur le côté gauche, et vous verrez ici un petit onglet indiquant les clés API. Ici, vous pouvez créer une clé API. Il vous donnera deux options ici. Imaginons que vous puissiez disposer d'un accès global ou d'un accès granulaire. Pour cela, je vous recommande d'opter pour un accès global. Une fois que vous disposez d'un accès global, vous pouvez utiliser ces informations d'identification pour connecter à votre client, le terminal Ubuntu. Maintenant, nous pouvons donner plupart des descriptions pour la plupart, je peux simplement appeler cela la clé de courbe de compétence. Si je le veux, je peux simplement télécharger ceci et continuer. Il vous donne même ce petit texte qui donne cette clé si la vôtre, tous les détails de votre clé, il vous fournit un fichier texte avec tous les éléments. Maintenant que je l'ai et que ma clé API est créée, je vais juste revenir à mon terminal Ubuntu. Désormais affecté à la connexion à notre console et Cloud à l'aide des déterminants de la lune sont pour cela. Je vais juste aller voir le cloud, la connexion, le tableau de bord, le dash save. À partir de là, il va me demander mon accréditation confluent. Je vais juste les mettre en soutien au taux de trottoir qualifié. Une fois que je les ai mis, il me demandera mon mot de passe. Je vais juste faire une pause très vite et mettre ça en place. Ok, donc maintenant que j'ai mon mot de passe et que je vais juste appuyer sur Entrée, il devrait me connecter à mes comps want cloud. Et il a écrit ces informations d'identification dans le fichier NET RC. Maintenant que je suis connecté à confluent, il est temps de voir notre cluster sur une CLI juste pour que vous sachiez que nous sommes réellement connectés. Et c'est toujours agréable de assurer que vous pouvez voir le cluster. Pour ça. Eh bien, nous devons simplement écrire liste des clusters C Cloud Kafka pour voir ce que nous pouvons trouver. Et comme vous pouvez le constater, nous n'avons créé qu'un seul cluster. Et nous pouvons voir la pièce d'identité ici. s'agit donc que du seul cluster dont nous disposons et nous voudrions utiliser ce cluster par défaut. Nous ne voulons pas avoir à insérer l'ID chaque fois que nous utilisons ce cluster. Donc, ce que nous pouvons faire pour en faire notre cluster par défaut, c' est que nous pouvons simplement écrire l'espace C Cloud, cluster spatial Kafka, l'utilisation de l'espace. Et puis ce nom, donc L, K, c tiret z, deux députés. On y va. Il a défini qu' il s'agit d'un cluster Kafka comme cluster actif et par défaut pour notre environnement de travail actuel. Ok, donc maintenant que nous avons configuration de notre cluster par défaut dans le terminal, au sein de l'interface de ligne de commande, c'est le bon moment pour apporter notre clé API que nous avons créée afin que nous puissions lier les deux ensemble. Afin de lier la clé API, nous devons l'écrire en tant que clé de tiret et de stockage de l' API C Cloud Space . Et ce que nous devons stocker ici, c'est la clé API, que je ne fais que copier ici , espace et coller. Après cela, il va me demander si c'est un peu difficile à voir, mais dans le coin inférieur, il est dit, quel est le secret de votre API ? Je copie ce secret de l' API en ce moment. Et on y va. Maintenant, il a stocké le secret de l'API et j'ai stocké la clé API pour que je puisse l'utiliser. Maintenant que j'ai une clé API, je veux dire à mon interface de ligne de commande. Maintenant, pour une ressource donnée, je veux utiliser cette clé d' API par défaut. Ce que nous faisons essentiellement, c'est cette clé API fonctionne par défaut pour le cluster que nous venons de définir. Donc pour ce faire, ce que nous devons faire, c'est simplement aller voir API cloud dash q0, l'utilisation de la barre oblique. Nous avons vraiment besoin de cette petite chose ici, comme avant. Nous pouvons simplement mettre ça dedans. Nous pouvons donc faire des ressources dash, dash. Encore une fois, nous pouvons simplement prendre le nom de notre ressource à partir ici et le copier. Et maintenant, nous avons défini notre clé API, telle que la clé API active pour le cluster que nous avons configuré. Cela étant fait, nous sommes maintenant tous configurés pour commencer à consommer et même à produire des messages depuis et vers notre console et notre Cloud. Maintenant, afin de consommer des messages, je vous recommande d'ouvrir un nouveau terminal pour Ubuntu afin que nous puissions le voir séparément. Nous pouvons donc simplement en ouvrir un autre et les amener à décider ici même. Maintenant, à consommer à partir d'un cluster Kafka ou d'un confluent. Dans notre cas, ce que nous devons faire, c'est d'écrire une commande et de spécifier le sujet à partir duquel nous voulons consommer. Donc, dans notre cas, cela deviendra C Cloud, Kafka, sujet, consommation dash, dash. Depuis le début. Là où nous précisons, nous voulons que tout vienne dès le début. Nous nourrissons les sujets. On y va. Maintenant, vous pouvez voir que nous avons l' anglais, les mathématiques et les sciences. Ce sont les sujets que nous avons réellement abordés dans Kafka nous-mêmes. C'est donc la partie passionnante de Kafka que nous avons fait, que nous avons fait des messages et que nous pouvons maintenant voir ces messages en tant que consommateur. Jusqu'à présent, nous avons vu que nous nous sommes connectés à notre cluster confluent, que nous avons configuré des messages et notre sujet, et nous avons consommé ces messages. Tout va bien et bien. Mais je pense que nous devrions maintenant passer du côté consommateur au site du producteur et produire des messages pour notre cluster. Avant cela, de retour de l'interface graphique dans confluent, nous venons d'ouvrir la page et nous sommes allés au sujet et nous les avons simplement mis sur ce site web très agréable, mais nous devrions savoir comment le faire depuis CLI. Et si au sein de l'interface de ligne de commande, nous pouvons le voir fonctionner en temps réel. Donc, pour le faire à partir de l'interface de ligne de commande, la commande que nous utiliserions est C Cloud, space , Kafka, topic, Product Dash, Dash, Dash, Key, Space, Dash, Dash, Delimiter. Ensuite, nous avons un deux-points au-delà duquel nous avons le format de valeur. Nous pouvons dire pour notre exemple, puisque nous travaillons avec des chaînes, nous pouvons dire qu'il s'agit d'une chaîne. Et nous précisons simplement le sujet qui, dans notre cas, est sujet. Lorsque nous appuyons sur Entrée, nous y allons. Il dit qu'il est en train de démarrer le producteur de Kafka. À partir de là, vous pouvez commencer à ajouter et à produire des messages. Et nous devrions voir ces messages arriver au consommateur sur le côté droit de l'écran dès que nous les produisons. Par exemple, supposons que nous voulions ajouter d'autres sujets. Nous pouvons opter pour la géographie. Nous produisons de la géographie. Et voilà. Il a été ajouté directement à notre consommateur. Nous disons que la géographie est bonne en OB, mais je veux aussi apprendre l'histoire pour assez. On y va. L'histoire est apparue du côté droit. Nous disons donc six, par exemple, que maintenant ce n'est pas suffisant. Je ne voulais pas faire des affaires internes ou intérieures ou des affaires mondiales. Nous pouvons faire en sorte que ces affaires mondiales continuent d'apparaître. Et c'est juste la beauté d'Apache Kafka. C'est pourquoi c'est une technologie si agréable, est qu'au moment où nous avons produit un message, le consommateur a reçu le message, le moment et la mise à jour a été faite. Le consommateur en a été alerté, le consommateur était au courant et il pouvait consommer les messages mis à jour immédiatement. Avec cela, nous avons maintenant pris la main sur les consonnes CLI. Nous savons maintenant comment cela fonctionne. Nous pouvons créer un producteur, nous pouvons faire un consommateur tout au sein de l'interface de ligne de commande. Nous avons également configuré un cluster dans notre Confluence Cloud, et nous avons défini un sujet. Nous avons pratiquement réalisé la plupart des fondamentaux lorsqu'il s' agit de travailler à Apache Kafka. Plus tard, nous verrons également comment travailler avec les flux. Et nous examinerons également quel cas est égal à DBS. 7. Introduction à KSQLDB: Arborescence de sections, K SQL DB, introduction à SQL DB. Qu'est-ce que la casse est égale à dB ? Eh bien, K SQL DB est une base de données de streaming d'événements en temps réel qui s'appuie sur flux Apache Kafka et Kafka. Maintenant, ce que les flux Kafka sont un sujet dont nous discuterons plus tard. Mais pour l'instant, tout ce que vous devez comprendre, c'est ceci. La façon dont un flux est défini au niveau vraiment fondamental est le flux de données d'un producteur vers un consommateur. K SQL DB prend ce flux et le lie à un modèle de base de données relationnelle à l'aide de commandes SQL. Il existe de nombreux cas d'utilisation de K SQL DB, et il est beaucoup utilisé dans l'industrie en raison de simplicité et de sa facilité d'utilisation. Comment fonctionne le cas égal à db ? Casey Equal db sépare sa couche de calcul distribuée de sa couche de stockage pour laquelle elle utilise Kafka. Case est égal à dB lui-même a géré toutes les tâches associées aux données, qu' il s'agisse du filtrage, traitement, du streaming, etc. Et puis il laisse le stockage à Kafka pour le comprendre et le gérer. Comment interagir avec Casey comme EB ? Bien que cela puisse se faire de plusieurs façons, nous pouvons le faire via des API Rest. Nous pouvons le lancer directement dans le code. Ou nous allons le faire de la manière que nous avons définie dans ce cours. La première façon de communiquer avec la base de données de casse égale est d'utiliser l'interface de ligne de commande de base de données égale de casse. La deuxième façon d' interagir avec K SQL DB consiste utiliser l'interface utilisateur Cloud confluente que nous voyons sur la console. Et Cloud lui-même. 8. Utiliser KSQLDB: En utilisant la casse égale db. Bon, donc pour commencer à utiliser KSQL dB, la première chose à faire est de mettre en place un cluster dans lequel nous allons travailler. Lorsque vous accédez à la page Console et Cloud dans vos environnements, vous devriez voir quelque chose comme celui-ci. Si ce n'est pas le cas, peut-être un peu différent si vous avez déjà configuré 12 clusters. Puisque nous n'avons pas de configuration de cluster, nous allons simplement entrer dans notre environnement par défaut ici et simplement configurer un cluster. Il est donc écrit Créer un cluster par moi-même, suffit d'opter pour un cluster de base, de commencer à configurer. Vous pouvez définir cette région sur ce que vous voulez et simplement définir une zone unique et continuer car vous verrez que le coût de base de cette zone est de 0$ l'heure, qui n'est pas le cas pour cette démonstration . J'ai vraiment besoin de quelque chose de trop chic. Donc, on va juste y aller. Une fois cela fait, vous pouvez simplement lancer votre cluster et il devrait être lancé très rapidement. Et il suffit de configurer le cluster que nous créons le provisionnement du cluster peut prendre une seconde ou deux. Une fois que vous aurez terminé, il vous donnera l'écran et il va dire que vous voulez créer un client ou autre chose. Vous ne voulez pas vraiment le faire pour le moment, vous pouvez donc simplement le croiser ici et cela devrait vous amener à la vue d'ensemble de votre cluster. Une fois que vous serez dans cet aperçu, vous verrez un petit menu sur le côté gauche ici. Maintenant, pour travailler avec K SQL DB, il est en quelque sorte donné que vous avez besoin d'un sujet avec lequel jouer, pour créer des tables et des flux afin que nous ayons un moyen d'obtenir des informations depuis et vers et nous avons une référence laquelle les informations vont sortir. Si nous allons à des sujets et qu'il devrait y avoir, oui, aucun sujet n'est configuré ici. Et bien sûr, votre cluster sera prêt à être utilisé en une à deux minutes. Comme je l'ai dit, le provisionnement prend un peu de temps. Ce que je vais faire c'est que je vais mettre la vidéo en pause ici. Je vais revenir du cluster est complètement provisionné et ensuite nous allons commencer et mettre en place un sujet. Bon, maintenant que le cluster a été provisionné et me permet de créer un sujet. Je vais donc aller de l'avant et créer un sujet ici. Je peux appeler ce sujet n'importe quoi. Pour le bien de cette démonstration, appelons-le simplement des sujets. Pourquoi pas ? Ou nous pouvons simplement appeler cela des utilisateurs à dire. Parce que chez les utilisateurs, vous pouvez disposer d'un tas d' informations et il est généralement plus facile de créer un flux à partir de celui-ci. Je vais donc créer cela avec les valeurs par défaut. Et il devrait généralement avoir sujet de cet utilisateur prêt à passer au moment où vous l'avez configuré. Maintenant que vous avez votre sujet, configurez-le pour qu'il aille réellement dans votre données SQL et configurez une application DB égale à la casse que nous allons utiliser pour manipuler ce sujet et travailler avec elle. Alors, que faites-vous pour une affaire égale à VB ? Oui. Cela vous donnera la possibilité de le créer avec le didacticiel ou vous pouvez simplement créer l'application vous-même. Nous allons simplement aller de l'avant et créer l'application nous-mêmes, donner un accès global, Continuer. Vous pouvez l'appeler comme vous voulez pour faire une différence aveugle. Je vais utiliser la plus petite taille d'application afin de ne pas avoir trop de coûts sur ma console et mon Cloud. Et je vais juste le lancer. Maintenant, vous devez savoir à ce stade que la configuration d'applications de base de données égale en cas prend un peu plus de temps. En fait, cela prend beaucoup plus de temps que provisionnement d'un cluster Kafka confluent. Ce processus devrait prendre jusqu' à quatre à cinq minutes. Donc ce que je vais faire maintenant, c'est que je vais mettre pause la vidéo ici et revenir quand il aura fini de provisionner l'application DB égale. Vous pouvez voir que lorsque vous avez terminé de provisionner votre application de base de données égale, vous risquez rencontrer une erreur lorsque le cluster dit, je ne peux pas me connecter à cette application SQL DB. Vous n'avez pas besoin de paniquer. Cela fait toujours partie du provisioning. Dès que le provisionnement est terminé, cette erreur devrait disparaître d'elle-même. Maintenant que nous avons cela, éclaircir, je vais mettre en pause la vidéo maintenant, laisser cette disposition et revenir quand tout sera terminé. Ok, donc notre application de base de données égale est maintenant opérationnelle. Il a été provisionné. Nous pouvons donc aller à l'intérieur et y jeter un coup d'œil et vous pouvez voir comment à l'intérieur, voici à quoi ressemblera une application DB égale. Vous disposerez ici d'un éditeur qui vous permettra d' y exécuter vos requêtes SQL. Et à côté, vous verrez l'onglet flux, qui vous montrera exactement comment les choses fonctionnent, dans quels flux alimentent, quelles sont les tables, quelles sont les tables qui alimentent dans quel flux, ainsi de suite et ainsi de suite. Vous pouvez voir vos flux, la liste de tous les flux, dans ce cas une application DB égale ici, ils répertorient toutes vos tables ainsi que vos requêtes. En dehors de cela, vous pouvez voir, wow, votre application de base de données égale à cas fait ses performances. Vous pouvez consulter différents paramètres pour votre application DB égale à cas. Vous devez connaître certains de ces paramètres au cas où vous souhaitez vous y connecter. Par exemple, ce point de terminaison ici vous utiliserez souvent un point de terminaison pour vous connecter à des applications de base de données égales lorsque vous devez travailler avec k est égal à EB. Enfin, vous disposerez d'instructions CLI à la fin qui vous permettront de vous connecter à case égale db et de vous connecter à votre Console et Cloud et d'utiliser votre application DB égale à partir de l'interface de ligne de commande. Maintenant que nous avons ce cas équivaut à l'application DB en cours d'exécution, il est temps de générer des informations dans notre sujet puis de créer des flux et tables à partir de ces informations. Revenons donc à la présentation de notre Cluster. Nous allons maintenant voir comment générer des informations dans notre sujet d'utilisateurs. Kafka a en fait une chose assez géniale si vous voulez générer des informations ou des messages dans un sujet, c'est qu'il dispose d'un tas de générateurs de données prédéfinis qui continueront à envoyer des informations dans un sujet s'il est nécessaire de configurer un générateur de données, ce que nous allons faire, c'est que nous allons passer à l'intégration des données et passer aux connecteurs. Lorsque vous entrez dans les connecteurs ici, vous verrez tous ces connecteurs ici. Nous sommes à la recherche de data gen, donc nous allons simplement chercher la source de données et cela provient de Ladin Kafka n' est pas un tiers, donc cela ne rencontrera aucun problème lors de la configuration. Maintenant que vous êtes ici, vous devez mettre en place un tas de choses. La première chose, bien sûr, est le nom de votre connecteur de source de données. Bien, assez juste, ça n'a pas vraiment d'importance. Nous pouvons utiliser une clé API Kafka pour nous connecter à notre connecteur. Nous avons donc une configuration de clé API à ce stade, nous n'avons pas vraiment à nous inquiéter ce problème car nous avons ici un petit lien qui va générer une clé API Kafka et un secret pour nous en temps réel. Et ce que nous pouvons faire, c'est cliquer dessus. Et on y va. Il nous a donné une clé API et un secret. Nous pouvons simplement appeler cela notre clé de génération de données. Et il va télécharger cette clé comme c'est fait ici. Et il va mettre les informations d'identification pour vous. Vous n'avez pas à subir de problèmes et il n'y a aucun risque de commettre une erreur en saisissant cela. Maintenant, c'est ce que nous avons fait. Vous devez passer aux sujets. Notre sujet concerne les utilisateurs juste là. Vous devez maintenant choisir vos messages de sortie pour que nous puissions nous dire Donnez-nous les valeurs et JSON. Enfin, il s'agit du point important où il est indiqué les détails des joints de données où vous devez choisir maintenant le modèle d' informations que vous voudrez ajouter à votre sujet. Si vous ouvrez ce menu déroulant, vous verrez en réalité un tas de données différentes Jens à notre disposition. Nous avons des codes clickstream, des clickstream , des cartes de crédit de l'utilisateur, stocks, des commandes, des téléavertisseurs , des achats de produits, une évaluation, etc. Mais ce qui est drôle, c'est qu'il y a un jet de données ici exactement pour les utilisateurs. Ce que nous allons faire, c'est que nous allons cliquer sur ces données, Jen, et nous allons définir par défaut la valeur par défaut de vos messages envoyés, qui est essentiellement l' intervalle entre les messages. Il a reçu un message, quand envoie-t-il le prochain ? Par défaut, les valeurs 1000. Donc, si vous laissez cela complètement vide, ce qu'il va faire, c'est qu'il va continuer à envoyer des messages toutes les secondes ou toutes les 100 millisecondes. Je vais juste laisser ça pour l'instant. Je veux en mettre 1000 ici pour vous montrer qu'il va envoyer des messages après chaque seconde. Mais même si je ne le fais pas, il enverra tout de même des messages toutes les secondes. Donc, si vous envisagez de le garder ainsi, vous pouvez laisser ce champ vide. Je le quitte, je mets la valeur ici juste pour que nous sachions que nous avons défini cette valeur d'une seconde pour chaque message. Une fois cela fait, nous pouvons passer au nombre de tâches que ce connecteur est autorisé à effectuer. Maintenant, à chaque tâche, le coût d'exécution du connecteur augmente. Vous verrez que si vous choisissez plusieurs connecteurs, vous devez mettre à niveau votre compte confluent pour que plus de tâches fonctionnent. Donc, nous n'allons pas nous lancer dans cette tâche, c'est assez pour cet exemple. Nous allons donc simplement faire une tâche. Nous allons laisser tout reste et nous allons aller ensuite. Lorsque vous faites cela, il vous dira, regardez, pour chaque heure de travail, il va vous facturer autant. Et pour chaque Go de données que vous utilisez, cela va vous facturer autant. Vous avez 400$ sur votre compte d'essai en toute confiance. Donc, vraiment faire fonctionner ça pendant quelques minutes ne sera pas un problème. Ne vous inquiétez donc pas trop du coût de fonctionnement et lancez simplement. À côté du bouton Lancer, bien sûr, se trouve un aperçu des données qui vous permet de voir le type d'informations que vous obtiendriez. Mais j'aimerais vous le montrer dans le sujet lui-même plutôt que de le montrer ici. Maintenant que vous avez un connecteur majeur, il va être provisionné pendant quelques minutes, tout comme la casse égale à dB l'a fait. Ce que je vais faire, c'est que je vais mettre en pause la vidéo ici, revenir quand elle sera mise en service, puis je vais vous montrer les informations qu'elle a fournies dans le sujet. Ok, donc la configuration de mon connecteur pour ma génération de données prenait plus de temps que prévu. Et j'ai supposé que c'était parce que j' avais déjà utilisé ce nom et que j'avais un client qui était déjà connecté à ce lien son nom. J'ai dû revenir en arrière, supprimer le générateur de données que j'ai créé et en créer un nouveau appelé «  My papa did data generator ». Et maintenant que c'est opérationnel, allons à l'intérieur et voyons ce qu'il fait. Si vous allez dans mon générateur de données, vous verrez que c'est le cas, eh bien, jusqu'à présent, il a produit 82 messages. Et il y a cette tâche qui est en cours d'exécution pour fermer cette petite information ici qui me dit que mon générateur de données est en cours d'exécution. Si vous accédez aux paramètres, vous verrez toute la configuration que vous lui avez donnée. Vous pouvez même revenir et modifier ces informations si vous en avez besoin, mais je ne le recommanderais pas car cela pourrait complètement faire en sorte que votre flux devienne un turvy topsy. Toutes vos configurations devraient changer en conséquence et ce ne serait qu'un gâchis. Je ne vous recommande donc pas d'apporter modifications à ce sujet, sauf si vous en avez absolument besoin. Maintenant que nous savons comment fonctionne le générateur de données, examinons nos sujets. Oui, passons à notre sujet d'utilisateur. Mais avant cela, nous pouvons voir que a a une valeur associée maintenant dans son domaine de production, c'est-à-dire que ce sujet reçoit réellement quelque chose. Qu'est-ce que c'est, allons à l'intérieur et jetons un coup d'œil. Si nous entrons dans les messages, nous devrions voir quels messages ont été produits ici. Ainsi, lorsque vous êtes venu ici, il vous a maintenant montré les messages qui ont été générés jusqu'à présent sur le sujet de cet utilisateur. Et voilà. Vous venez d'en recevoir un autre. Si nous ouvrons cette dernière version, vous pouvez constater qu'un tas de valeurs sont associées à un message. Donc, si nous examinons simplement les valeurs ici, nous avons l'heure enregistrée, l'ID utilisateur, l' identifiant de la région et le sexe. Si nous entrons dans l'en-tête, nous pouvons voir ce que la clé a été générée, l'ID de la tâche, itération actuelle et la dernière clé mais non la moindre, qui est la clé de ce message, qui est le soulignement de l'utilisateur trois. Nous avons maintenant ces données générées dans nos rubriques afin que nous puissions aller de l'avant et la décroissance est égale à db et configurer un flux pour ces données. Allons donc dans l'application. Nous pouvons maintenant configurer un flux à partir de l'éditeur ici. Je vais faire le flux à la main afin de pouvoir expliquer chaque élément du flux au fur et à mesure que nous le fabriquons. La première chose que nous devons écrire est donc de créer un flux. En fait, si vous êtes dans Create, vous verrez qu'il vous offre deux options. Lorsque vous créez un flux, vous pouvez voir qu'il vous offre un tas d'options ici. Donc, si vous créez simplement un flux, nous pouvons simplement appeler ce flux comme nous le voulons. Nous pourrions appeler cela que nos utilisateurs soulignent extrême. Nous devons maintenant lui donner les champs qu'il doit prendre. Ce que nous pouvons faire pour cela, c'est que nous pouvons aborder les sujets, les utilisateurs, les messages, et nous pouvons simplement jeter un coup d'œil sur messages que nous avons à l'intérieur ce message, choisir l'un de ces messages, l'ouvrir. Nous pouvons voir que nous avons enregistré le temps. Il a déjà atteint une carte d'identité et un sexe. Et ils vont aller là où ils se produiront. Cela va entrer, je crois, dans un grand int. Donc, je vais juste mettre ça dans un gros int et j'espère que ça ne va pas m'écraser dessus comme je le fais. Je vais juste ouvrir un bloc-notes ici. Nous allons simplement stocker ces informations dans un bloc-notes ici. Donc, quand je retourne à la base de données égale et que je configure mon flux, mais maintenant nous pouvons créer un flux, un flux de soulignement de l'utilisateur. Nous pouvons lui donner un temps enregistré en tant que grand int. Nous pouvons lui donner un ID utilisateur en tant que travailleur, où nous pouvons lui donner un ID de raison, qui est également un travailleur. Enfin, nous pouvons donner un genre, ce qui se produit également. Lorsque vous avez fait cela, vous avez défini les champs qui vont entrer dans le flux. Vous devez maintenant lui dire de quel sujet elle va recevoir ces informations et quel sera le format de valeur. Maintenant, nous allons le mettre avec le soulignement de Kafka. Le sujet est égal à, on peut dire les utilisateurs. Et nous pouvons dire que le format de valeur sera votre format de soulignement sera JSON. Maintenant que nous l'avons fait, nous pouvons simplement mettre un point-virgule à la fin. Nous pouvons définir cela au plus tôt, la réinitialisation du décalage automatique le plus tôt afin qu'elle obtienne les valeurs dès le début de l'existence des sujets, pour ainsi dire, et simplement exécuter la requête. On y va. Donc, si cela vous a permis de réussir votre statut, ce qui signifie que nous avons créé notre flux. Si cela a fonctionné pour vous, vous pouvez passer à votre flux et vous devriez voir ici une nouvelle configuration de flux appelée flux de soulignement utilisateur. Et si vous ouvrez un flux de soulignement utilisateur, eh bien, il ne nous montre rien ici, mais si nous allons ici et interrogeons le flux comme ainsi avec le plus tôt, nous devrions recevoir quelques messages. Oui, on y va. En fait, nous recevons un certain nombre de messages. Mais là encore, il reçoit tous les messages depuis le début. Il va donc prendre son temps et il va nous donner tous ces messages. Si nous le voulions même, nous pouvons même arrêter cette requête à n'importe quel moment. On y va. Maintenant, nous pouvons utiliser tout ce que nous obtenons d'ici. Donc, toutes ces informations dont nous disposons, nous les avons dans notre flux. On a mis en place un flux. Si nous passons à l'intégration de nos données et que nous passons à nos clients, nous pouvons constater que nous disposons d'un producteur de connecteurs et d'une configuration consommateur qui prend en fait toutes ces informations. si vous accédez aux rubriques , oui, cela provient des rubriques utilisateur. Votre flux fonctionne donc maintenant la fois en tant que producteur et consommateur. Et si vous passez à votre lignée de flux, vous verrez que votre générateur de données génère des informations sur les utilisateurs de votre sujet, qui seront ensuite consommées par ces deux consommateurs, vos applications personnalisées. , si vous le voulez, qui consomment l'information. Maintenant que nous avons fait cela, nous avons mis en place un flux. Maintenant, nous allons aller de l'avant et voir comment mettre en place une table. Allons-y et faisons-le. Allons donc à nouveau dans leur cas une application DB égale. De notre application DB égale encore une fois. Maintenant, au lieu de maintenant il dispose d'une configuration de requête pour vous prêt à sélectionner une étoile flux des utilisateurs et à émettre les modifications où il vous montrerait tout ce qui se trouvait dans le flux utilisateur. Mais nous ne voulons pas le faire pour l'instant. Nous voulons aller de l'avant et créer une table. Ce que nous allons faire maintenant, c'est que nous allons nous débarrasser de cette requête qu' ils nous ont donnée. Et nous disons créer une table. Nous pouvons simplement appeler la même longueur. Nous pouvons donc appeler la table de soulignement de cet utilisateur car nous utilisons le même sujet. Nous ne changeons rien ici, donc nous pouvons simplement l'appeler ID utilisateur. Où attention, parce que c'est une table. Si vous connaissez le SQL de base, vous savez comment il fonctionne. Vous devez associer une clé primaire aux tables que vous créez. Nous allons donc définir notre ID utilisateur comme clé primaire pour cette table, qui est l'identifiant de chaque ligne qui nous permet de savoir qu' elle est unique et qu' elle n'a pas été répétée. Nous pouvons donc définir l'heure d'enregistrement. Big int. Encore une fois, je vais juste donner un grand genre entier en tant que Barker, le travailleur d'identification de région a dit que la largeur de la même largeur que le sujet de soulignement Kafka attribué est égale aux utilisateurs. Et le format de valeur, encore une fois, pendant que vous soulignez, tandis que le format de soulignement devient JSON. On y va. Ensuite, nous pouvons simplement mettre cela à la fin, le point-virgule et exécuter la requête. On y va. Et cela nous a donné un message de succès, ce qui signifie que notre table a été créée. Donc maintenant, si nous passons à nouveau à notre flotteur, nous verrons maintenant que nous avons une table utilisateur, table configurée pour nous. Et si nous entrons dans la table, nous pouvons entrer ici et interroger la table. Si nous passons à R, si nous exécutons la requête, nous voyons qu'il y a déjà toutes ces informations à l'intérieur, qu'elles proviennent du sujet. Tout ce que nous avions à faire était de mettre en place une table par rapport au sujet et cela a généré cette table entière pour nous. Ils viennent de sortir de la batte. Nous n'avons pas eu besoin de faire plus de configuration qu'une seule ligne de SQL que nous avons dû écrire pour configurer cette table. Avec cela, vous avez créé un bon flux ainsi qu'une table. Avec cela, configurez efficacement une application DB égale à la casse ainsi qu'un flux et une table et une rubrique sur laquelle les données sont générées. Deux. Vous savez maintenant comment configurer ces éléments dans Confluence Cloud et les utiliser. 9. Aperçu des Streams Kafka: Section pour les cours d'eau de Kafka. Vue d'ensemble des cours d'eau de Kafka. Ce que notre Kafka circule. Eh bien, si vous regardez les flux Kafka, il s'agit essentiellement d'une bibliothèque Java qui nous aide à faire ce que nous venons de faire jusqu'ici. Mais d'une manière beaucoup plus facile. Streams définit le flux complet du producteur au sujet en passant par le consommateur. Et il vous permet de créer ce flux avec beaucoup moins de code que ce dont vous auriez besoin autrement si vous le faisiez différemment. eau de Kafka sont extrêmement tolérants aux pannes en raison de la nature distribuée des grappes Kafka. Nous pourrions également dire que les flux eux-mêmes possèdent cette propriété distribuée. Prenons l' exemple suivant de la façon dont vous créez un consommateur et un producteur dans un programme. Vous devez d'abord créer le consommateur, puis créer le producteur, vous abonner au sujet, qui est dans ce cas des widgets et en extraire votre dossier consommateur, qui dans notre cas, cela vient à la couleur rouge. Nous voulons simplement qu'un consommateur consomme ce message que les producteurs vont envoyer, que nous avons une légitimité de couleur rouge. Considérez maintenant ce code. est drôle, c'est que vous penseriez que ces quatre lignes ne sont pas complètement différentes de ce que vous venez de voir auparavant. Ou ils peuvent compléter le code que vous venez de voir avant cela. Mais en fait, il fait la même chose. Cela abstrait toute cette programmation et vous enlève une grande partie de ce ménage. Et ça met tout ça dans un flux. C'est ainsi que les flux peuvent coder de concise et facile à utiliser pour les développeurs. Bien qu'il puisse être très bien que Kafka Streams nous donne la possibilité d'écrire du code plus long et une forme plus courte. Pourquoi devrions-nous même utiliser les flux Kafka ? Alors qu'en fin de compte, les flux Kafka ne se contentent pas de rendre le code concis. Les flux nous permettent d'effectuer certaines tâches sur nos données, des tâches de données que nous ne pouvions pas effectuer autrement, telles que le filtrage ou la jonction d'une agrégation. Ce sont des tâches que nous voulons que nos flux fassent parce que nous voulons que nos données deviennent plus significatives pour le consommateur final via les flux Kafka. Eh bien, nous y parvenons lorsque nous prenons les données produites et consommées et que nous leur donnons beaucoup plus de sens. Ainsi, celui-ci est réellement analysé et examiné. Nous pouvons bien comprendre ces données et peut-être même les utiliser pour des et peut-être même les utiliser pour tableaux de bord et des analyses ultérieurement. 10. Introduction à Kafka Connect: Section pour Kafka Connect. Présentation de Kafka Connect. Qu'est-ce que Kafka Connect ? Eh bien, avec Kafka Connect est un compétent d'Apache Kafka, et c'est probablement la compétence la plus importante d'Apache Kafka. Si vous envisagez d'utiliser services Kafka et AT avec une configuration déjà existante. Catholic Connect vous permet de connecter votre cluster Kafka et vos services Kafka à différents services. Il dispose de connecteurs pour la plupart des services de données disponibles. il s'agisse d' Amazon, de GCP, de Hadoop, Kafka Connect, offre une intégration de streaming entre Kafka et d'autres services. Il vous permet également de connecter les deux sources ainsi que la synchronisation des données à votre cluster Kafka. Vous pouvez obtenir des données provenant d' une source de données vers votre cluster Kafka. Pourquoi un lien catholique ? Vous pouvez également disposer de données allant de votre cluster de capitaux à un puits de données. Pourquoi un Kafka connecte cette synchronisation de données, bien sûr, étant dans un service qui n'est pas Kafka. Maintenant, dans notre cas, pour le projet que nous allons réaliser, nous allons configurer un puits de données dans Amazon S3. Quels sont les cas d'utilisation de Kafka Connect ? Comme nous l'avons déjà mentionné, Kafka Connect vous permet d'intégrer des services externes déjà utilisés. Vous avez déjà des données sur ces services et il serait inutile créer un tout nouveau cluster, puis remplir ce cluster avec toutes les informations que vous possédez déjà. Au lieu de cela, il est plus facile de se connecter à ce que vous avez actuellement. La deuxième chose est catholique et fournit essentiellement une intégration transparente avec vos services. Il suffit de le configurer principalement dans l'interface graphique. Et vous n'avez pas vraiment de problèmes de configuration. Si vous décidez simplement comment vous voulez ces données, quelle forme de données vous voulez. Et c'est la plupart du temps. Dernier avantage majeur de l'utilisation de Catholic Connect à la place, cela vous ouvre de nombreuses opportunités dans le domaine du streaming de données. Vous pouvez donc maintenant faire fonctionner ce flux de données et exécuter des requêtes dessus. Vous pouvez le transformer en flux et les transformer en données beaucoup plus significatives qu'auparavant. Oui, Kafka Connect a de nombreuses utilisations et nous allons l'explorer dans notre deuxième projet dans ce cours. 11. Catalogue de livres du projet1 : Aperçu: D'accord, donc pour démarrer ce projet, allons juste avoir un aperçu de ce que nous allons faire aujourd'hui. La première chose que nous allons faire , c'est que nous allons créer un producteur en Python qui produira nos messages sur notre sujet. La deuxième chose que nous allons faire, c'est que nous allons aller l'avant dans notre groupe de consonnes. Et nous allons créer un sujet qui va recevoir nos messages de la part du producteur. Une fois ces deux éléments configurés, nous publierons des messages sur notre sujet afin que nous puissions remplir agréablement lorsque nous créons notre consommateur. Après cela, nous allons aller de l'avant et mettre en place notre consommateur. Et ensuite, nous serons prêts à commencer à consommer des messages de notre sujet Kafka en confluent. Ce sera un projet très simple, pas trop technique. Donc, sans plus tarder, allons-y. 12. Catalogue de livres du projet1 : Créer un producteur: Il est maintenant temps de voir comment configurer notre producteur en Python. Parce que maintenant que toute notre configuration est prête à être lancée, il est temps de créer notre producteur qui va produire les messages pour nous sur notre cluster Kafka. Pour cela, créons un nouveau dossier ici. On peut appeler ça producteur dot p-y. On y va. Nous avons donc maintenant un fichier de producteur prêt à être utilisé. Nous allons juste ouvrir notre producteur. Bien, c'est vrai, ces guides de bienvenue. Maintenant, pour ce producteur, il y a un peu de code que j'ai déjà écrit pour vous. Je vais juste coller ça ici et vous expliquer ce que cela fait. Cette partie supérieure du code ici, tout ce qu'il fait est d'analyser la ligne de commande et d' analyser la configuration. Cela signifie que c'est juste essayer de déterminer à quel cluster je dois envoyer mes messages. À faire. J'ai en fait une clé API qui me permet de le faire. Est-ce que j'ai le bon secret, ainsi de suite. Donc cette poignée, tout cela dans cet analyseur de conflits. Après cela, au-delà de cela, nous avons un producteur que nous créons. Un exemple de. Nous disons que nous avons un producteur de café producteur. Après cela, nous n' essayons pas d'envoyer de messages. Lorsque nous envoyons des messages, il est souvent possible que le message ne soit pas envoyé pour quelque raison que ce soit. Donc, dans le cas où cela se produit, nous avons une méthode de rappel de livraison qui dit : OK, si vous rencontrez des problèmes, imprimez le message d'erreur et indiquez à l'utilisateur quel était le problème. Sinon, si vous avez pu l'envoyer, dites-leur le client ou l'utilisateur que je produis votre événement, un sujet, quel que soit votre sujet avec cette clé et cette valeur. Maintenant, si vous veniez au fond ici, c'est notre charge utile, lignes 34 à 36, où notre sujet est celui des livres. Nous avons un tas d'identifiants d'utilisateurs contre un tas de produits. Comment allons-nous créer des messages ? C'est ici, des lignes 38 à 44, où nous venons de prendre une fourchette de dix. Pour dix messages, nous attribuons aléatoirement un ID utilisateur à un livre. Par exemple, il pourrait s' agir de Jack et de Twilight, Michael et du Seigneur des Anneaux, d'Hannah et d'Aragon. Et certains d'entre eux peuvent même se produire deux ou trois fois. C'est complètement aléatoire, mais nous en tirerons dix messages. C'est un producteur très simple, très facile, vraiment léger qui va produire dix messages pour notre cluster Kafka sur notre sujet. Il suffit de sauvegarder ce fichier et de le fermer. 13. Catalogue de livres du projet1 : Créer un sujet: Bon, maintenant que nos producteurs ont été configurés, il est temps d'aller créer ce sujet sur lequel nous avons dit que nous allions produire nos messages du producteur. Maintenant que nous avons configuré notre producteur, il est temps d'aller de l'avant et d'aborder notre sujet. Je vais donc ouvrir une nouvelle fenêtre ici et passer à confluent et créer sujet auquel nous enverrons nos messages. Connectons-nous à notre console et à notre Cloud. On y va. Allons donc dans notre grappe. Et à partir de là, nous pouvons aborder les sujets du côté gauche. Et ici, nous devrions voir nos sujets. Maintenant, comme vous pouvez le constater pour le moment, nous n'avons pas de sujet défini pour les livres, nous suffit donc d'ajouter ce sujet immédiatement. Nous pouvons simplement appeler ça des livres comme nous l'avons fait dans notre programme. Une fois que nous avons dit que la création, le boum, elle est créée, il n'y a pas de décalage pour cette création. Maintenant, cette configuration, tout ce que nous pouvons faire, ou ce que nous devons vraiment faire maintenant, c'est aller de l'avant. 14. Catalogue de livres du projet1 : Produire des messages: Maintenant que notre sujet est prêt et peut recevoir des messages, il est temps de produire des messages sur notre sujet. Créer des messages sur votre cluster Kafka à l'aide de la méthode que nous utilisons aujourd'hui est assez simple. On va juste passer plus de deux. Nous allons passer dans notre répertoire de projets. De là, nous allons dans notre environnement virtuel en utilisant bin d'environnement source activate. Maintenant, il y a une autre étape supplémentaire à faire ici, car nous avons créé nos fichiers sous Windows. Unix n' aime pas vraiment ces fichiers. Vous devez effectuer une petite conversion l'aide des commandes DOS vers Unix. Nous faisons donc le producteur DOS Unix dot p-y vers Unix, config dot iodure. Une fois que nous avons fait cela, nous pouvons modifier notre fichier producteur, u plus x, producteur dot PY. Et maintenant, nous pouvons diriger notre producteur. On y va. Il a produit des événements sur des livres thématiques. Nous disons que Jack a pris Aragon, Jack a pris le livre Harry Potter, Animal Farm, Michael à Animal Farm, ainsi de suite. Nous n'avons que dix clés et dix valeurs, dix messages que nous avons envoyés à notre sujet au sein de notre cluster Kafka. 15. Catalogue de livres du projet1 : Créer un consommateur: Maintenant que nous avons produit des messages sur notre sujet et qu'il est renseigné, il est temps de configurer un consommateur pour qu'il consomme ces messages. La configuration d'un consommateur est vraiment simple. Tout ce que nous avons à faire, c'est passer dans notre projet Python, créer un nouveau fichier. Nous pouvons appeler ce fichier consommateur dot p-y. Une fois que vous avez fait cela, rendez-vous à l'intérieur et collez simplement ce morceau de code que vous devriez trouver dans la description. C'est vraiment simple, une consommation de base que nous allons faire si des messages de la grappe Kafka. La première chose que nous allons faire, bien sûr, comme nous le faisions avec le producteur, il suffit d'analyser la configuration sur la ligne de commande. Après cela, nous ne faisons que créer une instance de consommateur. Et lorsque nous créons cette instance de consommateur, nous voulons qu'elle sélectionne les messages en haut, dès le début de tous les messages. Nous avons dit que la compensation, gros, c'est ce que nous faisons ici. Nous définissons le décalage de réinitialisation et nous le prenons jusqu'au début. Ceci est donc décalé en commençant jusqu'à l'arrière. Après cela, nous nous abonnons au sujet. Nous avons nos livres thématiques, bien sûr, comme nous le faisons pour le producteur. Encore une fois, sur un panneau, réinitialiser les décalages. Alors que nous souscrivons, nous reprenons tout le chemin. Maintenant, ce qui se passe ensuite est en fait un processus continu jusqu'à ce qu'il soit interrompu là où nous essayons et vérifions constamment. Si nous avons un message qui nous attend. Si c'est le cas, nous obtenons cette impression de l'événement consommé à partir de sujets, ainsi de suite et ainsi de suite. Si ce n'est pas le cas, nous recevons simplement ce message en attente et si nous rencontrons une erreur, nous recevons ce message d'erreur. Ce dernier point est juste l'interruption du clavier où nous disons que si vous voulez arrêter cela, vous pouvez contrôler C et cela se terminera. C'est à peu près aussi basique que possible un consommateur. Et nous avons configuré notre abonnement thématique au sein de notre consommateur. Donc, tuer deux oiseaux avec une pierre là-bas. 16. Catalogue de livres du projet1 : consommer des messages: Maintenant que notre consommateur est configuré et prêt à notre sujet, les messages sont remplis. Il est temps de consommer des messages et voir à quoi ressemble cette consommation en temps réel. De plus, produire et consommer des messages en temps réel est un processus assez simple. Encore une fois, car encore une fois, nous avons créé notre fichier Dot PY grand public dans Windows. Nous devons convertir cela pour un Unix pour le lire. Donc, nous disons simplement, écoutez, nous avons besoin que vous changiez notre point p-y de consommateur à l'automne de la lecture Unix. Maintenant que nous l'avons fait, vous pouvez simplement modifier notre consommateur. Maintenant, nous pouvons exécuter notre point de consommation p-y. Avec le conflit. On y va. Notre consommateur a reçu tous les messages que nous envoyons de notre producteur plus tôt et, comme nous les avons lus maintenant, une autre chose intéressante à ce sujet est que nous pouvons réellement le faire en temps réel. Par exemple, disons que je dirige mon producteur de côté. Je dis donc que je dirige mon producteur ici. Au moment où ces messages ont été produits, le consommateur les a reçus et les consomment dans l'ordre exact où ils ont été produits. Et si nous le relançons, nous le reverrons. Mais ce n'est pas la chose la plus intéressante. Le plus intéressant, c'est que si vous ces messages en temps réel, faisiez ces messages en temps réel, vous les verrez toujours et vous pouvez toujours les lire. Allons maintenant à notre console et coulons. Déplacez cette fenêtre sur le côté. Passons à nos sujets et passons aux livres. Et comme nous pouvons le constater, nous avons une production en cours ici. Il voit que nous avons de l'activité. Si nous allons produire un nouveau message, nous pouvons appeler cela n'importe quoi. Nous pouvons lui donner une valeur à dire, un bon rapport qualité-prix pour l'avenir. Même si ce n'est pas un livre, c'est un film. Je digresse. Nous pouvons laisser les acides clés et dès que vous produisez ce message, en plein essor, vous recevez en temps réel le message que nous avons un événement avec la valeur du futur et la clé 18. Et avec cela, vous avez créé avec succès une application qui produit et consomme des événements ou messages à l'aide de confluent et d'Apache Kafka. 17. Projet 2 PacMan : aperçu: Voici donc un bref aperçu de ce que nous allons voir dans notre application qui en fait une application de streaming. La première chose que nous allons avoir , c' est que nous allons avoir deux sujets jeu utilisateur et les pertes d'utilisateurs. Et ces deux sujets constitueront la base sur laquelle nous allons créer deux flux. Ces deux flux vont alimenter leurs informations dans deux tableaux. Le flux de pertes utilisateur va alimenter ses informations dans la table des pertes par utilisateur. Ceci est prêt à enregistrer le nombre de fois où vous avez perdu toutes vos vies dans le jeu. Ce sont les flux de jeu qui vont alimenter ses informations dans la table des statistiques par utilisateur, où il va enregistrer votre score le plus élevé et combien de fois vous avez joué au jeu et perdu cela. des informations sur le nombre de fois que vous avez perdu le jeu seront alimentées par votre table de pertes par utilisateur dans votre table de statistiques par utilisateur. Enfin, cette table de statistiques par utilisateur va être interrogée pour générer le tableau de bord qui vous montre non seulement votre score, mais aussi les scores de tous ceux qui ont joué au jeu. Vous pouvez donc comparer vos statistiques avec celles de tous ceux qui ont joué au jeu. 18. Projet 2 PacMan : Configurer et fonctionner: Puisque j'utilise le sous-système Windows pour Linux, il me permet d'accéder directement au répertoire de mon projet sur Windows et de voir les fichiers tels qu'ils sont. Comme nous pouvons regarder notre application Pac-Man en streaming, nous pouvons constater que nous avons un tas de fichiers et de dossiers ici. La première chose que nous devons faire est aller dans notre fichier de conflit, que nous devrions avoir un point de démonstration CFG. Si nous ouvrons cela, il devrait y avoir notre clé d'accès AWS et notre clé secrète AWS juste là. Il s'agit maintenant de l' accès que vous définissez à votre compte AWS. Où trouveriez-vous votre clé d'accès AWS dans votre clé secrète AWS ? Eh bien, allons-y et voyons ça. Ce que nous allons faire, c'est minimiser cela, passer sur notre AWS et rechercher simplement IAM. Et puis dirigez-vous vers ici. Une fois que vous êtes ici, vous pouvez consulter les utilisateurs de votre gestion des accès. Vous pouvez donc simplement passer par les utilisateurs. Et à partir de là, vous pouvez ajouter un utilisateur. Lorsque vous ajoutez un utilisateur, vous pouvez lui attribuer le nom d'utilisateur, puis le définir comme clé d'accès au lieu de mot de passe, ce qui vous attribuera un ID de clé d'accès et une clé d'accès secrète. Donc, si j'ajoute un nouvel utilisateur, appelez-le courbe d'échelle. Va ensuite. Vous pouvez l'ajouter à un groupe d'utilisateurs pour les administrateurs. Ou si vous n'avez pas cette configuration comme vous ne le feriez pas si vous possédez un nouveau compte, vous pouvez simplement créer un groupe, attribuer un accès à un administrateur informatique et l'appeler le groupe d'utilisateurs d' administrateurs. Sélectionnez-le, puis passez simplement sur les deux balises suivantes et vous pouvez simplement ajouter n'importe quelle clé ici. Je peux juste appeler cette clé de filtre. C'est tout ce dont j'ai besoin. Honnêtement. Je peux simplement lui attribuer la même valeur. Il suffit d'aller ensuite. Et cela créera cet utilisateur. Au moment où il le fera, il vous donnera cette page de succès et vous permettra de télécharger en tant que CSV les informations d'identification de votre utilisateur. En plus de cela, il affiche également votre identifiant de clé d'accès et votre clé d'accès secrète. Prenez-en note car vous en aurez besoin pour ce projet. Je vous recommande de télécharger le CSV. Ensuite, lorsque vous l'ouvrez, il vous donnera exactement ce dont vous avez besoin. Votre clé d'accès est, Oups. Il devrait simplement vous donner votre clé d'accès et votre clé d'accès secrète ici, qui sont les deux éléments dont vous avez besoin pour alimenter votre configuration. J'ai déjà configuré un compte dans ma configuration, donc je ne vais pas alimenter cette nouvelle clé d'accès et cette clé d' accès secrète à l'intérieur. Je vais juste passer à la prochaine étape. Je vais fermer ça, enregistrer comme un seul et passer à autre chose. Maintenant que c'est fait, revenons simplement à notre dossier et revenons à notre fichier. Notre point de démonstration CFG est bon, donc nous allons juste le fermer et maintenant nous revenons à la diffusion en streaming de Pac-Man. La prochaine chose que nous allons devoir examiner est notre dossier de configuration de pile. Nous devons nous assurer qu'il n'y a rien dans le dossier de configuration de la pile, car cette configuration sera celle que Terraform va utiliser pour configurer l'application dans son intégralité. La première fois que vous exécutez le script de démarrage, alors que je suis sur le point de l'exécuter, vous verrez qu'il va créer beaucoup de choses pour vous. Et puis la prochaine fois que vous exécutez ce script formulaire hiver va réellement provisionner et créer toutes les ressources. Maintenant, ce que nous pouvons faire, c'est que nous pouvons aller à notre terminal. Et à partir de là, nous pouvons simplement céder dans notre projet Pac-Man en streaming et simplement exécuter notre script de démarrage. Donc, si vous ne l'avez pas déjà fait en premier, vous devrez CH mod u plus x. Votre point de départ SH boucle u plus x. Et ensuite vous pouvez faire de même pour votre point arrêté SH. Vous pouvez faire de même pour Create case equal db app.js. Il s'agit des trois fichiers shell dont vous avez besoin pour vous donner les autorisations d'exécution. Maintenant que vous avez fait cela, il suffit d'exécuter la commande start, Start shell. Nous venons donc de lancer Start Dot SH. Et on y va. Il va juste courir pour vous. Et ça va vous donner cette idée. Et ça va dire que Écoutez, écoutez, cela va créer des ressources qui vont coûter quelque chose. Alors, êtes-vous sûr de vouloir continuer ? Et parce que nous le devons, nous allons juste dire oui, nous ne voulons pas continuer. Pendant que le script est en cours d'exécution. Je vais juste revenir ici et revenir sur notre page S3 parce qu'une fois que nous aurons fini d' exécuter notre script, nous verrons un compartiment S3 créé ici. Également. Je vais juste aller page des environnements sur notre console et elle est déjà configurée. En fait, c'est plutôt soigné. Il a déjà mis en place un environnement constant pour vous. Nous pouvons le voir ici, créant un conflit CloudStack pour l'environnement et en définissant le cluster Kafka et le cluster actif pour l'environnement E et nous ECD dans 23. Nous pouvons vraiment vérifier cela. Ce que nous pouvons faire, c'est que nous pouvons ouvrir un nouveau terminal. Permettez-moi d'aller voir la liste des environnements cloud. Pourtant, vous pouvez voir que l'ENV ZD et 23 est notre environnement public et Pac-Man en streaming que nous venons de créer pour cette application. Je vais donc laisser ça courir et je reviendrai. Quand ça commence. Shell a fini de fonctionner. Cela prend jusqu'à cinq à dix minutes. Bon, donc le script de démarrage a fini d'être exécuté. Et ce que ça a fait, c'est que c'est, laissez-moi juste vous emmener jusqu' au sommet ici, d' où nous avons commencé. Oui. Maintenant, c'est ce qu'il a fait quand il a créé un utilisateur et qu' il lui a donné toutes les autorisations nécessaires pour faire exactement ce qu'il doit faire, pour créer toutes les ressources qu'il a besoin créer pour faire fonctionner l'application. Maintenant, toutes les choses qui devaient le faire correctement ont fait jusqu'à ce qu'il arrive à la partie KSQL où elle s'est écrasée. Je l'ai créé pour qu'il soit censé s'écraser ici. Voyons maintenant dans la section suivante ce que nous sommes censés faire pour que cela fonctionne correctement. 19. Projet 2 PacMan : configurer les requis avant: Avant de commencer ce projet, j'aimerais lancer un grand cri à Ricardo Ferrara pour l'application originale de streaming de jeux Pac-Man. C'est son application que nous allons actuellement exécuter et utiliser aujourd'hui que je l' ai peaufinée et modifiée un peu afin que nous ayons à effectuer certaines tâches sur notre Confluence Cloud dans pour que tout fonctionne. Maintenant que nous avons mis cela de côté, il est temps de voir ce dont nous avons réellement besoin pour lancer le projet aujourd'hui. La première chose dont nous aurons besoin, c'est d'avoir un compte Cloud confluent. Si vous n'avez pas de compte Cloud confluent, je vous recommande d'en obtenir un, un compte d'essai qui devrait vous donner environ 400$, qui est plus que suffisant pour que tout ce projet fonctionne. La deuxième chose dont vous aurez besoin est d'un compte Amazon AWS. Encore une fois, vous pouvez créer un compte d'essai qui, pour la courte durée qu'il vous donne, est plus que suffisant. Et c'est beaucoup pour le projet que nous allons réaliser aujourd'hui. Une fois le projet terminé , vous devriez voir un compartiment S3 créé pour vous. Ensuite, nous allons créer un autre compartiment S3 pour notre synchronisation des données. La dernière chose dont vous aurez besoin, c'est Terraform. Terraform est ce qui va créer l' application pour nous. N va fournir les ressources dont nous avons besoin dans notre AWS S3 pour configurer notre formulaire sur votre Linux, il vous suffit d'exécuter ces trois commandes. Si ce n'est pas déjà fait, je vous recommande d' installer Terraform sur votre système local. En plus de cela, nous avons juste besoin de deux autres choses. Nous devons vérifier si nous avons Java, donc nous exécutons la commande Java Dash version. Nous avons besoin de Java 11 ou supérieur pour ce projet. Veillez donc à ce que votre version JDK soit 11 ou supérieure. La deuxième chose dont nous avons besoin est le continent, nous pouvons donc vérifier notre version Maven. Et oui, nous avions Apache Maven 3.6.3. Si vous avez suivi ce tutoriel jusqu'à présent, vous devriez avoir confluent et voir Cloud installé. Vous venez de lancer See Cloud. On y va. Si on regarde confluent, on y va. Donc, si vous ne vous êtes pas déjà connecté à votre Cloud C, je vous recommande de le faire maintenant, vous verrez une connexion cloud, un tiret, un tiret sûr. Et ce que cela fait, c'est qu'il enregistre vos informations d'identification et le fichier RC net. Une fois que vous voyez Cloud Login, il vous invite à saisir vos informations d'identification ou si vous avez déjà enregistré vos informations d'identification dans le fichier RC net, il vous suffit de vous connecter. Maintenant que notre environnement est complètement configuré, commençons à réaliser notre projet. 20. Projet 2 PacMan : configurer KSQLDB: Ok, donc maintenant que nous avons lancé notre script, il n'a pas fait tout ce qu'il était censé faire. Cela nous a laissé une partie du travail et nous allons simplement aller de l'avant et faire ces petits bouts de travail que nous étions censés faire et passer à autre chose et faire fonctionner la chose. Donc, ce que nous devons faire maintenant, nous pouvons le faire à partir de l'interface graphique Cloud de conflit. Nous entrons donc dans le nouvel environnement qu'il a créé pour nous. Nous allons dans la grappe. Et depuis le cluster, nous devrions voir une application DB égale déjà configurée et créée pour nous. Si nous entrons dans ce cas est égal à une application DB, montrez-nous que nous n'avons pas de flux en cours pour le moment, juste un flux standard. n'y a pas de flux réel, juste ce flux par défaut qui vous est donné avec chaque cas une application DB égale et aucune table. De plus, si nous abordons les sujets, nous verrons que nous n'avons pas de sujets, il suffit que celui-ci traite les journaux que nous obtenons. Je vais juste ajouter un sujet ici. Je vais appeler ça un jeu de soulignement utilisateur. Je vais juste le créer avec la valeur par défaut. Maintenant, je reviens aux sujets et je crée un autre sujet appelé les pertes de soulignement des utilisateurs. Maintenant que je l'ai fait, j'ai maintenant deux sujets. Les deux sujets que j'ai dit que j'allais aborder au début dans l' aperçu de ce projet. Maintenant que nous avons ces deux sujets, il est temps de créer des flux et des tableaux pour corréler ces sujets. Je vais donc revenir au cas où il est égal à dB. Dans ce petit éditeur ici. Je vais exécuter des commandes SQL de cas. Quelles sont ces commandes disponibles ici dans les instructions que je vais fichier SQL. Vous pouvez l' ouvrir et vous aurez ici ces cinq lignes qui créent deux flux, jeu utilisateur, des pertes d'utilisateurs et trois tables. Pertes par utilisateur, statistiques par utilisateur et statistiques récapitulatives. Nous pouvons donc simplement copier tout cela, revenir dans un cas égal à db et coller ici et exécuter la requête. On y va. Il exécute la requête et a créé les flux et les tables pour nous. Donc, si nous revenons dans notre onglet de flux, nous devrions voir que nous avons ce flux de pertes utilisateur qui crée une perte de table par utilisateur, puis le flux de jeu utilisateur, qui crée les statistiques de table par utilisateur et alimente également un tableau de statistiques récapitulatives. Les statistiques récapitulatives ne sont que le tableau supplémentaire qui nous montre un aperçu général de ce qui se passe dans le jeu à la fois. Et si nous allons à nouveau dans les flux, nous verrons les deux flux et nous irons aux tables. Nous verrons ces trois tables. Maintenant que nous l'avons fait, il est temps d'autoriser notre compte de service à manipuler réellement les sujets, comme il le faut. Pour cela, nous allons retourner dans notre terminal Ubuntu. Et nous allons d' abord entrer dans notre environnement pour voir la liste des environnements cloud. Whoops, voir la liste des environnements cloud. Ensuite, nous verrons l'environnement cloud utiliser E et Z, D N23. Ensuite, nous allons juste lancer voir la liste des clusters de cathodes cloud et voir cluster Kafka utiliser L Casey dash six, j m r cubed, six cubes GMR. Maintenant que nous sommes ici, nous devons exécuter une commande qui est C Cloud, Kafka, ACL create dash, dash. Autoriser. Ensuite, nous avons besoin d'un compte de service. Eh bien, nous devons le faire avant cela, c'est que nous devons exécuter liste des comptes de service cloud, que nous avons cinq ans double 495 sur Eigenanalysis voir cloud Kafka, ACO, créer un tiret, tiret, un tiret, tiret compte de service 50, double 4952, opération. Lecture, ainsi que l'opération droite et tiret, tiret. Décrivez le tableau de bord, le thème de tiret, le jeu de soulignement utilisateur. Et c'est exactement ce qu'il a fait pour nous. Maintenant, si nous l'exécutons pour un utilisateur souligne les pertes, c'est fait pour nous. Maintenant que nous avons fait tout ce que nous avions à faire du côté de la base de données égale, nous pouvons simplement réexécuter l'application et démarrer le jeu. 21. Projet 2 PacMan : Gérer des données de projet et de puits: Commençons maintenant le jeu en lançant à nouveau le script de démarrage, afin que nous puissions faire une étoile oblique. Il va juste commencer à utiliser Terraform pour créer l'ensemble du projet. Une fois que Terraform a été initialisé avec succès, il va créer le projet. Encore une fois, il s'agit d'un processus qui prend du temps. Je vais donc mettre la vidéo en pause ici et revenir. Quand c'est fini. On y va. Le script de démarrage a donc fini de s'exécuter et il finit par vous donner cette sortie avec une URL indiquant que votre jeu Pac-Man se trouve à cette URL ici. Nous avons ouvert cela dans un nouvel onglet juste ici. Avant cela, nous n'avions pas vu de godets sur notre S3 avant cela. Et comme je l'ai dit, nous en verrions un au moment où c'était fini. Donc, si on rafraîchit ça, on y va. Nous avons ici un compartiment appelé streaming, Pac-Man et GPB. Et cela a été créé pour nous par l'application. Et cela contient essentiellement le site web de Pac-Man en streaming. Vous pouvez donc voir tous les fichiers du site Web ici. Je vais juste retourner sur Amazon S3 et aller au jeu. Je vais donc juste mettre le nom pour que nous puissions appeler cette courbe de compétence de nom. Et on peut jouer. Quand nous le faisons. Cela va nous emmener dans le mollet, dans le jeu Pac-Man que nous utilisons pour notre diffusion d'événements, je vais le générer, mais si un score, et ensuite je vais mourir pour que nous peut voir tous les événements possibles et nous pouvons voir exactement à quoi cela ressemble sur notre tableau de bord des événements. On y va. C'est notre tableau de bord. Et comme vous pouvez le constater ce score est en fait assez important. Et vous venez de me voir lancer l'application. Eh bien, c'est parce que j'ai mis la vidéo en pause et que j'ai joué un peu au jeu pour générer un peu plus de score et avoir forme ou un flux de messages pour que nous puissions aller de l'avant et Découvrez comment nous pourrions stocker cela à l'aide de Kafka Connect dans notre S3. Donc, si nous arrivons à notre S3 maintenant, vous pouvez bien sûr voir que nous avons notre seau ici. Mais si nous revenons sur notre cluster Kafka, ici, vous verrez l'intégration des données et vous verrez ici une section appelée connecteurs. Ce que vous pouvez faire ici, c'est que vous pouvez configurer un connecteur vers n'importe quelle synchronisation de données ou n'importe quel endroit où vous souhaitez obtenir des informations si vous souhaitez introduire des données dans votre cluster catholique. Mais dans notre cas, nous allons l'envoyer dans un évier. Nous allons donc utiliser celui-ci ici appelé Amazon S3 sync. Quand nous le ferons, il va dire, d'accord, que voulez-vous réellement stocker ? Eh bien, je vais juste donner tous mes sujets. Donc le premier, celui qu'il nous a donné par défaut, nous ne voulons pas celui-là. En dehors de cela, nous les voulons tous. Nous allons donc continuer ici. Et maintenant, ça va aller, alors comment voulez-vous accéder à votre connecteur de synchronisation S3 ? Ils souhaitent peut-être utiliser une clé API existante dont vous disposez pour ce cluster, ou souhaitez-vous peut-être choisir un autre accès ? Mais dans notre cas, ce que nous allons faire, c'est que nous allons simplement créer nos informations d'identification API ici. Lorsque vous faites cela, il va télécharger le fichier pour vous comme ça. Et il va le mettre en place. Donc, ce sera par défaut vous n'avez rien à faire et vous pouvez simplement appeler cela n'importe quoi. Vous pouvez simplement appeler ce lavabo de tableau de bord Pac-Man Nash S3. Ensuite, nous pourrons continuer. Maintenant, c'est là qu'il est important que vous ayez besoin de votre clé d'accès Amazon, de votre ID, de votre clé d'accès secrète Amazon et de vos noms de compartiment Amazon S3. Ce que je vais faire, c'est que je vais aller sur mon S3. Faites maintenant attention à la région. On dit que US West fabrique mon autre seau S3 dans une autre région. Cela va probablement me donner une erreur. Il est recommandé de conserver tous les éléments d'un projet dans la même région. Ce que je vais faire maintenant, c'est que je vais créer un seau. Je vais appeler ce seau mon évier de tableau de bord Pac-Man. Ce sera dans l'Ouest américain deux. Je n'ai rien à changer d'autre chose ici. Je peux simplement créer le seau. Après avoir créé le seau. On y va. Vous avez donc mon évier Pac-Man. Tout est là. Tout est prêt à partir. Je vais juste copier ce nom sur mon évier Pac-Man et l'apporter ici. Votre ID de clé d'accès Amazon et la clé d'accès secrète de votre Amazon sont les mêmes que ceux que vous utilisez pour la configuration de ce fichier. Donc, si vous entrez dans votre configuration et que vous pouvez choisir votre clé d'accès Amazon et votre secret ce fichier, même pour que je puisse simplement le copier coller ici, copier mon secret et le coller là. Et ensuite, je peux continuer. Maintenant, il va vous demander comment voulez-vous que vos données soient commentées ? Voulez-vous qu'il vienne peut-être en tant qu'Avro, aussi proto buff que JSON. Je vais donc créer un JSON parce que c'est le moyen le plus simple et il est également très bien défini. Il est donc très facile de voir ce qu'il y a à l'intérieur votre fichier et du format de message de sortie, également JSON. Maintenant, lorsque vous aurez fait ces deux choses, vous allez vous demander, accord, à quelle heure voulez-vous que votre S3 soit peuplé régulièrement ? Voulez-vous que cela soit fait à l'heure ou voulez-vous qu'il soit fait tous les jours ? Pour cet exemple, je vais le faire à l' heure parce que nous ne le ferons pas trop longtemps. Nous allons juste le configurer pendant quelques minutes. Nous allons voir comment les données entrent à l'intérieur, et ce sera la fin. Vous n'avez pas besoin d'utiliser des configurations avancées. Donc, si vous le souhaitez, vous pouvez modifier de nombreuses propriétés, dont les descriptions sont ici. Si vous survolez le petit I, il vous dira exactement ce que c'est. Je ne m'en mêlerais pas trop à moins avoir des exigences de configuration spécifiques pour mon projet. Mais pour l'instant, comme nous ne le faisons pas, nous allons simplement l' ignorer et passer à autre chose. Maintenant, lorsque vous en êtes à ce stade, il allait vous demander, en termes de dimensionnement, combien de tâches voulez-vous faire par heure ? Et plus vous définissez de tâches à effectuer par heure, je vous demande de mettre à niveau s'il s'agit de plusieurs tâches et même pour chaque tâche vous facturera 0,034 par heure dans mon cas. Donc, ce que nous allons faire, c'est que nous allons juste exposer celui-ci et nous allons continuer. Maintenant. Enfin, il va simplement vous donner toutes ces informations. Il va dire : Écoutez, c'est ce que vous nous avez demandé. Êtes-vous sûr de pouvoir définir le nom de votre connecteur, sans le changer ici. Je ne vois pas ce qu'il y a d'intérêt. Et nous allons simplement lancer et garder à l'esprit que le prix de votre connecteur pour chacune de vos tâches, vous facturez autant par heure, mais aussi pour votre utilisation ou facturez autant par heure, ce qui s'additionne lorsque vous le lancez, vous pouvez voir exactement combien vous serez facturé pour le garder à l'esprit, même s'il s'agit d'un compte d'essai, cela n'a pas d'importance pour le moment. Mais si vous utilisez réellement Confluent et que vous l'utilisez sur votre propre argent. Cela peut s'accumuler assez rapidement. Maintenant, notre connecteur est en cours de provisionnement et, bien sûr, le processus prend du temps. Ce que je vais faire, c'est que je vais retourner sur ce cluster et aller au connecteur. Et je mettrai la vidéo en pause ici et je la ramènerai. Lorsque tout cela est fait. On y va. Maintenant, notre connecteur est en place. Il est en cours d'exécution. Voici un petit message indiquant que votre connecteur de synchronisation S3 0 est en cours d'exécution. Ce statut est en cours d'exécution. Et si on va ici, oui, ça dit courir. Si vous rencontrez des problèmes lors de la configuration de ce connecteur, vous verrez cette erreur sur cette zone où il indiquerait que Look, nous avons rencontré ce problème. Donc, vous savez, découvrez-le. Maintenant, nous allons voir que nous avons cette configuration de connecteur, mais qu'est-ce qu'il a réellement envoyé à l'art sous forme de trois éviers. Donc, si nous passons à notre synchronisation S3, le moment, il n'y a rien. Dans quelques minutes, je vais envoyer quelque chose. Cette tâche a été exécutée. Et jusqu'à présent, il n' a rien dit. Donc, si je joue un peu plus au jeu, joue un peu au jeu, met la vidéo en pause, revenez et nous verrons alors ce qu'elle est réellement envoyée à notre cluster S3. Je veux dire, synchronisation des données S3. J'ai donc joué un peu le jeu sur un autre compte. Si on passe au tableau de bord, je vais le dire. Oui, il y a un deuxième compte, un score de 1000 sur l'ancien. Mais si nous revenons maintenant à notre compartiment S3, qui est ici, nous verrons maintenant qu'il y a ce sujet de dossiers à l'intérieur. Et si nous entrons à l'intérieur, il y a des dossiers pour chaque chose pour laquelle il a reçu des informations. Si nous entrons dans le jeu utilisateur. Et il y a l'année, le mois, le jour et l'heure. Et à cette heure, il a reçu ces JSON. Voyons voir, ouvrons un de ces JSON et voyons ce qu'il contient réellement à l'intérieur. Si nous venons d'ouvrir ça. Dans mon cas, il va probablement être téléchargé et nous pourrons l'ouvrir. Nous pouvons voir qu'il a partagé toutes ces informations avec nous dans ce JSON, qu'il y avait cet utilisateur qui jouait au jeu et qu'il a généré autant de score. C'est ainsi que nous pouvons utiliser une synchronisation de données pour stocker toutes les informations consommées par notre cluster Kafka. Mais tout est sauvé. Et si nous avons besoin de l'interroger ou de le vérifier ultérieurement, tout est disponible ici dans notre synchronisation des données. Maintenant que nous avons fait cela, nous savons comment synchroniser les travaux et nous l'avons vu fonctionner. Cela prend en fait beaucoup de ressources pour fonctionner. Ce que je vais faire, c'est maintenant que je vais vous montrer comment vous pouvez détruire toutes ces ressources que vous avez créées. La première chose que vous voulez faire, c'est que vous voulez entrer dans votre connecteur et simplement dire : Écoutez, je ne veux plus que ce connecteur fonctionne. Donc supprimé. Vous copiez ce nom dans le nom du connecteur. Et voilà. Confirmez. Votre connecteur de synchronisation S3 est supprimé, disparu. Vous n'avez plus ce connecteur à votre disposition. Ensuite, si vous revenez sur votre Ubuntu ici, il vous suffit d'exécuter le script. Donc, tu dirais la barre oblique, arrête, point SH. Et cela vous dit maintenant qu'il va détruire toutes les ressources qui vous ont fait dire ? Oui. D'accord, allez-y et faites-le. Et maintenant, il va détruire toutes les ressources qu'il a créées. Il s'agit d'un processus qui prend également du temps à s'exécuter. Je vais donc juste mettre la vidéo en pause ici et revenir quand tout sera terminé. On y va. Il a maintenant exécuté avec succès le script stop et a détruit toutes les ressources allouées à la réalisation de ce projet. Si vous passez à notre S3, maintenant si nous allons sur nos éviers S3, nous constaterons que le compartiment S3 que nous avons créé pour notre projet a disparu et nous pouvons supprimer ce compartiment en le vidant simplement. Donc, nous pouvons simplement dire regarder supprimer définitivement. Vous pouvez donc remplir ceci, rempli par suppression définitive. Une fois cela fait, vous pouvez quitter ce compartiment et supprimer ce compartiment. Pour cela, il vous suffit de copier le collage, copier le nom et de le coller ici. Oui, c'est fait. Et si vous accédez à votre cloud de console, vous allez dans les environnements. Vous constaterez que l' environnement a complètement disparu. Avec cela, vous avez exécuté avec succès le projet deux, vous l'avez terminé et bien fait.