Transcription
1. Introduction au cours: Bonjour, bienvenue dans le cours
d'introduction à la console cloud. m'appelle Shannon, et j'ai
hâte de passer
ensemble dans ce cours. Pendant toute la durée de ce cours, vous vous concentrerez
sur les points suivants. abord, nous allons
vous enseigner les événements à la demande, les capacités de
streaming en confluent grâce à des exercices pratiques en laboratoire. Nous vous enseignerons également l'utilisation de l'environnement
cloud de console, extrêmement facile à
utiliser et très fonctionnel. Les concepts clés de ce
cours sont expliqués avec des visuels
appropriés pour que le ciment soit facile et que vous les
compreniez rapidement. Nous allons également avoir un projet de pierre angulaire à
la fin du cours. Vous trouverez régulièrement des
questionnaires pendant toute la durée de ce cours pour tester vos connaissances sur ce
que
vous avez appris et cimenter certains
fondamentaux au fur et à mesure. Rencontrez notre équipe d'
instructeurs qui a créé et conçu
ce cours. Ensemble, nous avons un peu plus de
dix ans d'expérience dans mise en œuvre
pratique
de la technologie dans l'enseignement de cours
techniques au niveau universitaire. Les membres de notre équipe sont
spécialisés dans les domaines de
la technologie de l'
information, de l'ingénierie
logicielle, de la science et de la conception
des données. route d'apprentissage que nous
allons suivre pour ce cours. Nous allons commencer par
Apache Kafka et vous enseigner tout ce que vous
devez savoir à
ce sujet pour travailler
avec les contours. L'étape suivante consiste à vous
montrer confluent et vous
montrer de quoi il s' agit et à le configurer pour vous. Après cela, nous allons examiner
Case Egal db, comment nous l'utilisons et quelles sont
ses applications. À partir de là, nous
allons explorer les flux,
ce qu'ils sont, les
bibliothèques impliquées et la façon dont vous pouvez travailler avec eux. Enfin, nous allons examiner Catholic Connect sur la
façon dont nous pouvons travailler avec cela et comment nous pouvons lier
nos projets en externe. Une fois
tous ces concepts terminés, nous allons
créer deux projets. Kafka est un
service de streaming de données qui permet au producteur
d'
écrire des messages sur un sujet
consommé par le consommateur. Bien que ce concept soit
extrêmement simple dans la pratique, les choses peuvent devenir un peu déroutantes
et perdues en cours de route. C'est pourquoi nous avons essayé d'expliquer
les concepts ce week-end. Avec des explications visuelles,
Among confluent est un service de streaming d'
événements basé sur le cloud. Il fournit l'environnement sous la forme de clusters
pour empêcher diffusion en continu et offre une très belle visualisation
des opérations. Cela dit, vous
allez beaucoup voir cet écran
pendant toute la durée de ce cours. Au-delà de la théorie et explication, trois parties
de ce cours pour la maison. De même, pour travailler
beaucoup dans la biopsie, nous allons voir
comment nous pouvons fonctionner dans notre cloud de console et
Kafka à l'aide de l'interface de ligne de commande. Et nous allons mettre en
place un projet dans lequel nous allons créer
quelque chose d'incroyable et voir comment il produit
toutes ces informations dans streaming de
nos événements
est une phrase de grand objectif. Et aujourd'hui,
les entreprises du Fortune 500 ne sont que quelques-unes
des entreprises qui ont besoin d'experts en streaming d'
événements pour répondre à leurs
opérations quotidiennes et à leurs besoins critiques en matière de développement
logiciel. Nous sommes impatients de
vous voir rejoindre notre cours. Et nous avons promis que ce
cours vous aidera à bâtir vos bases de
diffusion d'événements et
de console de connaissances. Cela vous aidera à faire ressortir
votre CV et à exiger un
salaire compétitif sur le marché.
2. Qu'est-ce que l'analyse de streaming: Bonjour, et bienvenue dans ce
cours où je vais vous
apprendre
à utiliser Confluent et vos applications de
streaming d'événements. Dans cette première section,
nous discuterons Apache Kafka et de
tout ce que vous devez
savoir à ce sujet
afin de comprendre et d'utiliser Confluent comme service. abord, nous devons comprendre
ce que signifie même l'
analyse de streaming à la mode et pourquoi
elle est si populaire de nos jours. Qu'est-ce que l'analyse de streaming ? En termes profanes ? Il s'agit du
traitement constant des données telles qu'elles sont générées et
reçues en temps réel. Ces données se trouvent
dans la plupart des endroits. Par exemple, la forme
de données la
plus courante utilisée pour être analysée dans l'analyse en streaming est l'information sur les réseaux sociaux. Au moment où vous effectuez
quelque chose sur les réseaux sociaux, cet événement est diffusé en temps réel pour être traité
afin de
vous montrer un contenu
plus pertinent pour
vos goûts que pour des choses que
vous ne voudriez pas. J'aime voir. Dans le passé. Et en fait,
dans de nombreux endroits encore aujourd'hui, les données ont été envoyées par lots plutôt que sous forme de flux
continu. Les données ont été collectées
jusqu'à un intervalle de temps. Et lorsque le
point médian interne est arrivé, les données ont été envoyées sous forme de
gros morceaux à traiter. Bien que ce processus soit beaucoup moins cher que le streaming de
données en temps réel. Il ne fournit pas d'informations
en temps réel et ne peut pas être utilisé pour des actions
instantanées et la génération de graphiques
en temps réel. analyse en continu
a été créée pour résoudre ce problème
dans le traitement par lots, que des
décisions en temps réel puissent être prises et des actions pouvaient être prises. Voyons maintenant comment fonctionne l'analyse
en streaming. La première partie du
streaming d'événements est
l'événement produit. Cet événement peut être produit soit
par un appareil ou une application, soit par tout autre
producteur, il s'agit essentiellement d'un message. Ce message est envoyé à un hub. Ce Q est le message
derrière d'autres messages et rend ingestible au sein du service d'analyse de streaming. Au cours de la phase d'
analyse de streaming, il a été décidé quoi
faire de ce message. il s'agisse de le présenter sur un
graphique sur un tableau de bord ou d'envoyer une commande pour effectuer une action
ou un événement donné
simplement pour stocker ce message. C'est tout ce qui a été décidé dans
la partie analytique du flux. Enfin, le message
est envoyé à partir
du service Stream Analytics pour être consommé par le consommateur final. Ce sont des processus qui peuvent
sembler un peu techniques. Et vous vous demandez peut-être
à ce stade pourquoi même passer par un tel processus
en premier lieu. L'utilisation de l'
analytique en streaming présente
de nombreux avantages . Utilisation de la visualisation des données. Même quelqu'un qui ne sait pas bien
lire les chiffres peut comprendre comment les
choses progressent. De plus, il vous offre un avantage
concurrentiel lorsque vous obtenez informations
en temps réel
et que vous pouvez faire des mouvements plus rapidement que ce que vos concurrents
ne le réalisent même. Il vous donne également un aperçu beaucoup
plus approfondi et plus clair des opérations, car vous savez quelles opérations sont
effectuées en temps réel. La possibilité d'obtenir des informations dès qu'elles
sont produites peut à la fois créer et identifier des opportunités
perdues dans le monde
des affaires et plus encore. Enfin, identifier les tendances à l'aide analyse de
streaming
peut aider à atténuer les
pertes en alertant l'entreprise des bonnes choses
au bon moment. De nombreuses entreprises sur le marché utilisent
aujourd'hui
l'
analyse en streaming et l'adoptent
encore plus chaque jour. La plupart des entreprises
découvrent qu'elles ont besoin de données continues
en temps réel et à
quel point elles en tirent profit. Il n'est peut-être pas évident à
la surface,
mais dans de nombreux secteurs d'activité, les candidats
naturels à la diffusion de données sont des candidats naturels. Par exemple, considérez les secteurs
suivants. Finance, il est
essentiel de savoir si une fraude est
commise en temps réel. Sinon, cela pourrait entraîner une perte
énorme pour l'entreprise. En outre, l'analyse
du marché en temps réel est un élément central des
décisions commerciales dans le commerce électronique. Examinons le père de
tous les e-commerce, dit Amazon. Amazon traite une quantité de données absolument
énorme. Et il utilise ces données pour ajuster
continuellement les offres et les valeurs de leurs produits
afin d'optimiser leurs cellules. De plus, il aide à recommander des
produits aux clients et à optimiser la logistique de l'
ensemble de l'opération. Amazon a en fait son
propre produit pour cela, il s'appelle Amazon Kinesis. Dans le sport. Jetons un coup d'œil
à la Formule 1. Chaque voiture de Formule 1
produit des gigaoctets données grâce au nombre de
données grâce au nombre d'instruments
installés. Pendant la seule course, les équipes collectent
énormément de données dont elles ont besoin pour prendre des décisions
en temps réel qui peuvent prendre ou briser
la course à leur place. La même logique
s'applique également aux jeux en ligne, où les détails techniques et les données des
joueurs sont utilisés pour optimiser les performances du jeu et affiner l'expérience
globale.
3. Qu'est-ce que Apache Kafka: Lorsque vous parlez du terme analytique
en streaming, vous constaterez qu'il est principalement associé à Apache Kafka. C'est parce qu'Apache Kafka
est le service de
streaming de données le plus courant que la plupart des entreprises utilisent pour leurs besoins
en streaming de données. Examinons ce qu'est
Apache Kafka. Dans un manuel scolaire. Apache Kafka est un service de
streaming de données. Il est open source et utilisé par des milliers d'entreprises
pour l'analyse en streaming. Dans une définition plus simple, il fournit le service
dont nous avons discuté lorsque nous avons examiné ce diagramme de flux sur le fonctionnement de l'analyse
en continu. Ce que fait Apache Kafka, c'est qu'il prend des événements ou des messages
d'un producteur. Maintenant, ce producteur peut être un appareil
IoT ou un smartphone, et il le pousse
vers Apache Kafka. Apache Kafka le
gère ensuite de manière à ce qu'il
puisse être donné
à de nombreux consommateurs, élimine le besoin d'avoir des flux de données
individuels de
chaque producteur vers un consommateur. Il permet essentiellement
que chaque producteur et chaque consommateur n'ait qu'un seul flux de données qui n'est pas affecté
par des facteurs externes. Voyons un exemple
pour une meilleure compréhension. Maintenant, en disant qu'il
faut des producteurs et trois consommateurs
sans Apache Kafka, chaque producteur a besoin d'un flux vers un consommateur avec deux producteurs
et trois consommateurs. Cela nous donne un total de
six flux à gérer. Ces flux sont couplés, c'est-à-dire qu'ils peuvent s' étouffer en raison de facteurs externes. consommateur lent peut
avoir une incidence sur le producteur. L'ajout de consommateurs aurait
une incidence sur les producteurs. La défaillance d'un consommateur
bloquerait un flux entier. Il y a de nombreuses faiblesses
dans un système comme celui-ci. Prenons le système
avant et ajoutons trois autres producteurs
et plus de consommateurs. Sans Apache Kafka,
nous aurions besoin de
maintenir et de gérer 25 flux. Maintenant, il y a beaucoup de flux
et de maintenance, ce qui implique également des coûts
élevés et des risques supplémentaires. Avec Apache Kafka, nous n'aurions besoin que de dix flux
et nous aurions la garantie que ces flux
sont découplés et ne seront pas affectés par la capacité d'un producteur ou d'un
consommateur à
accomplir leurs tâches. À partir de cet exemple, vous devriez maintenant être en mesure de dire à quel point
Apache Kafka est avantageux et à quel point il
est
important d'entretenir les avantages de Kafka
ou qu'il est très rapide, facilement évolutif, fiable, extrêmement durable, et surtout
, c'est qu'il est open source. Cependant, vous pouvez également le trouver en tant
que service géré, comme nous le verrons
plus tard au cours de ce cours.
4. Architecture de Kafka: Maintenant que nous savons
ce qu'
est Apache Kafka et à quoi il sert. Voyons comment cela
fonctionne à l'intérieur. Au sein d'Apache Kafka, vous trouverez les compétences
suivantes. Producteurs, consommateurs,
courtiers, sujets, partitions, clusters
et zookeeper. Nous
examinerons chaque confiance séparément et
verrons ce qu'ils font. Producteurs. Ce sont les éléments qui
produisent les événements qui sont des messages
envoyés à Apache Kafka. Comme nous l'avons déjà mentionné, il pourrait
s'agir d'un appareil
ou d'une application. Les messages que
les producteurs envoient sont écrits sur un sujet contenant des messages
similaires à l'intérieur. Il est important de
comprendre que plusieurs producteurs peuvent exister
dans la même application. Tous les messages
qui sont producteurs produisent du sens directement
vers le cluster Kafka. Consommateurs. Ce sont les gars à l'opposé
du producteur. Ils sont là pour prendre
les messages
du producteur et les lire
ou, dans un
sens plus technique, les consommer. Les consommateurs s'abonnent à des sujets. Et lorsque des messages sont
envoyés à ces sujets, le consommateur consomme ces
messages au fur et à mesure qu'ils arrivent. Lorsque vous travaillez avec Apache Kafka, plusieurs consommateurs peuvent consommer le même message
du même sujet. Bien que les messages soient consommés, ils ne sont pas détruits
après le processus. C'est l'une des
beautés d'Apache Kafka. Les consommateurs peuvent également consommer
différents types de messages provenant
des clusters. En outre, les consommateurs savent
exactement où se trouvent les données qu'ils doivent consommer
dans le cluster Kafka. Courtiers. Lorsque nous avons discuté de la façon dont les producteurs envoient des messages à Apache Kafka, où ils
envoient réellement ces messages sont les courtiers
du cluster Kafka. courtiers sont les serveurs Kafka
qui reçoivent puis stockent ces messages pour les consommateurs les prennent
et les consomment. Un cluster Kafka peut
comporter plusieurs courtiers, et chaque courtier gère
plusieurs partitions. Comme nous le verrons bientôt. Sujets. s'agit simplement des canaux
définis par lesquels les
données sont diffusées en continu. Les producteurs produisent leurs
messages sur des sujets. Les consommateurs s'abonnent
à des sujets pour consommer les
messages qu'ils contiennent. Il s'agit essentiellement d'un moyen de
compartimenter et d'
organiser les messages et de
les classer en fonction de leurs caractéristiques particulières. Sujets de noms
d'identification uniques au sein du cluster Kafka. Et il y aura un
certain nombre de sujets. n'y a pas de limite définie. Cloisons. Les sujets sont divisés en ces partitions et sont
répliqués sur d'autres courtiers. Plusieurs consommateurs peuvent lire à partir d'un sujet en parallèle
à l'aide de celui-ci Avec les partitions, les
producteurs peuvent ajouter des clés à leurs maîtres pour contrôler la
partition vers laquelle le message est envoyé. Sinon, il ne fait que contourner le modèle Robin, où
une
partition reçoit un message
et l'autre partition reçoit le suivant, etc. Les clés permettent au producteur contrôler l'ordre de traitement des
messages, ce qui peut être pratique
si l'application nécessite ce
contrôle sur les enregistrements. Tout comme les sujets, il n'y a pas de limite
définie sur les partitions. Étant donné que le cluster
est en cours de traitement, la capacité peut gérer et gérer l'informatique. Clusters. Ce sont les systèmes
qui gèrent les courtiers. C'est essentiellement l'architecture
complète des courtiers que nous
appelons un cluster. Les messages sont écrits sur des sujets
qui se trouvent dans des courtiers, qui se trouvent dans des clusters. Ces messages sont ensuite lus par les consommateurs suivant
la même hiérarchie. Le Zookeeper, cet élément est responsable de la gestion et la
coordination du cluster Kafka, peu comme un chef
d'orchestre. Il avertit tous les nœuds du système lorsqu'un changement de
topologie se produit. Il peut s'agir de l'adhésion d' un nouveau courtier ou même de
l'échec d'un courtier. Le Zookeeper permet également élections de
leadership
entre les courtiers et les paires de partitions de sujets afin déterminer quel courtier
doit être le leader d' une partition particulière et ceux
qui détiennent
réplicas de ces données. En termes simples, le Zookeeper gère et
coordonne tout ce que fait le cluster Kafka et fournit une sécurité intégrée
pour un jour de pluie.
5. Solution gérée Kafka: Examinons les solutions
gérées disponibles sur le marché
pour Apache Kafka. À l'heure actuelle, en 2021, il existe un certain nombre de fournisseurs de solutions
gérées
pour Apache Kafka. L'un d'eux est confluent. En dehors de cela, nous avons
également Azure, HDInsight, AWS, Kinesis,
au lieu de cela. Et même il y a de nombreux
avantages à payer un fournisseur de services gérés pour Apache Kafka plutôt que d'en utiliser la saveur open
source. Le kafka open source comporte de nombreux problèmes et beaucoup de gestion et maintenance sont
nécessaires régulièrement. Il y a tellement d'opérations
qui doivent être effectuées uniquement pour
faire fonctionner les choses. Avec un service géré. Vous n'avez pas à vous soucier d'
effectuer des opérations, où le terme « no ops ». De plus, vous n'
avez pas besoin de télécharger des fichiers ou de gérer
des fichiers localement. Tout est fait sur le Cloud. Enfin, vous pouvez être
sûr de faire fonctionner Kafka
sans problème. Pensez à utiliser l'open source
comme moteur de voiture gratuit. Il est puissant et peut
générer beaucoup de couple, mais en soi, il ne peut
vraiment rien faire. Pas avant que vous ayez construit
le reste des pièces nécessaires pour rendre
le moteur utile. En comparaison,
les solutions gérées sont comme des
voitures à part entière prêtes à conduire. Pas de tracas de régler
beaucoup de choses, il suffit de tourner une clé et d'y aller. C'est cette commodité
que beaucoup d'entreprises envisagent lorsqu'elles envisagent des solutions
gérées.
6. Commencer rapidement avec Confluent Cloud: Démarrez le Cloud
confluent. Nous allons donner le
coup d'envoi en
effectuant certaines
tâches de base dans le cadre d'un conflit. Nous allons configurer un
cluster plutôt qu'un sujet. Ensuite, nous allons
voir comment créer producteurs et des
consommateurs qui
enverront des messages depuis et vers ce sujet à l'aide de la
console et du Cloud CLI. Pour commencer
avec confluent, la première chose que nous
allons devoir faire est d'aller sur le site Web de la console, qui n'est que confluent.io. Une fois sur place, vous pouvez voir la possibilité de
commencer gratuitement. Lorsque vous cliquez dessus, vous seront présentées vos
options de déploiement
vous seront présentées et vous pouvez simplement choisir l'
option de déploiement et sans frais. Ici, vous pouvez renseigner votre nom
complet, votre entreprise, pays de
messagerie, choisir un mot de passe et
cliquez simplement sur ce bouton. Lorsque vous faites cela,
comme il est indiqué ici, vous recevrez
400$ à dépenser dans Console et Cloud pendant
vos 60 premiers jours. Lorsque vous remplissez ce formulaire
et que vous cliquez sur Démarrer gratuitement, il vous enverra un lien vers
votre e-mail dans lequel vous
devrez confirmer la propriété
et l'accès à cet e-mail, partir de quoi vous
pourrez vous connecter en cas de conflit. Puisque nous avons déjà un
compte avec confluent, nous ne le ferons pas, mais nous nous
connecterons à confluent. Pour
ce faire, il va falloir revenir
à la page
Commencer. Et il est dit juste en bas ici que j'ai un identifiant de compte. On y va. Ouvrez cela dans un nouvel onglet où nous pouvons nous connecter. On y va. C'est mon e-mail. Je clique sur Suivant,
c'est mon mot de passe. Je clique sur Suivant. C'est à ce
moment que les conflits vont commencer à vous
donner un tutoriel sur la façon dont vous êtes
censé configurer vos clusters dans
Console et Cloud. C'est un excellent tutoriel si vous voulez prendre le temps, je vous recommande de
le parcourir et de le lire. Cependant, pour nos projets, nous fournirons
tout le matériel dont vous aurez besoin
pour les créer. Il y a ce bouton ici
qui indique Créer un cluster. Allez-y et cliquez dessus. Vous allez maintenant vous présenter trois options différentes
pour créer un cluster. Vous disposez de votre cluster de base, votre cluster standard
et d'un cluster dédié. Maintenant, la base est
celle que nous utiliserons
car, comme vous pouvez le constater, il n'y a aucun coût de base
associé. Et il a
de nombreuses limites d'utilisation. Vous avez une entrée
de 100 mgs, une
sortie de 100 MBA et un stockage allant jusqu'
à 5 000 Go. Il peut prendre en charge un flux de données élevé. Nous ne serions pas
près de ces chiffres, pas dans nos projets. Nous pouvons simplement sélectionner
le type
de base souci de connaissance, il est bon de savoir que si vous optez pour l'option
standard, cela vous coûtera 1,50$ l'heure. Et il peut prendre en charge plus de stockage. En fait, vous pouvez l'utiliser
jusqu'à un stockage illimité. C'est juste le
seul avantage
que vous allez vraiment tirer de
prendre le standard par rapport à la base. Lorsque vous allez le consacrer,
vous pouvez constater qu' au fur et à mesure que
vous progressez dans cette barre, vous obtenez de plus en plus d'avantages. Ensuite, vous atteignez un point
où ils vous indiquent que sommes en contact pour que nous puissions gérer quelque chose pour les clusters
dédiés. Mais comme nous n'optons pas
pour l'une ou l'autre de ces options, mettons simplement en place un cluster de
base. Lorsque vous arrivez dans cette région, la zone où ils vous demandent quelle
région vous souhaitez sélectionner. Ici, vous pouvez voir à quel point
confluent est réellement associé à AWS,
gcp et Azure. Et vous pouvez constater que vous avez des options
de
service parmi toutes ces options, vous pouvez choisir un serveur AWS, un serveur GCP ou
un serveur Azure, quel que soit le type de votre choix,
ou les services que
vous souhaitez . déjà utilisé. est généralement idéal que
si vous souhaitez connecter kafka à un service déjà en cours d'exécution, vous devez
créer le cluster dans une région à l'aide d'un service vous devez
créer le cluster dans
une région à l'aide d'un service
déjà utilisé auparavant. Par exemple, supposons que vous
ayez un Hub Azure IoT. Vous souhaitez utiliser confluent
pour le streaming d'événements, alors vous devriez probablement
utiliser Microsoft Azure pour héberger votre cluster
confluent. En général, il rend les choses plus
fluides et
facilite les choses et il y a moins de tracas
et le processus Connect, mais plus encore,
il est simplement facile à
gérer et réduit la latence de nos projets Puisque nous n'
avons vraiment rien d'autre, nous pouvons simplement y
aller directement. Nous pouvons simplement choisir. N'y a-t-il pas d'Asie,
Singapour, on y va. Nous n'avons pas besoin d'une disponibilité
multi-zones. zone unique fonctionne
parfaitement bien pour nous. C'est donc exactement celui que
nous allons chercher. Maintenant, lorsque vous arrivez à cette
troisième page,
il vous demandera une carte de crédit. Et il débitera initialement cette carte de
crédit, mais votre montant vous sera
remboursé et il faut une
carte de crédit pour vérifier. Donc, si vous
dépassez votre limite ou si vous
dépassez les 60 jours, il vous envoie une notification
pour vous informer, hé, si vous voulez continuer à
utiliser confluent, faites-le nous savoir, facturerez sur la
carte et nous conservera simplement les clusters
que vous avez
dans les projets que vous avez en cours. Ce cluster est donc
parfaitement parfait. Nous pouvons appeler ce cluster de
cluster de soulignement 0, ce qui fonctionne pour nous. Et nous pouvons simplement
lancer ce cluster. On y va. Avec ça. Nous avons configuré
notre cluster de consoles. Passons maintenant à la création d' un sujet au sein de notre cluster
cathodique, ainsi qu'à la connexion notre Cloud confluent
via notre CLI. Pour cela, passons
à confluent maintenant. À partir de là, nous pouvons simplement
revenir au lien
Démarrer et simplement vous connecter. On y va. C'est mon e-mail,
donc je vais cliquer sur Suivant, c'est mon mot de passe. Je vais me connecter. On y va. Une fois que vous aurez configuré un cluster, c'est
ce que vous verrez
à l'intérieur de Confluent. Cela va vous montrer que vous
avez une configuration de cluster. Il est en direct, il fonctionne. Il suffit donc d'aller de l'avant et de cliquer sur ce cluster
que vous avez créé. Une fois que vous êtes à l'intérieur, vous
verrez le tableau de bord. Vous verrez qu'il vous
offre un tas d' options dans lesquelles vous
pouvez transférer des données, configurer un client si vous
souhaitez configurer l'interface de ligne de commande. Nous allons bientôt mettre
en place l'interface de ligne de commande, mais avant cela, nous
allons définir un sujet. Passons au sujet
ici et créons un sujet. Nous pouvons donner n'importe quel nom à ce sujet. On peut dire qu'il y a des sujets. Pourquoi pas ? Nous pouvons créer ces cours scolaires, et nous pouvons simplement laisser
cela à cette valeur par
défaut, par défaut alors que vous six, cela ne changera
rien, donc nous pouvons simplement le créer
avec ses valeurs par défaut. Nous avons eu plus de deux messages. Nous pouvons donc produire
un nouveau message sur ce sujet. On peut dire qu' il y a une
vue sur la montagne CA, tout le reste. Bon, donc comme nous
ne voulons pas envoyer message technique pour le
moment, nous essayons simplement de
comprendre quels sont les sujets, ce qu'ils font et comment les messages seraient renvoyés et la façon dont nous les voyions. Oublions tous ces bits
de code techniques qui se trouvent dans
la section valeur et nous pouvons simplement
lui donner n'importe quelle valeur, disons que nous lui donnons le
sujet de l'anglais. C'est toujours un sujet amusant. Et nous pouvons transformer
ce volume en un seul. Vous pouvez le
produire. On y va. Arbre de partition anglais, génial. Ensuite, nous pouvons dire que nous ne
voulons pas produire. On peut dire que nous voulons
un autre sujet, les mathématiques. Et je suppose que le
dernier serait la science. Nous disons que nous voulons que notre
dernier message soit scientifique. On y va. Nous avons maintenant trois messages
que nous avons configurés. Ce ne sont que trois sujets
que nous avons dit, d'accord, s'agit de trois messages sous le thème du
ou des sujets. Dans notre cas, comme nous pouvons
le voir ici, les sujets. Et nous voulons simplement transmettre ces trois messages indiquant
que nous avons la science, mathématiques et l'anglais
comme sujet. Maintenant que nous avons
configuré notre sujet et que nous
avons maintenant quelques messages
à l'intérieur de notre sujet, nous
devrions probablement essayer de configurer notre interface de ligne de commande afin que nous puissions
alors configurer un consommateur. Les constructions
sont vraiment simples. Si vous accédez ici à
la page de configuration de l'interface de ligne de commande, toutes les instructions sont
juste devant vous et vous pouvez simplement copier
ces commandes. Si vous travaillez sur un Mac, cela devrait être assez simple car
cette commande
fonctionnera immédiatement. Il n'y aura aucun problème. Cependant, si vous êtes comme
moi et que vous utilisez, essayez de
configurer Confluent Cloud ou CLI sur une machine Windows, vous avez besoin d'un terminal
Linux pour cela. Si vous êtes sous Windows 11, pour obtenir une fenêtre, le
terminal Ubuntu est assez facile. Il vous suffit de vous
rendre dans le Windows Store. À partir de là, vous pouvez simplement
rechercher Ubuntu. Ubuntu, vous obtiendrez
cette application Ubuntu
ainsi que Ubuntu 12.04
LTS et 18.04 LTS. Puisque je l'
ai déjà installé, je dois juste aller de
l'avant et l'ouvrir. Je dois cependant
vous aviser que si vous allez
configurer une aubaine pour aimer cela, vous aurez besoin de Windows
Hypervisor si vous
travaillez avec des machines Intel ou si vous travaillez
avec AMD machines, vous devez activer la
SVM pour que cela fonctionne. Ok, donc maintenant que nous avons, le terminal Ubuntu est ouvert, il est probablement temps d'
exécuter nos commandes CLI. Cependant, je n'exécuterai pas
cette commande curl car je l'ai déjà exécutée et
je ne veux pas tomber dans le problème des répertoires en
double. Vous devriez probablement aller de
l'avant et courir ça en premier. Il devrait vous fournir un
Cloud C installé par la suite. Et lorsque cela se produit, il suffit d'exécuter une simple commande qui
indique voir la mise à jour du cloud. Et il vérifiera s'il y a des mises à jour sur le cloud
C pour voir s'il y en a. Il devrait probablement y avoir
une mise à jour majeure pour moi, mais je ne vais pas la mettre
à jour pour le moment. Oui, on y va. La seule mise à jour est
une version majeure et je n'ai pas le temps
pour le moment. Je vais le laisser après. Je pense qu'il est
temps de se connecter à num2. Une autre chose que nous devons
faire depuis notre CLI ou notre terminal, c'est que nous devons
accéder à notre console
et à notre Cloud à partir d'ici. Pour ce faire, nous devons disposer de certains moyens de communiquer avec notre
console et notre Cloud. Pour communiquer avec
la console et le Cloud, vous devez passer à
l'intégration des données sur le côté gauche, et vous verrez
ici un petit onglet indiquant les clés API. Ici, vous pouvez
créer une clé API. Il vous donnera deux options ici. Imaginons que vous puissiez disposer d'un accès
global ou
d'un accès granulaire. Pour cela, je vous
recommande d'opter
pour un accès global. Une fois que vous disposez d'un accès global, vous pouvez utiliser
ces informations d'identification pour connecter à votre client,
le terminal Ubuntu. Maintenant, nous pouvons donner plupart des descriptions
pour la plupart, je peux simplement appeler cela
la clé de courbe de compétence. Si je le veux, je peux simplement
télécharger ceci et continuer. Il vous donne même ce
petit texte qui donne cette clé si la vôtre, tous les détails de votre clé, il vous fournit un
fichier texte avec tous les éléments. Maintenant que je l'ai et que
ma clé API est créée, je vais juste
revenir à mon terminal Ubuntu. Désormais affecté à la connexion
à notre console et Cloud à l'aide des
déterminants de la lune sont pour cela. Je vais juste aller voir
le cloud, la
connexion, le tableau de bord, le dash save. À partir de là, il va
me demander mon accréditation confluent. Je vais juste les mettre en soutien au
taux de trottoir qualifié. Une fois que je
les ai mis, il me demandera mon mot de passe. Je vais juste faire une pause
très vite et mettre ça en place. Ok, donc maintenant que
j'ai mon mot de passe et que je vais juste
appuyer sur Entrée, il devrait me connecter à
mes comps want cloud. Et il a écrit ces
informations d'identification dans le fichier NET RC. Maintenant que je suis connecté
à confluent, il est temps de voir notre
cluster sur une CLI juste pour que vous sachiez que
nous sommes réellement connectés. Et c'est toujours agréable de assurer que vous
pouvez voir le cluster. Pour ça. Eh bien, nous devons simplement écrire liste des clusters
C Cloud Kafka pour voir ce que nous pouvons trouver. Et comme vous pouvez le constater, nous
n'avons créé qu'un seul cluster. Et nous pouvons voir la
pièce d'identité ici. s'agit donc que du seul cluster dont
nous disposons et nous voudrions
utiliser ce cluster par défaut. Nous ne voulons pas avoir
à insérer l'ID chaque fois que
nous utilisons ce cluster. Donc, ce que nous pouvons faire pour en faire notre cluster par défaut,
c'
est que nous pouvons simplement écrire l'espace C Cloud, cluster spatial
Kafka, l'utilisation de l'espace. Et puis ce nom, donc L, K, c tiret z, deux députés. On y va. Il a défini qu'
il s'agit d'un cluster Kafka
comme cluster actif et par défaut pour notre environnement de travail
actuel. Ok, donc maintenant que nous avons configuration de
notre cluster par défaut dans le terminal,
au sein de l'interface de ligne de commande, c'est le bon moment
pour apporter notre clé API que nous avons créée afin que nous puissions
lier les deux ensemble. Afin de lier la clé API, nous devons l'écrire en
tant que clé de tiret et de stockage de l'
API C Cloud Space . Et ce que nous devons stocker
ici, c'est la clé API, que je ne fais que copier ici
, espace et coller. Après cela, il va me demander si c'est un peu
difficile à voir, mais dans le coin inférieur,
il est dit, quel est le secret de votre API ? Je copie ce secret de l'
API en ce moment. Et on y va. Maintenant, il a stocké
le secret de l'API et j'ai stocké la clé
API pour que je puisse l'utiliser. Maintenant que j'ai une clé API, je veux dire à mon interface de ligne de commande.
Maintenant, pour
une ressource donnée, je veux utiliser cette clé d'
API par défaut. Ce que nous faisons essentiellement, c'est cette clé API fonctionne par défaut pour le
cluster que nous venons de définir. Donc pour ce faire,
ce que nous devons faire, c'est
simplement aller voir API
cloud dash q0, l'utilisation de la barre
oblique. Nous avons vraiment besoin de cette petite
chose ici, comme avant. Nous pouvons simplement mettre ça dedans. Nous pouvons donc faire des ressources dash,
dash. Encore une fois, nous pouvons simplement prendre le nom de
notre ressource à partir ici et le copier. Et maintenant, nous avons défini notre clé API, telle que la clé API active pour le cluster que
nous avons configuré. Cela étant fait,
nous sommes maintenant tous configurés pour commencer à
consommer et même à produire des messages depuis et vers
notre console et notre Cloud. Maintenant, afin de
consommer des messages, je vous recommande
d'ouvrir un nouveau terminal pour Ubuntu afin que nous puissions
le voir séparément. Nous pouvons donc simplement en ouvrir un autre et
les amener
à décider ici même. Maintenant, à consommer à partir d'un cluster Kafka
ou d'un confluent. Dans notre cas, ce que nous devons
faire, c'est
d'écrire une commande et de spécifier le sujet à
partir duquel nous voulons consommer. Donc, dans notre cas, cela
deviendra C Cloud, Kafka, sujet, consommation dash, dash. Depuis le début. Là où nous précisons, nous voulons que tout vienne
dès le début. Nous nourrissons les sujets. On y va. Maintenant, vous pouvez voir que nous avons l'
anglais, les mathématiques et les sciences. Ce sont les sujets
que nous
avons réellement abordés dans Kafka nous-mêmes. C'est donc la partie passionnante
de Kafka que nous avons fait, que nous avons fait des messages et que nous pouvons maintenant voir
ces messages en tant que consommateur. Jusqu'à présent, nous avons vu que
nous nous sommes connectés à notre cluster confluent, que nous avons configuré des messages et notre sujet, et nous avons
consommé ces messages. Tout va bien et bien. Mais je pense que nous devrions
maintenant passer du côté consommateur au
site du producteur et produire des messages pour notre cluster. Avant cela, de
retour de l'interface graphique
dans confluent, nous venons d'ouvrir
la page et nous sommes allés au sujet et nous les avons simplement mis sur ce site web
très agréable, mais nous devrions savoir
comment le faire depuis CLI. Et si au sein de l'interface de ligne de commande, nous pouvons
le voir fonctionner en temps réel. Donc, pour le faire à partir de l'interface de ligne de commande, la commande que nous
utiliserions est C Cloud, space ,
Kafka, topic, Product
Dash, Dash, Dash, Key, Space,
Dash, Dash, Delimiter. Ensuite, nous avons un deux-points au-delà duquel nous
avons le format de valeur. Nous pouvons dire pour notre exemple, puisque nous travaillons
avec des chaînes, nous pouvons dire qu'il
s'agit d'une chaîne. Et nous précisons simplement le sujet qui, dans
notre cas, est sujet. Lorsque nous appuyons sur
Entrée, nous y allons. Il dit qu'il est en train de démarrer
le producteur de Kafka. À partir de là, vous pouvez
commencer à ajouter et à
produire des messages. Et nous devrions voir
ces messages arriver au consommateur sur
le côté droit de l'écran dès
que nous les produisons. Par exemple, supposons que
nous voulions ajouter d'autres sujets. Nous pouvons opter pour la géographie. Nous produisons de la géographie. Et voilà. Il a été ajouté
directement à notre consommateur. Nous disons que la géographie est bonne en OB, mais je veux aussi apprendre
l'histoire pour assez. On y va. L'histoire est
apparue du côté droit. Nous disons donc six, par
exemple,
que maintenant ce n'est pas suffisant. Je ne voulais pas faire des affaires internes
ou intérieures ou des affaires mondiales. Nous pouvons faire en sorte que ces
affaires mondiales continuent d'apparaître. Et c'est juste la
beauté d'Apache Kafka. C'est pourquoi c'est
une technologie si agréable, est qu'au moment où nous avons
produit un message, le consommateur a reçu le message, le moment et
la mise à jour a été faite. Le consommateur en a été alerté, le consommateur était au
courant et il pouvait consommer les
messages mis à jour immédiatement. Avec cela, nous avons maintenant pris la main sur
les consonnes CLI. Nous savons maintenant comment cela fonctionne. Nous pouvons créer un producteur, nous pouvons faire un consommateur
tout au sein de l'interface de ligne de commande. Nous avons également configuré un cluster
dans notre Confluence Cloud, et nous avons défini un sujet. Nous avons pratiquement réalisé
la plupart des fondamentaux lorsqu'il s' agit de travailler
à Apache Kafka. Plus tard, nous verrons également
comment travailler avec les flux. Et nous
examinerons également quel cas est égal à DBS.
7. Introduction à KSQLDB: Arborescence de sections, K SQL DB, introduction à SQL DB. Qu'est-ce que la casse est égale à dB ? Eh bien, K SQL DB est une
base de données de streaming d'événements
en temps réel qui s'appuie sur flux
Apache Kafka et Kafka. Maintenant, ce que les flux Kafka sont un sujet dont nous
discuterons plus tard. Mais pour l'instant, tout ce que vous
devez comprendre, c'est ceci. La façon dont un flux est défini
au niveau vraiment fondamental est le flux de données d'un
producteur vers un consommateur. K SQL DB prend ce
flux et le lie à un
modèle de base de données relationnelle à l'aide de commandes SQL. Il existe de nombreux
cas d'utilisation de K SQL DB, et il est beaucoup utilisé dans
l'industrie en raison de simplicité et de sa
facilité d'utilisation. Comment fonctionne le cas égal à db ? Casey Equal db sépare
sa couche de
calcul distribuée de
sa couche de stockage pour laquelle elle utilise Kafka. Case est égal à dB lui-même a géré toutes les tâches
associées aux données, qu'
il s'agisse du filtrage, traitement, du streaming, etc. Et puis il laisse le stockage à Kafka pour le
comprendre et le gérer. Comment interagir avec
Casey comme EB ? Bien que cela puisse se faire
de plusieurs façons, nous pouvons le faire via des API Rest. Nous pouvons le lancer
directement dans le code. Ou nous allons le faire de
la manière que nous avons
définie dans ce cours. La première façon de communiquer avec la base de données
de casse égale est d'utiliser l'interface de ligne de commande de base de données égale de
casse. La deuxième façon
d'
interagir avec K SQL DB consiste utiliser l'interface utilisateur Cloud confluente
que nous voyons sur la console. Et Cloud lui-même.
8. Utiliser KSQLDB: En utilisant la casse égale db. Bon, donc pour
commencer à utiliser KSQL dB, la première chose
à faire est de mettre en place un cluster dans lequel
nous allons travailler. Lorsque vous accédez à la page Console et Cloud dans vos
environnements, vous devriez voir
quelque chose comme celui-ci. Si ce n'est pas le cas, peut-être un peu
différent si vous avez déjà configuré 12 clusters. Puisque nous n'avons pas de configuration de cluster, nous allons simplement entrer dans
notre environnement par défaut ici et simplement configurer un cluster. Il est donc écrit Créer un
cluster par moi-même, suffit d'opter pour un cluster de base, de
commencer à configurer. Vous pouvez définir cette
région sur ce que vous voulez et simplement définir
une zone unique et continuer car vous
verrez que le coût de base de
cette zone est de 0$ l'heure, qui n'est pas le cas pour cette démonstration .
J'ai vraiment besoin de
quelque chose de trop chic. Donc, on va juste
y aller. Une fois cela fait, vous pouvez
simplement lancer votre cluster et il devrait être lancé très rapidement. Et il suffit de configurer le cluster que nous créons le provisionnement du cluster
peut prendre une seconde ou deux. Une fois que vous aurez terminé,
il vous donnera l'écran et il
va dire que
vous voulez créer un
client ou autre chose. Vous ne voulez pas vraiment le
faire pour le moment, vous pouvez
donc simplement le croiser
ici et cela devrait
vous amener à la vue d'ensemble
de votre cluster. Une fois que vous serez dans cet aperçu, vous verrez un petit menu
sur le côté gauche ici. Maintenant, pour
travailler avec K SQL DB,
il est en quelque sorte
donné que vous avez besoin d'un sujet avec lequel jouer,
pour créer des tables et des
flux afin que nous ayons un moyen d'obtenir des
informations depuis et vers et nous avons une référence laquelle les informations vont sortir. Si nous allons à des sujets
et qu'il devrait y avoir, oui, aucun sujet n'est configuré ici. Et bien sûr, votre
cluster sera prêt à être utilisé en une
à deux minutes. Comme je l'ai dit,
le provisionnement prend un peu de temps. Ce que je vais faire c'est que je vais mettre
la vidéo en pause ici. Je vais revenir
du cluster est complètement provisionné et
ensuite nous allons commencer et
mettre en place un sujet. Bon, maintenant que le
cluster a été provisionné et me permet
de créer un sujet. Je vais donc aller de l'avant
et créer un sujet ici. Je peux appeler ce sujet n'importe quoi. Pour le bien de
cette démonstration, appelons-le simplement
des sujets. Pourquoi pas ? Ou nous pouvons simplement appeler
cela des utilisateurs à dire. Parce que chez les utilisateurs, vous
pouvez disposer d'un tas d' informations et il est
généralement plus facile de créer
un flux à partir de celui-ci. Je vais donc créer
cela avec les valeurs par défaut. Et il devrait
généralement avoir sujet de
cet utilisateur prêt à passer au moment où vous
l'avez configuré. Maintenant que vous avez votre sujet, configurez-le pour qu'il aille
réellement dans votre données
SQL et configurez
une
application DB égale
à la casse que nous allons utiliser pour manipuler ce sujet et
travailler avec elle. Alors, que faites-vous
pour une affaire égale à VB ? Oui. Cela vous donnera
la possibilité de le créer
avec le didacticiel
ou vous pouvez simplement créer l'application vous-même. Nous allons simplement aller de
l'avant et créer l'application nous-mêmes, donner un accès global, Continuer. Vous pouvez l'appeler
comme vous voulez
pour faire une
différence aveugle. Je vais
utiliser la plus petite taille
d'application afin
de ne pas avoir
trop de coûts sur ma
console et mon Cloud. Et je vais juste le
lancer. Maintenant, vous devez savoir à ce
stade que la configuration d'applications de base de données
égale en cas prend un peu plus de temps. En fait, cela prend
beaucoup plus de temps que provisionnement d'un cluster
Kafka confluent. Ce processus devrait prendre jusqu'
à quatre à cinq minutes. Donc ce que je vais faire
maintenant, c'est que je vais mettre pause la vidéo ici et
revenir quand il aura fini de provisionner
l'application DB égale. Vous pouvez voir
que lorsque vous avez terminé de provisionner votre
application de base de données égale, vous risquez rencontrer une erreur
lorsque le cluster dit, je ne peux pas me connecter à
cette application SQL DB. Vous n'avez pas besoin de paniquer. Cela fait toujours partie
du provisioning. Dès que le
provisionnement est terminé, cette erreur devrait
disparaître d'elle-même. Maintenant que nous avons
cela, éclaircir, je vais mettre en pause
la vidéo maintenant, laisser cette disposition et
revenir quand tout sera terminé. Ok, donc notre
application de base de données égale est maintenant opérationnelle. Il a été provisionné. Nous pouvons donc aller à l'intérieur et y jeter un coup d'œil et vous
pouvez voir comment à l'intérieur, voici à quoi ressemblera une application
DB égale. Vous disposerez
ici d'un éditeur qui vous permettra d' y
exécuter vos requêtes SQL. Et à côté, vous
verrez l'onglet flux, qui vous montrera exactement
comment les choses fonctionnent,
dans quels flux alimentent, quelles sont les tables, quelles sont les tables qui alimentent
dans quel flux, ainsi de suite et ainsi de suite. Vous pouvez voir vos flux, la liste de tous les flux, dans ce cas une application DB égale ici, ils répertorient toutes vos tables
ainsi que vos requêtes. En dehors de cela,
vous pouvez voir, wow, votre application de base de données égale à cas fait
ses performances. Vous pouvez consulter
différents paramètres pour votre application DB égale à cas. Vous devez connaître certains de ces paramètres au cas où vous
souhaitez vous y connecter. Par exemple, ce
point de terminaison ici vous utiliserez souvent un
point de terminaison pour vous connecter
à des applications de base de données égales lorsque vous devez travailler avec
k est égal à EB. Enfin, vous disposerez d'instructions
CLI à la fin qui vous
permettront de vous connecter à case égale db et de vous connecter à
votre Console et Cloud
et d'utiliser votre application
DB égale à partir de l'interface de ligne de commande. Maintenant que nous avons ce cas
équivaut à l'application DB en cours d'exécution, il est temps de générer
des informations dans notre sujet puis de créer des flux et tables à partir de ces informations. Revenons donc à la présentation de
notre Cluster. Nous allons maintenant voir
comment générer
des informations dans
notre sujet d'utilisateurs. Kafka a en fait une chose
assez géniale si vous voulez générer des
informations ou des messages dans un sujet, c'est
qu'il dispose d'un tas de
générateurs de données prédéfinis qui
continueront à envoyer des
informations dans un sujet s'il est nécessaire de
configurer un générateur de données, ce que nous allons faire, c'est que
nous allons passer à l'intégration des données et
passer aux connecteurs. Lorsque vous entrez dans les
connecteurs ici, vous verrez tous ces
connecteurs ici. Nous sommes à la recherche de data gen, donc nous allons simplement
chercher la source de données et cela provient de Ladin Kafka n'
est pas un tiers, donc cela ne
rencontrera aucun problème lors de la configuration. Maintenant que vous êtes ici, vous devez mettre en place un tas de choses. La première chose, bien sûr, est le nom de votre connecteur de
source de données. Bien, assez juste,
ça n'a pas vraiment d'importance. Nous pouvons utiliser une clé API Kafka
pour nous connecter à notre connecteur. Nous avons donc une
configuration de clé API à ce stade, nous n'avons pas vraiment
à nous inquiéter ce problème car
nous avons
ici un petit lien qui va générer
une clé API Kafka et un secret pour nous en temps réel. Et ce que nous pouvons faire, c'est cliquer dessus. Et on y va. Il nous a donné une
clé API et un secret. Nous pouvons simplement appeler cela
notre clé de génération de données. Et il va télécharger cette clé
comme c'est fait ici. Et il va mettre les informations
d'identification pour vous. Vous n'avez pas à
subir de problèmes et il n'y a aucun risque de commettre une
erreur en saisissant cela. Maintenant, c'est ce que nous avons fait. Vous devez passer aux sujets. Notre sujet concerne les utilisateurs juste là. Vous devez maintenant choisir vos messages de
sortie pour que nous
puissions nous dire Donnez-nous les
valeurs et JSON. Enfin, il s'agit
du point important
où il est indiqué les
détails des joints de données où vous devez choisir maintenant le modèle d'
informations que vous voudrez ajouter
à votre sujet. Si vous ouvrez ce menu déroulant, vous verrez en réalité un tas de données différentes
Jens à notre disposition. Nous avons des
codes clickstream, des clickstream , des cartes de crédit de l'utilisateur, stocks, des commandes, des téléavertisseurs , des achats de
produits, une évaluation,
etc. Mais ce qui est drôle, c'est qu'il y a un jet de données ici
exactement pour les utilisateurs. Ce que nous allons
faire, c'est que nous allons cliquer sur ces données, Jen, et nous allons définir par défaut la valeur par défaut de vos
messages envoyés, qui est essentiellement l'
intervalle entre les messages. Il a reçu un message, quand envoie-t-il le prochain ? Par défaut, les valeurs 1000. Donc, si vous laissez cela
complètement vide, ce qu'il va faire,
c'est qu'il va
continuer à envoyer des messages toutes les secondes ou toutes les
100 millisecondes. Je vais juste
laisser ça pour l'instant. Je veux en mettre 1000 ici
pour vous montrer qu'il
va envoyer des messages
après chaque seconde. Mais même si je ne le fais pas, il enverra tout de même
des messages toutes les secondes. Donc, si vous envisagez de le
garder ainsi, vous pouvez laisser
ce champ vide. Je le quitte, je mets la valeur ici juste pour que nous sachions que nous avons défini cette valeur d'une seconde
pour chaque message. Une fois cela fait, nous pouvons passer
au nombre de tâches que ce connecteur
est autorisé à effectuer. Maintenant, à chaque tâche, le coût d'exécution
du connecteur augmente. Vous verrez que si vous choisissez
plusieurs connecteurs, vous devez mettre à niveau votre compte confluent
pour que plus de tâches fonctionnent. Donc, nous n'allons pas nous lancer dans cette tâche, c'est assez
pour cet exemple. Nous allons donc simplement
faire une tâche. Nous allons laisser tout reste et nous
allons aller ensuite. Lorsque vous faites cela, il
vous dira, regardez, pour chaque heure de travail, il va
vous facturer autant. Et pour chaque Go
de données que vous utilisez, cela va vous facturer autant. Vous avez 400$ sur votre
compte d'essai en toute confiance. Donc, vraiment faire fonctionner ça
pendant quelques minutes ne sera pas un
problème. Ne vous inquiétez donc pas trop du coût de
fonctionnement et lancez simplement. À côté du
bouton Lancer, bien sûr, se trouve un aperçu des données
qui vous permet de
voir le type d'informations que
vous obtiendriez. Mais j'aimerais vous le montrer dans le sujet lui-même plutôt que
de le montrer ici. Maintenant que vous avez un connecteur
majeur, il va être
provisionné pendant quelques minutes, tout comme la
casse égale à dB l'a fait. Ce que je vais faire, c'est que je
vais mettre en pause la vidéo ici, revenir quand elle sera
mise en service, puis je vais
vous montrer les informations qu'elle a
fournies dans le sujet. Ok, donc la configuration de
mon connecteur pour ma génération de données prenait
plus de temps que prévu. Et j'ai supposé que c'était parce que j' avais
déjà utilisé ce nom et que j'avais un client qui était déjà connecté à ce
lien son nom. J'ai dû revenir en arrière, supprimer
le générateur de données que j'ai créé et en créer un nouveau appelé «
My papa did data generator ». Et maintenant que c'est
opérationnel, allons à l'intérieur et
voyons ce qu'il fait. Si vous allez dans mon générateur de
données, vous verrez que c'est le cas,
eh bien, jusqu'à présent, il
a produit 82 messages. Et il y a cette tâche qui est en cours d'exécution
pour fermer cette petite information
ici qui me
dit que mon
générateur de données est en cours d'exécution. Si vous accédez aux paramètres, vous verrez toute la configuration
que vous lui avez donnée. Vous pouvez même
revenir et modifier ces informations si vous en avez besoin, mais je ne le recommanderais pas car
cela pourrait complètement faire en sorte que votre
flux devienne un turvy topsy. Toutes vos configurations
devraient changer en conséquence et ce ne
serait qu'un gâchis. Je ne vous
recommande donc pas d'apporter modifications à ce sujet, sauf si
vous en avez absolument besoin. Maintenant que nous savons comment fonctionne le générateur de
données, examinons nos sujets. Oui, passons
à notre sujet d'utilisateur. Mais avant cela, nous pouvons
voir que a a une valeur associée maintenant dans
son domaine de production, c'est-à-dire que ce sujet reçoit réellement quelque chose. Qu'est-ce que c'est, allons
à l'intérieur et jetons un coup d'œil. Si nous entrons dans les messages, nous devrions voir
quels messages ont été produits ici. Ainsi, lorsque vous êtes venu ici, il vous a maintenant montré les
messages qui ont été générés
jusqu'à présent sur le sujet de
cet utilisateur. Et voilà. Vous venez d'en recevoir un autre. Si nous ouvrons cette dernière version, vous pouvez constater
qu'un tas de valeurs sont associées à un message. Donc, si nous
examinons simplement les valeurs ici, nous avons l'heure enregistrée, l'ID utilisateur, l'
identifiant de la région et le sexe. Si nous entrons dans l'en-tête,
nous pouvons voir ce
que la clé a été
générée, l'ID de la tâche, itération
actuelle et la
dernière clé mais non la moindre, qui est la clé
de ce message, qui est le soulignement de l'utilisateur trois. Nous avons
maintenant ces données
générées dans nos rubriques
afin que nous puissions aller de l'avant et la décroissance est égale
à db et configurer un flux pour ces données. Allons donc dans l'application. Nous pouvons maintenant configurer un
flux à partir de l'éditeur ici. Je vais faire
le flux à la main afin de pouvoir expliquer chaque élément du flux au
fur et à mesure que nous le fabriquons. La première chose que nous devons
écrire est donc de créer un flux. En fait, si vous êtes dans Create, vous verrez qu'il vous
offre deux options. Lorsque vous créez un flux, vous pouvez voir qu'il
vous offre un tas d'options ici. Donc, si vous
créez simplement un flux,
nous pouvons simplement appeler ce
flux comme nous le voulons. Nous pourrions appeler cela que nos
utilisateurs soulignent extrême. Nous devons maintenant lui donner les
champs qu'il doit prendre. Ce que nous pouvons faire pour
cela, c'est que nous pouvons
aborder les sujets, les utilisateurs, les messages, et nous pouvons simplement jeter
un coup d'œil sur messages
que nous avons à l'intérieur ce message, choisir l'un de ces
messages, l'ouvrir. Nous pouvons voir que nous avons
enregistré le temps. Il a déjà atteint
une carte d'identité et un sexe. Et ils vont
aller là où ils se produiront. Cela va entrer,
je crois, dans un grand int. Donc, je vais juste mettre ça dans un gros int
et j'espère que ça ne va pas m'écraser
dessus comme je le fais. Je vais juste
ouvrir un bloc-notes ici. Nous allons simplement
stocker ces informations dans un bloc-notes ici. Donc, quand je retourne à la base de données
égale et que je configure mon flux, mais maintenant nous pouvons créer un
flux, un flux de soulignement de l'utilisateur. Nous pouvons lui donner un
temps enregistré en tant que grand int. Nous pouvons lui donner un ID
utilisateur en tant que travailleur, où nous pouvons
lui donner un ID de raison, qui est également un travailleur. Enfin, nous pouvons donner un genre, ce qui se produit également. Lorsque vous avez fait cela, vous avez défini les champs qui
vont entrer dans le flux. Vous devez maintenant lui dire de quel
sujet elle va recevoir ces informations et quel sera
le format de valeur. Maintenant, nous allons le mettre
avec le soulignement de Kafka. Le sujet est égal à, on peut dire les utilisateurs. Et nous pouvons dire que le format de
valeur sera votre format
de soulignement sera JSON. Maintenant que nous l'avons fait, nous pouvons simplement mettre un point-virgule
à la fin. Nous pouvons définir cela au plus tôt, la réinitialisation du décalage automatique le plus tôt afin qu'elle obtienne les valeurs dès le début de
l'existence des sujets, pour
ainsi dire, et
simplement exécuter la requête. On y va. Donc, si cela
vous a permis de réussir votre statut, ce qui signifie que
nous avons créé notre flux. Si cela a fonctionné pour vous, vous pouvez passer à votre
flux et vous devriez voir ici
une nouvelle configuration de flux appelée flux de soulignement
utilisateur. Et si vous ouvrez un flux de
soulignement utilisateur, eh bien, il ne
nous montre rien ici, mais si nous allons ici et interrogeons le flux comme
ainsi avec le plus tôt, nous devrions recevoir quelques messages. Oui, on y va. En fait, nous recevons un certain
nombre de messages. Mais là encore, il reçoit tous les messages
depuis le début. Il va donc prendre
son temps et il va nous
donner tous
ces messages. Si nous le voulions même, nous pouvons même arrêter cette
requête à n'importe quel moment. On y va. Maintenant, nous pouvons utiliser tout ce
que nous obtenons d'ici. Donc, toutes ces
informations dont nous
disposons, nous les avons dans notre flux. On a mis en
place un flux. Si nous passons à l'intégration de nos
données et que nous passons à nos clients, nous pouvons constater que nous
disposons d'un producteur de connecteurs et d'une configuration consommateur qui prend
en fait toutes ces informations. si
vous accédez aux rubriques ,
oui, cela
provient des rubriques utilisateur. Votre flux
fonctionne donc maintenant la fois
en tant que producteur
et consommateur. Et si vous passez à
votre lignée de flux, vous verrez que votre générateur de
données génère des informations sur
les utilisateurs de votre sujet, qui seront ensuite consommées
par ces deux consommateurs, vos applications personnalisées. , si vous le voulez, qui consomment
l'information. Maintenant que nous avons fait cela,
nous avons mis en place un flux. Maintenant, nous allons aller de l'avant et voir comment mettre en place une table. Allons-y et faisons-le. Allons donc à nouveau dans leur
cas une application DB égale. De notre application
DB égale encore une fois. Maintenant, au lieu de maintenant il dispose d'une configuration de requête pour vous
prêt à sélectionner une étoile flux des
utilisateurs et à émettre les
modifications où il vous montrerait tout ce qui se trouvait
dans le flux utilisateur. Mais nous ne voulons pas le
faire pour l'instant. Nous voulons aller de l'avant
et créer une table. Ce que nous allons faire
maintenant, c'est que nous allons nous
débarrasser de cette requête qu'
ils nous ont donnée. Et nous disons créer une table. Nous pouvons simplement appeler
la même longueur. Nous pouvons donc appeler la table de soulignement de cet
utilisateur car nous utilisons
le même sujet. Nous ne changeons
rien ici, donc nous pouvons simplement l'appeler ID utilisateur. Où attention, parce que
c'est une table. Si vous connaissez le SQL de base,
vous savez comment il fonctionne. Vous devez associer une clé primaire aux
tables que vous créez. Nous allons donc définir
notre ID utilisateur comme clé primaire pour cette table, qui est l'identifiant
de chaque ligne qui nous permet de
savoir qu' elle est unique et qu'
elle n'a pas été répétée. Nous pouvons donc définir l'heure d'enregistrement. Big int. Encore une fois, je vais juste donner
un grand genre entier en tant que Barker, le travailleur d'identification de région a dit que la
largeur de la même largeur que le sujet de soulignement
Kafka attribué est égale aux utilisateurs. Et le format de valeur, encore une fois, pendant que vous soulignez, tandis que le format de soulignement
devient JSON. On y va. Ensuite, nous pouvons simplement mettre
cela à la fin, le point-virgule et
exécuter la requête. On y va. Et cela nous a donné
un message de succès, ce qui signifie que notre
table a été créée. Donc maintenant, si nous passons
à nouveau à notre flotteur, nous verrons
maintenant que
nous avons une table utilisateur, table configurée pour nous. Et si nous entrons dans la table, nous pouvons entrer ici
et interroger la table. Si nous passons à R, si nous exécutons la requête, nous voyons qu'il y a déjà toutes ces informations à l'intérieur, qu'elles proviennent du sujet. Tout ce que nous avions à faire était de mettre en place une table par rapport au sujet et cela a généré cette table
entière pour nous. Ils viennent de sortir de la batte. Nous n'avons pas eu besoin de faire plus de
configuration qu'une seule ligne de SQL que nous avons
dû écrire pour configurer cette table. Avec cela, vous
avez créé un bon flux
ainsi qu'une table. Avec cela, configurez efficacement une application DB égale à la casse ainsi qu'un flux et une table et une rubrique sur laquelle les données
sont générées. Deux. Vous savez maintenant comment
configurer ces éléments dans Confluence Cloud
et les utiliser.
9. Aperçu des Streams Kafka: Section pour les cours d'eau de Kafka. Vue d'ensemble des cours d'eau de Kafka. Ce que notre Kafka circule. Eh bien, si vous
regardez les flux Kafka, il s'agit essentiellement d'une bibliothèque
Java qui nous aide à faire ce
que nous venons de faire jusqu'ici. Mais d'une manière beaucoup plus facile. Streams définit
le flux complet du producteur au
sujet en
passant par le consommateur. Et il vous permet de
créer ce flux avec beaucoup moins de
code que ce dont vous auriez besoin autrement si vous le
faisiez différemment. eau de Kafka sont extrêmement tolérants aux
pannes en raison de la nature distribuée
des grappes Kafka. Nous pourrions également dire que les flux eux-mêmes possèdent cette propriété
distribuée. Prenons l'
exemple suivant de la façon dont vous créez un consommateur et un
producteur dans un programme. Vous devez d'abord
créer le consommateur, puis
créer le producteur, vous abonner au sujet, qui
est dans ce cas des
widgets et en extraire votre
dossier consommateur, qui dans notre cas, cela vient à la couleur rouge. Nous voulons simplement qu'un consommateur consomme ce message que
les producteurs vont envoyer, que nous avons une légitimité de couleur rouge. Considérez maintenant ce code. est drôle, c'est que
vous penseriez que ces quatre lignes ne sont pas complètement différentes de ce que
vous venez de voir auparavant. Ou ils peuvent compléter le code que vous
venez de voir avant cela. Mais en fait, il fait
la même chose. Cela abstrait toute cette programmation et vous
enlève une grande partie de ce
ménage. Et ça met tout
ça dans un flux. C'est ainsi que les flux peuvent coder de concise et facile
à utiliser pour les développeurs. Bien qu'il puisse être
très bien que Kafka Streams nous donne la possibilité d'écrire du
code plus long et une forme plus courte. Pourquoi devrions-nous même
utiliser les flux Kafka ? Alors qu'en fin de compte, les flux
Kafka ne se
contentent pas de rendre le code concis. Les flux nous permettent d'effectuer
certaines tâches sur nos données, des tâches de
données que nous ne pouvions pas
effectuer autrement, telles que le filtrage ou la
jonction d'une agrégation. Ce sont des tâches que nous
voulons que nos flux fassent parce que nous voulons que nos
données deviennent plus significatives pour le consommateur final
via les flux Kafka. Eh bien, nous y parvenons lorsque nous prenons les
données
produites et consommées et que nous
leur donnons beaucoup plus de sens. Ainsi, celui-ci est réellement
analysé et examiné. Nous pouvons bien
comprendre ces données
et peut-être même les utiliser pour des et peut-être même les utiliser pour tableaux de bord et des
analyses ultérieurement.
10. Introduction à Kafka Connect: Section pour Kafka Connect. Présentation de Kafka Connect. Qu'est-ce que Kafka Connect ? Eh bien, avec Kafka Connect est
un compétent d'Apache Kafka, et c'est probablement la
compétence la plus importante d'Apache Kafka. Si vous envisagez d'utiliser services
Kafka et AT avec une configuration
déjà existante. Catholic
Connect vous permet de connecter votre cluster Kafka et vos services Kafka à différents services. Il dispose de connecteurs pour la plupart
des services de données disponibles. il s'agisse d'
Amazon, de GCP, de Hadoop, Kafka Connect, offre une intégration de
streaming entre Kafka et
d'autres services. Il vous permet également de
connecter les deux sources
ainsi que la synchronisation des données à
votre cluster Kafka. Vous pouvez obtenir des données provenant d' une source de données vers
votre cluster Kafka. Pourquoi un lien catholique ? Vous pouvez également disposer de données allant de votre cluster de capitaux
à un puits de données. Pourquoi un Kafka connecte
cette synchronisation
de données, bien sûr, étant dans un
service qui n'est pas Kafka. Maintenant, dans notre cas, pour le projet que
nous allons réaliser, nous allons configurer un puits de
données dans Amazon S3. Quels sont les
cas d'utilisation de Kafka Connect ? Comme nous l'avons
déjà mentionné, Kafka Connect
vous permet d'intégrer des services
externes déjà
utilisés. Vous avez déjà des données sur ces services et il
serait inutile créer un tout nouveau
cluster, puis remplir ce cluster avec toutes les informations
que vous possédez déjà. Au lieu de cela, il est plus facile de se connecter à ce que vous avez
actuellement. La deuxième chose est catholique et fournit essentiellement une intégration transparente avec vos services. Il suffit de le
configurer principalement dans l'interface graphique. Et vous n'avez pas
vraiment de problèmes
de configuration. Si vous décidez simplement comment
vous voulez ces données, quelle forme de données vous voulez. Et c'est
la plupart du temps. Dernier avantage majeur de l'utilisation de
Catholic Connect à la place,
cela vous ouvre de nombreuses opportunités dans le domaine
du streaming de données. Vous pouvez donc maintenant faire fonctionner
ce flux de données et
exécuter des requêtes dessus. Vous pouvez le transformer en
flux et les
transformer en données beaucoup plus significatives qu'auparavant. Oui, Kafka Connect a de nombreuses utilisations
et nous
allons l'explorer dans notre deuxième projet
dans ce cours.
11. Catalogue de livres du projet1 : Aperçu: D'accord, donc pour démarrer ce
projet, allons juste avoir un aperçu de ce que nous allons
faire aujourd'hui. La première chose que
nous allons
faire , c'est que nous allons créer un producteur en Python qui produira nos
messages sur notre sujet. La deuxième chose que nous allons
faire, c'est que nous allons aller l'avant dans notre groupe de
consonnes. Et nous allons créer
un sujet qui va recevoir nos messages
de la part du producteur. Une fois ces
deux éléments configurés, nous
publierons des messages sur notre sujet afin que nous puissions remplir agréablement lorsque
nous créons notre consommateur. Après cela, nous allons aller de
l'avant et mettre en place notre consommateur. Et ensuite, nous serons
prêts à commencer à consommer des messages de notre
sujet Kafka en confluent. Ce sera un
projet très simple, pas trop technique. Donc, sans plus tarder,
allons-y.
12. Catalogue de livres du projet1 : Créer un producteur: Il est maintenant temps de
voir comment configurer notre producteur en Python. Parce que maintenant que toute
notre configuration est
prête à être lancée, il est temps de créer notre producteur
qui va produire les messages
pour nous sur notre cluster Kafka. Pour cela, créons
un nouveau dossier ici. On peut appeler ça producteur
dot p-y. On y va. Nous avons donc maintenant un
fichier de producteur prêt à être utilisé. Nous allons juste ouvrir notre producteur. Bien, c'est vrai, ces guides de
bienvenue. Maintenant, pour ce producteur, il y a un peu de code que
j'ai déjà écrit pour vous. Je vais juste
coller ça ici et
vous expliquer ce que cela fait. Cette partie supérieure du code ici, tout ce qu'il fait est d'analyser la ligne de commande et d'
analyser la configuration. Cela signifie que c'est
juste essayer de déterminer à quel cluster je dois
envoyer mes messages. À faire. J'ai en fait une clé API
qui me permet de le faire. Est-ce que j'ai le bon
secret, ainsi de suite. Donc cette poignée, tout cela
dans cet analyseur de conflits. Après cela, au-delà de cela, nous avons un producteur
que nous créons. Un exemple de. Nous disons que nous avons un producteur
de café producteur. Après cela, nous n'
essayons pas d'envoyer de messages. Lorsque nous envoyons des messages, il est souvent
possible que le message ne soit pas envoyé
pour quelque raison que ce soit. Donc, dans le cas où cela se produit, nous avons une
méthode de rappel de livraison qui dit : OK, si vous rencontrez des problèmes, imprimez le message d'erreur et indiquez à l'utilisateur
quel était le problème. Sinon, si vous avez
pu l'envoyer, dites-leur le client
ou l'utilisateur que je produis votre événement, un sujet, quel que soit votre sujet avec
cette clé et cette valeur. Maintenant, si vous veniez
au fond ici, c'est notre charge utile, lignes 34 à 36, où notre sujet est celui des livres. Nous avons un tas d'identifiants d'utilisateurs
contre un tas de produits. Comment allons-nous
créer des messages ? C'est ici, des
lignes 38 à 44, où nous venons de prendre
une fourchette de dix. Pour dix messages,
nous
attribuons aléatoirement un ID utilisateur à un livre. Par exemple, il pourrait s'
agir de Jack et de Twilight, Michael
et du Seigneur des Anneaux, d'Hannah et d'Aragon. Et certains d'entre eux peuvent même
se produire deux ou trois fois. C'est complètement aléatoire, mais nous en tirerons dix
messages. C'est un producteur très
simple,
très facile, vraiment léger qui
va produire dix messages pour notre
cluster Kafka sur notre sujet. Il suffit de sauvegarder ce
fichier et de le fermer.
13. Catalogue de livres du projet1 : Créer un sujet: Bon, maintenant que
nos producteurs ont été configurés, il est temps d'aller créer
ce sujet sur lequel nous avons
dit que nous
allions produire nos messages
du producteur. Maintenant que nous avons configuré
notre producteur, il est temps d'aller de l'avant
et d'aborder notre sujet. Je vais donc ouvrir une nouvelle fenêtre ici
et passer à confluent et créer sujet
auquel nous
enverrons nos messages. Connectons-nous à notre
console et à notre Cloud. On y va. Allons donc dans notre grappe. Et à partir de là, nous pouvons
aborder les sujets du côté gauche. Et ici, nous
devrions voir nos sujets. Maintenant, comme vous pouvez le constater pour le
moment, nous n'avons pas de
sujet défini pour les livres, nous suffit
donc d'ajouter
ce sujet immédiatement. Nous pouvons simplement appeler ça des livres comme nous l'avons fait dans notre programme. Une fois que nous avons dit que la création, le
boum, elle est créée, il n'y a pas de décalage
pour cette création. Maintenant, cette configuration, tout ce que nous pouvons faire, ou ce que nous devons vraiment
faire maintenant, c'est aller de l'avant.
14. Catalogue de livres du projet1 : Produire des messages: Maintenant que notre sujet est prêt
et peut recevoir des messages, il est temps de produire des
messages sur notre sujet. Créer des messages sur
votre cluster Kafka à l'aide de la méthode que nous utilisons aujourd'hui est assez simple. On va juste passer plus de deux. Nous allons passer
dans notre répertoire de projets. De là, nous allons dans notre environnement virtuel en utilisant bin d'environnement
source activate. Maintenant, il y a une autre étape
supplémentaire à faire ici, car nous avons créé
nos fichiers sous Windows. Unix n'
aime pas vraiment ces fichiers. Vous devez effectuer une
petite conversion l'aide des commandes DOS vers Unix. Nous faisons donc le
producteur DOS Unix dot p-y vers Unix, config dot iodure. Une fois que nous avons fait cela, nous pouvons
modifier notre fichier producteur, u plus x, producteur dot PY. Et maintenant, nous pouvons diriger notre producteur. On y va. Il a produit des événements
sur des livres thématiques. Nous disons que Jack a pris Aragon, Jack a pris le livre Harry Potter, Animal Farm, Michael
à Animal Farm, ainsi de suite. Nous n'avons que dix
clés et dix valeurs, dix messages que nous avons envoyés à notre sujet au sein de
notre cluster Kafka.
15. Catalogue de livres du projet1 : Créer un consommateur: Maintenant que nous avons
produit des messages sur notre sujet et qu'il est renseigné, il est temps de configurer un consommateur pour qu'il consomme ces messages. La configuration d'un consommateur
est vraiment simple. Tout ce que nous avons à faire, c'est
passer dans notre projet Python, créer un nouveau fichier. Nous pouvons appeler ce fichier
consommateur dot p-y. Une fois que vous avez fait cela, rendez-vous à l'intérieur et collez simplement ce morceau de code que vous devriez trouver dans la description. C'est vraiment simple,
une consommation de base que nous
allons faire si des messages
de la grappe Kafka. La première chose que nous
allons faire, bien sûr, comme nous le faisions
avec le producteur, il suffit d'analyser la configuration
sur la ligne de commande. Après cela, nous ne faisons que créer
une instance de consommateur. Et lorsque nous créons cette
instance de consommateur, nous voulons qu'elle sélectionne les
messages en haut, dès le début
de tous les messages. Nous avons dit que la compensation, gros, c'est
ce que nous faisons ici. Nous définissons le
décalage de réinitialisation et nous le
prenons jusqu'au début. Ceci est donc décalé en commençant
jusqu'à l'arrière. Après cela, nous nous
abonnons au sujet. Nous avons nos livres thématiques, bien
sûr, comme nous le faisons
pour le producteur. Encore une fois, sur un panneau, réinitialiser les décalages. Alors que nous
souscrivons, nous reprenons tout le chemin. Maintenant, ce qui se passe ensuite
est en fait un
processus continu jusqu'à ce qu'il soit
interrompu là où nous essayons et vérifions
constamment. Si nous avons un message
qui nous attend. Si c'est le cas, nous obtenons cette impression de l'événement consommé à partir de sujets, ainsi de suite et ainsi de suite. Si ce n'est pas le cas, nous
recevons simplement ce message en
attente et si nous
rencontrons une erreur, nous recevons ce message d'erreur. Ce dernier point est juste
l'interruption du clavier où nous disons que si vous
voulez arrêter cela, vous pouvez contrôler C et cela se terminera. C'est à peu près aussi
basique que possible
un consommateur. Et nous avons configuré notre abonnement thématique
au sein de notre consommateur. Donc, tuer deux oiseaux
avec une pierre là-bas.
16. Catalogue de livres du projet1 : consommer des messages: Maintenant que notre consommateur
est configuré et prêt à notre sujet, les messages
sont remplis. Il est temps de
consommer des messages et voir à quoi
ressemble cette consommation en temps réel. De plus, produire et consommer des messages en temps réel est un processus assez simple. Encore une fois, car encore une fois, nous avons créé notre fichier Dot
PY grand public dans Windows. Nous devons convertir cela
pour un Unix pour le lire. Donc, nous disons simplement, écoutez, nous avons besoin que vous
changiez notre point
p-y de consommateur à l'automne de la lecture Unix. Maintenant que nous l'avons fait, vous pouvez simplement
modifier notre consommateur. Maintenant, nous pouvons exécuter notre point de
consommation p-y. Avec le conflit. On y va. Notre consommateur a reçu tous les messages
que nous envoyons de notre producteur plus tôt
et, comme nous les avons lus maintenant, une autre chose intéressante à ce
sujet est que nous
pouvons réellement le faire
en temps réel. Par exemple, disons que je dirige mon producteur de côté. Je dis donc que je dirige
mon producteur ici. Au moment où ces
messages ont été produits, le consommateur
les a reçus et
les consomment dans l'ordre exact
où ils ont été produits. Et si nous le
relançons, nous le reverrons. Mais ce n'est pas la chose la plus
intéressante. Le plus intéressant,
c'est que si vous ces messages
en temps réel, faisiez ces messages
en temps réel,
vous les verrez toujours et
vous pouvez toujours les lire. Allons maintenant à
notre console et coulons. Déplacez cette fenêtre sur le côté. Passons à nos
sujets et passons aux livres. Et comme nous pouvons le constater, nous avons une production en
cours ici. Il voit que nous avons de l'activité. Si nous allons produire
un nouveau message, nous pouvons appeler cela n'importe quoi. Nous pouvons lui donner une valeur à dire, un bon rapport qualité-prix pour l'avenir. Même si ce n'est pas
un livre, c'est un film. Je digresse. Nous pouvons laisser les acides
clés et dès
que vous produisez ce message, en plein essor, vous recevez
en temps
réel le message que nous avons un événement avec la valeur du futur et la clé 18. Et avec cela, vous
avez
créé avec succès une application qui
produit et consomme des événements ou messages à l'aide de confluent
et d'Apache Kafka.
17. Projet 2 PacMan : aperçu: Voici donc un bref aperçu de ce que nous allons voir dans notre application qui en
fait une application de streaming. La première chose que
nous allons avoir , c'
est que nous allons avoir deux sujets jeu
utilisateur et les pertes d'utilisateurs. Et ces deux sujets
constitueront la base sur laquelle nous allons
créer deux flux. Ces deux flux
vont alimenter leurs informations
dans deux tableaux. Le flux de pertes utilisateur
va alimenter ses informations dans la table
des pertes par utilisateur. Ceci est prêt à
enregistrer le nombre de fois où vous avez perdu toutes
vos vies dans le jeu. Ce sont les flux
de jeu qui vont alimenter ses informations dans la table des
statistiques par utilisateur, où il va enregistrer
votre score le plus élevé et combien de fois vous avez
joué au jeu et perdu cela. des informations sur le nombre de fois que vous avez perdu le jeu seront alimentées par votre table de pertes par utilisateur dans votre table de
statistiques par utilisateur. Enfin, cette table de statistiques par
utilisateur va être interrogée pour générer
le tableau de bord qui vous montre non
seulement votre score, mais aussi les scores de tous
ceux qui ont joué au jeu. Vous pouvez donc comparer
vos statistiques avec celles de
tous ceux qui
ont joué au jeu.
18. Projet 2 PacMan : Configurer et fonctionner: Puisque j'utilise le
sous-système Windows pour Linux, il me permet d'accéder
directement au répertoire de mon projet sur Windows et de voir
les fichiers tels qu'ils sont. Comme nous pouvons regarder notre application Pac-Man
en streaming, nous pouvons constater que nous avons un tas de fichiers et de
dossiers ici. La première chose que nous devons faire est aller dans notre fichier de conflit, que nous devrions avoir
un point de démonstration CFG. Si nous ouvrons cela, il devrait y avoir notre clé d'accès
AWS et
notre clé secrète AWS juste là. Il s'agit maintenant de
l' accès que vous définissez
à votre compte AWS. Où trouveriez-vous
votre clé d'accès AWS
dans votre clé secrète AWS ? Eh bien,
allons-y et voyons ça. Ce que nous allons faire,
c'est minimiser cela, passer sur notre AWS
et rechercher simplement IAM. Et puis dirigez-vous vers ici. Une fois que vous êtes ici,
vous pouvez consulter les utilisateurs de votre gestion des
accès. Vous pouvez donc simplement
passer par les utilisateurs. Et à partir de là, vous
pouvez ajouter un utilisateur. Lorsque vous ajoutez un utilisateur, vous pouvez lui attribuer le nom d'utilisateur, puis le définir comme
clé d'accès au lieu de mot de passe, ce qui
vous attribuera un ID de clé d'accès et une clé d'accès secrète. Donc, si j'ajoute un nouvel utilisateur, appelez-le courbe d'échelle. Va ensuite. Vous pouvez l'ajouter à un groupe
d'utilisateurs pour les administrateurs. Ou si vous n'avez pas cette configuration comme vous ne le feriez pas si vous
possédez un nouveau compte, vous pouvez simplement créer un groupe, attribuer un accès à un administrateur informatique et l'appeler le groupe d'utilisateurs d'
administrateurs. Sélectionnez-le, puis passez
simplement sur les deux balises suivantes et vous
pouvez simplement ajouter n'importe quelle clé ici. Je peux juste appeler cette clé de filtre. C'est tout ce dont j'ai besoin. Honnêtement. Je peux simplement
lui attribuer la même valeur. Il suffit d'aller ensuite. Et cela
créera cet utilisateur. Au moment où il le fera, il vous donnera cette page de succès et
vous permettra de télécharger
en tant que CSV les
informations d'identification de votre utilisateur. En plus de cela,
il affiche également votre identifiant de clé
d'accès et votre clé d'accès
secrète. Prenez-en note car vous en aurez besoin
pour ce projet. Je vous recommande de
télécharger le CSV. Ensuite, lorsque vous l'ouvrez, il vous donnera exactement
ce dont vous avez besoin. Votre clé d'accès est, Oups. Il devrait simplement vous donner votre clé
d'accès et votre clé
d'accès secrète ici, qui sont les deux
éléments dont vous avez besoin pour alimenter votre configuration. J'ai déjà
configuré un compte dans ma configuration, donc je ne vais pas alimenter
cette nouvelle clé d'accès
et cette clé d' accès secrète à l'intérieur. Je vais juste passer
à la prochaine étape. Je vais fermer ça, enregistrer comme un seul et passer à autre chose. Maintenant que c'est fait,
revenons simplement à notre dossier et revenons
à notre fichier. Notre point de démonstration CFG est bon, donc nous allons juste le
fermer et maintenant nous revenons à la
diffusion en streaming de Pac-Man. La prochaine chose que nous allons
devoir examiner est notre dossier de configuration de pile. Nous devons nous assurer
qu'il n'y a rien dans le dossier
de configuration de la pile, car cette configuration
sera celle que Terraform va utiliser
pour configurer l'application dans son intégralité. La première fois que vous
exécutez le script de démarrage, alors que je suis sur le point de l'exécuter, vous verrez
qu'il va
créer beaucoup de choses pour vous. Et puis la prochaine fois que
vous exécutez ce script formulaire
hiver va réellement provisionner et créer
toutes les ressources. Maintenant, ce que nous pouvons faire, c'est que nous pouvons
aller à notre terminal. Et à partir de là, nous
pouvons simplement céder dans notre projet Pac-Man en streaming et simplement exécuter notre script de démarrage. Donc, si vous ne l'avez pas
déjà fait en premier, vous devrez
CH mod u plus x. Votre point de départ SH
boucle u plus x. Et ensuite vous pouvez faire de même
pour votre point arrêté SH. Vous pouvez faire de même pour
Create case equal db app.js. Il s'agit des trois
fichiers shell dont vous avez besoin pour vous donner les
autorisations d'exécution. Maintenant que vous avez fait cela,
il
suffit d'exécuter la
commande start, Start shell. Nous venons donc de lancer Start Dot SH. Et on y va. Il va juste courir pour vous. Et ça va
vous donner cette idée. Et ça va dire
que Écoutez, écoutez, cela va
créer des ressources qui vont
coûter quelque chose. Alors, êtes-vous sûr de
vouloir continuer ? Et parce que nous le devons,
nous allons juste dire oui, nous ne voulons pas continuer.
Pendant que le script est en cours d'exécution. Je vais juste revenir ici
et revenir sur notre page S3 parce qu'une fois que nous aurons fini d'
exécuter notre script, nous verrons
un compartiment S3 créé ici. Également. Je vais juste aller page des environnements sur notre console et elle est déjà configurée. En fait, c'est plutôt soigné. Il a déjà mis en place un environnement
constant pour vous. Nous pouvons le voir ici, créant un conflit CloudStack
pour l'environnement et en
définissant le cluster Kafka et le cluster
actif pour l'environnement E et nous ECD dans 23. Nous pouvons vraiment vérifier cela. Ce que nous pouvons faire, c'est que nous pouvons
ouvrir un nouveau terminal. Permettez-moi d'aller voir la liste des
environnements cloud. Pourtant, vous pouvez voir que l'ENV ZD et 23 est notre environnement
public et Pac-Man en streaming que nous
venons de créer pour
cette application. Je vais donc laisser ça
courir et je reviendrai. Quand ça commence. Shell a
fini de fonctionner. Cela prend jusqu'à
cinq à dix minutes. Bon, donc le script de démarrage
a fini d'être exécuté. Et ce que ça a fait, c'est que c'est, laissez-moi
juste vous emmener jusqu'
au sommet ici, d'
où nous avons commencé. Oui. Maintenant, c'est ce qu'il
a fait quand il a créé un utilisateur et qu'
il lui a donné toutes les
autorisations nécessaires pour
faire exactement ce qu'il doit
faire, pour créer toutes les
ressources qu'il a besoin créer pour faire
fonctionner l'application. Maintenant, toutes les choses
qui devaient le faire
correctement ont fait jusqu'à ce qu'il arrive à la partie
KSQL où elle s'est écrasée. Je l'ai créé pour qu'il soit
censé s'écraser ici. Voyons maintenant dans la section
suivante ce que nous sommes censés faire pour que
cela fonctionne correctement.
19. Projet 2 PacMan : configurer les requis avant: Avant de commencer ce projet, j'aimerais lancer un grand
cri à Ricardo Ferrara pour l'application originale de
streaming de jeux Pac-Man. C'est son application que nous
allons actuellement exécuter et utiliser aujourd'hui que je l'
ai peaufinée et modifiée un peu afin
que nous ayons à effectuer certaines tâches sur notre Confluence Cloud dans pour que
tout fonctionne. Maintenant que nous avons
mis cela de côté, il est temps de voir
ce dont nous avons réellement besoin pour lancer le
projet aujourd'hui. La première chose dont nous
aurons besoin, c'est d'avoir un compte Cloud confluent. Si vous n'avez pas de compte Cloud
confluent, je
vous recommande d'en obtenir un,
un compte d'essai qui
devrait vous donner environ 400$, qui est plus que suffisant pour que tout ce projet fonctionne. La deuxième chose dont vous
aurez besoin est d'un compte Amazon AWS. Encore une fois, vous pouvez
créer un compte d'essai
qui, pour la courte durée qu'il vous donne, est
plus que suffisant. Et c'est beaucoup pour le projet que nous
allons réaliser aujourd'hui. Une fois le projet terminé
, vous devriez voir un compartiment
S3 créé pour vous. Ensuite, nous allons créer un autre compartiment S3
pour notre synchronisation des données. La dernière chose dont vous aurez
besoin, c'est Terraform. Terraform est ce qui va créer l'
application pour nous. N va fournir les
ressources dont nous avons besoin dans notre AWS S3 pour configurer
notre formulaire sur votre Linux, il
vous suffit d'exécuter
ces trois commandes. Si ce n'est pas déjà fait, je vous
recommande d' installer Terraform sur
votre système local. En plus de cela, nous avons juste
besoin de deux autres choses. Nous devons vérifier
si nous avons Java, donc nous exécutons la commande Java
Dash version. Nous avons besoin de Java 11 ou
supérieur pour ce projet. Veillez donc à ce que votre version
JDK soit 11 ou supérieure. La deuxième chose
dont nous avons besoin est le continent, nous pouvons
donc vérifier
notre version Maven. Et oui, nous avions
Apache Maven 3.6.3. Si vous avez suivi ce
tutoriel jusqu'à présent, vous devriez avoir confluent
et voir Cloud installé. Vous venez de lancer See Cloud. On y va. Si on regarde
confluent, on y va. Donc, si vous ne vous êtes pas déjà
connecté à votre Cloud C, je vous
recommande de le faire maintenant, vous verrez une
connexion cloud, un tiret, un tiret sûr. Et ce que cela fait, c'est qu'il enregistre vos informations d'identification et
le fichier RC net. Une fois que vous voyez Cloud Login, il vous invite à saisir vos informations d'identification ou si vous
avez déjà enregistré vos informations d'identification dans le fichier RC net, il vous suffit de vous connecter. Maintenant que notre
environnement est complètement configuré, commençons à
réaliser notre projet.
20. Projet 2 PacMan : configurer KSQLDB: Ok, donc maintenant que
nous avons lancé notre script, il n'a pas fait tout ce
qu'il était censé faire. Cela nous a laissé une partie
du travail et
nous allons simplement aller de l'avant
et faire ces petits bouts de travail que nous étions
censés faire et
passer à autre chose et faire fonctionner la
chose. Donc, ce que nous devons faire maintenant, nous pouvons le faire à partir de l'interface graphique Cloud de
conflit. Nous entrons donc dans le nouvel
environnement qu'il a créé pour nous. Nous allons dans la grappe. Et depuis le cluster,
nous devrions voir une application DB
égale déjà
configurée et créée pour nous. Si nous entrons dans ce
cas est égal à une application DB, montrez-nous que nous
n'avons pas de flux en cours pour le
moment, juste un flux standard. n'y a pas de flux réel, juste ce flux par défaut
qui vous est donné avec chaque cas une
application DB égale et aucune table. De plus, si
nous abordons les sujets, nous verrons que
nous n'avons pas de sujets, il suffit que celui-ci traite
les journaux que nous obtenons. Je vais juste
ajouter un sujet ici. Je vais appeler ça un jeu de soulignement
utilisateur. Je vais juste le créer avec
la valeur par défaut. Maintenant, je reviens aux sujets
et je crée un autre sujet appelé les pertes de soulignement des utilisateurs. Maintenant que je l'ai fait, j'ai maintenant deux sujets. Les deux sujets que j'ai
dit que j'allais aborder au début dans l'
aperçu de ce projet. Maintenant que nous avons
ces deux sujets, il est temps de créer des flux et des tableaux pour corréler
ces sujets. Je vais donc revenir
au cas où il est égal à dB. Dans ce petit éditeur ici. Je vais exécuter des commandes SQL de
cas. Quelles
sont ces commandes disponibles ici dans les
instructions que je vais fichier SQL. Vous pouvez l'
ouvrir et vous aurez ici
ces cinq lignes
qui créent deux flux, jeu
utilisateur, des pertes d'utilisateurs
et trois tables. Pertes par utilisateur, statistiques par
utilisateur et statistiques récapitulatives. Nous pouvons donc simplement copier tout cela, revenir dans un cas égal à db et coller
ici et exécuter la requête. On y va. Il
exécute la requête et a créé les flux
et les tables pour nous. Donc, si nous revenons
dans notre onglet de flux, nous devrions voir
que nous avons ce flux de
pertes utilisateur qui crée
une perte de table par utilisateur, puis le flux de jeu utilisateur, qui crée les statistiques de
table par utilisateur et alimente également un tableau
de statistiques récapitulatives. Les statistiques récapitulatives ne sont que
le tableau
supplémentaire qui nous montre un aperçu général
de ce qui se
passe dans le jeu à la fois. Et si nous allons à
nouveau dans les flux, nous verrons les deux flux et
nous irons aux tables. Nous verrons ces trois tables. Maintenant que nous l'avons fait, il est temps d'autoriser notre compte de service à
manipuler réellement les sujets, comme il le faut. Pour cela, nous allons
retourner dans notre terminal Ubuntu. Et nous allons d'
abord
entrer dans notre environnement pour voir la liste des
environnements cloud. Whoops, voir la liste des
environnements cloud. Ensuite, nous verrons l'environnement
cloud
utiliser E et Z, D N23. Ensuite, nous allons juste
lancer voir la liste des
clusters de cathodes cloud et voir cluster
Kafka utiliser
L Casey dash six, j m r cubed, six cubes GMR. Maintenant que nous sommes ici, nous devons exécuter une commande
qui est C Cloud, Kafka, ACL create
dash, dash. Autoriser. Ensuite, nous avons besoin d'un compte de service. Eh bien, nous devons le faire avant
cela, c'est que nous devons exécuter liste des comptes de service
cloud, que nous avons cinq ans
double 495 sur Eigenanalysis voir cloud Kafka,
ACO, créer un tiret, tiret, un tiret, tiret compte de service 50,
double 4952, opération. Lecture, ainsi que l'opération droite et
tiret, tiret. Décrivez le tableau de bord, le thème de tiret, le jeu de soulignement
utilisateur. Et c'est exactement ce qu'il a fait pour nous. Maintenant, si nous l'exécutons pour un
utilisateur souligne les pertes, c'est fait pour nous. Maintenant que nous avons fait
tout ce que nous avions à faire du côté de la base de données égale, nous pouvons simplement
réexécuter l'application et démarrer le jeu.
21. Projet 2 PacMan : Gérer des données de projet et de puits: Commençons maintenant le jeu
en lançant à nouveau le script de
démarrage, afin que nous puissions faire une étoile oblique. Il va juste
commencer à utiliser Terraform pour créer l'ensemble du projet. Une fois que Terraform a été initialisé
avec succès, il
va créer le projet. Encore une fois, il s'agit d'un processus
qui prend du temps. Je vais donc mettre la
vidéo en pause ici et revenir. Quand c'est fini. On y va. Le script de démarrage a donc fini de s'exécuter et
il finit par
vous donner cette sortie avec une URL
indiquant que votre jeu Pac-Man
se trouve à cette URL ici. Nous avons ouvert cela dans
un nouvel onglet juste ici. Avant cela, nous n'avions
pas vu de godets sur notre
S3 avant cela. Et comme je l'ai dit, nous en
verrions un au
moment où c'était fini. Donc, si on rafraîchit
ça, on y va. Nous avons ici un compartiment appelé streaming,
Pac-Man et GPB. Et cela a été créé pour
nous par l'application. Et cela contient essentiellement le site web de Pac-Man
en streaming. Vous pouvez donc voir tous les fichiers du
site Web ici. Je vais juste retourner sur Amazon S3 et aller au jeu. Je vais donc juste mettre le nom pour que nous puissions
appeler cette courbe de compétence de nom. Et on peut jouer.
Quand nous le faisons. Cela va
nous emmener dans le mollet, dans le jeu Pac-Man que nous utilisons pour
notre diffusion d'événements, je vais
le générer, mais si un score, et ensuite je
vais mourir pour que nous peut voir tous les
événements possibles et nous pouvons voir exactement à quoi cela
ressemble sur notre tableau de bord des événements. On y va. C'est notre tableau de bord. Et comme vous pouvez le constater ce score est
en fait assez important. Et vous venez de me voir
lancer l'application. Eh bien, c'est parce que j'ai mis la vidéo en
pause et que j'ai
joué un peu au jeu pour générer un peu plus de
score et avoir forme ou un
flux de messages pour
que nous puissions aller de l'avant et
Découvrez comment nous pourrions stocker cela à l'aide de Kafka
Connect dans notre S3. Donc, si nous arrivons à notre S3 maintenant, vous pouvez bien sûr voir que
nous avons notre seau ici. Mais si nous revenons sur
notre cluster Kafka, ici, vous
verrez l'intégration des données et vous verrez
ici une section appelée connecteurs. Ce que vous pouvez faire ici,
c'est que vous pouvez configurer un connecteur vers n'importe quelle
synchronisation de données ou n'importe quel endroit où vous souhaitez obtenir
des informations si vous souhaitez
introduire des données dans votre cluster catholique. Mais dans notre cas,
nous allons l'envoyer dans un évier. Nous allons donc utiliser celui-ci ici appelé Amazon S3 sync. Quand nous le ferons,
il va dire, d'accord, que voulez-vous
réellement stocker ? Eh bien, je vais juste
donner tous mes sujets. Donc le premier,
celui qu'il nous
a donné par défaut, nous ne voulons pas celui-là. En dehors de cela, nous les
voulons tous. Nous allons donc
continuer ici. Et maintenant, ça va aller, alors comment voulez-vous accéder à
votre connecteur de synchronisation S3 ? Ils souhaitent peut-être utiliser une clé API existante dont
vous disposez pour ce cluster, ou souhaitez-vous peut-être
choisir un autre accès ? Mais dans notre cas, ce que nous allons faire, c'est que
nous allons simplement
créer nos informations d'identification API ici. Lorsque vous faites cela, il
va télécharger le fichier pour vous comme ça. Et il va le mettre en place. Donc, ce sera par défaut vous n'avez rien à faire et vous pouvez simplement
appeler cela n'importe quoi. Vous pouvez simplement appeler ce lavabo de tableau de bord
Pac-Man Nash S3. Ensuite, nous pourrons continuer.
Maintenant, c'est là qu'il est
important que vous ayez besoin de votre clé d'accès Amazon, de votre
ID, de votre clé d'accès secrète Amazon et de vos noms de compartiment Amazon S3. Ce que je vais faire, c'est que je
vais aller sur mon S3. Faites maintenant attention à la région. On dit que US West fabrique mon autre seau S3
dans une autre région. Cela va probablement me
donner une erreur. Il est recommandé de
conserver tous les éléments d'un projet
dans la même région. Ce que je vais faire maintenant, c'est
que je vais créer un seau. Je vais appeler ce
seau mon évier de tableau de bord Pac-Man. Ce sera dans l'Ouest américain deux. Je n'ai rien à changer d'autre
chose ici. Je peux simplement créer le seau. Après avoir créé le seau. On y va. Vous avez donc mon évier Pac-Man. Tout est là. Tout est prêt à partir. Je vais juste copier
ce nom sur mon évier
Pac-Man et
l'apporter ici. Votre ID de clé d'accès Amazon et la clé
d'accès secrète de
votre Amazon sont les mêmes que ceux que vous utilisez pour la
configuration de ce fichier. Donc, si vous entrez dans votre
configuration et que vous pouvez choisir votre
clé d'accès Amazon et votre secret ce fichier, même pour que je puisse
simplement le copier coller ici, copier mon secret
et le coller là. Et ensuite, je peux continuer. Maintenant, il va vous demander comment voulez-vous que vos
données soient commentées ? Voulez-vous qu'il
vienne peut-être en tant qu'Avro, aussi proto buff que JSON. Je vais donc créer
un JSON parce que c'est le moyen le plus simple et il est
également très bien défini. Il est donc très facile de voir ce qu'il y a
à l'intérieur votre fichier et du format de
message de sortie, également JSON. Maintenant, lorsque vous aurez fait ces deux choses, vous
allez vous demander, accord, à quelle heure
voulez-vous que votre S3 soit peuplé régulièrement ? Voulez-vous que cela soit
fait à l'heure ou voulez-vous qu'il soit fait tous les jours ? Pour cet exemple, je
vais le faire à
l' heure parce que nous ne
le ferons pas trop longtemps. Nous allons juste le
configurer pendant quelques minutes. Nous allons voir comment
les données entrent à l'intérieur, et ce
sera la fin. Vous n'avez pas besoin d'utiliser des configurations
avancées. Donc, si vous le souhaitez, vous
pouvez modifier de nombreuses propriétés, dont
les descriptions
sont ici. Si vous survolez le petit I, il vous dira
exactement ce que c'est. Je ne m'en mêlerais pas trop à moins avoir des
exigences de configuration spécifiques pour mon projet. Mais pour l'instant, comme nous ne le faisons pas, nous allons simplement l'
ignorer et passer à autre chose. Maintenant, lorsque vous en êtes à ce stade, il allait vous demander,
en termes de dimensionnement, combien de tâches
voulez-vous faire par heure ? Et plus vous
définissez de tâches à effectuer par heure, je vous demande de mettre à niveau s'il s'agit de
plusieurs tâches et même pour chaque tâche vous facturera 0,034 par heure dans mon cas. Donc, ce que nous allons faire, c'est que nous allons juste exposer
celui-ci et nous
allons continuer. Maintenant. Enfin, il va simplement vous
donner toutes ces informations. Il va dire : Écoutez,
c'est ce que vous nous avez demandé. Êtes-vous sûr de pouvoir définir le nom de
votre connecteur, sans le changer ici. Je ne vois pas ce qu'il y a d'intérêt. Et nous allons simplement
lancer et garder à l'esprit que le prix de votre connecteur
pour chacune de vos tâches, vous facturez autant par heure, mais aussi pour votre utilisation ou facturez autant par heure, ce qui s'additionne lorsque
vous le lancez, vous pouvez voir exactement
combien vous
serez facturé pour le
garder à l'esprit,
même s'il s'agit
d'un compte d'essai, cela n'a pas d'importance pour le moment. Mais si vous
utilisez réellement Confluent et que vous l'utilisez
sur votre propre argent. Cela peut s'accumuler
assez rapidement. Maintenant, notre connecteur est
en cours de provisionnement et, bien sûr, le
processus prend du temps. Ce que je vais faire, c'est
que je vais retourner sur ce cluster et
aller au connecteur. Et je mettrai la vidéo en pause
ici et je la ramènerai. Lorsque tout cela est fait. On y va. Maintenant,
notre connecteur est en place. Il est en cours d'exécution. Voici un petit
message indiquant que votre connecteur de synchronisation S3
0 est en cours d'exécution. Ce statut est en cours d'exécution. Et si on va ici,
oui, ça dit courir. Si vous rencontrez des problèmes lors de la configuration de ce connecteur, vous verrez cette erreur sur cette zone où il
indiquerait que Look, nous avons rencontré ce
problème. Donc, vous savez, découvrez-le. Maintenant, nous allons voir que nous
avons cette configuration de connecteur, mais qu'est-ce qu'il a réellement
envoyé à l'art sous forme de trois éviers. Donc, si nous passons à notre synchronisation S3, le
moment, il n'y a rien. Dans quelques minutes, je
vais envoyer quelque chose. Cette tâche a été exécutée. Et jusqu'à présent, il n'
a rien dit. Donc, si je joue un peu plus
au jeu, joue un peu au jeu,
met la vidéo en pause, revenez et nous verrons alors ce qu'elle est réellement envoyée
à notre cluster S3. Je veux dire, synchronisation des données S3. J'ai donc joué un
peu le jeu sur un autre compte. Si on passe au
tableau de bord, je vais le dire. Oui, il y a un deuxième compte, un score de 1000
sur l'ancien. Mais si nous revenons maintenant
à notre compartiment S3, qui est ici, nous verrons maintenant qu'il y a ce sujet de
dossiers à l'intérieur. Et si nous entrons à l'intérieur, il y a des dossiers pour chaque chose pour laquelle il a
reçu des informations. Si nous entrons dans le jeu utilisateur. Et il y a l'année, le mois, le
jour et l'heure. Et à cette heure, il a
reçu ces JSON. Voyons voir, ouvrons
un de ces JSON et voyons ce qu'il contient
réellement à l'intérieur. Si nous venons d'ouvrir ça. Dans mon cas, il va
probablement être
téléchargé et
nous pourrons l'ouvrir. Nous pouvons voir qu'il a partagé toutes ces informations
avec nous dans ce JSON, qu'il y avait cet utilisateur qui
jouait au jeu et qu'il a généré autant de score. C'est ainsi que nous pouvons utiliser
une synchronisation de données pour stocker toutes les informations consommées par notre cluster Kafka. Mais tout est sauvé. Et si nous avons besoin de
l'interroger ou de le vérifier
ultérieurement, tout est disponible
ici dans notre synchronisation des données. Maintenant que nous avons fait cela, nous savons comment synchroniser les travaux
et nous l'avons vu fonctionner. Cela prend en fait
beaucoup de ressources pour fonctionner. Ce que je vais faire, c'est maintenant que je
vais vous montrer comment vous pouvez détruire toutes ces ressources
que vous avez créées. La première chose que vous voulez
faire, c'est que vous voulez
entrer dans votre connecteur
et simplement dire :
Écoutez, je ne veux plus que ce
connecteur fonctionne. Donc supprimé. Vous copiez ce nom dans
le nom du connecteur. Et voilà. Confirmez. Votre connecteur de synchronisation S3
est supprimé, disparu. Vous n'avez plus ce connecteur à votre
disposition. Ensuite, si vous revenez sur
votre Ubuntu ici, il
vous suffit d'exécuter le script. Donc, tu dirais la
barre oblique, arrête, point SH. Et cela vous dit
maintenant qu'il va
détruire toutes les ressources
qui vous ont fait dire ? Oui. D'accord, allez-y et faites-le. Et maintenant, il va
détruire toutes les
ressources qu'il a créées. Il s'agit d'un processus qui
prend également du temps à s'exécuter. Je vais donc juste
mettre la vidéo en pause ici et revenir
quand tout sera terminé. On y va. Il a maintenant exécuté avec succès
le script stop et a détruit toutes les ressources allouées à la
réalisation de ce projet. Si vous passez à notre S3, maintenant
si nous allons sur nos éviers S3, nous constaterons
que le compartiment S3 que nous avons
créé pour notre projet a disparu et nous pouvons supprimer ce compartiment en le
vidant simplement. Donc, nous pouvons simplement dire regarder supprimer
définitivement. Vous pouvez donc remplir ceci,
rempli par suppression définitive. Une fois cela fait, vous pouvez quitter
ce compartiment et
supprimer ce compartiment. Pour cela, il vous suffit de
copier le collage, copier le nom et de le
coller ici. Oui, c'est fait. Et si vous accédez à
votre cloud de console, vous allez dans les environnements. Vous constaterez que l'
environnement a complètement disparu. Avec cela, vous avez exécuté
avec succès le projet deux, vous l'avez terminé
et bien fait.