Apache Kafka & Confluent Cloud Crashkurs für Anfänger

1. Einführung in den Kurs: Hallo, willkommen zur Einführung in den Console-Cloud-Kurs. Mein Name ist Shannon und ich freue mich auf unsere gemeinsame Zeit in diesem Kurs. Für die Dauer dieses Kurses konzentrieren Sie sich auf Folgendes. Zunächst werden wir Ihnen gefragte Ereignisse beibringen, Fähigkeiten zusammenfließend durch praktische Laborübungen streamen . Wir werden Ihnen auch die Verwendung der Console-Cloud-Umgebung beibringen , die extrem einfach zu bedienen und sehr funktional ist. Die Schlüsselkonzepte in diesem Kurs werden mit entsprechenden Grafiken erklärt , damit der Zement einfach ist und Sie sie schnell verstehen. werden wir auch ein Capstone-Projekt haben Am Ende des Kurses werden wir auch ein Capstone-Projekt haben. Während dieses Kurses finden Sie regelmäßige Tests , um Ihr Wissen über das Gelernte einige Grundlagen zu festigen. Treffen Sie unser Team von Kursleitern, die diesen Kurs erstellt und entworfen haben . Gemeinsam verfügen wir über etwas mehr als zehn Jahre Erfahrung in der praktischen Umsetzung von Technologie in der Lehrveranstaltung von technischen Kursen auf Hochschulebene. Unsere Teammitglieder haben Spezialisierungen auf die Bereiche Informationstechnologie, Software-Engineering sowie Data Science und Design. Roadmap lernen, die wir für diesen Kurs verfolgen werden. Wir beginnen mit Apache Kafka und bringen Ihnen alles bei, was Sie darüber wissen müssen , um mit Konturen zu arbeiten. Der nächste Schritt besteht darin, Ihnen tatsächlich zusammenfließend zu zeigen und Ihnen zu zeigen, worum es geht , und es für Sie einzurichten. Danach werden wir einen Blick darauf werfen, dass der Fall gleich db ist, wie wir das verwenden und was seine Anwendungen sind. Von dort aus werden wir Streams untersuchen, was sie sind, die beteiligten Bibliotheken und wie Sie mit ihnen arbeiten können. Schließlich werden wir uns Catholic Connect ansehen , wie wir damit arbeiten können und wie wir unsere Projekte extern verknüpfen können. Nachdem wir mit all diesen Konzepten fertig sind, werden wir zwei Projekte erstellen. Kafka ist ein Daten-Streaming-Dienst, der es dem Hersteller ermöglicht , Nachrichten zu einem Thema zu schreiben , das mit dem Verbraucher konsumiert wurde. Obwohl dieses Konzept in der Praxis extrem einfach ist, kann es auf dem Weg etwas verwirrend werden und verloren gehen. Deshalb haben wir an diesem Wochenende versucht, die Konzepte zu erklären. Mit visuellen Erklärungen Unter confluent ist ein Cloud-basierter Ereignisstreaming-Dienst. Es stellt die Umgebung in Form von Clustern zur Verhinderung Streaming zur Verfügung und bietet eine sehr schöne Visualisierung der Operationen. Das heißt, Sie werden diesen Bildschirm für die Dauer dieses Kurses oft sehen . Jenseits der Theorie und Erklärung drei Teile dieses Kurses für zu Hause. Ähnlich wie wir viel in der Biopsie arbeiten, werden wir sehen, wie wir in unserer Konsolencloud und Kafka mit der CLI laufen können . Und wir werden ein Projekt einrichten, bei dem wir etwas Erstaunliches machen werden und zu sehen, wie es all diese Informationen in unser Ereignisstreaming bringt , ist ein großer Zielsatz. Und Fortune-500-Unternehmen sind heute nur einige der Unternehmen, sind heute nur einige der die Experten für Ereignisstreaming benötigen um ihren täglichen Betrieb und ihre kritischen Softwareentwicklungsanforderungen zu erfüllen. Wir freuen uns darauf, dass Sie an unserem Kurs teilnehmen. Und wir haben versprochen, dass dieser Kurs Ihnen dabei helfen wird, Ihre Grundlage für das Streaming von Ereignissen und die Konsolen des Wissens aufzubauen Ihre Grundlage für das Streaming von Ereignissen . Dies wird Ihnen helfen, Ihren Lebenslauf hervorzuheben und ein wettbewerbsfähiges Gehalt auf dem Markt zu verlangen. 2. Was ist Streaming Analytics?: Hallo, und willkommen zu diesem Kurs, in dem ich Ihnen beibringen werde , wie Sie Confluent und Ihre Events Streaming-Anwendungen verwenden können. diesem ersten Abschnitt werden wir Apache Kafka und alles, was Sie darüber wissen müssen, diskutieren Apache Kafka und alles, was Sie darüber wissen müssen , um Confluent als Service zu verstehen und zu nutzen. Zunächst müssen wir verstehen, was die Buzzword Streaming-Analyse überhaupt bedeutet und warum sie heutzutage so beliebt ist. Was ist Streaming-Analytik? In Laien ausgedrückt? Es ist die ständige Verarbeitung von Daten in Echtzeit generiert und empfangen werden. Diese Daten werden an den meisten Orten gefunden. Die gebräuchlichste Form von Daten, die verwendet wird, um in Streaming-Analysen analysiert zu werden, sind beispielsweise von Daten, die verwendet wird, um in Streaming-Analysen analysiert zu werden in Streaming-Analysen analysiert Social-Media-Informationen. In dem Moment, in dem Sie etwas in sozialen Medien ausführen, wird diese Veranstaltung in Echtzeit gestreamt , um verarbeitet zu werden, um Ihnen Inhalte anzuzeigen, die für Ihre Likes relevanter sind, im Ihnen Inhalte anzuzeigen, die für Ihre Likes relevanter Gegensatz zu Dingen, die Sie nicht tun würden gerne sehen. In der Vergangenheit. Und tatsächlich wurden heute noch viele Stellen Daten in Stapeln und nicht als kontinuierlicher Stream gesendet . Daten wurden bis zu einem Zeitintervall gesammelt. Und als der interne Mittelpunkt eintraf, wurden die Daten als ein großer Teil gesendet, der verarbeitet werden sollte. Obwohl dieser Prozess viel billiger ist als Echtzeit-Datenstreaming. Es gibt keine Echtzeit-Einblicke und kann nicht für sofortige Aktionen und die Erstellung von Echtzeitgraphen verwendet werden . Streaming-Analysen wurden erstellt, um dieses Problem innerhalb der Stapelverarbeitung zu lösen, dass Echtzeitentscheidungen getroffen und Maßnahmen ergriffen werden konnten. Schauen wir uns nun an, wie Streaming-Analytics funktioniert. Der erste Teil des Ereignisstreamings ist die Veranstaltung , die produziert wird. Dieses Ereignis könnte entweder von einem Gerät oder einer Anwendung oder einem anderen Hersteller produziert werden , es ist im Wesentlichen nur eine Botschaft. Diese Nachricht wird an einen Hub gesendet. Dieses Q ist die Botschaft hinter anderen Nachrichten und macht sie innerhalb des Streaming-Analysedienstes einnehmbar . In der Phase der Streaming-Analyse-Phase wird entschieden, was mit dieser Nachricht zu tun ist. Ob Sie es in einem Diagramm in einem Dashboard präsentieren oder einen Befehl senden, um eine bestimmte Aktion oder ein bestimmtes Ereignis auszuführen , nur um diese Nachricht einfach zu speichern. Das ist alles im Stream-Analytics-Teil entschieden. Schließlich wird die Nachricht vom Stream Analytics-Dienst weitergeleitet, um vom Endverbraucher verbraucht zu werden. Das sind Prozess mag ein bisschen technisch erscheinen. Und vielleicht fragen Sie sich an dieser Stelle, warum überhaupt einen solchen Prozess durchlaufen. Die Verwendung von Streaming-Analysen hat eine ganze Reihe von Vorteilen . Verwenden der Datenvisualisierung. Selbst jemand, der die Zahlen nicht richtig lesen kann, kann einen Sinn dafür machen, wie sich die Dinge entwickeln. Darüber hinaus verschafft es Ihnen einen Wettbewerbsvorteil, da Sie Einblicke in Echtzeit erhalten und schneller Schritte machen können , als Ihre Konkurrenz vielleicht sogar realisiert. Es gibt Ihnen auch einen viel tieferen und klareren Einblick in den Betrieb, da Sie wissen, welche Operationen in Echtzeit ausgeführt werden. Die Fähigkeit, Informationen zu erhalten sobald sie produziert werden, kann verlorene Chancen in der Geschäftswelt und mehr sowohl schaffen als auch identifizieren schaffen als auch identifizieren. Schließlich kann die Identifizierung von Trends mit Streaming-Analysen dazu beitragen, Verluste zu mindern , indem das Unternehmen zur richtigen Zeit auf die richtigen Dinge aufmerksam gemacht wird. Viele Unternehmen auf dem Markt nutzen heute Streaming-Analysen und nehmen sie jeden Tag noch mehr an. Die meisten Unternehmen ermitteln, dass sie kontinuierliche Echtzeitdaten benötigen und wie viel sie dazu dienen , davon zu profitieren. Es mag an der Oberfläche nicht ersichtlich sein, aber in vielen Branchen gibt es aber in vielen Branchen gibt natürliche Kandidaten für Daten-Streaming. Betrachten Sie zum Beispiel die folgenden Branchen. Finanzen, es ist wichtig zu wissen, ob ein Betrug in Echtzeit begangen wird. Andernfalls könnte es zu einem enormen Verlust für das Unternehmen führen. Darüber hinaus ist die Marktanalyse in Echtzeit ein zentrales Element bei Geschäftsentscheidungen im E-Commerce. Schauen wir uns den Vater des gesamten E-Commerce an, sagt Amazon. Amazon befasst sich mit einer absolut riesigen Datenmenge. Und es nutzt diese Daten, um die Angebote und Werte ihrer Produkte kontinuierlich anzupassen , um ihre Zellen zu optimieren. Darüber hinaus hilft es bei Produktempfehlungen für Kunden sowie bei der Optimierung der Logistik des gesamten Betriebs. Amazon hat dafür tatsächlich ein eigenes Produkt, es heißt Amazon Kinesis. Im Sport. Werfen wir einen Blick auf die Formel 1. Jedes Formel-1-Auto produziert Gigabyte Daten durch die schiere Anzahl der installierten Instrumente. Allein während des Rennens sammeln Teams eine enorme Menge an Daten, die sie benötigen, um Entscheidungen in Echtzeit zu treffen , die das Rennen für sie treffen oder unterbrechen können. Die gleiche Logik gilt auch für Online-Spiele, bei denen technische Details und Spielerdaten verwendet werden, um die Leistung des Spiels zu optimieren und das Gesamterlebnis zu optimieren. 3. Was ist Apache Kafka?: Wenn Sie den Begriff Streaming-Analytik sagen, werden Sie feststellen, dass er hauptsächlich mit Apache Kafka verbunden ist . liegt daran, dass Apache Kafka der gängigste Datenstreaming-Dienst ist , den die meisten Unternehmen für ihre Datenstreaming-Anforderungen verwenden. Lasst uns herausfinden, was Apache Kafka ist. In einem Lehrbuch. Apache Kafka ist ein Daten-Streaming-Dienst. Es ist Open Source und wird von Tausenden von Unternehmen für Streaming-Analysen verwendet. In einer einfacheren Definition bietet es den Service, den wir bereits besprochen haben , als wir uns dieses Flussdiagramm der Funktionsweise von Streaming-Analysen angeschaut haben . Was Apache Kafka macht, ist, dass es Ereignisse oder Nachrichten von einem Produzenten annimmt. Jetzt könnte dieser Produzent ein IoT-Gerät oder ein Smartphone sein, und es schiebt es an Apache Kafka. Apache Kafka verwaltet es dann so , dass es vielen Verbrauchern gegeben werden kann keine individuellen Datenströme von jedem Hersteller zu einem Verbraucher benötigt . Und im Wesentlichen macht es so , dass jeder Hersteller und Verbraucher nur einen einzigen Datenstrom hat , der von externen Faktoren nicht beeinflusst wird. Schauen wir uns ein Beispiel für ein besseres Verständnis an. Nun, wenn man sagt, dass man Produzenten und drei Verbraucher ohne Apache Kafka braucht, benötigt jeder Hersteller einen Strom an einen Verbraucher mit zwei Herstellern und drei Verbrauchern. Das gibt uns insgesamt sechs Streams, die wir verwalten müssen. Diese Ströme sind gekoppelt, was bedeutet, dass sie aufgrund externer Faktoren ersticken können . Langsame Verbraucher können den Hersteller beeinträchtigen. Das Hinzufügen von Verbrauchern würde sich auf die Hersteller auswirken. Das Scheitern eines Verbrauchers würde einen ganzen Stream blockieren. In einem System wie diesem gibt es viele Schwächen . Lassen Sie uns das System von vorher nehmen und drei weitere Hersteller und mehr Verbraucher hinzufügen. Ohne Apache Kafka müssten wir 25 Streams pflegen und verwalten. Das sind viele Streams und viel Wartung, was auch hohe Kosten und zusätzliches Risiko bedeutet. Mit Apache Kafka bräuchten wir nur zehn Streams und hätten die Sicherheit hinzugefügt , dass diese Ströme entkoppelt sind und nicht von der Fähigkeit eines Produzenten oder Verbrauchers beeinträchtigt werden von der Fähigkeit eines Produzenten oder Verbrauchers beeinträchtigt , ihre Aufgaben zu erfüllen. Aus dem Beispiel sollten Sie nun erkennen können, wie vorteilhaft Apache Kafka ist und wie wichtig der Service die Vorteile von Kafka bietet oder dass es sehr schnell, leicht skalierbar, endlos zuverlässig ist . extrem haltbar und das Beste von allem ist es Open Source. Sie können es jedoch auch als Managed Service finden, wie wir es später in diesem Kurs sehen werden. 4. Architektur von Kafka: Jetzt wissen wir, was Apache Kafka ist und wofür er verwendet wird. Mal sehen, wie es von innen funktioniert. In Apache Kafka finden Sie folgende Kompetenz. Produzenten, Verbraucher, Makler, Themen, Partitionen, Cluster und der Zookeeper. Wir werden jedes Vertrauen einzeln betrachten und sehen, was sie tun. Die Produzenten. Dies sind die Elemente, die die Ereignisse erzeugen, sind Nachrichten, die an Apache Kafka gesendet werden. Wie wir bereits besprochen haben, könnte es sich um ein Gerät oder eine Anwendung handeln. Die Nachrichten, die Produzenten senden, werden an ein Thema geschrieben, in dem ähnliche Nachrichten enthalten sind. Es ist wichtig zu verstehen, dass mehrere Hersteller innerhalb derselben Anwendung existieren können. Alle Botschaften , die Produzent sind, erzeugen Sinn direkt in den Kafka-Cluster. Verbraucher. Das sind die Jungs am anderen Ende vom Produzenten. Sie sind da, um die Nachrichten des Produzenten zu entnehmen und zu lesen oder im technischeren Sinne zu konsumieren. Verbraucher abonnieren Themen. Und wenn Nachrichten zu diesen Themen gesendet werden, konsumiert der Verbraucher diese Nachrichten, sobald sie kommen. Bei der Arbeit mit Apache Kafka können mehrere Verbraucher dieselbe Nachricht aus demselben Thema verbrauchen . Obwohl Nachrichten konsumiert werden, werden sie nach dem Prozess nicht zerstört. Das ist eine der Schönheiten von Apache Kafka. Verbraucher können auch verschiedene Arten von Nachrichten aus den Clustern konsumieren . Darüber hinaus wissen Verbraucher genau, wo sich die Daten, die sie verbrauchen müssen, im Kafka-Cluster befinden. Makler. Als wir diskutierten, wie Produzenten Nachrichten an Apache Kafka senden, wo sie diese Nachrichten tatsächlich senden sind die Broker innerhalb des Kafka-Clusters. Broker sind die Kafka-Server , die diese Nachrichten empfangen und dann speichern, damit die Verbraucher sie aufnehmen und konsumieren können. Ein Kafka-Cluster kann mehrere Broker haben, und jeder Broker verwaltet mehrere Partitionen. Wie wir bald sehen werden. Themen. Dies sind einfach die definierten Kanäle , über die die Daten gestreamt werden. Die Produzenten produzieren ihre Botschaften zu Themen. Verbraucher abonnieren Themen , um die darin enthaltenen Nachrichten zu konsumieren. Es ist im Grunde nur ein Mittel , um Nachrichten zu unterteilen und zu organisieren und sie nach ihren besonderen Eigenschaften zu ordnen . Themen mit eindeutigen Identifikationsnamen innerhalb des Kafka-Clusters. Und es wird eine beliebige Anzahl von Themen geben. Es gibt kein definiertes Limit. Partitionen. Die Themen sind in diese Partitionen unterteilt und werden an andere Broker repliziert. Mehrere Verbraucher können damit parallel aus einem Thema lesen . Mit Partitionen können Hersteller ihren Mastern Schlüssel hinzufügen, um zu steuern, an welche Partition die Nachricht geht. Ansonsten geht es einfach um Robin Pattern herum, wo eine Partition eine Nachricht erhält und die andere Partition die nächste erhält und so weiter und so weiter. Schlüssel ermöglichen es dem Hersteller, die Reihenfolge der Nachrichtenverarbeitung zu steuern, was praktisch sein kann, wenn die Anwendung diese Kontrolle über Datensätze erfordert. Genau wie bei Themen gibt es keine definierte Begrenzung für Partitionen. Angesichts der Tatsache, dass der Cluster Verarbeitungskapazität IT verarbeiten und verwalten kann. Cluster. Dies sind die Systeme , die die Broker verwalten. Es ist im Wesentlichen die gesamte Architektur von Brokern, die wir als Cluster bezeichnen. Nachrichten werden in Themen geschrieben , die sich innerhalb von Brokern befinden, die sich in Clustern befinden. Diese Nachrichten werden dann von Verbrauchern nach derselben Hierarchie gelesen . Der Zookeeper, dieses Element ist verantwortlich für die Verwaltung und Koordination des Kafka-Clusters, wie ein Dirigent eines Orchesters. Es benachrichtigt jeden Knoten im System, wenn eine Topologieänderung auftritt. Dies kann der Beitritt eines neuen Brokers oder sogar das Scheitern eines Brokers sein. Der Zookeeper ermöglicht es auch Führungswahlen zwischen Brokern und Themenpartitionspaaren zu bestimmen, welcher Broker der Anführer für eine bestimmte Partition sein sollte und welche Repliken dieser Daten. Laien ausgedrückt, verwaltet und koordiniert der Zookeeper alles , was der Kafka-Cluster tut, und bietet Ausfallsicherheit für einen regnerischen Tag. 5. Managed Solution Kafka: Schauen wir uns die verwalteten Lösungen an die auf dem Markt für Apache Kafka verfügbar sind. Zu dieser Zeit im Jahr 2021 gibt es eine Reihe von Anbietern für verwaltete Lösungen für Apache Kafka. Einer von ihnen ist zusammenfließend. Abgesehen davon haben wir stattdessen auch Azure, HDInsight, AWS, Kinesis, Cluster. Und selbst es gibt viele Vorteile, einen Managed Service Provider für Apache Kafka zu bezahlen einen Managed Service Provider für , anstatt den Open-Source-Geschmack zu nutzen. Es gibt viele Probleme im Zusammenhang mit Open Source Kafka und es muss regelmäßig viel Management und Wartung durchgeführt werden. Es gibt so viele Operationen , die ausgeführt werden müssen, nur um die Dinge laufen zu lassen. Mit einem Managed Service. Sie müssen sich keine Sorgen um die Durchführung von Operationen machen, daher der Begriff „Keine Operationen“. Darüber hinaus müssen Sie keine Dateien herunterladen oder Dateien lokal verwalten . Es ist alles in der Cloud erledigt. Schließlich können Sie sicher sein, dass Sie Kafka reibungslos ohne Probleme betreiben werden. Denken Sie daran, Open Source als kostenlosen Automotor zu verwenden. Es ist leistungsstark und kann viel Drehmoment erzeugen, aber an sich kann es nichts wirklich tun. Erst wenn Sie die restlichen Teile konstruiert haben, die benötigt werden, um den Motor nützlich zu machen. Managed Lösungen sind im Vergleich dazu wie vollwertige Autos fahrbereit. Kein Ärger, viel einzurichten, drehen Sie einfach einen Schlüssel und machen Sie los. Es ist diese Bequemlichkeit , die sich viele Unternehmen ansehen, wenn sie verwaltete Lösungen in Betracht ziehen. 6. Schnelles Einstieg mit Confluent Cloud: Startet die Confluent Cloud. Wir werden die Dinge beginnen, indem einige grundlegende Aufgaben innerhalb eines Konflikts erledigen. Wir werden einen Cluster als ein Thema einrichten. Und dann werden wir sehen, wie wir Produzenten und Verbraucher erstellen können , die und Cloud CLI Nachrichten an und von diesem Thema senden mithilfe der Console und Cloud CLI Nachrichten an und von diesem Thema senden. Um mit Confluent beginnen zu können, müssen wir als erstes auf die Konsolen-Website gehen, die nur confluent.io ist. Dort angekommen, sehen Sie die Möglichkeit, kostenlos loszulegen. Wenn Sie darauf klicken, werden Ihnen Ihre Bereitstellungsoptionen angezeigt und Sie können einfach die Bereitstellungsoption auswählen und ganz kostenlos. Hier können Sie Ihren vollständigen Namen, Ihr Unternehmen, Ihr E-Mail-Land angeben und ein Passwort auswählen und einfach auf diese Schaltfläche klicken. Wenn Sie dies tun, wie hier heißt, erhalten Sie 400 US-Dollar, die Sie in den ersten 60 Tagen innerhalb von Console und Cloud ausgeben können. Wenn Sie dieses Formular ausfüllen und auf Kostenlos starten klicken, Sie einen Link zu Ihrer E-Mail, in dem Sie den Besitz und den Zugriff auf diese E-Mail bestätigen müssen Ab diesem Zeitpunkt können Sie sich bei einem Konflikt anmelden. Da wir bereits ein Konto bei Confluent haben, werden wir das nicht tun, sondern uns bei Confluent anmelden. Um dies zu tun, müssen wir zur Seite „ Erste Schritte“ zurückkehren. Und unten steht nur, ich ein Konto anmelde. Da sind wir los. Öffnen Sie dies in einem neuen Tab, auf dem wir uns einloggen können. Da sind wir los. Das ist meine E-Mail. Ich klicke auf Weiter, das ist mein Passwort. Ich klicke auf Weiter. Dies ist der Punkt, an dem der Konflikt Ihnen ein Tutorial geben wird wie Sie Ihre Cluster in Console und Cloud einrichten sollen . Dies ist ein ausgezeichnetes Tutorial wenn Sie sich die Zeit nehmen möchten, empfehle ich Ihnen, es durchzugehen und sich darüber zu informieren. Für unsere Projekte stellen wir jedoch alle Materialien zur Verfügung, die Sie benötigen, um sie zu erstellen. Hier gibt es diese Schaltfläche mit der Aufschrift „Cluster erstellen“. Mach weiter und klicke darauf. Und jetzt werden Ihnen drei verschiedene Optionen zum Erstellen eines Clusters vorgestellt . Sie haben Ihren Basis-Cluster, Ihren Standardcluster und Ihren dedizierten Cluster. Nun ist der Grundlegende diejenige, die wir verwenden werden, da, wie Sie sehen können keine basierten Kosten verbunden sind. Und es hat viele Nutzungsgrenzen. Sie haben einen Einstieg von 100 mgs, einen Ausgang von 100 MBAs und einen Speicher von bis zu 5 Tausend GBs. Es kann einen hohen Datenfluss unterstützen. Wir würden nicht in die Nähe dieser Zahlen gehen, nicht in unsere Projekte. Wir können einfach den Basistyp aus Gründen des Wissens auswählen Gründen des Wissens Es ist gut zu wissen, dass Sie 1,50 USD pro Stunde kosten, wenn Sie sich für die Standardoption entscheiden. Und es kann mehr Speicher unterstützen. Eigentlich können Sie es auf unbegrenzten Speicherplatz bringen. Das ist nur der einzige Vorteil , den Sie aus der Übernahme von Standard über Basic herausholen werden. Wenn Sie hinübergehen, um es zu widmen, können Sie sehen, dass Sie immer mehr Vorteile erhalten, wenn Sie diesen Balken fortsetzen. Dann erreichen Sie einen Punkt, an dem sie Ihnen sagen, dass Sie sich mit uns in Verbindung setzen, damit wir etwas für Dedizierte Cluster verwalten können . Aber da wir keine dieser Optionen anstreben, lassen Sie uns einfach einen einfachen Cluster in Gang bringen. Wenn Sie in diese Region kommen, einen Bereich, in dem Sie gefragt werden, welche Region Sie auswählen möchten. Hier drüben können Sie sehen, wie Confluent tatsächlich mit AWS, gcp und Azure zusammenarbeitet. Und Sie können sehen, dass Sie von all diesen Servicewahlen haben , Sie können einen AWS-Server, einen GCP-Server oder einen Azure-Server auswählen , je nachdem, welche Dienste Sie möchten oder welche Dienste Sie sind benutzt bereits. Es ist normalerweise ideal, dass Sie, wenn Sie Kafka mit einem Dienst verbinden möchten , den Sie bereits ausgeführt haben , den Cluster in einer Region mit einem Dienst erstellen sollten einer Region mit einem Dienst , den Sie bereits zuvor besucht haben. Nehmen wir zum Beispiel an, Sie haben einen Azure IoT Hub. Sie möchten Confluent für das Ereignisstreaming verwenden, dann sollten Sie wahrscheinlich Microsoft Azure zum Hosten für Ihren Confluent Cluster verwenden. Im Allgemeinen macht es die Dinge reibungsloser und erleichtert die Dinge und es gibt weniger Ärger und der Connect-Prozess, aber darüber hinaus ist es einfach zu verwalten und reduziert die Latenz für unsere Projekte da wir eigentlich nichts anderes am Laufen haben, können wir einfach direkt dorthin gehen , wo wir gehen. Wir können uns einfach entscheiden. Ist kein Asien, Singapur, los geht's. Wir brauchen keine Mehrzonenverfügbarkeit. Eine einzige Zone funktioniert für uns einwandfrei. Das ist also genau das, für das wir uns entscheiden werden. Wenn Sie jetzt auf diese dritte Seite kommen, werden Sie aufgefordert, Sie werden nach einer Kreditkarte gefragt. Und es wird diese Kreditkarte zunächst belasten, aber Sie erhalten Ihren Betrag und es benötigt eine Kreditkarte, um sie zu überprüfen. Falls Sie also Ihr Limit überschreiten oder über die 60 Tage hinausgehen, senden Sie eine Benachrichtigung, um Sie darüber zu informieren, hey, wenn Sie Confluent weiterhin verwenden möchten, lassen Sie es uns wissen, belasten Sie es auf der Karte und wir behalten Sie einfach alle Cluster, die Sie in Projekten haben, die Sie haben. Dieser Cluster ist also vollkommen in Ordnung. Wir können diesen Cluster-Cluster-Unterstrich 0 nennen , das funktioniert für uns. Und wir können diesen Cluster einfach starten. Da sind wir los. Damit. Wir haben unseren Konsolencluster eingerichtet. Lassen Sie uns nun damit fortfahren , ein Thema in unserem Kathoden-Cluster in unsere Confluent Cloud anzumelden über unsere CLI in unsere Confluent Cloud anzumelden. Lassen Sie uns dazu sofort zu Confluent gehen. Von hier aus können wir einfach zurück zum Link Erste Schritte gehen und einfach einloggen. Da sind wir los. Das ist meine E-Mail, also klicke ich auf Weiter, das ist mein Passwort. Ich werde mich einloggen. Da sind wir los. Sobald Sie ein Cluster-Setup haben, werden Sie dies innerhalb von Confluent sehen. Es wird Ihnen zeigen, dass Sie ein Cluster-Setup haben. Es ist live, es funktioniert. Also mach einfach weiter und klicke auf diesen Cluster , den du erstellt hast. Sobald Sie drinnen sind, sehen Sie das Dashboard. Sie werden sehen, dass es Ihnen eine Reihe von Optionen bietet, in die Sie Daten weiterleiten und einen Client konfigurieren können, wenn Sie die CLI einrichten möchten. Wir werden bald die CLI einrichten, aber vorher werden wir ein Thema aufstellen. Lassen Sie uns gleich hier zum Thema gehen und ein Thema erstellen. Wir können diesem Thema einen beliebigen Namen geben. Wir können sagen, dass es Themen hat. Warum nicht? Wir können diese Schulkurse machen, und wir können dies einfach auf dieser Standardeinstellung belassen , während Sie sechs, es wird nicht wirklich viel ändern, also können wir es einfach mit seinen Standardeinstellungen erstellen. Wir hatten mehr als zwei Nachrichten. So können wir eine neue Botschaft zu diesem Thema erstellen. Wir können sagen, dass wir dort eine CA mit Bergblick haben, den Rest davon. Okay, da wir also vorerst keine technische Nachricht senden wollen , versuchen wir nur zu verstehen, welche Themen sind, was sie tun und wie Nachrichten zurückgesendet werden und weiter und wie wir sie sehen würden. Vergessen wir all diese technischen Code-Bits , die sich im Wertebereich befinden und wir können ihm einfach einen beliebigen Wert geben, sagen wir, dass wir ihm das Thema Englisch geben. Das ist immer ein lustiges Thema. Und wir können diese Lautstärke auf eins verwandeln. kannst du produzieren. Da sind wir los. Englischer Partitionsbaum, genial. Dann können wir sagen, dass wir nicht produzieren wollen. Man kann sagen, dass wir ein anderes Thema wollen, Mathe. Und ich schätze, der letzte wäre die Wissenschaft. Wir sagen, dass wir wollen, dass unsere letzte Botschaft Wissenschaft ist. Da sind wir los. Jetzt haben wir drei Nachrichten , die wir eingerichtet haben. Dies sind nur drei Themen , von denen wir gesagt haben, okay, Dies sind drei Botschaften unter dem Thema Thema oder Themen. In unserem Fall, wie wir hier sehen können, Themen. Und wir wollen nur diese drei Botschaften weitergeben, dass wir Wissenschaft, Mathematik und Englisch als Thema haben . Jetzt, da wir unser Thema eingerichtet haben und jetzt ein paar Nachrichten in unserem Thema haben, sollten wir wahrscheinlich versuchen, unsere CLI so einzurichten , dass wir dann tatsächlich einen Verbraucher einrichten können. Die Konstruktionen sind sehr einfach. Wenn Sie hier auf die Setup-CLI-Seite gehen, befinden sich alle Anweisungen direkt vor Ihnen und Sie können diese Befehle einfach kopieren. Wenn Sie an einem Mac arbeiten, sollte dies ziemlich einfach sein, da dieser Befehl sofort funktioniert. Es wird keine Probleme geben. Wenn Sie jedoch wie ich sind und Sie verwenden, versuchen, Confluent Cloud oder CLI auf einem Windows-Computer einzurichten , benötigen Sie dazu ein Linux-Terminal . Wenn Sie unter Windows 11 sind, ist das Ubuntu-Terminal ziemlich einfach, um ein Fenster zu erhalten. Alles was Sie tun müssen, ist zum Windows Store zu gehen. Von hier aus kannst du einfach nach Ubuntu suchen. Ubuntu, du bekommst diese Ubuntu-App sowie Ubuntu 12.04 LTS und 18.04 LTS. Da ich das bereits installiert habe, muss ich es einfach öffnen. Ich muss euch jedoch raten, dass Sie Windows Hypervisor benötigen, wenn Sie mit Intel-Computern arbeiten oder mit AMD arbeiten, wenn Sie einen Segen einrichten, der diesen mag Windows Hypervisor benötigen, wenn Sie mit Intel-Computern arbeiten oder mit AMD arbeiten, wenn Sie mit Intel-Computern arbeiten oder mit AMD arbeiten -Maschinen müssen Sie SVM aktivieren, damit dies funktioniert. Okay, jetzt wo wir das Ubuntu-Terminal geöffnet haben , ist es wahrscheinlich an der Zeit, unsere CLI-Befehle auszuführen. Ich werde diesen curl-Befehl jedoch nicht ausführen, da ich ihn bereits ausgeführt habe und nicht auf das Problem doppelter Verzeichnisse geraten möchte . Du solltest wahrscheinlich zuerst weitermachen. Es sollte Ihnen eine C Cloud geben, die danach installiert wurde. Und wenn das passiert, müssen Sie nur einen einfachen Befehl ausführen , der besagt, dass Sie Cloud-Update sehen. Und es wird nach Updates in der C Cloud suchen , um zu sehen, ob es welche gibt. Es sollte wahrscheinlich ein großes Update für mich geben, aber ich werde es gerade nicht aktualisieren. Ja, da sind wir los. Das einzige Update ist eine Hauptversion und dafür habe ich gerade keine Zeit. Ich lasse es danach. Ich denke, es ist Zeit sich jetzt bei num2 anzum2 anzumelden. Eine andere Sache, die wir von unserer CLI oder unserem Terminal aus tun müssen, ist, dass wir von hier aus Zugriff auf unsere Konsole und Cloud erhalten müssen. Um dies zu erreichen, benötigen wir einige Möglichkeiten unserer Konsole und Cloud zu kommunizieren. Um mit der Konsole und der Cloud zu kommunizieren, müssen Sie auf der linken Seite zur Datenintegration gehen , und Sie sehen hier eine kleine Registerkarte mit API-Schlüsseln. Hier drüben können Sie einen API-Schlüssel erstellen. Es gibt dir hier zwei Möglichkeiten. Angenommen, Sie können entweder globalen Zugriff haben oder einen granularen Zugriff haben. Dafür würde ich empfehlen, dass Sie sich für einen globalen Zugriff entscheiden. Sobald Sie globalen Zugriff haben, können Sie diese Anmeldeinformationen verwenden, um eine Verbindung zu Ihrem Client, dem Ubuntu-Terminal, herzustellen. Jetzt können wir dies größtenteils jede Beschreibung geben , ich kann dies einfach den Skillkurvenschlüssel nennen. Wenn ich will, kann ich das einfach herunterladen und fortfahren. Es gibt Ihnen sogar diesen kleinen Text, diesen Schlüssel gibt, wenn Sie, der diesen Schlüssel gibt, wenn Sie, alle Details Ihres Schlüssels, eine Textdatei mit allen von ihnen zur Verfügung stellen. Jetzt, da ich es habe und mein API-Schlüssel erstellt wurde, gehe ich einfach zurück zu meinem Ubuntu-Terminal. jetzt zugewiesen, um sich mit den Moon-Determinanten in unserer Konsole und Cloud anzumelden Dafür sind jetzt zugewiesen, um sich mit den Moon-Determinanten in unserer Konsole und Cloud anzumelden. Ich gehe einfach rüber, um Cloud, Login, Dash, Dash Save zu sehen . Von hier aus fragt es mich nach meinen zusammenfließenden Anmeldeinformationen. Ich werde sie nur bei der Rate qualifizierter Eindämmung unterstützen. Sobald ich diese eingegeben habe, werde ich nach meinem Passwort gefragt. Ich werde einfach schnell innehalten und das reinlegen. Okay, jetzt wo ich mein Passwort habe und einfach die Eingabetaste drücke, sollte es mich in meine Comps wollen Cloud einloggen. Und es hat diese Anmeldeinformationen in die NET RC-Datei geschrieben. Jetzt, da ich bei Confluent angemeldet bin, ist es an der Zeit, unseren Cluster auf einer CLI zu sehen nur damit Sie wissen können, dass wir tatsächlich angemeldet sind. Und es ist immer schön, sich selbst zu versichern, dass Sie den Cluster sehen können. Dafür. Nun, wir müssen es tun, dass wir einfach die C Cloud Kafka Clusterliste schreiben müssen C Cloud Kafka Clusterliste , um zu sehen, was wir finden können. Und wie Sie sehen können, haben wir nur einen Cluster erstellt. Und wir können den Ausweis genau hier sehen. Dies ist also nur der eine Cluster wir haben, und wir möchten diesen Cluster standardmäßig verwenden. Wir möchten die ID nicht jedes Mal eingeben müssen , wenn wir diesen Cluster verwenden. Was wir also tun können, um es zu unserem Standardcluster zu machen , ist, dass wir einfach C Cloud Space, Kafka Space Cluster, Raumnutzung schreiben können C Cloud Space, Kafka Space Cluster, Raumnutzung schreiben . Und dann dieser Name, also L, K, c dash z, zwei Abgeordnete. Da sind wir los. Es wurde festgelegt, dass es sich um einen Kafka-Cluster als Standard- und aktiver Cluster für unsere aktuelle Arbeitsumgebung handelt. Okay, jetzt, da wir unser Standard-Cluster-Setup innerhalb des Terminals innerhalb der CLI haben unser Standard-Cluster-Setup , ist es jetzt ein guter Zeitpunkt, um unseren API-Schlüssel einzubringen , den wir erstellt haben , damit wir die beiden verknüpfen können zusammen. Um den API-Schlüssel zu verknüpfen, müssen wir ihn als C Cloud Space-API-Dash-Schlüssel schreiben und speichern. Und was wir hier speichern müssen, ist der API-Schlüssel , den ich gerade über ein hier kopiere, Leerzeichen und Einfügen. Danach wird ich mich fragen, ob es etwas schwer zu sehen ist, aber in der unteren Ecke steht es, was ist dein API-Geheimnis? Ich kopiere gerade dieses API-Geheimnis. Und da sind wir los. Jetzt hat es das API-Geheimnis gespeichert und es wird der API-Schlüssel gespeichert, den ich verwenden kann. Jetzt, da ich einen API-Schlüssel habe, möchte ich meiner CLI mitteilen, okay, jetzt, für eine bestimmte Ressource möchte ich diesen API-Schlüssel als Standard verwenden. Was wir im Wesentlichen tun, ist dass dieser API-Schlüssel für den gerade festgelegten Cluster standardmäßig funktioniert . Um das zu tun, müssen wir also nur den Cloud-API-Dash q0, Forward-Slash-Verwendung sehen . Wir brauchen dieses kleine Ding tatsächlich hier, wie zuvor. Wir können das einfach reinlegen. Also können wir Dash, Dash Resource machen. Auch hier können wir einfach unseren Ressourcennamen von hier nehmen und kopieren. Und jetzt haben wir unseren API-Schlüssel festgelegt, z. B. den aktiven API-Schlüssel für den einen Cluster, den wir eingerichtet haben. dies erledigt ist, sind wir jetzt im Grunde alle eingestellt, Nachrichten zu und von unserer Konsole und Cloud zu konsumieren und sogar zu produzieren und von unserer Konsole und Cloud zu konsumieren und sogar zu produzieren. Um Nachrichten zu konsumieren, empfehle ich, ein neues Terminal für Ubuntu zu öffnen ein neues Terminal für , damit wir es separat sehen können. Wir können also einfach eine weitere davon öffnen und diese zur Entscheidung bringen. Nun, um mit einem Kafka-Cluster oder von Confluent zu konsumieren . In unserem Fall müssen wir einen Befehl schreiben und das Thema angeben , von dem wir konsumieren möchten . Also wird das in unserem Fall C Cloud, Kafka, Thema, Konsume Strich, Strich. Von Anfang an. Wo wir angeben, wollen wir , dass alles von Anfang an kommt. Wir ernähren es Themen. Da sind wir los. Jetzt können Sie sehen, dass wir Englisch, Mathematik und Wissenschaft haben. Dies sind die Themen , die wir tatsächlich selbst in Kafka stecken. Das ist also der aufregende Teil von Kafka, den wir gemacht haben, dass wir Nachrichten geschrieben haben und jetzt können wir diese Nachrichten als Verbraucher sehen. Bisher haben wir gesehen, dass wir uns mit unserem Confluent Cluster verbunden haben und Nachrichten und unser Thema eingerichtet haben und diese Nachrichten konsumiert haben. Das ist alles gut und gut. Aber ich denke, jetzt sollten wir von der Verbraucherseite zur Herstellerseite weitergehen von der Verbraucherseite und Nachrichten für unseren Cluster erstellen . Bevor wir das getan haben, zurück von der GUI in Confluent, haben wir gerade die Seite geöffnet und wir sind zum Thema gegangen und wir haben sie einfach auf diese wirklich nette GUI-Website aufgenommen, aber wir sollten es tun weiß , wie man es von CLI macht. Und wenn wir innerhalb der CLI sehen können, dass es in Echtzeit funktioniert. Um dies von der CLI aus zu tun, ist der Befehl, den wir verwenden würden, C Cloud, space, Kafka, Topic, Dash, Dash, Dash, Schlüssel, Leerzeichen, Strich, Dash, Trennzeichen. Darüber hinaus haben wir einen Doppelpunkt, über den wir das Wertformat haben. Wir können für unser Beispiel sagen, da wir mit Strings arbeiten, können wir sagen, dass dies eine Zeichenfolge ist. Und wir geben einfach das Thema an, das in unserem Fall Gegenstand ist. Wenn wir Enter drücken, gehen wir los. Es heißt, dass es den Kafka-Produzenten gründet. Von hier aus können Sie tatsächlich anfangen hinzuzufügen und Nachrichten zu erzeugen. Und wir sollten sehen, dass diese Nachrichten an den Verbraucher auf der rechten Seite des Bildschirms kommen den Verbraucher auf der rechten Seite des , sobald wir sie produzieren. Nehmen wir zum Beispiel an, dass wir weitere Themen hinzufügen möchten. Wir können uns für Geographie entscheiden. Wir produzieren Geographie. Und da gehst du. Es wurde direkt zu unserem Verbraucher hinzugefügt. Wir sagen, dass Geographie in OB gut ist, aber ich möchte auch Geschichte für genug lernen. Da sind wir los. Die Geschichte tauchte auf der rechten Seite auf. So sagen wir zum Beispiel sechs, dass das jetzt nicht gut genug ist. Ich wollte interne oder innere Angelegenheiten oder globale Angelegenheiten machen und nichts. Wir können diese globalen Angelegenheiten einfach immer wieder auftauchen lassen. Und das ist nur das Schöne an Apache Kafka. Deshalb ist es eine so nette Technologie, dass der Verbraucher in dem Moment, in dem wir eine Nachricht erstellten, die Nachricht erhielt, der Moment und das Update vorgenommen wurde. Der Verbraucher wurde darauf aufmerksam gemacht, der Verbraucher wusste davon und er konnte die aktualisierten Nachrichten sofort konsumieren. Damit haben wir jetzt die Konsonanten CLI in den Griff bekommen. Jetzt wissen wir, wie es funktioniert. Wir können einen Produzenten herstellen, wir können einen Verbraucher innerhalb der CLI herstellen. Und wir haben einen Cluster in unserer Confluence Cloud eingerichtet und wir haben ein Thema eingerichtet. Wir haben praktisch die meisten Grundlagen gemacht , wenn es um die Arbeit in Apache Kafka geht. Später werden wir auch sehen, wie man mit Streams arbeitet. Und wir werden uns auch ansehen, welcher Fall gleich DBS ist. 7. Einführung in KSQLDB: Abschnittsstruktur, K SQL DB, Einführung in SQL DB. Was ist der Fall gleich dB? Nun, K SQL DB ist eine Echtzeit-Ereignisstreaming-Datenbank , die auf Apache Kafka- und Kafka-Streams basiert . Was Kafka-Streams sind nun als Thema, das wir später besprechen werden. Aber im Moment müssen Sie dies nur verstehen. Die Art und Weise, wie ein Stream auf der wirklich fundamentalen Ebene definiert wird, ist der Datenfluss von einem Hersteller zum Verbraucher. K SQL DB übernimmt diesen Flow und verknüpft ihn mithilfe von SQL-Befehlen mit einem relationalen Datenbankmodell. Es gibt viele Anwendungsfälle von K SQL DB, und es wird in der Branche häufig verwendet, weil es einfach und einfach zu bedienen ist. Wie funktioniert der Fall equals db? Casey equal db trennt seine verteilte Rechenschicht von seiner Speicherschicht , für die es Kafka verwendet. Fall ist gleich dB selbst hat alle mit den Daten verbundenen Aufgaben bearbeitet, sei es Filtern, Verarbeiten, Streaming, was auch immer. Und dann überlässt es das Lager Kafka, um es herauszufinden und zu verwalten. Wie interagieren wir mit Casey gleich EB. Dies kann zwar auf verschiedene Arten geschehen , aber wir können dies über Rest-APIs tun. Wir können es direkt durch den Code werfen. Oder wir werden es auf die Art und Weise tun , die wir in diesem Kurs definiert haben. Die erste Möglichkeit, mit der Fall gleich db zu kommunizieren , besteht darin, den Fall gleich db CLI zu verwenden. Die zweite Möglichkeit, mit K SQL DB zu interagieren, ist die Verwendung der konfluenten Cloud-Benutzeroberfläche , die wir auf der Konsole sehen. Und Cloud selbst. 8. Verwendung von KSQLDB: Verwendung von Fall gleich db. Okay, um mit der Verwendung von KSQL dB zu beginnen, müssen wir als erstes einen Cluster einrichten , in dem wir arbeiten werden. Wenn Sie zu Ihrer Console und Cloud in Ihre Umgebungsseite gehen , sollten Sie so etwas sehen. Wenn nicht, vielleicht ein bisschen anders, wenn Sie bereits 12 Cluster eingerichtet haben. Da wir nicht als Cluster-Setup haben, gehen wir hier einfach in unsere Standardumgebung und richten einfach einen Cluster ein. Es heißt also Create Cluster selbst, gehen Sie einfach für einen Basis-Cluster, beginnen Sie mit der Konfiguration. Sie können diese Region auf das einstellen, was Sie möchten, und einfach eine einzelne Zone festlegen und fortfahren, da die Basiskosten dafür 0 USD pro Stunde betragen, was wir für diese Demonstration nicht tun brauche wirklich etwas zu ausgefallenes. Also werden wir einfach damit gehen. Sobald das erledigt ist, können Sie Ihren Cluster einfach starten und er sollte sehr schnell gestartet werden. Und es ist nur fertig, den Cluster einzurichten , den wir erstellen , die Clusterbereitstellung kann ein oder zwei Sekunden dauern. Sobald Sie fertig sind, wird es Ihnen den Bildschirm geben und es wird sehen, Sie möchten vielleicht einen Kunden oder etwas anderes einrichten. Sie möchten das gerade nicht wirklich tun, also können Sie es einfach hier durchstreichen und es sollte Sie zur Übersicht Ihres Clusters bringen . Sobald Sie in dieser Übersicht sind, sehen Sie hier auf der linken Seite ein kleines Menü. Um jetzt mit K SQL DB zu arbeiten, ist es irgendwie selbstverständlich, dass Sie ein Thema benötigen , mit dem Sie herumspielen können, um Tabellen und Streams zu erstellen, damit wir Informationen von und zu erhalten und wir haben eine Referenz , von der Informationen ausgehen werden. Wenn wir zu Themen gehen und es sollte hier kein Thema aufgestellt werden. Und natürlich ist Ihr Cluster in ein bis zwei Minuten einsatzbereit. Wie ich schon sagte, die Bereitstellung braucht etwas Zeit. Was ich also machen werde ist, dass ich das Video hier pausiere. Ich komme aus dem Cluster zurück, der komplett bereitgestellt ist , und dann werden wir ein Thema einrichten. Okay, jetzt, da der Cluster bereitgestellt wurde und mir erlaubt, ein Thema zu erstellen. Also mache ich weiter und erstelle hier ein Thema. Ich kann dieses Thema alles nennen. Um dieser Demonstration willen nennen wir es einfach Themen. Warum nicht? Oder wir können es einfach sagen Benutzer nennen. Denn bei Benutzern können Sie eine Reihe von Informationen haben und es einfacher ist, daraus einen Stream zu erstellen. Also erstelle ich das einfach mit den Standardeinstellungen. Und es sollte im Allgemeinen nur das Thema dieses Benutzers bereit sein, sobald Sie dies einrichten. Jetzt, da Sie Ihr Thema haben, richten Sie es zugewiesen, um tatsächlich in Ihren Fall zu gehen SQL DB und richten Sie eine fallgleiche DB-App ein, die wir verwenden werden, um dieses Thema zu manipulieren und tatsächlich damit zu arbeiten. Was gehen Sie also zu Fall gleich VB? Jep. Es wird besagt, dass Sie es mit dem Tutorial erstellen können, oder Sie können die Anwendung einfach selbst erstellen. Wir werden einfach weitermachen und die Anwendung selbst erstellen , einen globalen Zugriff gewähren, Weiter. Man kann es nennen, wie immer du willst, um definitiv einen blinden Unterschied zu machen. Ich werde mit der kleinsten Anwendungsgröße arbeiten , damit meine Konsole und Cloud nicht zu viel Kosten entstehen. Und ich werde es einfach starten. Jetzt sollten Sie an dieser Stelle wissen, dass das Einrichten von Case-Equal-DB-Anwendungen etwas länger dauert. In der Tat braucht es viel länger als Bereitstellung eines zusammenfließenden Kafka-Clusters. Dieser Vorgang sollte bis zu vier bis fünf Minuten dauern. Was ich jetzt tun werde, ist, dass ich das Video hier pausiere und zurückkomme , wenn es mit der Bereitstellung der Fall gleich DB-App fertig ist. Möglicherweise sehen Sie, dass bei der Bereitstellung Ihrer Fallgleich-DB-App möglicherweise ein Fehler auftritt, bei dem der Cluster sagt, dass ein Fehler auftritt, bei dem der Cluster sagt, ich keine Verbindung zu diesem Fall herstellen kann SQL DB-App. Du musst nicht in Panik geraten. Das ist immer noch ein Teil der Bereitstellung. Sobald die Bereitstellung abgeschlossen ist, sollte dieser Fehler von selbst verschwinden. Jetzt, da wir das haben, kläre es auf, ich werde das Video jetzt pausieren, diese Bestimmung lassen und zurückkommen, wenn alles fertig ist. Okay, also unsere Case Equal DB App läuft jetzt. Es wurde bereitgestellt. So können wir hineingehen und einen kurzen Blick darauf werfen und Sie können sehen, wie auf der Innenseite eine fallgleiche DB-App aussehen wird. Sie haben hier einen Editor, mit dem Sie Ihre SQL-Abfragen darin ausführen können. Und daneben sehen Sie die Registerkarte „Flow“, die Ihnen genau zeigt, wie die Dinge funktionieren, in welche Ströme fließen, welche Tabellen sind, welche Tabellen in welchen Stream einspeisen, so weiter und so weiter. Sie können Ihre Streams, die Liste aller Streams, in diesem Fall die gleiche DB-App hier sehen die Liste aller Streams, in diesem Fall die , sie werden alle Ihre Tabellen sowie Ihre Abfragen auflisten. Abgesehen davon können Sie sehen, wow, Ihre Fallgleich-DB-App macht, wie gut sie funktioniert. Sie können verschiedene Einstellungen für Ihre Case-Equal-DB-App überprüfen . Sie müssen einige dieser Einstellungen kennen , falls Sie eine Verbindung herstellen möchten. Zum Beispiel, dieser Endpunkt hier verwenden Sie oft einen Endpunkt, um eine Verbindung herzustellen um gleiche DB-Apps herzustellen, wenn Sie mit k arbeiten müssen, gleich EB ist. Schließlich haben Sie ganz am Ende CLI-Anweisungen, die es Ihnen ermöglichen, sich bei Case Equal db anzumelden und sich bei Ihrer Konsole und Cloud anzumelden und Ihre Fallgleich-DB-App von der CLI aus zu verwenden. Jetzt, da wir diesen Fall gleich DB App haben, ist es an der Zeit, einige Informationen in unser Thema zu generieren einige Informationen in unser Thema und dann einige Streams und Tabellen aus diesen Informationen zu erstellen . Gehen wir also zurück zu unserer Cluster-Übersicht. Jetzt werden wir sehen, wie wir Informationen zu unserem Benutzerthema generieren können . Kafka hat tatsächlich eine ziemlich ordentliche Sache, wenn Sie Informationen oder Nachrichten zu einem Thema generieren möchten , ist, dass es eine Reihe von vorgefertigten Datengeneratoren hat , die weiterhin Informationen senden ein Thema wenn es erforderlich ist, einen Datengenerator einzurichten werden wir in die Datenintegration gehen und zu Konnektoren gehen. Wenn Sie hier in Anschlüsse kommen, sehen Sie alle diese Anschlüsse hier. Wir suchen nach Datengen, also suchen wir nur die Datengenquelle und dies ist von Ladin Kafka ist kein Dritter, daher wird es keine Probleme beim Setup haben. Jetzt wo du hier bist, musst du eine Reihe von Dingen einrichten. Das erste, was natürlich der Name des Datengenquellen-Konnektors ist. Fein, fair genug, spielt keine Rolle. Wir können einen Kafka-API-Schlüssel verwenden, um eine Verbindung zu unserem Konnektor herzustellen. Haben wir an dieser Stelle also einen API-Schlüssel-Setup, müssen wir uns nicht wirklich um dieses Problem kümmern , da wir hier einen kleinen Link haben , der einen Kafka-API-Schlüssel und ein Geheimnis für uns in Echtzeit generiert . Und was wir tun können, ist darauf zu klicken. Und da sind wir los. Es hat uns einen API-Schlüssel und ein Geheimnis gegeben. Wir können dies einfach unseren Daten-Gen-Key nennen. Und es wird den Schlüssel herunterladen, wie er genau dort gemacht wird. Und es wird die Anmeldeinformationen für dich eintragen. Sie müssen keine Probleme durchmachen und es besteht kein Risiko, dass Sie einen Fehler machen, wenn Sie dies eingeben. Jetzt haben wir das erledigt. Sie müssen zu Themen übergehen. Unser Thema sind Benutzer genau dort. Jetzt müssen Sie Ihre Ausgabenachrichten auswählen, damit wir sagen können Geben Sie uns die Werte und JSON an. Schließlich ist dies der wichtige Teil, in dem Daten Joint Details angezeigt werden, in denen Sie jetzt auswählen müssen , welche Vorlage Informationen Sie in Ihr Thema einfließen möchten. Wenn Sie dieses Dropdown-Menü öffnen, sehen Sie nur eine Reihe verschiedener Daten, die uns Jens zur Verfügung stehen. Wir haben Clickstream, Clickstream-Codes , Kreditkarten des Benutzers , Inventar, Bestellungen, Pager , Produktkäufe, Bewertung usw. Aber das Lustige ist, dass es hier einen Datenjet genau für Benutzer gibt. Was wir also tun werden, ist, dass wir auf diese Daten klicken, Jen, und wir werden einen Standardwert für den Standardwert Ihrer gesendeten Nachrichten festlegen , was im Grunde das Intervall zwischen Nachrichten ist. Es hat eine Nachricht gesendet, wann sendet es die nächste? Standardmäßig Werte 1000. Wenn Sie das also völlig leer lassen, wird es einfach jede Sekunde oder alle 100 Millisekunden Nachrichten senden . Also überlasse ich das einfach vorerst. Ich möchte 1000 hier platzieren , um Ihnen zu zeigen, dass es nach jeder Sekunde Nachrichten senden wird. Aber selbst wenn ich das nicht mache, wird es immer noch jede Sekunde Nachrichten senden. Wenn Sie also vorhaben , es so zu belassen, lassen Sie dieses Feld möglicherweise leer. Ich verlasse es, ich lege den Wert hier ein, nur damit wir wissen, dass wir diesen Wert von 1 Sekunde für jede Nachricht definiert haben . Nachdem dies erledigt ist, können wir zu der Anzahl der Aufgaben übergehen , die dieser Konnektor ausführen darf. Jetzt steigen bei jeder Aufgabe die Kosten für die Ausführung des Connectors. Sie werden feststellen, dass Sie, wenn Sie mehrere Konnektoren auswählen, Ihr Confluent-Konto aktualisieren müssen , damit mehr Aufgaben funktionieren. Also werden wir nicht auf diese eine Aufgabe eingehen , die für dieses Beispiel reichlich ist. Also werden wir nur eine Aufgabe machen. Wir werden alles andere verlassen und wir werden einfach als Nächstes gehen. Wenn du das tust, wird es dir sagen, schau, für jede Aufgabenstunde wird es dir so viel kosten. Und für jede GB an Daten, die Sie verwenden, wird es Ihnen so viel kosten. Sie haben vertraulich 400 USD auf Ihrem Testkonto. also überhaupt kein Problem, das für ein paar Minuten zu laufen . Sie sich also keine Sorgen um die Betriebskosten und starten Sie einfach. Neben der Schaltfläche Launch befindet sich natürlich eine Datenvorschau , mit der Sie sehen können , welche Art von Informationen Sie erhalten. Aber das möchte ich Ihnen im Thema selbst zeigen , anstatt es dort zu zeigen. Jetzt, da Sie einen großen Konnektor haben, wird er für ein paar Minuten bereitgestellt , genau wie der Fall gleich dB. Was ich also tun werde, ist, dass ich das Video hier pausiere, zurückkomme, wenn es bereitgestellt wurde, und dann zeige ich Ihnen die Informationen, die es in das Thema aufgenommen hat. Okay, also dauerte das Einrichten meines Konnektors für meine Datengenerierung länger als erwartet. Und ich nahm an, dass es daran lag, dass ich diesen Namen schon einmal benutzt hatte und einen Kunden hatte, der bereits damit verbunden war , ihren Namen zu verbinden. Ich musste zurückgehen, den Datengenerator löschen, den ich erstellt habe, und einen neuen namens My Dad hat Data Generator erstellen. Und jetzt wo das läuft, lasst uns reingehen und sehen, was es macht. Wenn Sie in meinen Datengenerator gehen, werden Sie sehen, dass es so ist, bis jetzt wurden 82 Nachrichten produziert. Und es hat diese eine Aufgabe , die läuft , um diese kleinen Informationen hier zu schließen , mir sagen, dass mein Datengenerator läuft. Wenn Sie auf die Einstellungen gehen, sehen Sie die gesamte Konfiguration , die Sie ihm gegeben haben. Sie können sogar zurückkommen und diese Informationen ändern , wenn nötig, aber ich würde sie nicht empfehlen, da es Ihren Stream vollständig dazu bringen könnte , dass Ihr Stream auf den Kopf gestellt wird. Alle Ihre Konfigurationen müssten sich entsprechend ändern und es wäre einfach ein Durcheinander. Daher würde ich Ihnen nicht empfehlen , Änderungen daran vorzunehmen , es sei denn, Sie müssen dies unbedingt tun. Jetzt, da wir wissen, wie der Datengenerator funktioniert, gehen wir auf unsere Themen ein. Ja, lasst uns zu unserem Benutzerthema gehen. Aber davor können wir sehen, dass ein jetzt in seinem Produktionsbereich einen Wert hat , der heißt, dass dieses Thema tatsächlich etwas erhält. Was das ist, Lass uns reingehen und einen Blick darauf werfen. Wenn wir in Nachrichten eingehen, sollten wir sehen, welche Nachrichten hier erstellt wurden. Da Sie also hierher gekommen sind, hat es Ihnen nun die Nachrichten angezeigt, die bisher zum Thema dieses Benutzers generiert wurden. Und da gehst du. Du hast gerade noch einen erhalten. Wenn wir diesen neuesten öffnen, können Sie sehen, dass mit einer Nachricht tatsächlich eine Reihe von Werten verknüpft sind. Wenn wir uns also nur die Werte hier ansehen, haben wir die registrierte Uhrzeit, die Benutzer-ID, die Regions-ID und das Geschlecht. Wenn wir in den Header gehen, können wir sehen, was der Schlüssel generiert wurde, die Aufgaben-ID, die aktuelle Iteration und nicht zuletzt der Schlüssel, der der Schlüssel für diese Nachricht ist , bei der sich um einen Benutzerunterstrich handelt drei. Wir haben diese Daten jetzt in unsere Themen generiert , damit wir weitermachen können und der Zerfall ist gleich db und einen Stream für diese Daten einrichten . Also lasst uns in die App gehen. Jetzt können wir hier tatsächlich einen Stream vom Editor einrichten. Ich werde den Stream von Hand erstellen , damit ich jedes Element des Streams erklären kann , während wir es schaffen. Das erste, was wir schreiben müssen, ist Create Stream. Wenn Sie bei Create sind, werden Sie feststellen, dass es Ihnen zwei Möglichkeiten gibt. Wenn Sie einen Stream erstellen, können Sie sehen, dass es Ihnen hier eine Reihe von Optionen gibt. Wenn Sie also nur einen Stream erstellen, können wir diesen Stream einfach nennen, was wir wollen. Wir könnten es unsere Nutzer nennen, die extrem unterstrichen werden. Jetzt müssen wir ihm die Felder geben, die es nehmen muss. Was wir dafür tun können , ist, dass wir auf Themen, Benutzer und Nachrichten eingehen können, und wir können einfach einen einfachen Blick darauf werfen welche Nachrichten wir darin haben , eine dieser Nachrichten auswählen und öffnen. Wir können sehen, dass wir eine Zeit registriert haben. Er hat bereits einen Ausweis und ein Geschlecht erreicht. Und diese werden dahin gehen, wo es vorkommt. Das wird, glaube ich, zu einem großen Int führen. Also werde ich das einfach in einen großen Int bringen und ich hoffe, dass es nicht auf mich abstürzen wird, während ich das tue. Ich öffne hier nur einen Notizblock. Wir werden diese Informationen einfach hier in einem Notizblock speichern . Wenn ich also zurück zu Fall gleich db gehe und meinen Stream einrichte, aber jetzt können wir Stream erstellen, User Underscore-Stream. Wir können ihm registrierte Zeit als Big Int geben. Wir können ihm eine Benutzer-ID als Mitarbeiter geben, wo wir ihm eine Ursachen-ID geben können, die auch ein Arbeiter ist. Schließlich können wir ein Geschlecht angeben, das auch vorkommt. Wenn Sie dies getan haben, haben Sie definiert, welche Felder in den Stream fließen sollen. Jetzt müssen Sie ihm sagen, von welchem Thema diese Informationen erhalten werden und wie das Wertformat aussehen wird. Jetzt werden wir es mit Kafka-Unterstrich ausdrücken. Das Thema ist gleich, wir können sagen, Benutzer. Und wir können sagen, dass das Wertformat Ihr Unterstrich-Format sein wird, wird JSON sein. Jetzt, da wir das getan haben, können wir einfach ein Semikolon am Ende setzen. Wir können dies frühestens auf den ersten, den automatischen Offset-Reset frühestens einstellen den automatischen Offset-Reset frühestens an erhält , damit es sozusagen die Werte von Anfang , und einfach die Abfrage ausführen. Da sind wir los. Wenn dies also für Ihren Status Erfolg gelaufen ist, was bedeutet, dass wir unseren Stream erstellt haben. Wenn es für Sie funktioniert hat, können Sie zu Ihrem Flow übergehen und Sie sollten hier ein neues Stream-Setup sehen , das als User Underscore-Stream bezeichnet wird. Und wenn Sie den User Underscore-Stream öffnen , wird uns hier nichts angezeigt, aber wenn wir den Stream frühestens so abfragen, sollten wir ein paar Nachrichten erhalten. Ja, da sind wir los. Wir bekommen tatsächlich ein paar Nachrichten. Aber andererseits erhält es von Anfang an alle Nachrichten. Es wird also seine Zeit brauchen und es wird uns all diese Nachrichten geben. Wenn wir sogar wollen, können wir diese Abfrage sogar jederzeit beenden. Da sind wir los. Jetzt können wir einfach alles gebrauchen , was wir von hier bekommen. Also all diese Informationen haben wir, wir haben sie in unserem Stream. Jetzt haben wir einen Stream eingerichtet. Wenn wir zu unserer Datenintegration übergehen und zu Kunden gehen, können wir sehen, dass wir tatsächlich einen Steckverbinderhersteller und ein Verbraucher-Setup haben , das alle diese Informationen tatsächlich aufnimmt wenn Sie zu Themen gehen, ja, es nimmt es aus den Benutzerthemen. Ihr Stream funktioniert also jetzt sowohl als Produzent als auch als Verbraucher. Und wenn Sie zu Ihrer Stream-Linie gehen, werden Sie feststellen, dass Ihr Datengenerator Informationen zu Ihren Themenbenutzern generiert, die dann von diesen beiden Verbrauchern, Ihren benutzerdefinierten Apps, verbraucht werden , wenn Sie möchten, die die Informationen konsumieren. Nachdem wir das gemacht haben, haben wir einen Stream eingerichtet. Jetzt werden wir fortfahren und sehen wie wir einen Tisch aufstellen können. Also lasst uns weitermachen und das machen. Lassen Sie uns also noch einmal in ihren Fall gleich DB-App eingehen. Aus unserem Fall gleich DB App wieder. Jetzt statt jetzt hat es eine Abfrage-Einrichtung für Sie, die bereit ist, Star aus dem Benutzerstream auszuwählen und die Änderungen auszugeben, wo es Ihnen alles anzeigen würde , was sich innerhalb des Benutzerstreams befand. Aber das wollen wir jetzt nicht machen. Wir möchten weitermachen und einen Tisch erstellen. Was wir jetzt tun werden, ist, dass wir diese Anfrage loswerden , die sie uns gegeben haben. Und wir sagen, erstelle einen Tisch. Wir können einfach die gleiche Länge nennen. Und so können wir die Unterstrichtabelle dieses Benutzers aufrufen weil wir dasselbe Thema verwenden. Wir ändern hier nicht viel, also können wir es einfach Benutzer-ID nennen. Wo ist es wichtig, denn es ist ein Tisch. Wenn Sie Basic SQL kennen, wissen Sie, wie es funktioniert. Sie müssen den von Ihnen erstellten Tabellen einen Primärschlüssel zuordnen . Also legen wir unsere Benutzer-ID als Primärschlüssel für diese Tabelle fest, der die Kennung für jede Zeile ist, die uns mitteilt , dass sie eindeutig ist und nicht wiederholt wurde. So können wir die Anmeldezeit einstellen. Großer Int. Auch hier werde ich nur ein großes Int-Geschlecht als Barker angeben, der Region-ID-Worker sagte, dass die Breite, die dem zugewiesenen Kafka-Unterstreichthema entspricht, den Benutzern entspricht. Und das Wertformat, während Sie unterstreichen, während Sie das Format unterstreichen, wird JSON. Da sind wir los. Dann können wir das einfach am Ende setzen, das Semikolon und die Abfrage ausführen. Da sind wir los. Und es hat uns eine Erfolgsbotschaft gegeben, was bedeutet, dass unsere Tabelle erstellt wurde. Wenn wir jetzt wieder zu unserem Float gehen, werden wir jetzt sehen, dass wir eine Benutzertabelle haben, Tischeinrichtung für uns. Und wenn wir in die Tabelle gehen, können wir hier hineingehen und die Tabelle abfragen. Wenn wir zu R gehen, wenn wir die Abfrage ausführen, sehen wir, dass sie bereits alle diese Informationen enthält, dass sie aus dem Thema stammen. Alles, was wir tun mussten, war eine Tabelle gegen das Thema aufzustellen und es hat diese gesamte Tabelle für uns generiert. Sie sind gerade auf dem Laufenden. Wir mussten keine Konfiguration mehr machen als die eine Zeile SQL, die wir schreiben mussten, um diese Tabelle einzurichten. Damit haben Sie effektiv einen guten Stream sowie eine Tabelle erstellt . Richten Sie damit effektiv eine fallgleiche DB-App sowie einen Stream und eine Tabelle und ein Thema ein , zu dem Daten generiert werden. Zwei. Jetzt wissen Sie, wie Sie diese Elemente in der Confluence Cloud einrichten und mit ihnen loslegen können. 9. Übersicht über Kafka: Abschnitt für Kafka-Streams. Überblick über Kafka-Streams. Was unser Kafka streamt. Nun, wenn man sich Kafka-Streams anschaut, ist es im Grunde nur eine Java-Bibliothek, die uns hilft, das tun, was wir bis zu diesem Zeitpunkt im Wesentlichen getan haben . Aber auf eine viel einfachere Art und Weise. Streams definiert den vollständigen Ablauf von Hersteller zu Thema zum Verbraucher. Und es ermöglicht Ihnen, diesen Flow mit deutlich weniger Code zu erstellen , als Sie sonst benötigen würden , wenn Sie es anders machen würden. Kafka-Ströme sind aufgrund der verteilten Natur von Kafka-Clustern extrem fehlertolerant . Wir könnten auch sagen, dass Streams selbst diese verteilte Immobilie haben. Betrachten Sie das folgende Beispiel, wie Sie einen Verbraucher und einen Produzenten in einem Programm erstellen. Zuerst müssten Sie den Verbraucher erstellen, dann müssen Sie den Produzenten erstellen, das Thema abonnieren, bei dem es sich in diesem Fall um Widgets handelt, und Ihren Verbraucherdatensatz daraus holen , der in unserem Fall kommt das zur Farbe Rot. Wir möchten nur, dass ein Verbraucher diese Botschaft verbraucht, die die Produzenten senden werden, dass wir einen legitimen haben, der die Farbe Rot hat. Betrachten Sie jetzt diesen Code. Das Lustige ist, dass man denken würde, dass diese vier Zeilen sich nicht ganz von dem unterscheiden, was Sie gerade gesehen haben. Oder sie ergänzen den Code, den Sie gerade zuvor gesehen haben. Aber eigentlich macht es das Gleiche. Es abstrakt einfach all diese Programmierung und nimmt Ihnen viel von diesem Haushalt weg. Und es bringt einfach alles in einen Stream. Auf diese Weise können Streams für Entwickler prägnant und einfach zu arbeiten. Obwohl es gut und gut ist, dass Kafka-Streams uns die Möglichkeit geben , längeren Code und kürzere Formen zu schreiben. Warum sollten wir überhaupt Kafka-Streams verwenden? Während Kafka-Streams am Ende des Tages mehr sind, als nur Code prägnant zu machen. Streams ermöglichen es uns, bestimmte Aufgaben für unsere Daten auszuführen, Datenaufgaben, die wir sonst nicht ausführen konnten, wie Filtern, Beitritt zu einer Aggregation. Dies sind Aufgaben, die unsere Streams ausführen sollen, weil wir möchten, dass unsere Daten durch Kafka-Streams für den Endverbraucher aussagekräftiger werden . Nun, wir erreichen tatsächlich wenn wir die Daten, die produziert und konsumiert werden, nehmen und ihnen viel mehr Bedeutung geben. Das wird also tatsächlich analysiert und untersucht. Wir können diese Daten angemessen verstehen und sie möglicherweise später sogar für Dashboards und für Analysen verwenden . 10. Einführung in Kafka Connect: Abschnitt für Kafka Connect. Einführung in Kafka Connect. Was ist Kafka connect? Nun, mit Kafka Connect ist ein kompetenter von Apache Kafka, und es ist wahrscheinlich der wichtigste Kompetente von Apache Kafka. Wenn Sie planen Kafka- und AT-Dienste mit einem Setup zu nutzen, das Sie bereits vorhanden haben. Catholic Connect ermöglicht es Ihnen Ihren Kafka-Cluster und Ihre Kafka-Dienste mit einer Vielzahl verschiedener Dienste zu verbinden . Es hat Konnektoren für die meisten Datendienste da draußen. Ob Amazon, GCP, Hadoop, Kafka Connect bietet Streaming-Integration zwischen Kafka und anderen Diensten. Und es ermöglicht Ihnen, sowohl Quellen als auch Datensynchronisierungen mit Ihrem Kafka-Cluster zu verbinden . Sie können Daten aus einer Datenquelle in Ihren Kafka-Cluster senden. Warum ein katholischer Connect? Oder Sie können Daten von Ihrem Kapitalcluster zu einer Datensenke leiten lassen. Warum ein Kafka diese Datensynchronisierung natürlich verbindet, wenn er in einem Dienst ist, der nicht Kafka ist. In unserem Fall werden wir für das Projekt, das wir erstellen werden, eine Datensenke innerhalb von Amazon S3 einrichten. Was sind die Anwendungsfälle von Kafka Connect? Während wir bereits besprochen haben, ermöglicht Kafka Connect Ihnen die Integration mit externen Diensten, die bereits verwendet werden. Sie haben bereits Daten zu diesen Diensten und es wäre sinnlos, einen brandneuen Cluster zu erstellen und diesen Cluster dann mit all den Informationen zu füllen , die Sie bereits hatten. Stattdessen ist es einfacher, sich einfach mit dem zu verbinden, was Sie gerade haben. Die zweite Sache ist katholisch und bietet eine nahtlose Integration mit größtenteils eine nahtlose Integration mit Ihren Diensten. Sie müssen es nur hauptsächlich in der GUI einrichten. Und Sie haben nicht wirklich viele Probleme in Bezug auf die Konfiguration. Wenn Sie sich nur entscheiden, wie Sie diese Daten haben möchten, welche Form von Daten Sie möchten. Und das war's größtenteils. Der letzte große Vorteil der Verwendung von Catholic Connect eröffnet Ihnen viele Möglichkeiten im Bereich des Datenstreamings. So können Sie diesen Datenstrom jetzt in Gang bringen und tatsächlich Abfragen ausführen. Sie können es in Streams umwandeln und es in viel aussagekräftigere Daten als zuvor. Ja, Kafka Connect hat eine Menge Verwendungszwecke und wir werden es in unserem zweiten Projekt in diesem Kurs untersuchen . 11. Projekt1 Buchkatalog: Übersicht: Okay, um dieses Projekt zu starten, verschaffen wir uns einfach einen Überblick darüber, was wir heute machen werden. Das erste, was wir tun werden , ist, dass wir in Python einen Produzenten schaffen dass wir in Python einen Produzenten unsere Botschaften zu unserem Thema vermitteln wird. Das zweite, was wir tun werden, ist, dass wir in unseren Konsonantencluster gehen werden. Und wir werden ein Thema erstellen, das unsere Nachrichten vom Produzenten erhält. Sobald wir diese beiden Dinge eingerichtet haben, veröffentlichen wir Nachrichten zu unserem Thema, damit wir es gut ausfüllen können , wenn wir unseren Verbraucher erstellen. Danach werden wir unseren Verbraucher einrichten. Und dann sind wir bereit, Nachrichten aus unserem Kafka-Thema innerhalb von Confluent zu konsumieren . Es wird ein wirklich einfaches Projekt sein, nicht zu technisch. Lassen Sie uns also ohne weiteres darauf eingehen. 12. Projekt1 Buchkatalog: Produzent erstellen: Jetzt ist es an der Zeit zu sehen, wie man unseren Produzenten in Python aufbaut . Da jetzt, da wir unsere gesamte Konfiguration einsatzbereit haben , ist es an der Zeit, unseren Produzenten zu erstellen , der die Nachrichten für uns an unseren Kafka-Cluster weitergeben wird. Dafür machen wir hier eine neue Datei. Wir können es Produzent dot p-y nennen. Da sind wir los. Jetzt haben wir eine Produzentenakte bereit. Lasst uns einfach unseren Produzenten öffnen. Gut, richtig, Diese willkommenen Guides. Für diesen Produzenten gibt es ein bisschen Code, den ich bereits für dich geschrieben habe. Ich füge das einfach hier ein und erkläre dir, was es tut. Dieses oberste Bit des Codes hier, alles was er tut, ist, dass es die Befehlszeile analysiert und die Konfiguration analysiert. Das bedeutet, dass es nur versucht herauszufinden, an welchen Cluster ich meine Nachrichten senden muss. Tu es. Ich habe tatsächlich einen API-Schlüssel , der es mir ermöglicht, das zu tun. Habe ich das richtige Geheimnis, so weiter und so fort. Also dieses Handle, all das nur in diesem Konfliktparser. Danach haben wir darüber hinaus einen Produzenten , den wir kreieren. Eine Instanz von. Wir sagen, dass wir einen Produzenten haben , der ein Produzentenkaffee ist. Danach versuchen wir nicht, Nachrichten zu senden. Wenn wir Nachrichten senden, besteht oft die Möglichkeit, dass die Nachricht aus irgendeinem Grund nicht gesendet wird. Für den Fall, dass dies der Fall ist, haben wir eine Rückrufmethode für die Lieferung, die besagt, dass Sie auf Probleme stoßen, drucken Sie die Fehlermeldung und teilen Sie dem Benutzer mit, was das Problem war. Andernfalls, wenn Sie es senden konnten, teilen Sie dem Kunden oder dem Benutzer mit, dass ich Ihre Veranstaltung produziere, ein Thema, was auch immer Ihr Thema mit diesem Schlüssel und diesem Wert ist. Wenn Sie hier auf den Grund gegangen wären, ist dies unsere Nutzlast, Zeilen 34 bis 36, wo unser Thema Bücher sind. Wir haben eine Reihe von Benutzer-IDs für eine Reihe von Produkten. Wie werden wir Nachrichten erstellen? Ist genau hier von den Linien 38 bis 44, wo wir gerade eine Spanne von zehn genommen haben. Für zehn Nachrichten weisen wir einem Buch nach dem Zufallsprinzip eine Benutzer-ID zu. Zum Beispiel könnten es Jack und Dämmerung sein, es könnten Michael und Herr der Ringe sein, es könnten Hannah und Aragon sein. Und einige von ihnen könnten sogar zweimal oder dreimal passieren. Es ist völlig zufällig, aber wir kriegen zehn Nachrichten raus. Dies ist ein wirklich einfacher, wirklich einfacher, wirklich leichter Produzent, der zehn Nachrichten an unseren Kafka-Cluster in unser Thema liefern wird für uns zehn Nachrichten an unseren Kafka-Cluster in unser Thema liefern wird. Lasst uns einfach diese Datei speichern und schließen. 13. Projekt1 Buchkatalog: Thema erstellen: Okay, jetzt, da wir unsere Produzenten eingerichtet haben, ist es an der Zeit, das Thema zu erstellen, zu dem wir gesagt haben, dass wir unsere Botschaften vom Produzenten vermitteln werden . Jetzt, da wir unser Produzenten-Setup haben, ist es an der Zeit, unser Thema zu erstellen. Also öffne ich hier einfach ein neues Fenster und lasse uns zu Confluent übergehen und das Thema erstellen , an das wir unsere Nachrichten senden werden. Loggen wir uns in unsere Konsole und Cloud ein. Da sind wir los. Lasst uns also rüber in unseren Cluster gehen. Und von hier aus können wir von links auf Themen eingehen . Und hier drüben sollten wir unsere Themen sehen. Wie Sie derzeit sehen können, haben wir kein Thema für Bücher, daher müssen wir dieses Thema nur sofort hinzufügen. Wir können es einfach Bücher nennen wie wir es in unserem Programm geschafft haben. Sobald wir gesagt haben, dass Schöpfung, Boom, sie geschaffen wurde, gibt es keine Verzögerung für diese Schöpfung. Jetzt bei diesem Setup können wir nur noch tun oder was wir jetzt wirklich tun müssen, ist voranzukommen. 14. Projekt1 Buchkatalog: Nachrichten erstellen: Jetzt, da unser Thema fertig ist und Nachrichten empfangen kann, ist es an der Zeit, Nachrichten zu unserem Thema zu erstellen. , Nachrichten an Ihren Kafka-Cluster mit der Methode zu erstellen Ihren Kafka-Cluster mit , die wir heute verwenden ist eigentlich ziemlich einfach, Nachrichten an Ihren Kafka-Cluster mit der Methode zu erstellen, die wir heute verwenden. Wir werden einfach zwei mal rübergehen. Wir werden in unser Projektverzeichnis wechseln. Von dort aus gehen wir mit der Quellumgebung bin activate in unsere virtuelle Umgebung. Nun, es gibt einen weiteren zusätzlichen Schritt, den wir hier machen müssen , weil wir unsere Dateien unter Windows erstellt haben. Unix mag diese Dateien nicht wirklich sehr. Sie müssen eine kleine Konvertierung mit den Befehlen DOS in Unix vornehmen . Also machen wir DOS Unix-Produzent Punkt p-y zu Unix, Config Dot Iodid. Sobald wir das getan haben, können wir unsere Produzentendatei, u plus x, Produzent Dot PY modidieren. Und jetzt können wir unseren Produzenten leiten. Da sind wir los. Es hat Veranstaltungen zu Themenbüchern produziert. Wir sagen, Jack nahm Aragon, Jack nahm Harry Potter Buch, Animal Farm, Michael zur Animal Farm, so weiter, so weiter. Wir haben nur zehn Schlüssel und zehn Werte, zehn Nachrichten, die wir in unserem Kafka-Cluster an unser Thema gesendet haben . 15. Projekt1 Buchkatalog: Verbraucher erstellen: Nachdem wir Nachrichten zu unserem Thema erstellt haben und es ausgefüllt ist, ist es an der Zeit, einen Verbraucher einzurichten diese Nachrichten konsumiert. Die Einrichtung eines Verbrauchers ist sehr einfach. Alles, was wir tun müssen, ist in unser Python-Projekt zu wechseln eine neue Datei zu erstellen. Wir können diese Datei Consumer dot p-y nennen. Sobald Sie das getan haben, gehen Sie einfach hinein und fügen Sie einfach diesen Code ein, den Sie in der Beschreibung finden sollten. Das ist ein wirklich einfacher, wirklich grundlegender Verbrauch, den wir machen werden, wenn Nachrichten aus dem Kafka-Cluster. Das erste, was wir tun werden, natürlich, wie wir es mit dem Produzenten gemacht haben, nur die Konfiguration in der Befehlszeile analysieren. Danach erstellen wir nur eine Instanz von Consumer. Und wenn wir diese Verbraucherinstanz erstellen, möchten wir, dass sie Nachrichten von Anfang an aller Nachrichten von ganz oben auswählt . Wir haben den Offset im Grunde genommen gesagt , was wir hier machen. Wir definieren den Reset-Offset und wir bringen ihn bis zum Anfang. Das ist also versetzt, beginnend bis nach hinten. Danach abonnieren wir das Thema. Wir haben natürlich unsere Themenbücher, wie wir es für den Produzenten tun. Auch hier bei einem Zeichen Reset-Offsets. Wenn wir uns also abonnieren, gehen wir den ganzen Weg zurück. Was nun als nächstes passiert, ist tatsächlich ein kontinuierlicher Prozess, bis er unterbrochen wird, wo wir ständig versuchen und überprüfen. Wenn wir eine Nachricht haben, die auf uns wartet. Wenn wir das tun, erhalten wir Druck des konsumierten Ereignisses aus Themen, so weiter und so weiter. Wenn dies nicht der Fall ist, wird diese Meldung einfach warten und wenn wir auf einen Fehler stoßen, erhalten wir diese Fehlermeldung. Dieses letzte Bit ist nur der Tastatur-Interrupt bei dem wir sagen, wenn Sie dies beenden möchten, können Sie C steuern und es endet. Dies ist ungefähr so grundlegende bloße Knochen wie möglich ein Verbraucher. Und wir haben unser Themen-Abonnement bei unserem Verbraucher eingerichtet . Also töte dort zwei Fliegen mit einer Klappe. 16. Projekt1 Buchkatalog: Verbrauche Nachrichten: Jetzt, da unser Verbraucher zu unserem Thema eingerichtet und bereit ist , werden die Nachrichten ausgefüllt. Es ist an der Zeit, Nachrichten zu konsumieren und sehen, wie dieser Verbrauch in Echtzeit aussieht. Auch das Erstellen und Konsumieren von Nachrichten in Echtzeit ist ein ziemlich einfacher Prozess. Auch hier, denn wieder haben wir unsere Consumer Dot PY Datei in Windows erstellt. Wir müssen das umwandeln, damit eine Unix es lesen kann. Also sagen wir einfach, hören Sie zu, wir müssen unseren Consumer Dot p-y auf den Unix Lesefall umstellen. Jetzt, da wir das getan haben, können Sie einfach unseren Verbraucher modieren. Jetzt können wir unseren Consumer Dot p-y betreiben. Mit dem Konflikt. Da sind wir los. Unser Verbraucher hat tatsächlich all die Nachrichten erhalten , die wir früher von unserem Produzenten senden , und wenn wir sie jetzt lesen, ist eine weitere coole Sache daran, dass wir dies tatsächlich in Echtzeit tun können. Sagen wir zum Beispiel, ich leite meinen Produzenten von der Seite. Also sage ich, dass ich meinen Produzenten hier anlege. In dem Moment, in dem diese Nachrichten produziert wurden, bekam der Verbraucher sie und konsumierte sie in der genauen Reihenfolge, in der es produziert wurde. Und wenn wir es noch einmal laufen lassen, sehen wir es wieder. Aber das ist nicht das Interessanteste. Das Interessanteste ist, wenn Sie diese Nachrichten in Echtzeit erstellen würden, Sie sie immer noch sehen und sie trotzdem lesen können. Lasst uns jetzt zu unserer Konsole gehen und fließen. Bewegen Sie dieses Fenster zur Seite. Gehen wir zu unseren Themen und gehen zu Büchern. Und wie wir sehen können, haben wir hier eine Produktion im Gange. Es sieht, dass wir Aktivitäten haben. Wenn wir eine neue Nachricht erstellen wollen, können wir sie alles nennen. Wir können ihm sagen, einen guten Wert zurück in die Zukunft geben. Obwohl das kein Buch ist, ist es ein Film. Ich schweife ab. Wir können die Schlüsselsäuren hinterlassen und in dem Moment, in dem Sie diese Botschaft erzeugen, boomen, erhalten Sie diese Botschaft in Echtzeit bei Ihrem Verbraucher , dass wir ein Ereignis mit dem Wert zurück in die Zukunft und dem Schlüssel 18 haben . Und damit haben Sie erfolgreich eine Anwendung erstellt, die Ereignisse oder Nachrichten mit Confluent und Apache Kafka sowohl erzeugt als auch konsumiert eine Anwendung erstellt, die Ereignisse oder Nachrichten mit Confluent und Apache Kafka sowohl erzeugt als auch konsumiert . 17. Projekt2 PacMan: Übersicht: Hier ist also ein kurzer Überblick darüber, was wir in unserer Anwendung sehen werden , die es zu einer Streaming-Anwendung macht. Das erste, was wir haben werden, ist, dass wir zwei Themen haben werden, User Game und Benutzerverluste. Und diese beiden Themen werden die Grundlage , auf der wir zwei Streams erstellen werden. Diese beiden Streams werden ihre Informationen in zwei Tabellen einspeisen . Der Stream für Benutzerverluste wird seine Informationen in die Verluste pro Benutzertabelle einspeisen . Dies ist bereit aufzuzeichnen, wie oft Sie Ihr ganzes Leben im Spiel verloren haben. Dies sind Spielstreams , der seine Informationen in die Statistiken pro Benutzertabelle einspeist , wo es Ihre höchste Punktzahl aufzeichnet und wie oft Sie das Spiel tatsächlich gespielt haben und das verloren haben wie oft Sie das Spiel verloren haben , werden tatsächlich durch Ihre Verluste pro Benutzertabelle in Ihre Statistiken pro Benutzertabelle eingespeist durch Ihre Verluste pro Benutzertabelle in Ihre Statistiken pro Benutzertabelle eingespeist . Schließlich werden diese Statistiken pro Benutzertabelle abgefragt, um die Anzeigetafel zu generieren , die Ihnen nicht nur Ihre Punktzahl zeigt, sondern auch die Punktzahl aller, die das Spiel gespielt haben. So kannst du deine Statistiken mit allen anderen vergleichen , die das Spiel gespielt haben. 18. Projekt2 PacMan: Konfigurieren und Ausführen: Da ich Windows Subsystem für Linux verwende, kann ich direkt in mein Projektverzeichnis unter meinem Windows gehen und die Dateien so sehen, wie sie sind. Wenn wir uns unsere Streaming-Pac-Man-Anwendung ansehen können, können wir sehen, dass wir hier eine Reihe von Dateien und Ordnern haben . Das erste, was wir tun müssen, ist in unsere Konfliktdatei zu gehen , bei der wir einen Demo-Punkt CFG haben sollten. Wenn wir dies öffnen, sollte es unseren AWS-Zugriffsschlüssel und unseren geheimen AWS-Schlüssel direkt dort haben . Nun, was das ist, ist der Zugriff, den Sie auf Ihr AWS-Konto definieren. Wo finden Sie Ihren AWS-Zugriffsschlüssel in Ihrem geheimen AWS-Schlüssel? Nun, lasst uns das sehen. Was wir tun werden, ist dies zu minimieren, zu unserem AWS zu kommen und einfach nach IAM zu suchen. Und dann geh rüber hierher. Sobald Sie hier sind, können Sie sich die Benutzer in Ihrem Access Management ansehen. Sie können also einfach zu den Benutzern gehen. Und von hier aus kannst du einen Benutzer hinzufügen. Wenn Sie einen Benutzer hinzufügen, können Sie ihm den Benutzernamen geben und ihn dann als Zugriffsschlüssel anstelle eines Kennworts festlegen, der Ihnen eine Zugriffsschlüssel-ID und einen geheimen Zugriffsschlüssel zuweist . Wenn ich also neue Benutzer hinzufüge, nenne es Skalierkurve. Geh als Nächstes. Sie können es einer Benutzergruppe für Administratoren hinzufügen. Oder wenn Sie dieses Setup nicht so haben wie Sie es nicht tun würden, wenn Sie ein neues Konto haben, können Sie einfach eine Gruppe erstellen, können Sie einfach eine Gruppe erstellen, IT-Administratorzugriff zuweisen und sie die Administratorbenutzergruppe nennen. Wählen Sie es aus und bewegen Sie sich dann einfach über die nächsten beiden Tags und Sie können hier einfach einen beliebigen Schlüssel hinzufügen. Ich kann diesen Filterschlüssel einfach aufrufen. Das ist alles was ich brauche. Ehrlich gesagt. Ich kann ihm einfach den gleichen Wert zuweisen. Geh einfach als Nächstes. Und es wird diesen Benutzer erstellen. In dem Moment, in dem dies der Fall ist, wird es Ihnen diese Erfolgsseite geben und Sie können die Anmeldeinformationen für Ihren Benutzer als CSV herunterladen. Abgesehen davon werden Sie auch die Zugriffsschlüssel-ID und Ihren geheimen Zugriffsschlüssel angezeigt . Notieren Sie sich diese, da Sie sie für dieses Projekt benötigen. Ich würde Ihnen empfehlen, das CSV herunterzuladen. Wenn du es dann öffnest, gibt es dir genau das, was du brauchst. Ihr Zugangsschlüssel ist, ups. Es sollte Ihnen nur Ihren Zugriffsschlüssel und Ihren geheimen Zugriffsschlüssel hier geben , die beide Dinge sind, die Sie benötigen, um in Ihre Konfiguration einzufügen. Ich habe bereits ein Konto-Setup in meiner Konfiguration, daher werde ich diesen neuen Zugriffsschlüssel und den geheimen Zugriffsschlüssel nicht darin einführen . Ich gehe einfach mit dem nächsten Ding fort. Ich schließe das, speichere es als eins und mach weiter. Jetzt, da das erledigt ist, gehen wir einfach zurück zu unserem Ordner und gehen zurück zu unserer Datei. Unser Demo-Punkt CFG ist gut, also werden wir das einfach schließen und jetzt wir zurück zum Streaming von Pac-Man. Das nächste, was wir uns ansehen müssen, ist unser Stack-Configs-Ordner. Wir müssen sicherstellen , dass sich im Ordner Stack Configs nichts befindet , da diese Konfiguration das sein wird, was Terraform verwenden wird um die gesamte Anwendung einzurichten. Wenn Sie das Startskript zum ersten Mal ausführen, während ich gerade laufen werde, werden Sie feststellen , dass es eine Menge Dinge für Sie erstellen wird . Und dann, wenn Sie dieses Skript das nächste Mal ausführen, wird die Winterform tatsächlich alle Ressourcen bereitstellen und erstellen. Was wir jetzt tun können, ist, dass wir zu unserem Terminal gehen können. Und von hier aus können wir einfach in unser Streaming-Pac-Man-Projekt einladen und einfach unser Startskript ausführen. Wenn Sie dies also noch nicht zuerst getan haben, müssten Sie CH mod u plus x. Ihr Startpunkt SH schleift u plus x. Und dann können Sie dasselbe für Ihren Stopp-Punkt SH tun. Sie können dasselbe tun für Fall erstellen gleich db app.js. Dies sind die drei Shell-Dateien, die Sie benötigen um sich selbst die Berechtigungen zum Ausführen zu erteilen. Nachdem Sie das getan haben, müssen Sie nur noch den Startbefehl Start ausführen, Shell starten. Also laufen wir einfach Start Dot SH aus. Und da sind wir los. Es wird einfach für dich laufen. Und es wird dir diese Aufforderung geben. Und es wird sagen, dass Schau, hör zu, das wird Ressourcen schaffen , die etwas kosten werden. Bist du sicher, dass du fortfahren willst? Und weil wir es müssen, werden wir einfach ja sagen, wir wollen nicht fortfahren. Während das Skript läuft. Ich gehe einfach hierher zurück und komme zurück zu unserer S3-Seite denn sobald wir unser Skript ausgeführt haben, werden wir tatsächlich einen S3-Bucket sehen, der hier erstellt wurde. Auch. Ich gehe einfach auf unsere Umgebungsseite auf unsere Konsolenüberlegung und sie ist bereits eingerichtet. Das ist eigentlich ziemlich ordentlich. Es hat bereits eine konstante Umgebung für Sie eingerichtet. Wir können das genau hier sehen, indem CloudStack für die Umgebung Konflikte entsteht und den Kafka-Cluster und den aktiven Cluster für Environment E und wir ECD in 23 setzen den Kafka-Cluster und den aktiven Cluster für . Wir können das tatsächlich überprüfen. Was wir also tun können, ist, dass wir ein neues Terminal eröffnen können. Lassen Sie mich die Liste der Cloud-Umgebungen ansehen. Sie können jedoch sehen, dass die ENV ZD und 23 unser Streaming-Pac-Man und das öffentliche Umfeld ist , das wir gerade für diese Anwendung erstellt haben. Also lasse ich das laufen und komme wieder. Wenn das anfängt. Shell ist tatsächlich fertig zu laufen. Dies dauert bis zu fünf bis zehn Minuten. Okay, also ist das Startskript fertig ausgeführt. Und was es getan hat, ist es, lass mich dich einfach ganz nach oben bringen , von wo aus wir angefangen haben. Jep. Jetzt hat es getan, dass es einen Benutzer erstellt hat und alle Berechtigungen gegeben hat, genau das zu tun, was er tun muss, um alle Ressourcen zu erstellen, die er erstellen muss, um die Anwendung in Gang zu bringen. Nun, all die Dinge, die es tun mussten , waren richtig, bis es zum KSQL-Teil kam, wo es abgestürzt ist. Ich habe es so erstellt, dass es hier abstürzen soll. Sehen wir uns nun im nächsten Abschnitt an, was wir tun sollen, damit dies richtig funktioniert. 19. Projekt2 PacMan: Voreinstellungen vornehmen: Bevor wir mit diesem Projekt beginnen, möchte ich Ricardo Ferrara einen großen Schrei nach der ursprünglichen Pac-Man-Game-Streaming-Anwendung geben . Es ist seine Anwendung , die wir heute tatsächlich ausführen und verwenden werden , die ich etwas optimiert und modifiziert habe , damit wir bestimmte Aufgaben in unserer Confluence Cloud ausführen müssen bestimmte Aufgaben in unserer Confluence Cloud ausführen in unserer Confluence Cloud um das Ganze zum Laufen zu bringen. Jetzt, da wir das beiseite gelegt haben , ist es an der Zeit zu sehen, was wir wirklich brauchen, um das Projekt heute in Gang zu bringen. Das erste, was wir brauchen werden, ist ein Confluent Cloud-Konto. Wenn Sie kein Confluent Cloud-Konto haben, empfehle ich Ihnen, sich eines zu besorgen, ein Testkonto, das Ihnen etwa 400 US-Dollar geben sollte, was mehr als genug ist um dieses gesamte Projekt zum Laufen zu bringen. Das zweite, was Sie benötigen, ist ein Amazon AWS-Konto. Auch hier können Sie ein Testkonto einrichten, das für die kurze Dauer mehr als genug ist. Und es ist reichlich für das Projekt, das wir heute machen werden. Sobald wir mit dem Projekt fertig sind, sollten Sie hier einen S3-Bucket sehen, der für Sie erstellt wurde. Und dann werden wir einen weiteren S3-Bucket für unsere Datensynchronisierung erstellen . Das Letzte, was Sie brauchen werden , ist Terraform. Terraform ist das, was die Anwendung für uns erstellen wird. N wird die Ressourcen bereitstellen, die wir in unserem AWS S3 benötigen , um unser Formular unter Ihrem Linux einzurichten, Sie müssen nur diese drei Befehle ausführen. Wenn Sie dies noch nicht getan haben, empfehle ich Ihnen, Terraform auf Ihrem lokalen System zu installieren. Abgesehen davon brauchen wir nur noch zwei Dinge. Wir müssen prüfen, ob wir Java haben, also führen wir den Befehl java dash version aus. Wir brauchen Java 11 oder höher für dieses Projekt. Stellen Sie also sicher, dass Ihre JDK-Version 11 oder höher ist. Das zweite, was wir brauchen, ist das Festland, damit wir unsere Maven-Version überprüfen können. Und ja, wir haben Apache Maven 3.6.3 betrieben. Wenn Sie dieses Tutorial bis zu diesem Zeitpunkt verfolgt haben, sollten Sie Confluent haben und Cloud installiert sehen. Du rennst einfach vor Cloud. Da sind wir los. Wenn wir uns Confluent anschauen, los geht's. Wenn Sie sich also noch nicht in Ihrer C Cloud angemeldet haben, würde ich empfehlen, dass Sie dies jetzt tun, Sie würden Cloud-Login, Dash, Dash Safe sehen. Und was das bedeutet, ist, dass es Ihre Anmeldeinformationen und die Netto-RC-Datei speichert . Sobald Sie Cloud Login sehen, werden Sie aufgefordert, Ihre Anmeldeinformationen einzugeben oder wenn Sie Ihre Anmeldeinformationen bereits in der Net RC-Datei gespeichert haben, melden Sie sich einfach an. Jetzt, da wir unsere Umgebung vollständig eingerichtet haben, beginnen wir mit der Erstellung unseres Projekts. 20. Projekt2 PacMan: Einrichten von KSQLDB: Okay, jetzt wo wir unser Drehbuch ausgeführt haben, hat es eigentlich nicht alles getan, was es tun sollte. Es hat uns einen Teil der Arbeit überlassen und wir werden einfach die kleinen Arbeiten machen, die wir machen sollten, und einfach weitermachen und das Ding tatsächlich zum Laufen bringen. Das Stück, das wir jetzt tun müssen, können wir von der Konflikt-Cloud-GUI aus tun. Also gehen wir in die neue Umgebung, die für uns geschaffen wurde. Wir gehen in den Cluster. Und aus dem Cluster sollten wir sehen, dass eine fallgleiche DB-App bereits für uns eingerichtet und erstellt wurde. Wenn wir in diesen Fall gehen, entspricht der DB-App, zeigen Sie uns, dass wir derzeit keine Streams haben , sondern nur einen Standardstreams. Es gibt keinen echten Flow, nur diesen einen Standardstream , den Sie mit jedem Fall gleich DB-App und ohne Tabellen erhalten . Wenn wir uns mit Themen befassen, werden wir außerdem feststellen, dass wir keine Themen haben, nur dieses, das Protokolle verarbeitet, die wir erhalten. Ich füge hier einfach ein Thema hinzu. Ich nenne es User Underscore-Spiel. Erstellen Sie dies einfach mit der Standardeinstellung. Jetzt gehe ich zurück zu Themen und erstelle ein anderes Thema namens User Underscore Losses. Jetzt, da ich das gemacht habe, habe ich jetzt zwei Themen. Die beiden Themen, die ich am Anfang haben würde , im Überblick über dieses Projekt. Jetzt, da wir diese beiden Themen haben, ist es an der Zeit, Streams und Tabellen zu erstellen , um diese Themen zu korrelieren. Also gehe ich zurück in den Fall gleich dB. In diesem kleinen Redakteur hier. Ich führe ein paar Fall-SQL-Befehle aus. Welche Befehle sind genau hier in den Anweisungen verfügbar Ich werde SQL-Datei. Sie können dies öffnen und Sie haben diese fünf Zeilen hier , die zwei Streams erstellen, Benutzerspiele, Benutzerverluste und drei Tische. Verluste pro Benutzer, Statistiken pro Benutzer und zusammenfassende Statistiken. Also können wir das alles einfach kopieren, in den Fall zurückkehren, der db entspricht und direkt hier eingefügt und die Abfrage ausführen. Da sind wir los. Es wird die Abfrage ausgeführt und es hat die Streams und die Tabellen für uns erstellt. Wenn wir also wieder in unseren Flow-Tab gehen, sollten wir sehen, dass wir diesen Nutzer-Verlust-Stream haben , der einen Tabellenverluste pro Benutzer verursacht, dann den Benutzerspiel-Stream, der die Tabellenstatistiken pro Benutzer erstellt und füttert auch eine Tabelle mit zusammenfassenden Statistiken. Zusammenfassende Statistiken sind nur die zusätzliche Tabelle, die uns den allgemeinen Überblick darüber zeigt , was gleichzeitig im Spiel vor sich geht . Und wenn wir wieder zu Streams gehen, werden wir die beiden Streams sehen und wir gehen an die Tische. Wir werden diese drei Tabellen sehen. Nachdem wir dies getan haben, ist es tatsächlich an der Zeit, unserem Dienstkonto die Erlaubnis zu geben , die Themen tatsächlich zu manipulieren, wie es muss. Dafür gehen wir zurück in unser Ubuntu-Terminal. Und wir werden nur zuerst in unsere Umgebung gehen , um die Liste der Cloud-Umgebungen zu sehen. Whoops, siehe Liste der Cloud-Umgebungen. Dann werden wir sehen, dass Cloud-Umgebung E und Z, D N23 verwendet. Dann werden wir einfach sehen Cloud-Kathodencluster-Liste und sehen, wie Kafka Cluster L Casey dash sechs, j m r cubed, sechs GMR-Würfel verwendet . Jetzt, da wir hier sind, müssen wir einen Befehl ausführen , der C Cloud, Kafka, ACL create dash, dash ist . Zulassen. Dann brauchen wir ein Dienstkonto. Nun, wir müssen vorher tun, dass wir die Cloud-Dienstkontenliste ausführen müssen , die wir fünf Jahre doppelt 495 auf Eigenanalyse haben siehe Cloud Kafka, ACO, erstellen Dash, Dash, Dash, Dash, Dash, Dash Dienstkonto 50, doppelt 4952, Betrieb. Lesen Sie, sowie Betrieb rechts und Strich, Strichoperation. Beschreibe Dash, Dash-Thema, User Underscore-Spiel. Und genau das hat es für uns getan. Wenn wir es jetzt für Verluste eines Benutzers ausführen, wird das für uns getan. Jetzt, da wir alles getan haben, was wir auf der Fall gleich db-Seite tun mussten , können wir die Anwendung einfach erneut ausführen und das Spiel starten. 21. Projekt2 PacMan: Projekt- und Spinndaten führen: wir nun das Spiel indem wir das Startskript erneut ausführen, damit wir den Slash-Stern vorwärts machen können. Es wird nur anfangen, Terraform zu verwenden , um das gesamte Projekt zu erstellen. Sobald Terraform erfolgreich initialisiert wurde, wird es das Projekt erstellen. Auch dies ist ein Prozess , der seine Zeit braucht. Also pausiere ich das Video hier und komme zurück. Wenn es fertig ist. Da sind wir los. Das Startskript ist also fertig ausgeführt und es gibt Ihnen letztendlich nur diese Ausgabe mit einer URL, die besagt, dass sich Ihr Pac-Man-Spiel unter dieser URL befindet. Wir haben das in einem neuen Tab gleich hier geöffnet. Davor haben wir vorher keine Eimer auf unserem S3 gesehen . Und wie gesagt, würden wir einen in dem Moment sehen, in dem dies vorbei war. Wenn wir das also auffrischen, gehen wir los. Wir haben hier einen Bucket namens Streaming, Pac-Man und GPB. Und das wurde durch die Anwendung für uns erstellt. Und das beinhaltet im Grunde die streamende Pac-Man-Website. So können Sie alle Website-Dateien direkt hier sehen. Ich gehe einfach zurück zu Amazon S3 und gehe zum Spiel. Also gebe ich einfach den Namen ein , damit wir diesen Namen einfach Skill Curve nennen können. Und wir können spielen. Wenn wir das machen. Es bringt uns ins Kalb, in das Pac-Man-Spiel das wir für unser Event-Streaming verwenden, ich werde es generieren, aber wenn eine Punktzahl, und dann werde ich weitermachen und sterben, damit wir können alle möglichen Ereignisse sehen und wir können genau sehen, wie das auf unserem Event-Dashboard aussieht. Da sind wir los. Das ist unsere Anzeigetafel. Und wie Sie vielleicht sehen, ist diese Punktzahl tatsächlich ziemlich groß. Und du hast gerade gesehen, wie ich die Anwendung gestartet habe. Nun, das liegt daran, dass ich das Video angehalten habe und weitergemacht habe und das Spiel ein bisschen gespielt habe, um ein bisschen mehr Punktzahl zu generieren und tatsächlich eine Form zu haben oder viele Nachrichten zu fließen , damit wir weitermachen können sehen Sie, wie wir das mit Kafka Connect in unserem S3 speichern würden. Wenn wir also jetzt zu unserem S3 kommen, können Sie natürlich sehen, dass wir unseren Bucket hier haben. Aber wenn wir wieder zu unserem Kafka-Cluster kommen, sehen Sie hier drüben die Datenintegration und Sie sehen hier einen Abschnitt namens Konnektoren. Was Sie hier tun können, ist, dass Sie einen Konnektor für jede Datensynchronisierung oder jede Art von Ort einrichten können einen Konnektor für jede Datensynchronisierung oder jede Art von , an dem Sie sogar Informationen beziehen möchten, wenn Sie Daten in Ihren katholischen Cluster bringen möchten. Aber in unserem Fall werden wir es an ein Waschbecken schicken. Also werden wir diesen hier namens Amazon S3-Sync verwenden . Wenn wir das machen, wird es sagen: Okay, was willst du eigentlich aufbewahren? Nun, ich werde es einfach alle meine Themen geben. Der erste, den er uns standardmäßig gegeben hat, wollen wir das nicht. Abgesehen davon wollen wir sie alle. Also werden wir einfach hier weitermachen. Und jetzt wird es wie in Ordnung sein, also wie möchten Sie auf Ihren S3-Sync-Connector zugreifen? Sie möchten vielleicht einen vorhandenen API-Schlüssel verwenden , den Sie für diesen Cluster haben, oder möchten Sie vielleicht einen anderen Zugriff wählen? Aber in unserem Fall werden wir hier einfach unsere API-Anmeldeinformationen erstellen. Wenn Sie das tun, wird die Datei einfach so für Sie heruntergeladen . Und es wird es einrichten. Es wird also Standard sein wenn Sie nichts tun müssen und Sie können das einfach alles nennen. Man kann diese Pac-Man Nash S3 Dash Sink einfach nennen. Dann können wir weitermachen. Hier ist es wichtig, dass Sie Ihren Amazon-Zugriffsschlüssel, Ihre ID, Ihren geheimen Amazon-Zugriffsschlüssel und Ihre Amazon S3-Bucket-Namen benötigen ID, Ihren geheimen Amazon-Zugriffsschlüssel . Was ich tun werde, ist, dass ich zu meinem S3 gehe. Achte jetzt auf die Region. Es heißt, US West soll meinen anderen S3-Bucket in einer anderen Region herstellen. Es wird mir wahrscheinlich einen Fehler geben. Es empfiehlt sich, alle Ihre Elemente eines Projekts in derselben Region zu behalten . Was ich jetzt machen werde, ist, dass ich einen Bucket erstelle. Ich nenne diesen Eimer meine Pac-Man-Dash-Spüle. Es wird in den USA West zwei sein. Ich muss hier nichts anderes ändern. Ich kann einfach den Bucket erstellen. Nachdem es den Eimer erstellt hat. Da sind wir los. Du hast also mein Pac-Man-Waschbecken. Es ist alles da. Es ist alles bereit zu gehen. Ich kopiere diesen Namen einfach über mein Pac-Man-Waschbecken und bringe ihn hierher. Ihre Amazon-Zugriffsschlüssel-ID und geheime Zugriffsschlüssel Ihres Amazon sind der geheime Zugriffsschlüssel Ihres Amazon sind dieselben, die Sie für die Konfiguration dieser Datei verwenden. Wenn Sie also in Ihre Konfiguration gehen und Ihren Amazon-Zugriffsschlüssel und Ihr Geheimnis aus dieser Datei auswählen können Amazon-Zugriffsschlüssel und Ihr Geheimnis aus , auch wenn ich dies einfach kopieren, hier eingefügt, mein Geheimnis kopieren und dort einfügen kann. Und dann kann ich einfach weitermachen. Jetzt werden Sie gefragt, wie sollen Ihre Daten kommentieren? Willst du, dass es vielleicht als Avro kommt, als Proto-Buff wie JSON. Also werde ich einen JSON erstellen, weil das der einfachste Weg ist und es auch sehr sauber definiert ist. Es ist also wirklich einfach zu sehen, was sich in Ihrem Datei- und Ausgabe-Nachrichtenformat befindet, auch JSON. Wenn du diese beiden Dinge getan hast , wirst du dich fragen: Okay, wie regelmäßig soll dein S3 bevölkert werden? Willst du es stundenweise erledigen oder willst du es jeden Tag machen? Für dieses Beispiel werde ich es stundenweise erledigen lassen, weil wir es nicht zu lange einrichten lassen werden . Wir werden es nur für ein paar Minuten einrichten lassen. Wir werden sehen, wie die Daten hineingehen, und das wird dann das Ende sein. Sie müssen nicht auf erweiterte Konfigurationen eingehen. Wenn Sie möchten, könnten Sie viele Eigenschaften ändern, deren Beschreibungen hier sind. Wenn Sie den Mauszeiger über das kleine I fahren, wird es Ihnen genau sagen, was das ist. Ich würde mich nicht zu sehr damit herumspielen, wenn ich keine spezifischen Konfigurationsanforderungen für mein Projekt hätte. Aber im Moment, da wir es nicht tun, werden wir es einfach ignorieren und weitermachen. Jetzt, wenn Sie sich in diesem Stadium befinden, werden Sie in Bezug auf die Größenbestimmung gefragt, wie viele Aufgaben möchten Sie eine Aufgabe pro Stunde machen? Und je mehr Aufgaben Sie pro Stunde definieren würden, bitte ich Sie um ein Upgrade, wenn es mehr als eine ist, und selbst für jede Aufgabe werden Sie in meinem Fall 0,034 pro Stunde berechnen . Was wir also tun werden, ist dass wir das einfach klären und wir werden einfach weitermachen. Jetzt. Schließlich wird es dir einfach all diese Informationen geben. Es wird sagen: Schau, das hast du von uns gefragt. Bist du sicher, dass du deinen Konnektornamen festlegen kannst ihn hier nicht ändern wirst. Verstehe nicht den Sinn dazu. Und wir werden nur starten und bedenken Sie nur , dass Ihre Connector-Preise für jeden für Ihre Aufgaben, Ihre Kosten so viel pro Stunde, aber dann auch für Ihre Nutzung oder Gebühr so viel pro Stunde, was sich beim Start summiert, können Sie genau sehen, wie viel Ihnen Rechnung gestellt wird, um es im Hinterkopf zu behalten, obwohl es sich um ein Testkonto handelt, spielt es vorerst keine Rolle. Aber wenn Sie Confluent tatsächlich verwenden und es aus Ihrem eigenen Geld verwenden. Das kann sich ziemlich schnell aufbauen. Jetzt wird unser Konnektor bereitgestellt und natürlich braucht der Prozess Zeit. Was ich also tun werde, ist, dass ich zurück zu diesem Cluster gehe und zum Connector gehe. Und ich pausiere das Video hier und bringe es zurück. Wenn das alles erledigt ist. Da sind wir los. Jetzt ist unser Konnektor in Betrieb. Es läuft. Eine kleine Nachricht hier, die besagt, dass Ihr S3 Sync Connector 0 jetzt läuft. Dieser Status läuft. Und wenn wir hier reingehen, ja, heißt es Laufen. Wenn Sie Probleme beim Einrichten dieses Konnektors haben, würden Sie diesen Fehler in diesem Bereich sehen , in dem es sagen würde, dass Look, wir sind in diesem Problem darauf gestoßen. Also, weißt du, finde es raus. Jetzt werden wir sehen, dass wir dieses Konnektor-Setup haben, aber was hat es tatsächlich als drei Senken an die Kunst geschickt. Wenn wir also in unsere S3-Synchronisierung gehen , hat es im Moment nichts. In ein paar Minuten wird tatsächlich etwas schicken. Es hat diese Aufgabe ausgeführt. Und bisher hat es von nichts gesagt. Wenn ich das Spiel also nur ein bisschen mehr spiele, spiele das Spiel ein wenig, pausiere das Video, komme zurück und wir werden sehen, was es tatsächlich an unseren S3-Cluster gesendet wird. Ich meine, S3-Datensynchronisation. Okay, also habe ich das Spiel ein bisschen auf einem anderen Konto gespielt. Wenn wir zur Anzeigetafel gehen, wird es das sagen. Ja, es hat ein zweites Konto, hat eine Punktzahl von 1000 auf dem alten. Aber wenn wir jetzt zu unserem S3-Bucket zurückkehren , der hier ist, werden wir jetzt sehen dass es dieses Ordnerthema enthält. Und wenn wir hineingehen, gibt es Ordner für jedes Ding, für das es Informationen erhalten hat. Wenn wir ins User Game gehen. Und es hat das Jahr, den Monat, den Tag und die Stunde. Und in dieser Stunde hat es diese JSON erhalten. Mal sehen, lasst uns einen dieser JSON öffnen und sehen, was es tatsächlich darin hat. Wenn wir das einfach aufmachen. In meinem Fall wird es wahrscheinlich noch heruntergeladen und wir können das öffnen. Wir können sehen, dass es all diese Informationen in diesem JSON mit uns geteilt hat, dass dieser Benutzer das Spiel gespielt hat und er so viel Punktzahl generiert hat. Auf diese Weise können wir eine Datensynchronisierung verwenden, um alle Informationen zu speichern , die von unserem Kafka-Cluster verbraucht werden. Aber es wird alles gerettet. Und wenn wir es später abfragen oder überprüfen müssten, uns alles hier in unserer Datensynchronisation zur Verfügung. Nachdem wir das gemacht haben, wissen wir, wie man funktioniert und wir haben es laufen sehen. Dies benötigt tatsächlich viele Ressourcen, um zu laufen. Was ich jetzt tun werde, ist, dass ich dir zeige, wie du all diese Ressourcen zerstören kannst , die du geschaffen hast. Das erste, was Sie tun möchten, ist, dass Sie in Ihren Connector gehen möchten und einfach sagen: Schau, ich möchte nicht mehr, dass dieser Connector läuft. Also gelöscht. Sie kopieren diesen Namen in den Konnektornamen. Und da gehst du. Bestätigen Sie. Ihr S3-Sync-Konnektor ist gelöscht, verschwunden. Sie haben diesen Connector nicht mehr zur Verfügung. Wenn du dann zu deinem Ubuntu zurückkehrst, musst du nur das Skript ausführen. Man würde also sagen Punktschrägstrich, Stopp, Dot SH. Und es sagt Ihnen jetzt, dass es alle Ressourcen zerstören wird , die Sie sagen lassen? Ja. Okay, mach das. Und jetzt wird es alle Ressourcen zerstören, die es geschaffen hat. Dies ist ein Prozess, der auch seine Zeit braucht, um ausgeführt zu werden. Also pausiere ich einfach das Video hier und komme zurück , wenn alles fertig ist. Da sind wir los. Es hat jetzt das Stopp-Skript erfolgreich ausgeführt und es hat alle Ressourcen zerstört, die es für dieses Projekt zugewiesen hat. Wenn Sie zu unserem S3 gehen, wenn wir jetzt zu unseren S3-Senken gehen, werden wir feststellen, dass der S3-Bucket, den wir für unser Projekt erstellt haben, verschwunden ist und wir können diesen Bucket löschen , indem wir ihn einfach leeren. Wir können also einfach sagen, schau dauerhaft löschen. Sie können dies also füllen, gefüllt mit dauerhaftem Löschen. Sobald Sie das getan haben, können Sie dies beenden und diesen Bucket löschen. Dafür müssen Sie nur die Einfügung kopieren, den Namen kopieren und hier einfügen. Ja, das ist erledigt. Und wenn Sie zu Ihrer Konsolencloud gehen, gehen Sie zu den Umgebungen. Sie werden feststellen, dass die Umgebung komplett verschwunden ist. Damit haben Sie Projekt zwei erfolgreich ausgeführt, Sie haben es abgeschlossen und gut gemacht.