Künstliche Intelligenz für Anfänger: Erstellen Sie ein benutzerdefiniertes ChatGPT in 3 Schritten – kostenlos

1. Einführung: Training Ihres eigenen Modells ist langsam, teuer und für die meisten Projekte übertrieben Das eigentliche Problem besteht darin, zu wissen, wo man anfangen soll und wie man zuverlässige Ergebnisse erzielt ohne Zeit oder Geld zu verbrennen Hallo, ich bin Alvin, ein Forscher bei einem großen Technologieunternehmen Ich habe über 60.000 Studenten auf Skillshare unterrichtet und an der UC Berkeley in KI promoviert In diesem Kurs gebe ich Ihnen ein einfaches, wiederholbares Playbook zum Erstellen eines benutzerdefinierten ChaChipt für Ihren eines benutzerdefinierten ChaChipt Wir werden das in drei Schritten tun. Schritt Nummer eins: Umfang Ihres Projekts. Finden Sie heraus, wie Sie KI für Ihren Anwendungsfall am effektivsten einsetzen können. Schritt Nummer zwei: Evaluieren Sie Modelle. Ich zeige Ihnen, wie Sie sich in der Vielzahl von proprietären und Open-Source-Modellen zurechtfinden von proprietären und Open-Source-Modellen Schritt Nummer drei: Qualität verfeinern. Stellen Sie sicher, dass das Modell jedes Mal genau das zurückgibt , was Sie benötigen. Am Ende dieses Kurses verfügen Sie über einen dreistufigen Prozess, den Sie für jede KI-basierte Idee verwenden können. In diesem Kurs wird davon ausgegangen, dass Sie meinen Kurs KI für Anfänger, wie Chat Tippit funktioniert, besucht haben meinen Kurs KI für Anfänger, wie Chat Tippit funktioniert Darüber hinaus ist jedoch kein technischer Hintergrund erforderlich. Sie benötigen lediglich einen Laptop, Internet und eine Stunde Zeit. Lass uns anfangen. 2. Projektumfang: Text zu Text: Willkommen bei KI für Anfänger. Erstellen Sie in drei Schritten einen benutzerdefinierten Chachi BT. Bevor wir beginnen, wollen wir uns einige Begriffe ansehen. Ich werde diese Definitionen stark vereinfachen, um die Hauptidee zu vermitteln LLM oder Large Language Model ist ein Modell, das Text generiert Sie geben ihm Tex als Eingabe, und das LLM erzeugt eine Texas-Ausgabe KI oder künstliche Intelligenz ist im Allgemeinen ein Produkt , das ein LLM verwendet HHIBT ist speziell das KI-Produkt von Open AI. KI versus CIBT ist also wie Taschentücher versus Kleenex. Taschentücher sind das allgemeine Produkt, und Kleenex ist ein Wenn Sie das verwirrend fanden, ist das okay. Ich gehe in KI für Anfänger genauer darauf ein, wie HachBT funktioniert. Sie finden es unter diesem Link Da du bereits abonniert bist, erhältst du diesen Kurs ohne zusätzliche Kosten Ich kann auch wärmstens empfehlen meine KI-Tools für Anfänger zum Erlernen von maschinellem Lernen zu nutzen Dort erkläre ich ein Framework für den Einstieg in KI und ML Sie finden diesen Kurs unter diesem Link. Sie müssen diese Links nicht aufschreiben, da Sie alle Links in dieser Lektion unter dieser URL finden . Lassen Sie uns nun in drei Schritten Ihren individuellen Chachi BT erstellen. Diese Schritte können von jedem unternommen werden, auch wenn Sie ein Profi sind, auch wenn Sie ein riesiges Budget haben Jeder, der eine benutzerdefinierte KI entwickelt, benötigt diese drei Schritte. Schritt eins: Umfang Ihres Projekts festlegen, festlegen, was Ihre KI leisten soll und wie Sie ihre Fähigkeiten beurteilen werden. Schritt zwei: Evaluieren Sie Modelle. Es gibt Richtlinien dafür, welche Arten von Modellen wann verwendet werden sollten. Schritt drei: Verfeinern Sie die Qualität. Es ist kein Training erforderlich, und wir zeigen Ihnen zwei Methoden zur Qualitätsverbesserung. Lassen Sie uns nun mit Schritt eins beginnen, dem Umfang Ihres Projekts. Der erste Schritt besteht darin, Ihren Fokus auf Text-zu-Text-Aufgaben zu beschränken . heißt, Sie geben dem KI Tex als Eingabe und erhalten Text als Ausgabe. Lassen Sie mich erklären warum. Erstens wissen wir aus Erfahrung, dass KI viel mehr als Text aufnehmen kann. Wir können KI Bilder, PDFs, Websites, Videos und mehr Es kann auch mehr als Text ausgeben. KI kann Bilder, Code, Grafiken, Audio und vieles mehr erzeugen . Das sind viele verschiedene Medien. Denken Sie jedoch daran, was wir zuvor gesagt haben. KI ist ein Produkt , das ein LLM verwendet, und ein LLM ist ein Modell, das Eingaben aus Texas aufnimmt und Text als Ausgabe generiert Also zurück zu unserem Diagramm. Lass uns hineinzoomen. Das KI-Produkt und schauen Sie sich das zugrunde liegende LLM an. Beachten Sie, dass das LLM nur Text aufnimmt. Alle anderen Eingaben werden zuerst in Text umgewandelt. Vor diesem Hintergrund besteht der Idealfall darin, der KI den Text direkt zu geben der KI den Text direkt und den Konvertierungsprozess komplett zu überspringen. Das liegt daran, dass Text die meisten Informationen pro Wort vermittelt Lassen Sie mich das anhand eines Beispiels erklären. Nehmen wir an, es gibt eine Webseite mit Ergebnissen eines kürzlichen Fußballspiels. Wie viele Wörter enthält diese Seite? IC eins, zwei, drei, vier, fünf, sechs, 789, zehn, 11, 12. Also insgesamt 12 Wörter. Ich könnte der KI diesen Text direkt geben, nur 12 Wörter, oder ich könnte einen Screenshot von dieser Webseite machen und dieses Bild der KI geben. Die KI würde dieses Bild dann in satte 2030 visuelle Wörter übersetzen satte 2030 visuelle Wörter Das sind über 170-mal mehr Wörter für dieselbe Menge an Informationen Zusammenfassend lässt sich sagen, dass Tex Informationen effizienter kommunizieren kann als Textbilder. Aus diesem Grund sollten Sie sich der Einfachheit halber für Ihr Projekt Text - und TextOut-Aufgaben halten Hier ist ein weiteres Beispiel. Sie möchten HattBT also um Feedback zu Ihren Folien bitten. Sie haben mehrere Optionen für Download-Formate. Laden Sie das Slidedeck jedoch nicht als PDF herunter und laden Sie es auf keinen Fall als Bilder herunter. Laden Sie die Folien stattdessen im Klartextformat herunter. Dieses Nur-Text-Format enthält nur den Rohtext für alle meine Folien ohne zusätzliche Formatierung oder unnötige Informationen. Jetzt kann ich diese Datei hochladen und HattPT um Feedback zu meinen Folien bitten Zum Glück werden meine Folien nur als Rohtext bereitgestellt, sodass Chat TPT sie effizient Kurz gesagt, wenn Sie eine Datei in HachBT einspeisen möchten, exportieren Sie diese Datei nach Möglichkeit im Klartextformat Lassen Sie uns noch ein Beispiel machen. Nehmen wir an, ich möchte HattBT nach einem Blogbeitrag fragen , den ich gerade lese Machen Sie keinen Screenshot der Webseite. Geben Sie HattBT stattdessen direkt die URL der Webseite an und Sie werden feststellen, dass HTHBT tatsächlich für uns auf diese Webseite zugreift und diesen Blogpost zusammenfasst Wir können überprüfen, ob HTTP auf die richtige URL zugreift, indem klicken Und auf der rechten Seite sehen wir die ursprüngliche Webseite als Zitat aufgeführt Das bedeutet, dass HatchBT in der Lage war, auf den Rohtext auf der Webseite zuzugreifen und wie zuvor Informationen effizient aufzunehmen , was erfolgreich Kurz gesagt, geben Sie Webseiten-URLs direkt an, damit HachPT auf die Webseite zugreifen und ihren Inhalt selbst als Rohtext extrahieren kann auf die Webseite zugreifen und ihren Inhalt selbst als Rohtext extrahieren ihren Inhalt selbst als Rohtext Um diese Lektion in einer Zusammenfassung zusammenzufassen, konzentrieren Sie sich auf Text-zu-Text-Aufgaben Das bedeutet, dass für unser Projekt, wo immer dies möglich ist, Klartextdaten für unser Projekt, wo immer dies möglich ist Und damit ist nun der erste Teilschritt des ersten Schritts Wir haben unser Projekt eingeschränkt, indem wir uns auf Text-zu-Text-Aufgaben konzentriert In der nächsten Lektion werden wir über einige Text-zu-Text-Aufgaben sprechen , für die KI am besten geeignet ist Und wenn Sie eine Kopie dieser Folien und zusätzliche Ressourcen erhalten möchten , können Sie auf diese URL zugreifen. 3. Projektumfang: Funktionen: In dieser Lektion werden wir weiter erörtern, wie Sie den Umfang Ihres Projekts festlegen können. Um es noch einmal zusammenzufassen: Wir befinden uns derzeit im ersten Schritt eines dreistufigen Prozesses Mein Ziel in diesem ersten Schritt ist es, Ihnen zu helfen, Ihren Projektumfang einzugrenzen In der vorherigen Lektion haben wir Ihren Fokus auf Text-zu-Text-Aufgaben beschränkt Ihren Fokus auf Text-zu-Text-Aufgaben Und in dieser Lektion werde ich Ihren Fokus weiter auf bestimmte Text-zu-Text-Funktionen beschränken weiter auf bestimmte Text-zu-Text-Funktionen Zunächst konzentrieren wir uns auf den Aufbau einer zuverlässigen und genauen maßgeschneiderten KI für die Produktion. Dann könnten wir uns fragen, was KI zuverlässig und genau genug für die Produktion tun kann ? Es gibt viele solcher Aufgaben, aber ich werde mich nur auf drei davon konzentrieren. Unsere erste Kategorie ist die Zusammenfassung. Amazon verwendet KI beispielsweise, um Produktrezensionen in einem Kundenbereich zusammenzufassen Slack verwendet KI, um Kanäle zusammenzufassen, und Noon verwendet KI, um Zoom-Meetings für dich zusammenzufassen Es gibt viele kommerzielle Beispiele allein für Zusammenfassungen . Lassen Sie uns das jetzt selbst ausprobieren. Nehmen wir an, Sie betreiben eine Bäckerei mit Hunderten von Bewertungen. Sie möchten aus diesen Bewertungen Erkenntnisse gewinnen , um Ihrer Bäckerei beim Wachstum zu helfen. Gehen Sie in Ihrem Browser zu chattbt.com. Sie werden eine Seite wie diese sehen. Lassen Sie uns einige Bewertungen einfügen und HatchiBT bitten , diese Bewertungen zusammenzufassen Hier ist unsere Zusammenfassung. Laut HattiBT sind die Meinungen zum Mandelcroissant gemischt, was eine faire Einschätzung zu sein scheint Sie können die Bewertungen selbst unter dieser URL einsehen , um zu beurteilen, ob Sie damit einverstanden sind oder nicht Kurz gesagt, KI ist ziemlich geschickt in der Zusammenfassung. KI ist auch produktionsbereit für die Strukturierung von Daten. Strukturierung von Daten ist eine ausgefallene Art zu sagen, dass KI Textklumpen in gut organisierte Datentabellen übersetzen kann Textklumpen in gut organisierte Datentabellen übersetzen gut organisierte Datentabellen Und oberflächlich betrachtet klingt das cool. Aber lassen Sie mich betonen, cool ist untertrieben. Lage zu sein, unstrukturierte Daten zu verwenden und saubere strukturierte Daten zu extrahieren , ist tatsächlich eine äußerst nützliche KI-Superkraft Lassen Sie mich das anhand eines Beispiels erklären. Lass uns zurück zu unserer Bäckerei gehen. Aus unseren 671 Bewertungen würden wir gerne wissen, was unsere Kunden von unseren Backwaren halten Mochten die Kunden zum Beispiel das Mandelcroissant ? Lassen Sie uns zunächst fragen, welche Kunden das Mandelcroissant überhaupt probiert haben Im Idealfall hätten wir eine gut organisierte Datentabelle wie diese, eine Liste mit „Richtig“ für diejenigen, denen sie gefallen hat, und „Falsch“ für diejenigen, denen sie nicht gefallen hat, solche Tabelle haben wir nicht Wir haben Blobs und Blocks von Bewertungen wie diesen. Jetzt müssen wir jede Bewertung durchgehen und lesen und dann feststellen, in welchen Bewertungen sogar Mandelcroissants erwähnt wurden Es gibt viele Möglichkeiten, Mandelcroissants zu erwähnen. In der Bewertung könnte es heißen: Mandelcroissant-Croissant mit Mandel- oder Mandelgebäck . Dann könntest du sagen, lass uns einfach nach dem Wort Mandel suchen. Aber das würde auch andere Croissants einschließen, denn die Bäckerei verkauft auch denn die Bäckerei verkauft auch Schokoladen-Mandel-Croissants und Blaubeer-Mandel-Croissants Schokoladen-Mandel-Croissants und Blaubeer-Mandel-Croissants. Kurz gesagt, es ist schwierig, Erwähnungen von Mandelcroissants zu erkennen, und das liegt daran, und Zum Glück ist KI dafür aber perfekt. Lass mich dir zeigen, wie du zu chattbt.com gehst. Gehen Sie zu dieser URL, um die Aufforderung zu kopieren. Fügen Sie dann die Eingabeaufforderung hier ein. Die Aufforderung gibt ChachiBT eine Liste mit Bäckereikritiken und fordert das Unternehmen auf, Liebhaber von Bäckereikritiken und fordert Alman Croissants zu identifizieren Klicken Sie auf Ausführen, und Sie erhalten eine schöne Tabelle mit Ergebnissen. Anstatt die Bewertungen durchzulesen, können wir leicht erkennen, welche Kunden das Amend Croissant probiert haben Es gibt drei solcher Rezensenten, und von diesen dreien hat es zwei gefallen Wir kommen daher zu dem Schluss, dass 67% der Kunden, die das Amen Croissant probiert haben, es Und damit können wir auf diese Weise problemlos große Textmengen analysieren, und das alles, weil KI unstrukturierten Text in strukturierte Formate umwandeln kann unstrukturierten Text in strukturierte Formate Und jetzt sollten Sie sehen können, wie wertvoll die Strukturierung von Daten ist Es ist eine Superkraft für die Analyse von Daten. Die dritte Aufgabe, für die die KI produktionsbereit ist, sind Codierung und kleine Schritte In diesem Bereich gibt es viele Erfolgsgeschichten. Cursor verbessert die Produktivität von Entwicklern , indem es einen KI-basierten Code-Editor anbietet, der Code für Sie schreiben und ausführen kann. Lovable ermöglicht es jedem , Apps von Grund auf neu zu generieren , ohne selbst Code schreiben zu bei Ihrem ersten Projekt jedoch nicht, Bitten Sie KI bei Ihrem ersten Projekt jedoch nicht, ganze Codebasen zu erstellen Behandeln Sie KI wie einen Nachwuchsingenieur, einfachen Aufgaben und einzelnen Schritten. KI ist sehr gut darin, Ausschnitte von Starter-Kodierung zu generieren, kleine Fehler zu finden und zu beheben und eine Funktion hinzuzufügen, die nur wenige Dateien umfasst . Lassen Sie uns das in Aktion sehen Gehe zu chattbt.com. Lassen Sie uns HattBT bitten, anhand der Daten von zuvor ein Kreisdiagramm der Alman Croissant Wie gewünscht, beginnt ChachiBT mit dem Schreiben und Schreiben von Code, wodurch wir nun ein Kreisdiagramm erhalten. ChachiBT gibt uns auch den Code für den Plot, den wir selbst ausführen könnten. Kurz gesagt, KI ist sehr gut der Lage, Code in kleinen Schritten zu schreiben Zusammenfassend lässt sich sagen, dass KI produktionsbereit ist, um Daten zusammenzufassen, zu strukturieren und zu codieren Die Zusammenfassung ist in die Produkte von Amazon, Slack und Notion integriert Amazon, Slack Strukturierung von Unternehmensinformationen in ein durchsuchbares Format wird von Glean und Intercom dominiert Beim Programmieren dominieren Cursor und Liebenswertes. Natürlich kann KI auf viele verschiedene andere Arten angewendet werden viele verschiedene andere Arten angewendet Hier konzentrieren wir uns jedoch auf Funktionen, die bereits kommerziell erfolgreich waren. Jetzt haben Sie Funktionen gesehen , die benutzerdefinierte Chat-Tipps in produktionstauglicher Qualität bieten können Wir haben nun mehrere KI-Funktionen besprochen, die sich bereits kommerziell und wiederholt bewährt haben, sodass wir uns bei unserem ersten Projekt auf diese Funktionen verlassen können dieser URL finden Sie alle von mir verwendeten Eingabeaufforderungen, die mit den vollständigen Beispielkonversationen und weiteren Ressourcen verknüpft den vollständigen Beispielkonversationen und weiteren Ressourcen 4. Projektumfang: Aufgabe und Metrik: In der letzten Lektion haben wir allgemeine Fähigkeiten gesehen, in denen KI am besten ist. Lassen Sie uns nun allgemeine Funktionen in ein bestimmtes Projekt umsetzen . Im ersten Teil haben wir Ihren Fokus auf die allgemeine Textaufgabe In der letzten Lektion haben wir Ihren Fokus weiter auf drei spezifische Funktionen eingegrenzt : Zusammenfassen, Strukturieren von Daten und Codieren In dieser Lektion definieren wir abschließend Ihr Projekt. Für Ihr Projekt müssen Sie zunächst die Aufgabe definieren. Was wird KI für Sie tun? Definieren Sie dann, was das LLM als Eingabe aufnehmen soll. Wird es Rezensionen, E-Mails und Aufsätze aufnehmen und schließlich definieren, welchen Text das LLM als Ausgabe produzieren soll Wird es Zusammenfassungen, Tabellen und Stichpunkte erstellen? Sehen wir uns ein Beispiel an. A Ich suche einen Ort zum Essen. leckere Café hat eine niedrige Bewertung, und ich möchte wissen warum Meine erste Reaktion besteht darin, dass KI meine Bewertungen zusammenfasst. Füllen wir die Projektvorlage aus. Unsere Aufgabe ist es, Bewertungen zusammenzufassen. Unser Input werden Rezensionen sein, und unser Ergebnis wird eine Zusammenfassung sein Das scheint keine hilfreiche Definition zu sein. Lassen Sie uns also genauer sein. Auf der Webseite des Restaurants scrolle ich durch Bewertungen mit wirklich niedrigen Bewertungen. Eine Person hat diesen Ort mit seinem Schwesterrestaurant verwechselt . Jemand anderes beschwerte sich über die Reihenfolge, in der die Gerichte serviert wurden, und der letzten Bewertung gefiel die Einstellung der Kellner nicht. Das sind alles berechtigte Bedenken, aber mir persönlich geht es nur um das Essen. Deshalb möchte ich Bewertungen herausfiltern, die nichts mit Lebensmitteln zu tun haben. wissen, dass dies mein Ziel ist, wollen wir es nun in ein konkretes Projekt umsetzen. Zu unserer Vorlage. Ich würde gerne Kritiken erkennen , die nichts mit Lebensmitteln Die Eingabe ist eine Restaurantbewertung, und die Ausgabe ist wahr oder falsch , ob bei der Bewertung Sterne abgezogen werden, wenn es sich nicht um Lebensmittel handelt. Jetzt sind wir im Geschäft So spezifisch sollte Ihre Projektdefinition sein. Wir haben jedoch noch eine weitere Komponente, die Metrik. Auf einer höheren Ebene sagt Ihnen die Metrik, ob die Ergebnisse der KI gut sind. lautet Ihre erste Kennzahl, ob ich die Ergebnisse der KI angemessen halte? Beurteilen Sie zuerst von Hand. Hier ist eine Bewertung, die sich über die Reihenfolge beschwert , in der die Gerichte serviert wurden Wir fragen die KI, werden bei dieser Bewertung Sterne abgezogen, wenn es sich nicht um Lebensmittel handelt Die KI macht eine Vorhersage. Ja. Also, finde ich das vernünftig? Das tue ich. Bei der Bewertung Sterne für den Service abgezogen, nicht für das Essen Die KI besteht diese erste Prüfung. Hier ist eine weitere Bewertung , die sich über die Frische des Fisches beschwert über die Frische des Fisches Wir fragen die KI, werden bei dieser Bewertung Sterne abgezogen, wenn es sich nicht um Lebensmittel handelt Die KI macht eine Vorhersage. Nein. Finde ich keinen vernünftigen? Das tue ich. In dieser Bewertung wurden Sterne genau aus Lebensmittelgründen abgezogen Die KI besteht diese zweite Prüfung. Hier ist eine Bewertung, die Verwirrung über den Namen des Restaurants zeigt. Wir fragen die KI: Werden bei dieser Bewertung Sterne abgezogen, wenn es sich nicht um Lebensmittel handelt? Die KI macht eine Vorhersage. Nein. Finde ich keinen vernünftigen? Diesmal tue ich das nicht. der Bewertung wurden Sterne für den Namen des Restaurants abgezogen , nicht für das Essen Die KI besteht bei dieser dritten Prüfung nicht. Hier ist die KI-Scorecard. Wir finden die Ergebnisse in zwei von drei Fällen angemessen. Zusammenfassend lässt sich sagen, Ihre erste Einschätzung lautet, dass die Ergebnisse der KI größtenteils angemessen sind. Die besten Kennzahlen werden jedoch die Qualität quantifizieren. Lassen Sie uns also genauer sein. Zurück zu unserer Scorecard: In zwei von drei Fällen haben wir festgestellt, dass die KI richtig war Wir sagen also, dass die KI eine Genauigkeit von 67% erreicht hat. Jetzt ist Ihre Kennzahl der Prozentsatz der Bewertungen, die die KI korrekt klassifiziert Kurz gesagt: Unsere Kennzahl ist Modellgenauigkeit von Bewertungen , die wir als wahr oder falsch eingestuft haben Das trifft auf die Bewertung zu, deduktive Sterne aus Gründen, die nichts mit Lebensmitteln zu tun haben. Jetzt können wir jede KI nehmen und ihre Genauigkeit für unsere Aufgabe berechnen Hier ist jetzt unsere dumme Projektdefinition. Wir haben die metrische Genauigkeit hinzugefügt wie genau die KI richtig oder falsch vorhersagt, verglichen mit Ihren eigenen Kennzeichnungen auf Restaurantbewertungen Lassen Sie uns ein anderes Beispiel machen. Angenommen, Sie organisieren einen Hackathon, und nachdem das Online-Einreichungsportal zum Stichtag geschlossen wird, Ihnen Dutzende von Personen verspätete Beiträge per E-Mail zu Ihr allgemeines Ziel ist es, verspätete Beiträge zu organisieren, die per E-Mail gesendet werden Konkret besteht Ihre Aufgabe darin, festzustellen, ob es sich bei einer E-Mail um einen Hackathon-Eintrag handelt Die Eingabe ist eine E-Mail. Die Ausgabe, unabhängig davon, ob es sich bei der E-Mail tatsächlich um eine Hackathon-Einreichung handelt oder nicht der E-Mail tatsächlich um eine Hackathon-Einreichung handelt Die Metrik ist auch die Genauigkeit, also wie viele E-Mails korrekt als Einträge klassifiziert wurden oder nicht Mithilfe von KI können wir jetzt eine Datentabelle generieren und voila. Es ist jetzt viel einfacher zu bestimmen, welche verspäteten Einsendungen akzeptiert werden sollen , ohne alle 100 E-Mails lesen zu müssen , um die Hackathon-Beiträge zu finden Definieren Sie zusammenfassend die Aufgabe, den Input für Ihre KI, den Output Ihrer KI und die Metrik, die bestimmt, wie gut die Ergebnisse Ihres Modells sind Damit ist diese Lektion abgeschlossen. In dieser Lektion haben wir Ihr Projekt nach der Festlegung des Projektumfangs endgültig definiert Damit ist auch der erste von drei Sie haben jetzt den Umfang Ihres Projekts festgelegt und wir sind bereit, damit zu beginnen der CRL finden Sie eine Kopie dieser Folien und 5. Modelle bewerten: Testen Sie die besten Modelle: Willkommen zurück. In früheren Lektionen haben wir unseren Fokus auf Text-to-Text-Aufgaben beschränkt Dann spezifische Fähigkeiten und dann Definition der Aufgabenmetrik. Damit war unsere erste Aufgabe, die Festlegung des Projektumfangs, abgeschlossen. unserem zweiten Schritt werden wir Modelle evaluieren, um das beste Modell für unseren Anwendungsfall auszuwählen Um ein Modell auszuwählen, bewerten Sie mehrere Modelle im Hinblick auf ihre Fähigkeit, Ihre Aufgabe zu erfüllen. Wir beginnen mit den besten Optionen, weil wir es wissen wollen. Kann irgendeine KI unsere Aufgabe überhaupt erledigen? Wenn die beste KI deine Aufgabe nicht lösen kann, dann werden es weniger intelligente KIs sicherlich auch nicht tun. Fangen Sie also mit der intelligentesten KI an. Laut der Website von Open EI ist , wenn Sie den kostenlosen Tarif oder den Plus-Plan GPD Five-Denken Ihr intelligentestes Modell Wenn Sie den Pro-Plan nutzen, GPD Five Pro Ihr intelligentestes Beginnen wir mit unseren Tests über Chatbots, eine einfache Oberfläche für einen schnellen Gehe zu chatbt.com. Sie werden einen Bildschirm wie diesen sehen. Erweitern Sie links oben das Drop-down-Menü. In diesem Drop-down-Menü sehen Sie schnell das schnellste, aber relativ am wenigsten intelligente Modell. Denken, ein intelligenteres Modell. Verwenden Sie dies, wenn Sie den kostenlosen Tarif oder den Plus-Tarif nutzen. Und schließlich P, das intelligenteste Modell. Verwenden Sie dies, wenn Sie den Pro-Plan haben. Ich verwende GPT Five Thinking , damit jeder meine Ergebnisse reproduzieren kann Wir haben jetzt einen LLM ausgewählt. Also, was sollten wir Chat GBT fragen? Lassen Sie uns unser Projekt aus der letzten Lektion verwenden. Denken Sie daran, unser Ziel ist es, Kritiken herauszufiltern, die nichts mit Lebensmitteln zu tun haben. den Eingaben handelt es sich um Restaurantkritiken, und die Ergebnisse sind richtig oder falsch, was wahr ist, wenn Sterne aus Gründen, die nichts mit Lebensmitteln zu tun haben, abgezogen werden Zu unserer Information: In Ordnung, angesichts der Restaurantbewertungen wird „wahr“ ausgegeben, wenn bei einer Bewertung Sterne abgezogen werden, weil es sich nicht um Lebensmittel handelt Dann füge ich drei Bewertungen hinzu. Die erste Bewertung beschwert sich über den Service, zweite über den Geschmack und die dritte mag das Essen, war aber der Meinung, dass der Service langsam war Wir gehen davon aus, dass die KI dann „ wahr“ zurückgibt , weil bei der ersten Bewertung Sterne für den Service abgezogen werden, „falsch“, weil bei der zweiten Bewertung Sterne genau für Essen abgezogen genau für Bei der letzten Bewertung werden überhaupt keine Sterne abgezogen. Versuchen wir es jetzt mit dieser Aufforderung. Gehen Sie zunächst zu dieser UOL und kopieren Sie die Eingabeaufforderung. Gehen Sie dann zurück zu chattbt.com. Fügen Sie die Eingabeaufforderung ein. Klicken Sie auf „Ausführen“. ChattBTTS für ein paar Sekunden gibt ihm dann eine Antwort, die richtig, wahr, falsch, falsch ist Infolgedessen kommen wir zu dem Schluss, dass KI unsere Aufgabe korrekt erledigen kann Insbesondere GPT Five erfüllt unsere Aufgabe. Das Testen des Chatbots reicht nicht aus, da Chatbots nicht deterministisch sind Das bedeutet, dass sie nicht jedes Mal dieselben Ergebnisse liefern. Bitten wir HathBT zum Beispiel um einen Papa-Witz. Chat TBT macht einen Witz über Vogelscheuchen. Lass uns das noch einmal machen, genau dieselbe Aufforderung. HatchiBT macht einen Witz über das Alphabet. Mach das noch einmal. Chat TBT-Witze über Skelette Genau dieselbe Aufforderung ergab also jedes Mal unterschiedliche Antworten Dies zeigt unseren früheren Standpunkt , dass Chatbots nicht deterministisch sind Aus diesem Grund müssen wir vom Testen des Chatbots zum Testen der API übergehen In die API wird standardmäßig viel weniger Zufälligkeit injiziert. Wenn KI die Aufgabe also einmal erledigt, können wir sicher sein, dass KI die Aufgabe wiederholt erledigt Gehen Sie zur Plattform dotopen.com. Ihre Webseite wird so aussehen. Stellen Sie sicher, dass Sie oben rechts auf Anmelden klicken , falls Sie dies noch nicht getan haben. Klicken Sie dann oben rechts auf das Dashboard. Unsere Seite wird jetzt so aussehen. Klicken Sie in der Mitte der Seite auf Erstellen. Ihr Bildschirm sollte jetzt so aussehen. Klicken Sie unten rechts auf Auto Clear. Dadurch wird sichergestellt, dass wir jedes Mal, wenn wir auf Senden klicken, dasselbe Verhalten wie das Senden separater API-Aufrufe nachahmen Fragen Sie jetzt nach einem Papa-Witz, aber bevor Sie die Eingabetaste drücken, beachten Sie, dass dieses spezielle Beispiel bis zu zwei Zehntel Cent kosten kann Sobald Sie auf Ausführen klicken, macht JTBT einen Witz über das Alphabet. Lass uns nochmal nach einem Papa-Witz fragen. Vergewissern Sie sich, dass unten rechts die Option Automatisch löschen ausgewählt ist, und senden Sie es ab. JTBT macht genau den gleichen Witz über das Alphabet mit einer geringfügigen Änderung der Zeichensetzung Und wir versuchen es erneut und bekommen genau den gleichen Alphabet-Witz. Die Ergebnisse sind alle fast identisch. Das ist viel besser als der Chatbot , der jedes Mal völlig unterschiedliche Antworten zurückgibt Wir können also den Schluss ziehen, dass API-Aufrufe größtenteils deterministisch sind, definitiv viel stärker als der Versuchen wir es also noch einmal mit unserer Beispielprojektaufforderung über die API. Denken Sie daran, dass dies unsere Aufforderung von zuvor ist. Wir erwarten, dass KI „ Wahr“, „Falsch“ und „Falsch“ zurückgibt. Gehen Sie zu dieser URL, um die Aufforderung zum Beispielprojekt erneut zu kopieren. Gehen Sie dann zurück zur Plattform und geben Sie openai.com ein. Fügen Sie die Eingabeaufforderung Bevor Sie auf Ausführen klicken, beachten Sie, dass dieses Beispiel vier Zehntel Cent kostet Die GPD Five-API gibt zunächst einige Sekunden lang Denk-Token zurück Gibt dann schließlich die endgültige, richtige Antwort zurück: wahr, falsch, falsch Lass es uns noch einmal versuchen. Und wieder gibt GPD five die richtige Antwort zurück , wahr, falsch, falsch Und noch einmal. Und wieder die richtige Antwort, wahr, falsch, falsch. GPD Five erfüllt also nach wie vor unsere Aufgabe korrekt. Noch wichtiger ist, dass GPT Five dies wiederholt tut. Das ist ein großer Gewinn. Das bedeutet, dass unser Projekt unsere Aufgabe nun mithilfe der API von GPD five wiederholt erledigen kann unsere Aufgabe nun mithilfe der API von GPD five wiederholt erledigen Zusammenfassend lässt sich sagen, dass wir zuerst die beste und intelligenteste KI testen zuerst die beste und intelligenteste KI Einfachheit halber zunächst über Chat-Bots, dann über die API zur Reproduzierbarkeit, und damit sind unsere Tests über die API abgeschlossen Im Allgemeinen sind wir damit fertig, die beste KI zu testen. Und in der nächsten Lektion werden wir die Kosten optimieren, indem wir schnellere, billigere Modelle testen. Falls du dich fragst, wie ich die Kosten eines API-Aufrufs berechnet habe, erkläre ich das und füge weitere Ressourcen auf der Kurswebsite unter dieser URL hinzu 6. Modelle bewerten: Kosten optimieren: Willkommen zurück. Zusammenfassend Sie befinden sich in Schritt zwei von drei Bisher haben Sie jedoch nur die beste KI getestet. Wir haben die beste KI per Chat getestet und dann per API getestet. Jetzt ist es an der Zeit, die Kosten zu optimieren und das günstigste Modell zu finden , das unsere Aufgabe immer wieder erfüllen kann. Erinnern Sie sich noch daran, dass GPD Five unsere Beispielprojektaufgabe erfolgreich und wiederholt abgeschlossen unsere Beispielprojektaufgabe erfolgreich und wiederholt und sie etwa vier Zehntel Cent gekostet Ich werde alle Kostenberechnungen auf unserer Kurswebsite veröffentlichen, falls Sie daran interessiert sind auf unserer Kurswebsite veröffentlichen, falls Sie Hier sind die Kosten von GPD five für unser Beispiel zusammen mit den Kosten pro Token gemäß der API-Preisseite von OpenAI Lassen Sie uns das nächstbilligste Modell auf unserer Liste ausprobieren , den GPT Wählen Sie in Ihrer Modellauswahl GPD Ihr Bildschirm sollte jetzt wie meiner aussehen. Fügen Sie die Beispielprojekt-Eingabeaufforderung und GPD Five Mini antwortet mit Wahr Falsch Falsch erledigt die Aufgabe korrekt Schauen wir uns die Kosten an. Dieses Beispiel kostete 700stel Cent. Und wenn wir das zu unserer Tabelle hinzufügen, können wir feststellen, dass wir die Kosten für die Erledigung unserer Aufgabe um das Fünffache reduziert haben Erledigung unserer Aufgabe um das Fünffache Testen wir jetzt unser günstigstes Modell, den GPT Five Nano. Wählen Sie in der Modellauswahl GPT five Modellauswahl GPT Ihr Bildschirm sollte jetzt wie meiner aussehen. Fügen Sie die Beispielprojekt-Eingabeaufforderung ein, und wieder erhalten wir true, false, die richtige Antwort. Schauen Sie sich noch einmal die Kosten an. Die Kosten für unser Beispiel belaufen sich jetzt drei Hundertstel Cent Und in unserer Tabelle können wir sehen, dass wir die Kosten für die Erledigung unserer Aufgabe jetzt noch einmal um das Zweifache gesenkt Kosten für die Erledigung unserer Aufgabe jetzt noch einmal um das Zweifache Aber lassen Sie uns die Kosten noch weiter senken. Bisher haben wir die Argumentation auf der standardmäßigen mittleren Ebene beibehalten. Stattdessen wollen wir die Argumentation jetzt auf ein Minimum reduzieren. Lassen Sie mich Ihnen zeigen, wie das geht. Zurück auf dieser Webseite, neben dem Modellnamen, klicken Sie auf das Einstellungssymbol. Wählen Sie im Menü die Option Argumentation Effort aus. Dadurch erhalten Sie ein weiteres Drop-down-Menü. Wählen Sie minimal, was dann so aussehen wird. Klicken Sie auf eine Stelle außerhalb des Popups. Fügen Sie dann Ihre Beispielprojekt-Eingabeaufforderung ein. Und verrückt genug, GPT five Nana antwortet ohne Begründung immer noch richtig falsch falsch und erledigt die Aufgabe perfekt. Schau dir jetzt die Kosten an Die Kosten für unser Beispiel belaufen sich jetzt auf einen 4000stel Cent, was uns zu dieser endgültigen Ergebnistabelle verhilft Wir reduzieren die Kosten weiter um das Siebenfache. Das ist eine verrückte Kostensenkung. Angesichts dieser Ergebnisse erklären wir GPT five Nano ohne Begründung zu unserem Gewinner Damit sind die drei Teile von Schritt zwei abgeschlossen Testen Sie per Chatbot, testen Sie über die API und finden Sie schließlich das günstigste Modell, das Dadurch entstand das günstigste Open-EI-Modell, das unsere Aufgabe GPT five Nano erfolgreich lösen konnte unsere Aufgabe GPT five Nano erfolgreich lösen Zusammenfassend lässt sich sagen, dass Sie zuerst die beste und intelligenteste KI Einfachheit halber zunächst über Chat-Bots, dann über die API zur Reproduzierbarkeit Testen Sie dann iterativ kostengünstigere Wir haben jetzt erfolgreich die Kosten optimiert und die Kosten mehr als das 88-fache gesenkt war's für die Evaluierung Damit ist Schritt zwei größtenteils abgeschlossen. Wir sind mit proprietären Modellen fertig, aber jetzt müssen wir diesen Prozess für eine weitere große Kategorie von Optionen, Open-Source-Modellen, wiederholen . Wie üblich finden Sie alle Berechnungen, Eingabeaufforderungen und weitere Ressourcen unter dieser URL 7. Evaluieren von Modellen: Open-Source: Lassen Sie uns eine weitere Kategorie von Modellen untersuchen , Open-Source-Modelle. Wir befinden uns derzeit im zweiten von drei Schritten, in denen wir Modelle evaluieren, um zu entscheiden, welches verwendet werden soll. Zum Glück gibt es auf huggingface.co einen standardisierten Hub für alle Open-Source-Modelle Besuchen Sie diese URL und Sie werden eine Menge Optionen sehen. Es ist überwältigend. Im Folgenden finden Sie jedoch einige Heuristiken, diesem riesigen Modellbestand zurechtfinden Regel Nummer eins: Verwenden Sie Modelle, die auf Befehle abgestimmt sind. Normalerweise steht bei Modellen, die auf Befehle abgestimmt sind, irgendwo im Namen eine Anweisung Der Grund für diese Regel ist , dass LLMs in drei Stufen trainiert werden In der ersten Phase, der sogenannten Vorschulung, LLMs einfach das nächste Wort voraus In der zweiten Phase, der sogenannten SFT oder überwachten Feinabstimmung, lernen die Modelle, Fragen zu beantworten In der letzten Phase, dem sogenannten Reinforcement Learning with Human Feedback oder RLHF, lernen Modelle, Antworten an menschlichen Präferenzen auszurichten und dabei hilfreich, ehrlich und Technisch gesehen wird nur der zweite Schritt als Instruction Tuning bezeichnet, aber in der Praxis haben auf Befehle abgestimmte Open-Source-Modelle sowohl SFT als auch RLHF durchlaufen Auf jeden Fall sollten Sie kein Modell haben, das nur vor dem Training trainiert wurde , weil diese Modelle Fragen automatisch vervollständigen und keine Fragen beantworten Kurz gesagt, Regel Nummer eins: Verwenden Sie Modelle, die auf Anweisungen abgestimmt sind. Verwenden Sie für Regel Nummer zwei kleine Modelle. Dies ist natürlich keine feste Regel, aber ich kann sie nur empfehlen. Nehmen wir an, Sie ignorieren mich. Was ist, wenn Sie riesige Open-Source-Modelle verwenden möchten, die größten und besten? Nun, mal sehen, welches Open-Source-Modell das beste ist. Hier ist die Chatbot-Arena. Die Modelle von Gemini Open AI und Grock Four sind alle urheberrechtlich geschützt. Das ranghöchste Open-Source-Modell ist also Kimik. Gehen wir zur Website von Kimi K. Laut dieser Webseite besteht Kimi K aus 1 Billion Parametern Realistisch gesehen würden wir also 16 H 100-GPUs benötigen , um dieses Modell auszuführen Erstens ist das teuer. 16 H 100-GPUs kosten 64$ für nur 1 Stunde Nutzung. Zweitens ist es kompliziert Inferenzen für ein so großes Modell durchzuführen Alles in allem: Wenn Sie hochmoderne Open-Source-Modelle verwenden möchten, sollten Sie APIs verwenden, die Open-Source-Modelle bereitstellen , da deren Preise von Skaleneffekten profitieren Es ist günstiger für Sie, eine API aufzurufen , als diese riesigen Modelle selbst auszuführen. Einzelheiten finden Sie in diesem Blogbeitrag , den ich auf unserer Kurswebsite verlinken werde. Um hochmoderne Open-Source-Modelle zu verwenden, folgen wir denselben drei Teilschritten Testen Sie per Chatbot, testen Sie über API und optimieren Sie die Kosten. Beginnen wir mit dem ersten Teilschritt und testen wir per Gehe zu gpthss.com. Denken Sie daran, das war unsere Aufforderung von vorhin. Wir erwarten, dass KI „ Wahr“, „Falsch“ und „Falsch“ zurückgibt. Gehen Sie zunächst zu dieser URL und kopieren Sie die Aufforderung. Dann wirst du eine Webseite wie diese sehen. Ich habe mich dafür entschieden, mit sichtbarem Denken fortzufahren, aber Sie können eine der beiden Optionen wählen Keine der beiden Optionen ändert die Qualität der Antworten der KI. Fügen Sie Ihre Eingabeaufforderung ein und klicken Sie auf Ausführen. Dann siehst du wahr, falsch, falsch, die richtige Antwort. der linken Seitenleiste Klicken Sie nun in der linken Seitenleiste auf GBTOSS 20 Billion, das kleinere der beiden Open-Source-Modelle von Open AI Sie dann oben rechts Klicken Sie dann oben rechts auf Neuer Chat Ihr Bildschirm sieht dann so aus Fügen Sie die Eingabeaufforderung erneut ein und klicken Sie auf Ausführen. Dann siehst du wieder wahr, , falsch, die richtige Antwort. Wir haben gesehen, dass das Beste aus Open-Source-KI unsere Aufgabe erfüllen kann. Lassen Sie uns jetzt erneut über die API testen. Auf huggingface.co haben viele Open-Source-Modelle unten rechts einen Bereich, in dem Sie einmalige Nachrichten an das LLM senden können , um es zu testen Dies ist technisch gesehen auch nicht kostenlos, aber Sie können Anfragen senden, aber Sie können Anfragen senden ohne Rechnungsinformationen hinzuzufügen. Fügen Sie Ihre Eingabeaufforderung ein und Deep Seek R wird übergeben. Es gibt wahr, falsch, falsch aus. Das bedeutet, dass Open-Source-KI wie Deepsk auch unsere Aufgabe lösen kann Deepsek R one hätte einen Drittel Cent gekostet , dieses Beispiel auszuführen Lassen Sie uns jetzt wie zuvor das billigste Modell finden , das unsere Aufgabe erfüllen kann Lass uns das nächstbilligste Modell ausprobieren. Deep Seek R ein Lama 7 Milliarden. Dieses Modell gibt auch die Antwort richtig, wahr, falsch, falsch Deep Seek Lama hat es einen Sechstel Cent gekostet, also haben wir unsere Kosten jetzt um die Hälfte gesenkt Versuchen wir es jetzt mit dem nächstgünstigsten Deep Seek V Three. Technisch gesehen hat Deep Seek V drei richtig beantwortet: wahr, falsch, falsch. Es hat das einfach mit viel zusätzlichem Text gemacht. Wenn Deep Seek jedes Mal unterschiedliche Formate ausgeben würde, wäre unser Projektcode leider jedes Mal unterschiedliche Formate ausgeben würde, nicht in der Lage, die LLM-Ausgabe zuverlässig zu analysieren Zum Glück haben wir eine Möglichkeit, dies zu beheben, die ich Ihnen später zeigen werde Aber im Moment besteht Deep Seek V Three nicht. Es hat die Intelligenz , aber nicht die Formatierung. Versuchen wir es mit dem zweitgünstigsten Lama auf unserer Liste, Lama 370 Milliarden Hugging Face gibt mir leider immer wieder Fehler. Also habe ich eine zufällige andere Website gefunden. Ich unterstütze das nicht unbedingt, aber jede Website reicht aus. Und es sieht so aus, als ob Lama 370 Milliarden richtig antwortet und falsche Stürze Lama vergeht also 370 Milliarden. Lassen Sie uns das nächstbilligste Modell auf unserer Liste ausprobieren . Deep sucht Quin. Das kleinste destillierte Modell von Deep Seek RO spuckt einfach eine unendlich lange Reihe von Tags aus Das ist also ein schwerer Fehlschlag. Wie wir gesehen haben, ist Quin katastrophal gescheitert. Vor diesem Hintergrund haben wir jetzt unsere Ergebnistabelle vervollständigt Wir können alle Preise und Cent neu auflisten und dann die Preise für Open AI mit den Preisen Open-Source-Software vergleichen, um Informationen pro Dollar zu vergleichen. Hier sind die Gewinner jeder Kategorie. Beachten Sie den Unterschied in den Kosten. Zugegeben, ich hätte kleinere Open-Source-Modelle testen können, die billiger als 70 Milliarden sind , aber leistungsfähiger sind als Quinn, aber noch kleiner, und sie können kostenlos auf Ihrem eigenen Computer laufen, sodass es keinen Sinn macht, ihre APIs zu testen Die Open EI-API ist für diese spezielle Aufgabe zur korrekten Erkennung von Kritiken, die nichts mit Lebensmitteln zu tun haben, auf der Grundlage unserer früheren Ergebnisse 15-mal günstiger diese spezielle Aufgabe zur korrekten Erkennung von Kritiken, die nichts mit Lebensmitteln zu tun auf der Grundlage unserer früheren Im Allgemeinen schneiden Bezug auf Intelligenz pro Dollar besser ab als Open-Source-Modelle, wenn es um hochmoderne proprietäre Modelle in Bezug auf Intelligenz pro Dollar besser ab als Open-Source-Modelle, wenn es um hochmoderne Modelle auf Intelligenz pro Wenn wir also über Open Source nachdenken, sollten wir uns von der Modernität verabschieden und uns an kleine Open-Source-Modelle halten kann tatsächlich sehr wirtschaftlich sein, diese Modelle alleine zu betreiben. Zusammenfassend empfehle ich also, kleine Open-Source-Modelle zu verwenden. Zumindest für den Moment haben wir für die großen, hochmodernen Open-Source-Modelle die großen, hochmodernen Open-Source-Modelle unsere drei Teilschritte abgeschlossen Damit ist die Evaluierung großer Open-Source-Modelle abgeschlossen. In der nächsten Lektion werden wir uns kleine Open-Source-Modelle ansehen, die klein genug sind, um kostenlos ausgeführt zu werden. Wie üblich finden Sie alle Links, Notizbücher und andere Ressourcen auf der Kurswebsite. 8. Demo: Open-Source-Modell ausführen: Lassen Sie uns jetzt Open-Source-Modelle kostenlos ausführen. Wir befinden uns derzeit im zweiten von drei Schritten. Wir probieren jetzt kleine Open-Source-Modelle aus. Lassen Sie uns vorerst Lama 3,28 Milliarden als Standard behandeln. Dies ist ein winziges Sprachmodell , das auf Ihren Laptop passen sollte Natürlich gibt es viele andere Open-Source-Modelle. Aber bevor ich auf diese eingehe, werden sich die nächsten Folien auf einige Begriffe wie GPU, Node, RAM und Präzision beziehen . Wenn Sie mit diesen Begriffen nicht vertraut sind, können Sie meine Erklärung getrost ignorieren und sich einfach auf das Wesentliche konzentrieren. Ich werde auch Definitionen auf der Kurswebsite unter dieser Nun zurück zu Regel Nummer zwei: Wir haben bereits gesagt , dass kleine Modelle verwendet werden sollten. Aber lassen Sie uns genauer sagen, was klein bedeutet. Mit klein meine ich Single-GPU-Modelle, was für Inferenzen viel einfacher ist als Multi-GPU und insbesondere Multi-Node-Modelle Nun, da wir uns auf Open-Source-Modelle mit einer GPU beschränkt haben, welche Open-Source-Modelle passen auf eine einzelne Nun, das hängt von zwei Faktoren ab, dem RAM Ihrer GPU und der Präzision Ihres Modells Ich werde die vollständige Erklärung auf die Kurswebsite stellen. Vorerst sagen wir jedoch, dass LLMs mit 16 Milliarden oder weniger Parametern auf eine einzelne GPU passen Lassen Sie uns dies verwenden, um ein Open-Source-Modell zu finden, das wir verwenden können. Zurück auf der Website von Hugging Face, auf der linken Seite, filtern Sie nach Modellgröße Wir wollen 16 Milliarden oder weniger Parameter, aber 12 Milliarden sind der genaueste Wert, den wir verwenden können Sortiere dann oben rechts die Modelle nach Likes. Nach beiden Änderungen sehen Sie eine Seite wie diese. Wenn wir uns die Anzahl der Downloads ansehen, sehen wir klickend einen Gewinner: Lama 3,18 Milliarden Instruct , der im letzten Monat über 9 Millionen Downloads hatte sehen wir klickend einen Gewinner: Lama 3,18 Milliarden Instruct , der im letzten Monat über 9 Millionen Downloads hatte. Lassen Sie uns dieses Modell verwenden. Für unsere Open-Source-Experimente werden wir ein 8-Milliarden-Parameter-Modell aus der Lama-LLM-Familie verwenden aus der Lama-LLM-Familie Dies ist eines der am häufigsten heruntergeladenen Modelle des letzten Monats von Hugging Und was noch wichtiger ist, wir haben festgestellt, dass dieses Modell zu den von uns verwendeten GPUs passt Gehen Sie zu dieser URL, um den Startercode zu öffnen, den ich für Sie geschrieben habe Du solltest ein Notizbuch wie dieses sehen. jetzt oben in der Datei Klicken Sie jetzt oben in der Datei auf Alle ausführen. Möglicherweise wird ein Fehler angezeigt. Wenn Sie einen Fehler wie diesen sehen, müssen Sie jeden Schritt manuell ausführen. Um den Vorgang manuell auszuführen, bewegen Sie den Cursor so, dass er sich über Schritt eins Eine Schaltfläche „Ausführen“ wird angezeigt. Klicken Sie auf die Schaltfläche Ausführen. Danach können Sie, obwohl Schritt eins noch läuft, sofort den Mauszeiger über Schritt zwei bewegen und auf die entsprechende Schaltfläche Ausführen klicken Dann sollten Sie Punktlinien wie diese sehen , die darauf hinweisen, dass Schritt zwei in der Warteschlange steht Unabhängig davon, ob Sie auf Alle ausführen geklickt oder die ersten Schritte manuell ausgeführt haben, installiert Ihr Notizbuch jetzt erforderlichen Komponenten und lädt Gewichte herunter Dies dauert fünf bis zehn Minuten. Schauen Sie sich während dieser Zeit diesen Videodurchgang weiter an. Nach ein paar Minuten ist Schritt eins abgeschlossen. Wenn Sie ein grünes Häkchen sehen, bedeutet dies, dass Schritt eins erfolgreich abgeschlossen wurde Nach ein paar weiteren Minuten sollte auch Schritt zwei abgeschlossen sein Auch hier sollte ein grünes Häkchen angezeigt werden, das auf Erfolg hinweist Nun, unabhängig davon, ob Sie Schritt drei bereits ausgeführt haben oder nicht, klicken Sie neben Schritt drei auf Ausführen Nach ein paar Sekunden werden wir Lamas Beiträge sehen, in denen er über den Sinn des Lebens Sie sollten jetzt die Aufforderung sehen. Sie sollten die Eingabeaufforderung nun nach Ihren Wünschen ändern und noch einmal auf die Schaltfläche Ausführen klicken. Behandle das wie einen persönlichen Chat-Bot. Sie können zu Chat GBT fragen oder sagen, was Sie normalerweise sagen würden Wir können uns zum Beispiel von Lama etwas Mathe erklären oder Lama uns von unserer bevorzugten Online-Lernplattform erzählen unserer bevorzugten Online-Lernplattform Das ist quasi Ihre eigene KI, die in der Cloud läuft Niemand außer Ihnen verwendet dieses spezielle LLM. Jetzt ist es an der Zeit, Lama in unserem Beispielprojekt zu testen. Klicken Sie hier in der letzten Zelle auf Run, um Lamas Fähigkeit zu testen, Kritiken zu identifizieren, die nichts mit Lebensmitteln zu tun Leider liegt Lama falsch, wenn er sagt, dass sowohl die erste als auch die dritte Bewertung zutreffen, dass es sich bei beiden um Kritiken handelt , die nichts mit Lebensmitteln zu tun haben Mit anderen Worten, Lama sagt Wahr Falsch Wahr statt Wahr Falsch Falsch voraus statt Wahr Falsch Falsch Wir werden das in der nächsten Lektion beheben, ohne das Modell zu trainieren. Das ist es. Wir haben jetzt unser allererstes Open-Source-LLM ausgeführt und jetzt haben wir endlich den zweiten von drei Schritten abgeschlossen Wie ich bereits erwähnt habe, besteht unser nächster Schritt darin , die Qualität zu verfeinern Insbesondere werden wir die Fähigkeit dieses Open-Source-LLMs verbessern , unser Beispielprojekt abzuschließen 9. Qualität verfeinern: Technikereingaben: In dieser Lektion werden wir die Fähigkeiten unseres LLMs verbessern , indem wir unsere Eingaben ändern Im Allgemeinen wird dies als Prompt Engineering bezeichnet. Wir befinden uns jetzt im dritten von drei Schritten und verfeinern jetzt die Qualität Hier gibt es zwei Teilschritte. Der erste besteht darin, unsere Eingaben zu entwickeln. Falls Sie es noch nicht getan haben, gehen Sie zu dieser URL, um den Startercode zu öffnen , den ich für Sie geschrieben habe. Wenn Sie Ihr Notizbuch aus der letzten Lektion noch geöffnet haben , verwenden Sie dasselbe Notizbuch. Wenn Sie dieses Notizbuch zum ersten Mal öffnen, klicken Sie oben in der Datei auf Alle ausführen. Die ersten beiden Schritte dauern etwa fünf bis zehn Minuten, sodass Sie sich diesen Rundgang in der Zwischenzeit weiter ansehen können . Erinnern wir uns an unsere vorherige Lektion, Lama 8 Milliarden unsere Aufgabe nicht Sowohl das Format als auch die Genauigkeit der Ausgabe waren falsch. Unser erster Ansatz, um dieses Problem zu beheben, besteht darin, spezifisch zu sein. Klingt nach einem dummen Tipp, aber es reicht aus, nur das Format anzugeben Stellen Sie beispielsweise drei Ausgabezeilen für jede Zeile bereit, wahr oder falsch an, keinen zusätzlichen Text, keine Ich habe das zu deinem Notizbuch bereits unter einer Zelle mit dem Titel Tipp eins hinzugefügt bereits unter einer Zelle mit dem Titel Tipp eins Scrollen Sie in Ihrem Notizbuch nach unten zum Demo-Bereich für Struktureingaben, wie hier abgebildet. den Mauszeiger über die Zelle mit der Aufschrift Tipp eins klicken Sie dann auf die angezeigte Schaltfläche Ausführen Nach einigen Sekunden sollten Sie die folgende Ausgabe sehen : true, false, true Die Ausgaben sind immer noch falsch. Wir erwarten wahr, falsch, falsch, aber wir korrigieren das Format, indem wir der Eingabeaufforderung nur ein paar Anweisungen hinzufügen. Unser nächster Ansatz besteht darin , Beispiele zu nennen. Lassen Sie uns ein paar hinzufügen. Lassen Sie uns nun drei Beispiele für Bewertungen hinzufügen. Fünf von fünf, das Huhn war salzig, aber gut, drei von fünf, der Marinero war zu sauer, drei von fünf, der Kellner war nicht geduldig Und zum Schluss fügen wir die gewünschten Ausgaben hinzu. Die ersten beiden Bewertungen beinhalten Lebensmittelkritiken, und die letzte Bewertung beinhaltet eine Kritik, die nichts mit Lebensmitteln zu tun Wir erwarten also falsch falsch wahr. Ich habe das bereits in einer Zelle mit dem Titel Tipp zwei zu Ihrem Notizbuch hinzugefügt . Scrollen Sie nach unten und bewegen Sie den Mauszeiger über dieses Feld mit dem Titel Tipp zwei Klicken Sie auf die Schaltfläche Ausführen, um Peers zu Nach einigen Sekunden werden Sie „Wahr“, „Falsch“ und „Wahr“ sehen Leider sind die Ausgaben immer noch falsch, aber wir haben noch einen Trick. Für den dritten Ansatz werden wir nach einer Gedankenkette fragen. Kurz gesagt, bitten Sie Lama, seine Arbeit zu zeigen. In unserer Aufforderung zum Modell fragen wir einfach Schritt für Schritt nach dem ersten Grund Dann spezifizieren wir das Ausgabeformat sehr genau. Wie immer habe ich das schon zu deinem Notizbuch hinzugefügt. Scrollen Sie nach unten, bewegen Sie den Mauszeiger über diesen Zellentitel Tipp drei und klicken Sie auf die angezeigte Schaltfläche Ausführen Nach ein paar Sekunden sagt Lama endlich richtig voraus. Wir sehen einen Gedankenblock, nach dem wir gefragt haben und das Richtige gibt wahr, falsch, falsch Somit können wir jetzt sagen, dass Lama 3,18 Milliarden unsere Aufgabe erfolgreich abschließen können Zusammenfassung: Wir haben drei Tipps angewendet. Seien Sie konkret, geben Sie Beispiele und fragen Sie nach einer Gedankenkette Diese drei Faktoren zusammen ermöglichten es unserem Lama-Modell, erfolgreich Kritiken zu identifizieren, die nichts mit Lebensmitteln Was wäre nun, wenn wir diese neue und verbesserte Eingabeaufforderung für unsere Modelle von früher verwenden verbesserte Eingabeaufforderung für unsere Modelle von Sieht so aus, als ob Deep Seek V drei die Frage jetzt erfolgreich mit wahr, falsch beantwortet, aber Quin 1,5 Milliarden produziert immer noch bedeutungslosen Müll Aus diesem Grund sehen unsere Open-Source-Ergebnisse jetzt auf hohem Niveau so aus : Wenn man die Preise für offene KI mit der Preisgestaltung von Open Source vergleicht , bietet Pei immer noch eine viel höhere Intelligenz pro Dollar, obwohl wir jetzt einen funktionierenden Lama von 8 Milliarden haben, der zuverlässig richtige Antworten auf kostenloser Hardware liefern kann , das sogar günstiger als alle oben genannten Seien Sie zusammenfassend konkret, geben Sie Beispiele an und fragen Sie nach einer Gedankenkette Das war's für den ersten Teilschritt Entwicklung der Eingaben unserer Modelle. Zusammenfassend lässt sich sagen, dass wir Lamas Fähigkeit, unsere Beispielaufgabe zu erledigen, erfolgreich verbessert In der nächsten Lektion werden wir eine letzte Reihe von Verbesserungen vornehmen, damit unser Open-Source-Modell auch auf großen Datenmengen stabil läuft auf großen Datenmengen stabil Wie üblich finden Sie alle Eingabeaufforderungen und den Startercode, den ich verwendet habe, unter dieser URL 10. Qualität verfeinern: Ausgaben einschränken: In dieser Lektion werden wir die Fähigkeiten unseres LLMs verbessern , indem wir unsere Ergebnisse strukturieren Ein Wort der Warnung. Diese Lektion enthält eine Menge Code. Wenn Sie sich mit Code nicht wohl fühlen, konzentrieren Sie sich einfach auf die Erkenntnisse, die ich bespreche, anstatt auf den Code selbst Dies ist unser dritter von drei Schritten. In der letzten Lektion haben wir unsere Eingaben darauf ausgerichtet, die Qualität der Antworten des Modells zu verbessern . In dieser Lektion verbessern wir stattdessen die Qualität, indem wir unsere Ergebnisse einschränken Falls Sie es noch nicht getan haben, gehen Sie zu diesem L, um den Startercode zu öffnen , den ich für Sie geschrieben habe Wenn Sie Ihr Notizbuch aus der letzten Lektion noch geöffnet haben , verwenden Sie dasselbe Notizbuch. Wenn Sie dieses Notizbuch am Anfang der Datei zum ersten Mal öffnen, klicken Sie auf Alle ausführen. Die ersten beiden Schritte dauern etwa fünf bis zehn Minuten, sodass Sie sich diesen Rundgang in der Zwischenzeit weiter ansehen können . Wir erinnern uns an unsere Open-Source-Demo, Lama 8 Milliarden unsere Aufgabe nicht erfüllen konnte Sowohl das Format als auch die Genauigkeit der Ausgabe waren falsch. Lassen Sie uns dieses Ergebnis noch einmal reproduzieren. Scrollen Sie in Ihrem Notizbuch nach unten zur Demo für Strukturausgaben. Bewegen Sie den Mauszeiger über Beispiel A und klicken Sie auf Ausführen. Sie erhalten diesen Textblock. Es ist sowohl falsch als auch falsch formatiert. Wir wollen eine Liste von Wahr oder Falsch. Um dieses Problem zu beheben, haben wir in der vorherigen Lektion drei Tipps angewendet. Seien Sie konkret, geben Sie Beispiele und fragen Sie nach einer Gedankenkette. Nachdem Lama diese Tipps angewendet hatte, gab er die richtigen Ergebnisse heraus: wahr, falsch, falsch Die Richtigkeit hatte jedoch ihren Preis. Die ursprüngliche Aufforderung umfasste 288 Zeichen. Die neue Aufforderung benötigt jedoch 1.312 Zeichen. Das ist eine satte 4,5-mal längere Eingabe. Das sind eine Menge Eingaben. Können wir also das Ausgabeformat und die Richtigkeit verbessern , ohne die Anzahl der Eingabe-Token zu erhöhen? Und die Antwort lautet natürlich : Ja, lassen Sie mich das erklären. Hier ist der LLM. Es nimmt Text als Eingabe und erzeugt Text als Ausgabe. In diesem Fall sind unsere Bananen und Früchte unser Input . Und leider die LLM-Ausgänge. Das ist nicht einmal eine gültige Antwort auf die Frage. Um dies zu beheben, zwingen wir das LLM , nur Ja oder Nein auszugeben. Auf diese Weise ist zumindest die Ausgabe gültig, selbst wenn die Ausgabe falsch ist Dazu müssen wir am Ende diesen Schritt ändern, nämlich die Art und Weise, wie LLMs Ausgaben in Wörter übersetzen Lass uns hineinzoomen. Das LLM tatsächlich zuerst eine Liste von Zahlen aus Diese Zahlen sind tatsächlich Wahrscheinlichkeiten , die bestimmten Wörtern entsprechen In unserem Beispiel ist die erste Wahrscheinlichkeit die Wahrscheinlichkeit von Ja Die zweite ist die Wahrscheinlichkeit von Nein, die dritte für R und die letzte für ist. Die höchste Wahrscheinlichkeit liegt bei 60%, und das entsprechende Wort ist R. Also geben wir schließlich R aus. So prognostiziert das LLM normalerweise, aber unser Ziel ist es, nur Ja oder Nein auszugeben Lassen Sie uns also einige Änderungen vornehmen. Ignorieren Sie zunächst alle anderen Wörter. Betrachte nur Ja oder Nein. Und wir nehmen jetzt die höhere Wahrscheinlichkeit 10% an, was ja entspricht. Schließlich geben wir Ja aus. Und damit haben wir unser LLM erfolgreich darauf beschränkt, nur Ja oder Nein auszugeben, wobei wir das gültige Wort mit der höchsten Wahrscheinlichkeit verwenden In diesem Beispiel wollten wir nur Ja oder Nein. Also verwenden wir die Wahrscheinlichkeiten dieser beiden Wörter und haben einfach das wahrscheinlichere der beiden ausgewählt Jetzt ist unser LLM gezwungen, Ja oder Nein auszugeben, und was noch wichtiger ist, wir haben dies getan, ohne die Anzahl der Eingabe-Token zu ändern Gehen Sie zurück zu Ihrem Notizbuch und scrollen Sie nach unten zur Einrichtung in Schritt Null Bewegen Sie den Mauszeiger über die Zelle und klicken Sie auf Ausführen. Sie werden keine Ausgabe für den Schritt sehen. Sie sind jetzt eingerichtet. unserem ersten Beispiel erzwingen wir „Wahr“ oder „Falsch“. Entsprechend können wir sagen, dass wir einen booleschen Wert erzwingen werden. Ein boolescher Wert ist wahr oder falsch. Zum Beispiel fragen wir, ob M Bananen, Früchte sind , und erzwingen, dass die Ausgabe wahr oder falsch ist Bewegen Sie nun den Mauszeiger über das erste Beispiel und klicken Sie auf Ausführen. Dadurch wird ein einziger boolescher Wert vom Typ true ausgegeben. Das ist richtig. Bananen sind Früchte. unserem nächsten Beispiel erzwingen wir drei Boolesche Werte statt nur einer Jetzt prüfen wir, ob Bananen, Mandeln und Kartoffeln Früchte sind Bewegen Sie die Maus über Beispiel zwei und klicken Sie auf Ausführen. Jetzt werden Sie die Ausgaben true, false, false sehen. Das ist richtig. Lassen Sie uns nun sehen, ob wir damit das Ausgabeformat für unsere Non-Food-Kritiken einschränken Bewegen Sie den Mauszeiger über Beispiel B und klicken Sie dann auf Ausführen. Und diese Ausgabe enthält drei Boolesche Werte. Das Ausgabeformat ist gültig. Leider ist die Ausgabe aber immer noch falsch. Es sollte wahr, falsch, falsch, nicht wahr, falsch, wahr sein. Also lass uns weitermachen. In unserem dritten Beispiel werden wir das Modell Schritt für Schritt zur Argumentation zwingen. In diesem Schritt fordern wir das Modell zunächst zur Argumentation auf. Dann zwingen Sie das Modell, Text zwischen Think-Tags auszugeben. Sie können das Format wählen, das Sie zum Denken verwenden möchten. Das ist genau das Format, das ich gewählt habe. Wie zuvor besteht die Aufforderung darin, zu überprüfen, ob es sich bei Bananen, Mandeln und Kartoffeln um Früchte handelt. Bewegen Sie die Maus über Beispiel drei und klicken Sie dann auf Ausführen. Die Ausführung wird einige Zeit in Anspruch nehmen, etwa 45 Sekunden. Dann siehst du die endgültige Ausgabe mit den richtigen Argumenten und noch besser die richtigen Ausgaben wahr, falsch, falsch Lassen Sie uns nun dieselben strukturierten Ergebnisse auf unser Beispielprojekt für Non-Food-Kritiken anwenden unser Beispielprojekt für Non-Food-Kritiken Bewegen Sie den Mauszeiger über Beispiel C und klicken Sie auf Ausführen. angezeigt Am Ende werden Ihnen die Begründung sowie die richtige Antwort Durch die Strukturierung unserer Ausgaben haben wir nun die Qualität unseres Modells verbessert und die Ausgaben an ein bestimmtes Format angepasst. Das ist eine Win-Win-Situation. Wir haben auch die Länge der Eingabeaufforderung drastisch verkürzt. Die ursprüngliche Aufforderung umfasste 288 Zeichen. In der letzten Lektion benötigten wir 1.312 Zeichen. In dieser Lektion benötigten wir nur 386 Zeichen und strukturierte Ausgaben, strukturierte Ausgaben um die richtige Antwort zu erhalten Durch die schnelle Bearbeitung benötigten wir eine 4,5-mal längere Eingabeaufforderung, um die richtigen Ergebnisse zu erzielen. Bei strukturierten Ausgaben haben wir eine viel kürzere Aufforderung, nur 1,3-mal länger. Und wir haben die Garantie, dass die Ausgabe immer gültig ist. Das soll nicht heißen, dass das eine besser ist als das andere, aber ich möchte betonen, dass schnelle technische und einschränkende Ergebnisse tatsächlich am häufigsten zusammen verwendet werden , um die Modellqualität zu maximieren Lassen Sie uns nun versuchen, die Ausgaben für ein proprietäres Modell einzuschränken , nämlich auch für Modelle von Open AI Gehen Sie zu platform.openi.com. Ihre Webseite wird so aussehen . Stellen Sie sicher, dass Sie oben rechts auf Anmelden klicken , falls Sie dies noch nicht getan haben. Klicken Sie dann oben rechts auf das Dashboard. Klicken Sie in der Mitte der Seite auf Erstellen, und Sie sollten eine Seite wie diese sehen. Klicken Sie auf das Modell Picker. Wählen Sie in der Drop-down-Liste GPT Five Nano und Ihr Bildschirm sollte jetzt so aussehen Stellen Sie sicher, dass unten rechts die Option Automatisch löschen ausgewählt ist. Sie dann neben dem Modellnamen Klicken Sie dann neben dem Modellnamen auf das Einstellungssymbol. Dadurch wird ein Einstellungsmenü geöffnet. Klicken Sie auf die Dropdownliste für das Textformat. In der Dropdownliste können Sie dann auf JSON-Schema auswählen klicken So können Sie eingeschränkte Ausgaben einrichten. Stellen Sie sicher, dass es sich um ein JSON-Schema und nicht um ein JSON-Objekt handelt. Dadurch wird ein Dialog wie dieser geöffnet. Fügen Sie den folgenden Text ein , den Sie tatsächlich von dieser URL erhalten. Kopieren Sie das eingeschränkte Ausgabe-JSON-Schema. Fügen Sie dann das JSON-Schema hier ein. Scrollen Sie zum Ende des Dialogs und klicken Sie auf Speichern. Das JSON-Schema wird hier im Menü wiedergegeben. Klicken Sie dann auf eine Stelle außerhalb des Menüs. Kopieren Sie von dieser URL die Beispielaufforderung für das Projekt von zuvor. Fügen Sie die Beispielprojekt-Eingabeaufforderung hier ein und klicken Sie auf Ausführen. Und jetzt haben wir die Ausgabe im JSON-Format. Probieren Sie die gewünschten zufälligen Änderungen an der Eingabeaufforderung Die EPI gibt immer Ausgaben in diesem Format zurück Damit haben Sie die Ausgaben für diesen GPT erfolgreich eingeschränkt. Zusammenfassend lässt sich sagen, dass die Strukturierung der Ausgaben dazu führt, dass die Ausgabe gültig ist Wir können Ja oder Nein erzwingen, wir können Zahlen erzwingen, wir können jedes beliebige Format erzwingen, sowohl für Open-Source-Modelle als auch für proprietäre Modelle. Wir haben besprochen, wie das funktioniert, ein einfaches Beispiel zur Identifizierung von Früchten und eine Verbesserung bei der Erkennung von Kritiken, die nichts mit Obst Das ist jetzt das Ende unseres dritten Schritts. Wir haben zwei Möglichkeiten gesehen, die Qualität unseres Modells ohne jegliche Schulung zu verbessern , und damit ist unsere Lektion zur Strukturierung von Outputs abgeschlossen. Und damit ist unser dritter von drei Schritten abgeschlossen. Und jetzt beenden Sie erst den Anfang Ihrer Reise, indem Sie KI nutzen. Dies sind die ersten Schritte, die jeder für ein Projekt mit KI unternehmen sollte. Sie können auf diese URL zugreifen, um eine Kopie des Startercodes, weitere Eingabeaufforderungen und weitere Ressourcen In der nächsten Lektion werden wir den Kurs abschließen. 11. Fazit: Du hast es bis zum Ende des Kurses geschafft. Lassen Sie uns mit einer kurzen Zusammenfassung dessen, was Sie gelernt haben, abschließen. Definieren Sie zunächst den Umfang Ihres Projekts. Zu diesem Zweck haben wir dies in drei Teilschritte unterteilt. Beschränken Sie Ihren Fokus auf die allgemeine Text-zu-Text-Aufgabe. Konzentrieren Sie sich dann auf die bewährten, kommerziell bewährten Funktionen von Text-to-Text , Zusammenfassung, Strukturierung von Daten und Codierung Definieren Sie abschließend Ihre Eingaben, Ausgaben, Ihre Aufgabe und Ihre Metrik Dies war beispielsweise die Projektbeschreibung zur Erkennung von Kritiken, die nichts mit Lebensmitteln unserem zweiten Schritt evaluieren wir Modelle, sodass wir eines auswählen können, das wir verwenden möchten Dazu haben wir wieder drei Teilschritte. Beginnen Sie auf hohem Niveau mit der besten und intelligentesten KI Testen Sie Modelle per Chat-Bot, den einfachsten und benutzerfreundlichsten Schnittstellen, testen Sie anschließend Modelle über eine API, damit Ihre Ergebnisse wiederholbarer und reproduzierbarer sind Optimieren Sie abschließend die Kosten, indem Sie billigere und schnellere Modelle testen , um festzustellen, ob sie Ihre Aufgabe erfolgreich erledigen Sobald wir ein Modell ausgewählt haben, verfeinern wir die Qualität. Dazu hatten wir zwei Teilschritte. Fangen Sie an, die Qualität zu verbessern, indem Sie Ihre Eingaben verfeinern. Wir nennen das Prompt Engineering. Beschränken Sie dann die Ausgaben. Dies kann die Zuverlässigkeit und Qualität Ihres Modells weiter verbessern Zuverlässigkeit und Qualität Ihres Modells Damit ist unser dreistufiger Prozess abgeschlossen , mit dem Sie jetzt jedes Projekt mit KI erstellen können. Dies ist erst der Anfang, aber es ist eine solide Grundlage, um zu verstehen, wie gut KI Ihre Aufgabe erfüllen kann. Verwenden Sie nun den oben genannten Prozess als Leitfaden, wenden Sie ihn auf Ihr eigenes Projekt an und veröffentlichen Sie das Ergebnis auf der Registerkarte Projekt des Kurses. Sie können gerne eines meiner Beispielprojekte verwenden oder eines Ihrer eigenen erstellen Ich bin sehr gespannt, was du kreierst. Wenn du mehr über Folgekurse erfahren möchtest, folge mir auf Skillshare und sieh dir meine anderen Kurse an Herzlichen Glückwunsch. Ich schaffe es bis zum Ende des Kurses.