Kurs zum Huggen von Gesichtern für Anfänger:innen

1. Über den Kurs: In diesem Videokurs lernst du die Umarmungsphase und ihre Konzepte Hugging Face ist ein Unternehmen und eine Open-Source-Community , die sich auf die Verarbeitung natürlicher Sprache und künstliche Intelligenz konzentriert auf die Verarbeitung natürlicher Sprache . Es ist vor allem für seine Transformers-Bibliothek bekannt, die Tools und vorab trainierte Modelle für eine Vielzahl von NLP-Aufgaben wie Textklassifizierung, Stimmungsanalyse, maschinelle Übersetzung und mehr bietet trainierte Modelle für eine Vielzahl von NLP-Aufgaben wie Textklassifizierung, Stimmungsanalyse, maschinelle Übersetzung In diesem Kurs haben wir die folgenden Lektionen anhand von Live-Laufbeispielen behandelt die folgenden Lektionen anhand von Live-Laufbeispielen Lassen Sie uns mit der ersten Lektion beginnen. 2. Gesicht umarmen – Einführung und Merkmale: In dieser Lektion lernen wir, was ein Gesicht umarmen ist. Damit werden wir auch die Funktionen verstehen . Lass uns anfangen. Hugging Face ist ein weithin bekanntes Unternehmen und Open-Source-Community , die sich auf NLP, also die Verarbeitung natürlicher Sprache, konzentriert natürlicher Sprache Es konzentriert sich auch auf künstliche Intelligenz. Hugging Face ist vor allem für seine Transformers-Bibliothek bekannt , die Tools und vortrainierte Modelle enthält Damit können eine Vielzahl von NLP-Aufgaben wie Stimmungsanalyse, maschinelle Übersetzung und Textzusammenfassung Die am häufigsten verwendeten Hugging Face-Bibliotheken sind Transformatoren Sehen wir uns die Funktionen an. Es beinhaltet viele Bibliotheken. Eine der wichtigsten Bibliotheken sind Transformers. Dazu gehören auch vortrainierte Modelle wie BT. Zu Hugging Face gehört auch Model Hub. Dies ist eine Plattform, auf der Benutzer vorab trainierte Modelle teilen und herunterladen können Damit können Benutzer auch Datensätze und andere Ressourcen herunterladen Hugging Face enthält auch eine Bibliothek für eine Vielzahl von Datensätzen Die Bibliothek heißt Datasets Library und wird für NLP-Aufgaben verwendet Hugging Face verfügt auch über eine Plattform zum Hosten und Teilen von Demos und Anwendungen für maschinelles Lernen, die als Spaces bezeichnet wird. Damit können Sie mit Hugging Face Modelle einfach in Produktionsumgebungen bereitstellen und verwenden . Hugging Face hat eine starke Community starke Das ist eine Gemeinschaft von Entwicklern, A-Liebhabern , die zum Ökosystem beitragen Lassen Sie uns einige der beliebtesten Modelle auf Hugging Face sehen. Der weit verbreitete Vogel Es wird verwendet, um den Kontext von Wörtern in einem Satz zu verstehen den Kontext von Wörtern in einem Seine vollständige Form sind bidirektionale Encoder-Repräsentationen von Transformatoren von Es ist ein leistungsstarkes Open-Source-Framework für maschinelles Lernen von Google für NLP entwickelt wurde Es zeichnet sich durch ein hervorragendes Verständnis des Kontextes von Wörtern und Sätzen aus, indem analysiert des Kontextes von Wörtern und Sätzen aus, indem es die Beziehungen zwischen ihnen auf bidirektionale Weise , sodass Computer die Bedeutung mehrdeutiger Sprache besser verstehen Es beinhaltet auch PT, einen generativen, vortrainierten Transformator, sowie Text-to-Text-Transformer mit Robota, einem robust optimierten Robota ist ein auf Transformatoren basierendes Sprachmodell, bei dem Eingabesequenzen mithilfe von Eigenaufmerksamkeit analysiert werden Robota wendet dynamische Maskierung wenn das Maskierungsmuster geändert wird Es bietet eine verbesserte Leistung bei verschiedenen NLP-Aufgaben. Sie können BT also auch mit Robota in Verbindung bringen. Bedenken Sie, dass das Hauptziel des Robota-Modells darin besteht, die Leistung des Bordmodells zu verbessern , indem dessen Einschränkungen behoben werden Dies waren die beliebtesten Modelle der Umarmungsphase. In dieser Lektion haben wir uns mit der Umarmungsphase, ihren Einführungsfunktionen und einigen beliebten Modellen befasst Danke, dass du dir das Video angesehen hast. 3. Hugging Face – Anwendungsfälle: In dieser Lektion werden wir die Anwendungsfälle der Umarmungsphase verstehen die Anwendungsfälle der Umarmungsphase Hugging Face unterstützt eine Vielzahl von Anwendungsfällen in den Bereichen NLP, Computer Vision Sehen wir uns die Anwendungsfälle an. Die Umarmungsphase ist weit verbreitet. Wir haben hier einige wichtige Anwendungsfälle besprochen, angefangen bei Conversational EI, die Sie bereits kennen, die Sie bereits kennen, Okay, erstellen Sie intelligente Chat-Boards mit Modellen wie GPT, Blender Board und anderen Diese Chat-Bods können für den Kundensupport verwendet werden, z. B. für virtuelle Unterstützung Damit können Sie auch interaktive Dialogsysteme erstellen interaktive Dialogsysteme Diese können sowohl als pädagogische Unterstützung als auch als Therapietafeln verwendet werden. Als nächstes kommt die Stimmungsanalyse der Name schon sagt, können Sie ganz einfach Kundenfeedback, ihre Beiträge in sozialen Netzwerken oder die Antworten auf Umfragen analysieren , sodass Sie feststellen können, ob die Stimmung positiv, negativ oder neutral ist Auf diese Weise können Sie mithilfe von Modellen wie GPT ganz einfach Text, Artikel, Blogs und sogar Gedichte generieren mithilfe von Modellen wie GPT ganz einfach Text, Artikel, Blogs und sogar Gedichte Zitate können auch einfach generiert werden. Generieren Sie Codefragmente in jeder Damit können Inhalte generiert werden, darunter Produktbeschreibungen, Bewertungen, Marketingpläne und andere Als nächstes folgt die Textzusammenfassung. Wenn Sie Ihren Text zusammenfassen möchten, sagen wir, Sie möchten Nachrichten zusammenfassen, können Sie dies ganz einfach tun Nehmen wir an, Sie haben einige PDF-Dokumente und möchten diese nur zusammenfassen Diese langen Dokumente können leicht zu wichtigen Punkten zusammengefasst Damit können Sie auch Besprechungsnotizen notieren. Dann kommt die Erkennung Ihrer benannten Entität, ganz einfach Namen, Fähigkeiten und Erfahrungen aus Lebensläufen extrahieren können Es ist auch im Gesundheitswesen nützlich, Diagnosen, Namen von Patienten, einige medizinische Begriffe und andere zu identifizieren Namen von Patienten, einige medizinische Begriffe und andere Damit können Sie auch die Namen von Unternehmen und deren Arbeitsweise aus ihren Finanzberichten extrahieren deren Arbeitsweise aus ihren . Daher wird es auch im Finanzbereich verwendet. Maschinelle Übersetzung: Wie der Name schon sagt, können Sie Ihre Website, App und sogar Dokumente von einer Sprache in eine andere übersetzen sogar Dokumente von einer Sprache in eine andere , beispielsweise vom Englischen ins Spanische. Es kann auch in Sprachen mit geringen Ressourcen verwendet werden . Das ist für die Übersetzung. Anwendungsfall zur Beantwortung von Fragen ist vor allem für den Kundensupport nützlich. Beantworten Sie auf diese Weise ganz einfach die von den Schülern gestellten Fragen anhand eines bestimmten Lehrbuchs oder einer bestimmten Notiz Häufig gestellte Fragen können leicht beantwortet werden und wenn ich Kundensupport gesagt habe, bedeutet das, dass wir auf Websites Support-Tickets gesehen haben , damit Benutzer einfach Fragen stellen können Damit können Sie problemlos Antworten aus großen Dokumenten oder Datenbanken abrufen . Verwenden Sie es auch für die Spracherkennung und -synthese. Sie können auch Sprache in Text umwandeln, Sprachsteuerungsanwendungen mithilfe von Sprach-zu-Text - und Text-zu-Sprache-Modellen erstellen . Sie können auch Untertitel in Echtzeit bereitstellen und Beschreibungen für Bilder generieren Nehmen wir an, Sie haben ein Dokument oder Bilder gescannt und möchten Text daraus Das können Sie ganz einfach erreichen Wenn Sie Bilder lesen oder scannen möchten , ist dies ebenfalls möglich. Das bedeutet visuelle Beantwortung. Dann kommen Ihre Empfehlungssysteme. Sie müssen es auf Netflix oder Amazon Prime gesehen haben. Empfehlen Sie ganz einfach Filme oder Webserien indem Sie das verwenden, was den Leuten in ihrem Konto tatsächlich gefällt Mit diesem NAS erhalten Sie Suchergebnisse indem Sie die Absicht der Benutzer und ihren Kontext verstehen Auch Betrugsfälle lassen sich leicht erkennen. In Bezug auf E-Mails Sam-E-Mails einfach erkannt und gefiltert psychische Gesundheit kann auch anhand eines Modells überwacht werden Text oder Sprache können einfach analysiert Die psychische Gesundheit kann auch anhand eines Modells überwacht werden. Text oder Sprache können einfach analysiert werden, sodass Emotionen wie Stress, Angst oder sogar Depressionen erkannt werden können wie Stress, Angst oder sogar Depressionen Auf diese Weise können Sie die Emotionen der Kunden bei Support-Anrufen oder sogar im Chat verstehen . Text-to-Speech und Speech-to-Text können ebenfalls erreicht werden , und Übersetzungen in Echtzeit können problemlos bearbeitet werden. Multimodale Anwendungen analysieren Videoinhalte auf einfache Weise. Mit multimodalen Anwendungen können Sie nicht einmal Text, sondern auch Video und Audio problemlos analysieren nicht einmal Text, sondern auch Video und Augmented-Reality-Anwendungen können auch einfach erstellt werden , um synthetische Textdaten für Trainingsmodelle und Modelle für maschinelles Lernen zu generieren für Trainingsmodelle und Modelle für maschinelles Lernen Sie können auch Text paraphrasieren, Beziehungen zwischen Entitäten im Text erkennen, Aufsätze oder Aufgaben von Schülern einfach benoten, Tools für Grammatikkorrektur, Wortschatz, Umformulierung von Inhalten und vieles mehr erstellen Wortschatz, Umformulierung Einsatz im Gesundheitswesen und in den Biowissenschaften. Aus den Krankenakten eines Patienten können Sie die Erkenntnisse ganz einfach extrahieren. Extrahieren Sie einfach aus Rechtsdokumenten die wichtigsten Klauseln, Verpflichtungen oder mögliche Risiken Damit können Sie auch KI-gestützte Erzählungen für Spiele erstellen KI-gestützte Erzählungen für Analysieren Sie soziale Medien auf einfache Weise, damit Sie die Trendthemen oder sogar Hashtags identifizieren können Analysieren Sie auch die Auswirkungen von Beiträgen, die durch Einflüsse verfasst wurden. Es können auch mehrsprachige Anwendungen erstellt werden , sodass Sie die Suche in mehreren Sprachen aktivieren können. Hassreden und schädliche Inhalte sind etwas, an dem gearbeitet werden muss. Auf diese Weise können Sie sie leicht erkennen und moderieren. Prognostizieren Sie ganz einfach die Börsentrends indem Sie Nachrichtenartikel, Stimmungen in sozialen Medien, Twitter-Posts und andere analysieren Stimmungen in sozialen Medien, Twitter-Posts und andere Prognostizieren Sie Ereignisse wie eine Produkteinführung, personalisierte E-Mail-Inhalte für Marketingkampagnen passen Sie Website- oder App-Inhalte an die Präferenzen und das Verhalten der Benutzer an Passen Sie vortrainierte Modelle an Ihre spezifische Aufgabe an. Außerdem können Sie die Leistung verschiedener Modelle anhand von benutzerdefinierten Datensätzen vergleichen . Also, Leute, wir haben einige der großartigen Anwendungsfälle von Hugging Phase gesehen der großartigen Anwendungsfälle von Hugging In den kommenden Lektionen werden wir einige davon umsetzen. 4. Transformers Library of Hugging Face: In dieser Lektion werden wir uns mit der Transformers-Bibliothek von Hugging Phase vertraut der Transformers-Bibliothek von Hugging Wir werden auch lernen, wie man es installiert. Lass uns sehen. Die Transformers-Bibliothek ist die Kernbibliothek für vortrainierte Modelle und Pipelines Es ist eine Open-Source-Python-Bibliothek. Wie ich bereits sagte, hat Hugging Phase die Transformers-Bibliothek entwickelt, und sie ist modular und Sie umfasst Tausende von vorab trainierten Modellen für eine Vielzahl von NLP-Aufgaben wie Übersetzung, Textzusammenfassung, Textklassifizierung und andere In dieser Lektion werden wir also verstehen, was die Transformers-Bibliothek ist, warum sie verwendet wird, Anwendungsfälle es gibt und wie sie installiert Lass uns anfangen. Wir haben hier also bereits gesehen, was die Transformers-Bibliothek ist. Jetzt werden wir sehen, warum wir die Transformers-Bibliothek verwenden. Transformers-Bibliothek ist weit verbreitet, da sie mit komplexen NLP-Modellen recht einfach zu verwenden ist Sie bietet Ihnen Zugriff auf modernste Modelle. Damit wird es von einer großen und aktiven Community unterstützt. Es unterstützt Anpassung und Feinabstimmung. Damit können Sie die Transformers-Bibliothek in andere Tools integrieren . Folgenden finden Sie einige Anwendungsfälle der Transformers-Bibliothek Klassifizieren Sie Texte in Kategorien wie die Textklassifizierung bei der Spam-Erkennung in E-Mails Identifizieren Sie auch Entitäten wie Namen, Daten und Orte im Text, was als Erkennung benannter Entitäten bezeichnet wird Übersetzen Sie Texte zwischen verschiedenen Sprachen vom Englischen ins Deutsche und generieren Sie dabei Text mithilfe von Modellen wie GPT Implementieren Sie auch Quotien-Antworten. Das heißt, auf der Grundlage eines bestimmten Kontextes zu antworten. Lassen Sie uns sehen, wie die Transformers-Bibliothek installiert wird. Also hier sind verschiedene Möglichkeiten. Verwenden Sie PIP, um die Transformers-Bibliothek zu installieren. PIP ist ein Paketmanager zum Herunterladen, Installieren und Verwalten von Python-Paketen und -Bibliotheken Damit können Sie auch Google Colab verwenden. Hier finden Sie einen Unterschied in der Syntax. Es gibt ein Ausrufezeichen wenn Sie es auf Google Colab installieren Damit können Sie die Transformers-Bibliothek auch direkt aus dem riesigen Phase Github-Repository installieren Transformers-Bibliothek auch direkt aus dem riesigen Phase Github-Repository Lassen Sie uns also sehen, wie man es installiert. Wir werden dafür Google Colab verwenden. Wir werden den folgenden Befehl hinzufügen. Lass uns sehen. Hier ist unser Browser, ich gebe Google Colab ein und drücke Enter Hier ist der Link, der nur von Google bereitgestellt wird colab.research.google.com Hier können Sie sehen, dass ich mich bereits in mein Gmail-Konto eingeloggt mein Gmail-Konto Ich habe darauf geklickt, sodass ich aufgefordert werde, hier ein neues Notizbuch zu erstellen Dies sind meine bereits erstellten Notizbücher. Ich klicke auf Neues Notizbuch. Es ist also eine kostenlose Webanwendung. Jetzt werden wir hier denselben Befehl verwenden, um ihn zu installieren. Ich zeige es dir noch einmal. Hier ist der Befehl. Okay, lassen Sie uns den gleichen Befehl eingeben. Okay, PIP Space Installiere Weltraumtransformatoren. Danach müssen wir nur noch darauf klicken. Steht hier „Run“. Kannst du sehen, läuft Okay, also auf diese Weise können wir die Transformers-Bibliothek mit Google Colab installieren die Transformers-Bibliothek mit Google Colab Sie können hier den Namen Ihres Python-Notebooks hinzufügen. Das hat also ein Python-Notebook erstellt. Wenn Sie Anaconda kennen, können Sie leicht erraten, was ein Python-Notizbuch ist Speichern Sie es von hier aus und benennen Sie es später um. Also hier habe ich gerade diese Syntax implementiert , um die Transformers-Bibliothek zu installieren. In dieser Lektion haben wir gesehen, was die Transformers-Bibliothek ist. Wir haben auch gesehen, warum sie so beliebt ist , dass wir auch einige Anwendungsfälle gesehen haben und wie man sie installiert. 5. Datensatzbibliothek von Hugging Face: In dieser Lektion werden wir uns der Datensatzbibliothek in der Umarmungsphase vertraut machen Damit werden wir auch sehen, wie man sie installiert . Lass uns anfangen. Die Datensatzbibliothek bietet einfachen Zugriff auf eine Vielzahl von Datensätzen für NLP und andere maschinelle Es wurde von Hugging Face entwickelt und ist eine Python-Bibliothek. Sie erleichtert Entwicklern und Forschern die Arbeit mit Daten zum Trainieren und Evaluieren von Modellen In dieser Lektion werden wir also sehen, was die Datensatzbibliothek ist und warum wir sie verwenden Also Anwendungsfälle der Datensatzbibliothek wie man sie installiert Lass uns anfangen. Wir haben bereits behandelt, was die Datensatzbibliothek ist Lassen Sie uns also damit beginnen, warum Sie die Datensatzbibliothek verwenden sollten. Einer der Gründe ist, dass Effizienz, verzögertes Laden und Steaming die Arbeit mit großen Datensätzen erleichtern Die Datensätze können riesig sein, und wir benötigen immer eine Bibliothek oder eine Technologie, Zugriff auf und die Bearbeitung dieser Datensätze erleichtert Diese Bibliothek hilft also wirklich. Sie hat eine einheitliche API für die Verarbeitung von Datensätzen. Sie können auch mit der Transformers Library und anderen ML-Frameworks mit der Datensatzbibliothek arbeiten anderen ML-Frameworks mit , sodass Integration und Interoperabilität möglich sind Tausende von Datensätzen werden von Huggingfas bereitgestellt. Es unterstützt benutzerdefinierte Datensätze und Vorverarbeitungspipelines. also vor der Installation der Datensatzbibliothek Lassen Sie mich Ihnen also vor der Installation der Datensatzbibliothek deren Website zeigen Also hier ist der Link huggface.co, die offizielle Website von Huggingface Slash Sie können also sehen, wie viele Datensätze über 350.000 bereitgestellt werden , und hier ist es. Wenn Sie auf einen von ihnen klicken , erhalten Sie alle Details In diesem Tutorial zeigen wir Ihnen auch, wie Sie herunterladen und darauf zugreifen mit Huggingface auf einfache Weise einen Datensatz Später werde ich mir die Anwendungsfälle oder die Datensatzbibliothek ansehen, mit der Datensätze Spam-Erkennung einfach geladen und vorverarbeitet für Aufgaben wie Spam-Erkennung einfach geladen und vorverarbeitet werden können. Das fällt unter die Textklassifizierung . Damit können Sie auch mit Stimmungsanalysen und Quotien-Antworten arbeiten Stimmungsanalysen und Quotien-Antworten Auf diese Weise können Sie auf einfache Weise Quotien-Anrufbeantwortsysteme erstellen. Einige Datensätze werden auch zur Übersetzung bereitgestellt , sodass der Zweck der Erkennung benannter Entitäten auch mit , sodass der Zweck der Erkennung benannter Entitäten einigen Datensätzen erfüllt werden kann , die bereits von Hugging Face bereitgestellt wurden Laden Sie Ihre benutzerdefinierten Datensätze mithilfe der Datensatzbibliothek und verarbeiten Sie sie vor. Lassen Sie uns nun sehen, wie Sie die Datensatzbibliothek installieren . Sie können also den PIP-PPAs-Paketmanager verwenden, um Python-Pakete und -Bibliotheken herunterzuladen, zu installieren und zu verwalten Verwenden Sie einfach den Befehl PIP Space install space datasets. Damit können Sie Google Colab auch einfach verwenden. Es gibt jedoch einen Unterschied zwischen beiden Syntaxen. Sie haben ein Ausrufezeichen für Google Colab. Wir werden es später sehen Damit können Sie es direkt aus dem HuggfastGitHub-Repository herunterladen . Verwenden Sie dazu die bereitgestellte Syntax, die Git plus github.com hugfacelash-Datensätze. Sagen Sie S pip, das Paket aus dem Hugging Phase-Datasets-Repository auf Github zu installieren . Lassen Sie uns nun sehen, wie die Datensatzbibliothek installiert wird. Wir haben Google Colab bereits gesehen. Also verwende ich einfach die zweite Syntax, um die Datasets-Bibliothek auf Google Colab zu installieren die Datasets-Bibliothek auf Google Das war also unser Gold Collab. Wir haben bereits gesehen, wie man die Transformers-Bibliothek installiert. Wir können die Datensatzbibliothek hier selbst installieren, aber lassen Sie mich ein neues Notizbuch erstellen, gehen Sie zu Datei Klicken Sie auf Neues Notizbuch. Jetzt wurde ein neues Python-Notizbuch geöffnet. Lassen Sie uns den Befehl zum Installieren von Datensätzen eingeben, Pip install PIP Space Space Datasets installieren, und die Zelle einfach von hier aus ausführen Ich habe das auch schon einmal gezeigt. Lass uns warten. Tik Mark ist sichtbar. Das heißt, wir haben es erfolgreich installiert. Sie können es auch von hier aus speichern, ich habe es Ihnen bereits gesagt . Speichern Sie es auch und lassen Sie uns den Namen zu unserem Python-Notizbuch hinzufügen. Auf diese Weise, Leute, können wir die Datensatzbibliothek einfach installieren In den kommenden Lektionen werden wir auch sehen, wie man mit ihnen und ihren Anwendungsfällen arbeitet Leute, wir haben gesehen, was die Datensatzbibliothek ist. Wir haben das Konzept leicht verstanden, auch die Anwendungsfälle, und wir haben auch gesehen, wie man die Datensatzbibliothek installiert 6. Tokenizers Library von Hugging Face: In dieser Lektion werden wir uns mit der Tokenizer-Bibliothek von Hugging Phase Damit werden wir auch sehen, wie man sie installiert. Die Tokenizers Library ist eine schnelle und effiziente Bibliothek zum Tokenisieren von Text, die häufig zusammen mit der Transformers-Bibliothek verwendet wird Wir haben die Transformers-Bibliothek bereits in den vorherigen Lektionen gesehen gesehen Die Tokenizer-Bibliothek ist also eine schnelle, effiziente und flexible Bibliothek, effiziente und flexible Bibliothek für die Tokenisierung von Textdaten entwickelt wurde Das ist ein entscheidender Schritt bei der Verarbeitung natürlicher Sprache. Bei der Tokenisierung werden Texte in kleinere Einheiten wie Wörter, Unterwörter oder Zeichen aufgeteilt in kleinere Einheiten wie Wörter, . Anschließend werden diese in numerische Repräsentationen umgewandelt, Anschließend werden diese in numerische Repräsentationen umgewandelt die ML-Modelle In dieser Lektion werden wir verstehen, was die Bibliothek des Tokenizers ist, warum sie verwendet wird, welche Anwendungsfälle sie hat und wie sie installiert wird. Fangen wir also an, wir haben bereits gesehen, was die Tokenizers-Bibliothek ist Jetzt werden wir sehen, warum wir die Tokenizers-Bibliothek verwenden . Es ist ziemlich schnell für die Tokenisierung, das heißt, es ist für eine schnelle Tokenisierung optimiert, selbst bei großen Datensätzen. Es unterstützt auch benutzerdefinierte Tokenizer und ist flexibel genug, um mehrere Tokenisierungsalgorithmen Tokenisierungsalgorithmen zu unterstützen. Integration ist möglich. Das heißt, Sie können es mit anderen Hugging Face-Bibliotheken wie Transformers bearbeiten anderen Hugging Face-Bibliotheken wie Es verfügt über eine einfache API zum Tokenisieren, Dekodieren Damit können Sie problemlos auf vortrainierte Tokenizer zugreifen. Sehen wir uns nun die Anwendungsfälle an. Einfache Tokenisierung der Textdaten zur Klassifizierung von Text für die Spam-Erkennung Damit können Sie auch den Spam analysieren. Führen Sie ganz einfach eine Stimmungsanalyse durch und ordnen Sie die Token den Entitätsbezeichnungen Es wird auch für maschinelle Übersetzungen verwendet. Einige seiner anderen Anwendungsfälle umfassen die Textgenerierung und sogar die Beantwortung von Fragen. Trainieren und verwenden Sie damit Tokenizer für domänenspezifische Datensätze Lassen Sie uns nun sehen, wie die Tokenizer-Bibliothek installiert wird. Wir können den PEP PIPs-Paketmanager verwenden, um Python-Pakete herunterzuladen, zu installieren und zu verwalten. Verwenden Sie den Syntax PIP Space install Tokenizers, Verwenden Sie den Syntax PIP Space um sie zu installieren Damit können wir auch die Tokenizers-Bibliothek auf Google Collab verwenden . Wir haben bereits gesehen, wie man eine Bibliothek bei Google Collab installiert. In ähnlicher Weise können wir das Ausrufezeichen PIP Space install space tokenizers verwenden das Ausrufezeichen , um es zu installieren Und die dritte Möglichkeit, PIP anzuweisen, das Paket aus dem Datasets-Repository der Hugging Phase zu installieren . Sie können auch die dritte Methode verwenden, die direkt aus dem Github-Repository installiert wird Geben Sie PIP space Install space Git und den Github-Pfad zur Installation den Github-Pfad zur Lassen Sie uns nun sehen, wie Sie Tokenizers Library auf Google Colab installieren Tokenizers Library Wir werden Google Colab wieder öffnen. Also hier ist unser Google Colab. Wir haben die Transformers and Datasets-Bibliothek bereits installiert die Transformers and Datasets-Bibliothek Wir können die Tokenizer-Bibliothek hier selbst installieren, aber lassen Sie mich ein neues Python-Notebook erstellen. GodOfLE klicken Sie auf Neues Notizbuch GodOfLE Lassen Sie uns nun den Befehl eingeben. Ausrufezeichen, PIP Space, Installiere Space Tokenizer Klicken Sie hier, Run Sell. Jetzt wird die Tokenizers-Bibliothek installiert . Sie können dies auch speichern. Wie ich bereits sagte, wird dadurch ein Python-Notizbuch erstellt. Also hier gebe ich Amith Underscore ein. Sie können einen beliebigen Namen hinzufügen. Und das ist unser Python-Notizbuch. Okay, wir werden all diese Bibliotheken später verwenden wenn wir an den Anwendungsfällen von Hugging Face arbeiten werden Also, Leute, wir haben gesehen, was die Tokenizers-Bibliothek ist. Wir haben auch ihren Zweck und die Anwendungsfälle gesehen die Anwendungsfälle gesehen Damit haben wir auch die Tokenizers-Bibliothek auf Google Colab installiert die Tokenizers-Bibliothek auf 7. Hugging Face Access Token (API-Schlüssel) und wie man es erstellt: In dieser Lektion erfahren wir, was ein Hugging Excess Token ist Damit werden wir auch lernen, wie man es erstellt . Lass uns anfangen. Betrachten Sie ein überschüssiges Token als eine sichere Zeichenfolge. Dies wird hauptsächlich für den Zugriff auf Dienste und Ressourcen in der Hugging-Phase Die Umarmungsphase, der API-Schlüssel und das Exzess-Token für die Hugging-Phase In dieser Lektion werden wir also sehen, was ein überschüssiges Token ist , also ein ist , Damit werden wir lernen, wann wir ein Überschuss-Token für die Umarmungsphase benötigen Außerdem werden wir verstehen, dass wir, wenn das Umarmungsphase-Exzess-Token nicht benötigt wird, am Ende lernen werden, wie man einen API-Schlüssel erstellt wenn das Umarmungsphase-Exzess-Token nicht benötigt wird, am Ende lernen werden, wie man einen API-Schlüssel erstellt . Lass uns anfangen. Also haben wir uns damit befasst, was ein APK ist , also ein überschüssiges Token in der Umarmungsphase Lassen Sie uns nun sehen, wann wir ein überschüssiges Token für die Umarmungsphase benötigen Hier ist es. Wenn Sie ein privates oder geschütztes Modell oder eine Inferenz-API verwenden, benötigen Sie ein Hugging Phase Sie müssen von Meta Sama gehört haben. Es ist ein Privatmodell. Um darauf zuzugreifen, müssen Sie sich authentifizieren. Das bedeutet, dass Sie einen API-Schlüssel erstellen müssen . Sie benötigen ein Token. Wenn Sie also die HuggingPas-Inferenz-API verwenden, benötigen Sie ein Zugriffstoken, um API-Aufrufe zu tätigen Außerdem benötigst du ein Zugriffstoken, wenn du Modelle, Datensätze oder sogar Spaces auf den Hugging Pace Hub hochlädst Datensätze oder sogar Spaces auf den Hugging Pace . Lass uns nun sehen, wann du kein Huggingfas-Zugriffstoken benötigst Wenn Sie auf öffentliche Modelle zugreifen, die öffentlich zum Herunterladen und Verwenden verfügbar sind, benötigen Sie natürlich die öffentlich zum Herunterladen und Verwenden verfügbar sind, kein überschüssiges Token Genau wie bei GPD Two benötigen Sie auch kein Zugriffstoken, wenn Sie die Modelle über die Transformers-Bibliothek von Hugging Phase verwenden die Modelle über die Transformers-Bibliothek von Hugging Phase benötigen Sie auch kein Diese sind öffentlich verfügbar und können ohne Authentifizierung und ohne APake einfach heruntergeladen Authentifizierung und ohne Außerdem stehen viele Open-Source-Modelle Zugriff auf diese Modelle zur Verfügung Sie benötigen keinen API-Schlüssel, Sie benötigen kein Zugriffstoken da sie frei verfügbar sind In den kommenden Lektionen werden wir uns also nur mit diesen öffentlichen und Open-Source-Modellen befassen , sodass es nicht notwendig ist, ein Zugriffstoken für die umfangreiche Phase zu erstellen Lassen Sie uns nun sehen, wie Sie ein Zugriffstoken für die Umarmungsphase erstellen ein Zugriffstoken für die Umarmungsphase Also gehen wir zur Hugging Phase-Website und erstellen ein Zugriffstoken . Lassen Sie uns also Öffnen Sie die offizielle Website huggface.co mit dem Schrägstrich Also hier ist es, du musst mitmachen. Das bedeutet, dass Sie ein Konto bei Hugging Face erstellen müssen. Hier kannst du deine E-Mail-Adresse verwenden. Lassen Sie mich also mein Konto erstellen. Also hier habe ich ein Konto hinzugefügt, meine E-Mail-ID. Nein, gib das Passwort ein. Hier ist es jetzt, klicken Sie auf Weiter, vervollständigen Sie hier Ihr Profil, fügen Sie einen Benutzernamen hinzu. Füge deinen Namen hinzu. Sie können auch Ihren Twitter-Benutzernamen hinzufügen. Dies sind auch optionale LinkedIn-Profile. Sie können auch Ihr OTR hochladen. Ich werde klicken. Sie können auch Ihren iTub-Benutzernamen sowie Ihre Website hinzufügen iTub-Benutzernamen sowie Ihre Website Wie Sie sehen können, sind diese optional. Klicken Sie auf Ich habe Rot. Und danach klicken Sie auf Konto erstellen. Wir haben ein Konto erstellt. Sie müssen in Ihren E-Mail-Briefen nach einem Bestätigungslink suchen . Jetzt ist Ihr Konto verifiziert. Ihre E-Mail-Adresse wurde verifiziert. Klicke auf dein Profil. Geh nach unten. Es sind überzählige Tokens geschrieben. Es ist hier. Klicke darauf. Jetzt müssen Sie ein neues Token erstellen, indem Sie hier klicken. Denken Sie daran, Ihre überschüssigen Token mit niemandem zu teilen. Neues Token erstellen. Fügen Sie den Token-Namen hinzu. Nehmen wir an, ich gebe Demo-Schlüssel ein. Okay. Gehen Sie jetzt nach unten. Klicken Sie auf Token erstellen. Der Schlüssel wurde erfolgreich erstellt. Sie können ihn kopieren und speichern. Hier steht es geschrieben, speichern Sie es an einem sicheren Ort. Sie werden es nicht mehr sehen können, nachdem Sie dieses Modell geschlossen haben. Klicken Sie auf Fertig. Jetzt sind alle Ihre Schlüssel sichtbar. Hier ist es, wir haben gerade einen einzigen Schlüssel erstellt, und wenn Sie hier klicken, können Sie ihn bearbeiten. Sie können die Berechtigungen bearbeiten und auch löschen. Okay, wir haben gesehen, was überschüssige Tokens oder APA-Schlüssel sind, wenn wir uns umarmen Damit haben wir auch gelernt, wie man etwas kreiert. 8. Lade einen Datensatz auf Hugging Face herunter: In dieser Lektion lernen wir, wie man einen Datensatz aus der Hugging-Phase herunterlädt Dafür werden wir die Datensatzbibliothek verwenden . Sehen wir uns an, ein Datensatz bezieht sich auf eine Sammlung strukturierter Daten, die zum Trainieren, Evaluieren oder Testen von Modellen für maschinelles Lernen verwendet werden können Trainieren, Evaluieren oder Testen von Modellen für maschinelles Lernen Hugging Pace hat also viele Datensätze auf seiner Plattform, die für verschiedene Anwendungsfälle wie NLP verwendet werden können Wir werden die Datensatzbibliothek verwenden, um einen Datensatz aus der Hugging-Phase herunterzuladen . Lass uns sehen Sehen wir uns zunächst die Datensätze an. Gehen Sie zu den Slash-Datensätzen der Hugging Phase-Website. Dies sind also die von Hugging Face bereitgestellten Datensätze. Sie können viele von ihnen sehen. Lassen Sie uns sehen, wie wir es herunterladen können. Wir werden also zu derselben Plattform wechseln, Google Colab, die wir zuvor in diesem Tutorial verwendet haben. Hier ist es Okay. Also das ist das Notizbuch, das wir bereits erstellt haben. In diesem ersten haben wir die Datensatzbibliothek installiert. Ich habe Ihnen bereits erklärt, wie Sie es mit dem PIP-Befehl auf Google Colab installieren mit dem PIP-Befehl auf Google Colab Danach haben wir einen Datensatz mit dem Load Underscoe-Datensatz geladen Funktion. Diese Funktion kann Datensätze vom Hugging Face-Hub herunterladen oder aus lokalen Dateien laden Wir laden gerade einen Datensatz vom Hugging Face Hier ist er. Okay, hier laden wir den IMDB-Datensatz Danach drucke ich den Datensatz mit der Druckmethode Hier importieren wir die Funktion Load Underscore Dataset Dies ermöglicht den Zugriff auf verschiedene öffentliche Datensätze wie in diesem Fall IMDB Hier laden wir den IMDB-Datensatz. Der IMDB-Datensatz enthält Filmkritiken, die als positiv oder negativ gekennzeichnet sind, oder als Stimmungsklassifizierung Wenn Sie ihn ausführen, wird der Datensatz automatisch heruntergeladen und verarbeitet Hier drucken wir den Datensatz. Dadurch wird der Datensatz in Train und Test aufgeteilt. Okay, es wird eine Übersicht über den Datensatz angezeigt, einschließlich der Anzahl der Stichproben in jedem Split. Lassen Sie uns nach dem Laufen sehen, hier ist es, es zeigt uns die Struktur des IMDB-Datensatzes Als Datensatz-Wörterbuch, das den Datensatz in verschiedene Bereiche unterteilt Der Zug besteht aus 25 Kos mit Text für Filmkritiken und einer Kennzeichnung für positive oder negative Stimmungen Hier zum Testen sind das 25 Kos für Testzwecke mit den gleichen Funktionen Es enthält 50 Kos, aber diese Aufteilung enthält normalerweise keine Beschriftungen für die Stimmungsanalyse Es wird häufig für Aufgaben wie Vorschulungen oder halbüberwachtes Lernen Darin, Leute, können wir einen Datensatz herunterladen. 9. Lade ein Model von Hugging Face herunter: In dieser Lektion erfahren wir , wie wir ein Modell von Hugging Face herunterladen können Lass uns sehen. Zum Herunterladen werden wir also die Transformers-Bibliothek verwenden. Damit können wir auch direkt vom Hugging Face Hub herunterladen direkt vom Hugging Face Sehen wir uns eine schrittweise Anleitung zum Herunterladen und Verwenden von Modellen von Hugging Wir werden die Transformers-Bibliothek verwenden, die wir bereits besprochen haben Lass uns sehen. Hier ist unser VS-Code. Wir haben bereits eine Notebook-Datei erstellt, Notizbuch öffnen. Also hier haben wir bereits ein AMtnderscoe-Download-Modell erstellt. Dabei haben wir zuerst die Transformers-Bibliothek installiert Wir haben bereits besprochen , dass Hugging Phase diese Bibliothek entwickelt hat Also haben wir PIP verwendet, um es auf Google Colab zu installieren. Danach haben wir, was wir hier gemacht haben, ein Modell mithilfe der Transformers-Bibliothek heruntergeladen Wir haben dafür die vortrainierte Methode From Underscore verwendet dafür die vortrainierte Methode From Underscore Bei dieser Methode werden die Gewichte, die Konfiguration und der Tokenizer des Modells vom zentralen Phase-Hub heruntergeladen Konfiguration und der Tokenizer des Modells vom zentralen Phase-Hub Wir laden ein vortrainiertes Vogelmodell herunter. Hier ist es. Nachdem wir geprüft haben, was wir bekommen werden, haben wir das überprüft und wir haben die Form. Diese Form wird häufig in Modell-Bits verwendet, bei denen jedes Token in einer Sequenz durch einen 768-dimensionalen Vektor repräsentiert wird. Wenn wir das Burt-Modell mit Bindestrich ohne Groß- und Kleinschreibung verwenden und die Eingabe-Hello-Umarmungsphase bestehen, repräsentiert die letzte ausgeblendete Form des Zustands die Tensor-Dimensionen . die Eingabe-Hello-Umarmungsphase bestehen, repräsentiert die letzte ausgeblendete Form des Zustands die Tensor-Dimensionen. In diesem Beispiel würden Sie normalerweise die folgende Form sehen . Hier ist eine sichtbar. Es ist die Fledermausgröße, da es einen Eingabesatz gibt. Sieben ist die Länge der Sequenz. Dies entspricht der tokenisierten Version von Hello Hugging Phase Das bedeutet die folgende Hallo-Umarmungsphase . 768 ist die versteckte Größe. Jedes Token wird als 768-dimensionaler Vektorstandard für die Birds Base-Architektur dargestellt 768-dimensionaler Vektorstandard . Auf diese Weise, Leute, können wir mithilfe der Transformers-Bibliothek mit Google Colab ganz einfach ein Modell herunterladen der Transformers-Bibliothek mit Google Colab 10. Sentiment-Analyse mit Hugging Face: In dieser Lektion lernen wir, wie Sie die Stimmungsanalyse mit Hugging Face implementieren Wir werden verstehen, was eine Stimmungsanalyse mit ihrem Typ ist Stimmungsanalyse Danach werden wir ein Codierungsbeispiel auf Google Colab ausführen. Lassen Sie uns sehen, dass wir bereits über die von Hugging Face bereitgestellte Transformers-Bibliothek gesprochen von Hugging Face bereitgestellte Es ist ein leistungsstarkes Tool für Aufgaben wie Stimmungsanalysen. Was ist nun Stimmungsanalyse? Wie der Name schon sagt, beinhaltet sie die Bestimmung der Stimmung, die in einem Text ausgedrückt wird, also negativ oder neutral Nehmen wir an, ich liebe Cricket, also ist das ein positiver Satz Okay, ich mag etwas nicht, ich werde auf etwas stoßen, das ist also ein negatives Gefühl In ähnlicher Weise werden die Dinge klarer sein, wenn ich die Arten der Stimmungsanalyse erkläre die Arten der Stimmungsanalyse Dinge klarer sein, wenn ich die Arten der Stimmungsanalyse erkläre Die erste ist die Polaritätserkennung , die positiv, negativ oder neutral ist Ich liebe dieses Produkt, es ist natürlich positiv. Der Service ist schrecklich, ist nicht gut, ist negativ. Und wenn die Dinge nicht klar sind, wird es neutral sein, als ob das Paket pünktlich angekommen ist. Als nächstes kommt die Emotionserkennung. Nehmen wir an, Sie sagten: Das ist nicht gut, das ist erbärmlich. Das ist so frustrierend. Das ist Wut Und Freude drückt sich in einem Satz aus, als ob ich von den Ergebnissen begeistert bin. Emotionserkennung umfasst also Glück, Frustration und andere Emotionen. Dann kommt die aspektbasierte Stimmungsanalyse, wie die Stimmung gegenüber einem bestimmten Produkt oder einer bestimmten Dienstleistung Zum Beispiel war das Essen großartig, aber der Service war langsam. In diesem Fall hat das Essen offensichtlich eine positive Stimmung Aber da der Service nicht gut war, ist es eine negative Stimmung Dann die Absichtsanalyse, etwa die Absicht, etwas zu kaufen, um sich zu beschweren Nehmen wir an, Sie sagten: Können wir dieses Produkt kaufen? Das ist also eine Kaufabsicht. Das waren also die Arten der Stimmungsanalyse. Sehen wir uns nun das Codierungsbeispiel an. Dabei werden wir ein öffentliches Modell verwenden. Wir werden also kein überschüssiges Token erstellen , da wir es für öffentliche Modelle, wie ich bereits sagte, nicht benötigen. Wir werden den Code auf Gool Colab ausführen. Aus Effizienzgründen können wir auch die Laufzeit in Google Collab ändern , also zeige ich Ihnen das auch anhand Lass uns anfangen Hier ist unser Google Colab. Okay, lass mich den Code öffnen, die Datei, das Notizbuch öffnen. Ich habe das Projekt bereits erstellt. Hier ist es die Stimmungsanalyse. Hier ist sie. Aus Effizienzgründen können wir also den Laufzeittyp ändern. Klicken Sie auf das Laufzeitmenü, hier klicken Sie auf Laufzeittyp ändern. Okay. Wir können sehen dass wir die To-GPU bereits ausgewählt haben, kein Problem. Wenn Ihr Projekt sehr komplex ist oder Sie ein umfangreiches Projekt haben, können Sie auch die TPU V mit zwei Bindestrichen und acht auswählen Ich behalte das Gleiche, okay? Also, was wir hier zunächst gemacht haben, haben wir zuerst die benötigten Bibliotheken installiert, das sind Transformatoren und Torch. Okay, wir benutzen das Papier. Wir haben bereits in den vorherigen Lektionen besprochen, wie man es installiert. Danach haben wir es mit diesen Läufen ausgeführt. Dabei haben wir die erforderlichen Module in diese Zeile importiert. Hier haben wir die Pipeline zur Stimmungsanalyse geladen. Die Pipeline-Funktion bietet eine einfache Möglichkeit , verschiedene NLP-Aufgaben auszuführen, einschließlich der Stimmungsanalyse Sie können ein vorab trainiertes Stimmungsanalysemodell wie folgt laden Stimmungsanalysemodell Hier haben wir also das folgende Modell geladen. Okay. Danach haben wir eine Stimmungsanalyse durchgeführt Da wir die Stimmungsanalyse-Pipeline geladen haben, können Sie sie verwenden, um die Stimmung eines Textabschnitts zu analysieren. Also hier liebe ich es, Cricket zu spielen und zu schauen. Das sind meine Texte, und ich hasse es, wenn wir bei Collis sind, ist ein Jahrhundert Sie können sich also vorstellen, dass dies ein positiver Satz ist und dass dies ein negativer Satz ist Du kannst es leicht erraten. Das ist also die Stimmungsanalyse Die Ausgabe, die Sie hier sehen können, ist eine Liste von Wörterbüchern. Hier enthält jedes Wörterbuch das enthält jedes Wörterbuch Stimmungslabel und das Hier ist es das Etikett und der Vertrauenskern. Hier haben wir also mehrere Texte gleichzeitig analysiert , indem wir eine Liste von Stichworten an den Stimmungsanalysator übergeben eine Liste von Stichworten an den Stimmungsanalysator Lassen Sie uns nun die Ausgabe vollständig verstehen. Die Punktzahl in der Ausgabe der Pipeline zur Stimmungsanalyse in der Umarmungsphase stellt das Konfidenzniveau oder die Wahrscheinlichkeit dar das Konfidenzniveau oder die , die das Modell der Bezeichnung zuweist Es gibt an, wie sicher das Modell ist, dass der angegebene Text der prognostischen Stimmung entspricht Text Das Ergebnis ist ein Wert von 0-1. Wie Sie sehen, bedeutet ein Wert, der näher an eins liegt, dass das Modell sehr sicher ist, was seine Vorhersage Wenn der Wert näher an Null läge, würde das bedeuten, dass das Modell sich seiner Vorhersage weniger sicher ist . Die Bezeichnung positiv gibt an, dass das Modell die Stimmung im Text als positiv voraussagt . Das ist das Folgende Das Negative bedeutet das Gegenteil, das ist negativ. Hier ist es. Hier wundern Sie sich also, warum die Punktzahl so hoch ist, fast eins. Dies liegt daran, dass das von uns verwendete Modell auf einen großen Datensatz abgestimmt wurde und für die Stimmungsanalyse sehr genau ist. Der Eingabetext enthält wahrscheinlich eine starke, eindeutige Sprache, die es dem Modell leicht macht, die Stimmung mit hoher Sicherheit vorherzusagen, z. B. bedeutet gegessen negativ und Liebe bedeutet Auf diese Weise, Leute, können wir mit umarmtem Gesicht an der Stimmungsanalyse arbeiten 11. Textklassifizierung mit Hugging Face: In dieser Lektion lernen wir, wie wir die Phase der Umarmung für die Textklassifizierung nutzen können Phase der Umarmung für die Textklassifizierung nutzen Zunächst werden wir verstehen, was Textklassifizierung ist. Damit werden wir auch den Unterschied zwischen Stimmungsanalyse und Textklassifizierung erkennen den Unterschied zwischen Stimmungsanalyse und Textklassifizierung Danach werden wir ein Beispiel in Google Colab erstellen und ausführen . Lass uns anfangen Textklassifizierung kann, wie der Name schon sagt, zur Spam-Erkennung verwendet werden. Sie müssen also anhand Ihrer E-Mail-ID gesehen haben, dass einige E-Mails als Spam eingestuft werden, andere E-Mails werden nicht als Spam betrachtet. Auf ähnliche Weise können Sie auch Nachrichtenartikel oder Dokumente wie Sportartikel in die Kategorie Sport und technische Artikel in die Kategorie Technologie einordnen Dokumente wie Sportartikel in die Kategorie Sport technische Artikel in die Kategorie Technologie Damit bietet es auch einen Anwendungsfall für die Erkennung von Absichten, z. B. die Stornierung einer Bestellung, Buchung eines Fluges und vieles mehr Lassen Sie uns sehen, bis jetzt haben wir uns mit der Stimmungsanalyse befasst Hier ist also der Unterschied zwischen Stimmungsanalyse und Textklassifizierung Wie der Name schon sagt, sind Stimmungsanalysen eng gefasst. Das ist spezifisch für die Stimmung. Sagen wir, positive Stimmung für einen Text wie Ich liebe In ähnlicher Weise hängen die Bezeichnungen für die Textklassifizierung von der Aufgabe ab, wie ich gerade über Spam oder nicht Spam oder andere Themen gesprochen Was die Stimmungsanalyse betrifft, haben wir bereits erwähnt, dass sie hauptsächlich positiv, negativ oder neutral ist hauptsächlich positiv, negativ oder neutral einigen Anwendungsfällen gehört die Klassifizierung von E-Mails als Spam oder nicht als Spam im Rahmen der Textklassifizierung Bei der Stimmungsanalyse kann einer der Anwendungsfälle eine positive Produktrezension sein Sehen wir uns nun ein Codierungsbeispiel an, bei dem wir anhand eines Textes Spam erkennen oder nicht Wir werden ein öffentlich verfügbares Modell verwenden , das wie folgt aussieht. benötigen wir also kein überschüssiges Token von Hugging Face Schauen wir uns also das Beispiel an und klassifizieren wir Text als Spam oder nicht als Spam Hier ist unser Google Colab. Wir haben diese Notizbücher bis jetzt erstellt diese Notizbücher bis jetzt Lassen Sie uns unser Notizbuch zur Textklassifizierung öffnen, Notizbuch öffnen. Hier ist es. Wir haben es bereits erstellt. Lassen Sie uns die Schritte sehen. Zunächst werden wir die erforderlichen Bibliotheken installieren. Das beginnt mit der Transformers-Bibliothek von Hugging Face sowie mit der Torch-Bibliothek Deshalb haben wir dafür den Befehl PIP install verwendet . Lass uns nach unten gehen. Danach werden wir die notwendigen Module importieren. Hier haben wir das Pipeline-Modul importiert. Dann haben wir ein vortrainiertes Spam-Erkennungsmodell geladen , das hier wie folgt aussieht. Es ist frei verfügbar. Also haben wir von Hugging Face keinen Schlüssel dafür verwendet. Der nächste Schritt beinhaltet nun die Durchführung der Spam-Erkennung. Zunächst haben wir mehrere Texte festgelegt, damit wir erkennen können, ob es sich bei diesen Texten um Spam handelt oder nicht. Wir haben mehrere Texte gleichzeitig klassifiziert , indem wir eine Liste von Zeichenketten übergeben haben. Hier ist es. Wir haben hier Labels Spam und nicht Spam zugeordnet Hier ist es das Label-Mapping. Negativ bedeutet Spam, neutral bedeutet kein Spam, positiv bedeutet kein Spam. Okay. Um die Ergebnisse anzuzeigen, haben wir die Vier in einer Schleife verwendet. Hier ist es. Was wird passieren? Eine Punktzahl wird in der Ausgabe sichtbar sein. Okay. Die Ausgabe wird auch die Bezeichnung enthalten, unabhängig davon, ob es sich dabei um Spam handelt oder nicht. Damit wird der Punktestand auch sichtbar sein. Dies sind die Konfidenzwerte. Hier ist es nach unserem Modell so, der erste Text ist ein Spam. Offensichtlich, weil es Glückwünsche zeigt. Wir haben eine Amazon-Geschenkkarte im Wert von 500 INR. Klicken Sie hier, um sie jetzt einzulösen. Der zweite ist kein Spam. Offensichtlich hier Mythos. Treffen wir uns morgen um 12:00 Uhr. Das ist also offensichtlich kein Spam. Letzteres wird auch als Spam angesehen. Wir erhalten viele solcher Spam-E-Mails , dass Ihr Gmail-Konto kompromittiert wurde Hier zeigt das Konfidenzintervall die Punktzahl an. Niedrige Konfidenzwerte deuten darauf hin, dass das Modell hinsichtlich seiner Prognosen unsicher ist. Das folgende Modell ist für Stimmungsanalysen optimiert, jedoch nicht speziell für die Spam-Erkennung Wir sind immer noch dabei, es für die Spam-Erkennung anzupassen. Okay. Deshalb wird hier kein Spam angezeigt, aber der Vertrauenswert liegt sogar unter 0,7. Ich habe Ihnen gesagt, dass niedrige Konfidenzwerte darauf hindeuten, dass das Modell hinsichtlich seiner Vorhersagen unsicher ist . Sie können hier ein anderes Modell als in der Phase der Umarmung festlegen hier ein anderes Modell als in der Phase der Umarmung Hier zeigen wir ein Beispiel. Auf diese Weise können wir also die Transformers-Bibliothek bei Hugging Face verwenden , um Spam zu erkennen Das heißt, die Textklassifizierung durchzuführen. 12. Text-Zusammenfassungen mit Hugging Face: In dieser Lektion werden wir verstehen, wie man Zusammenfassungen mithilfe von Hugging Face durchführt. Zuerst werden wir verstehen, warum wir zusammenfassen müssen, und dann werden wir in Google Colab ein Codierungsbeispiel sehen, um Text zusammenzufassen. Lass uns anfangen , wird die Transformers Library Wie Sie bereits wissen, wird die Transformers Library für NLP-Aufgaben verwendet Dazu gehört auch die Zusammenfassung von Text . Warum also Zusammenfassung? Die Zusammenfassung wird tatsächlich in vielen realen Anwendungen verwendet vielen realen Anwendungen Sie haben bestimmt schon einmal gesehen, wie lange Artikel zu kurzen Ausschnitten zusammengefasst wurden , um Dokumente oder Forschungsarbeiten zusammenzufassen Chatbots bieten auch schnelle und präzise Antworten. Damit können Sie wichtige Punkte und Zusammenfassungen aus einem Dokument und auch aus großen Datensätzen extrahieren Zusammenfassungen aus einem Dokument und auch aus großen Sehen wir uns nun ein Beispiel an. Hier werden wir das folgende Modell verwenden, das auf Hugging Face öffentlich verfügbar ist Wir müssen das überschüssige Token also nicht hinzufügen. Okay, wir werden den Code auf Google Colab ausführen , wie wir es zuvor gesehen haben Lassen Sie uns also den Code sehen. Also hier ist unser Google Colab Wir werden unsere Codedatei öffnen, das Notizbuch öffnen. Also hier diskutieren wir über die Zusammenfassung. Hier ist unser Code. Zunächst haben wir die erforderlichen Bibliotheken installiert. Also haben wir hier sowohl die Transformatoren als auch die Pytoch-Bibliothek mit dem Befehl PIP Space install installiert hier sowohl die Transformatoren als auch die Pytoch-Bibliothek mit dem Befehl PIP Space Wir haben diesen Befehl bereits zuvor besprochen. Danach werden wir Atomdel für Sequence to Sequence LM und Auto-Tokenizer für mehr Kontrolle über den Prozess verwenden , sodass wir das Modell und den Tokenizer , sodass wir das direkt laden können Also das haben wir hier gemacht. Hier haben wir das folgende vortrainierte Modell zur Zusammenfassung geladen . Hier haben wir also den Eingabetext so eingestellt, dass er zusammengefasst werden soll. Das ist also unser Text. Wir werden das zusammenfassen Zunächst haben wir den Eingabetext wie folgt tokenisiert . Okay, hier können Sie einige Parameter sehen. Diese Parameter steuern die Länge und Qualität der Zusammenfassungen maximale Länge des Unterstrichs ist die maximale Anzahl von Tokens in der Zusammenfassung Wir haben 512 festgelegt, daher wird die Zusammenfassung hier nicht länger als 512 Token sein Wir haben den Eingabetext hier tokenisiert. Um die Zusammenfassung zu generieren, haben wir die Generate-Methode verwendet Hier haben wir einige Parameter für die Eingabe, die folgenden, tokenisiert Dann die maximale Länge, das ist die maximale Anzahl von Tokens in der Zusammenfassung Dies ist die Mindestanzahl von Token in der Zusammenfassung. Länge unterstreicht Strafe. Was ist das? Dies fördert längere oder kürzere Zusammenfassungen. Hier sind es zwei, das heißt längere Zusammenfassungen. Num Underscoe Beams steuert die Breite der Strahlsuche Höhere Werte verbessern die Qualität, verlangsamen aber Hier haben wir es auf vier gesetzt. Das bedeutet vier Strahlen für die Dekodierung. Okay, hier war unser Beitrag, und das ist die Zusammenfassung hier. Wir haben die Zusammenfassung hier gedruckt. Wir haben sie zusammengefasst. Okay. Also auf diese Weise, Leute, können wir die Phase der Umarmung nutzen Auf diese Weise, Leute, können wir den Text einfach zusammenfassen. 13. Text-zu-Text (Übersetzung) mit Hugging Face: In dieser Lektion werden wir verstehen, wie wir mit Hugging Face Übersetzungen durchführen können Das ist Text-zu-Text-Generierung. Lassen Sie uns für die Übersetzungsaufgabe sehen, wir werden die Hugging Phase Transformers Library verwenden Einige Modelle sind dafür bereits vorgesehen. Übersetzung beinhaltet also, wie wir alle wissen, Beispiel die Übersetzung von englischem Text ins Spanische Dies ist ein Teil von Text-zu-Text-Modellen, für den ein Aufgabenpräfix erforderlich ist, um die Art der Aufgabe anzugeben, z. B. Übersetzung, Zusammenfassung und andere Generierung von Text zu Text umfasst nicht nur die Übersetzung, sondern auch die Zusammenfassung, Paraphrasierung, Beantwortung von Fragen und sogar die Klassifizierung von Stimmungen Die Generierung von Text zu Text umfasst nicht nur die Übersetzung, sondern auch die Zusammenfassung, Paraphrasierung, Beantwortung von Fragen und sogar die Klassifizierung von Stimmungen . Sehen wir uns also den Unterschied zwischen Text-zu-Text und Textgenerierung an Textgenerierung wird also für die autogressive Textgenerierung verwendet für die autogressive Textgenerierung bei der das Modell Text sequentiell generiert , ein Token nach dem anderen, wie bei Dialogsystemen, Textvervollständigungen Die Klasse zur Generierung von Text zu Text wird für Aufgaben von Sequenz zu Sequenz verwendet für Aufgaben von Sequenz zu Sequenz , bei denen das Modell einer Eingabesequenz eine Ausgabesequenz generiert, z. B. bei der Textzusammenfassung, Paraphrasierung und z. B. bei der Textzusammenfassung, Paraphrasierung anhand einer Eingabesequenz eine Ausgabesequenz generiert, z. B. bei der Textzusammenfassung, Paraphrasierung und sogar Übersetzung. Sehen wir uns nun ein Beispiel für die Durchführung einer Übersetzung mithilfe der Hugging Phase Transformers-Bibliothek an Dabei wird ein Modell T five underscore Small verwendet, das in der Hugging-Phase öffentlich verfügbar ist Dieses Modell ist eine kleinere Version des T-Five-Modells und kann für Aufgaben wie Zusammenfassung, Übersetzung und sogar für Schnellantworten verwendet werden Übersetzung und Sehen wir uns das Beispiel auf Google Colab an. Hier ist ein Google Colab. Wir haben gerade das Beispiel für eine Textzusammenfassung gesehen Lassen Sie uns jetzt öffnen. Lassen Sie uns nun das Übersetzungsbeispiel öffnen. Hier ist es. Zuerst werden wir die benötigten Bibliotheken installieren. Das ist hier das Folgende. Wir haben den Befehl PIP Space Install verwendet Wir haben diesen Befehl schon einmal gesehen. Danach laden wir ein vorab trainiertes Übersetzungsmodell. Hier haben wir das T-Five-Modell geladen. Es ist ein vielseitiges Text-zu-Text-Modell. Das kann die Übersetzung bewältigen, indem der Eingabe eine aufgabenspezifische Aufforderung vorangestellt der Eingabe eine aufgabenspezifische Aufforderung Wir laden also ein T-Five-Modell. Hier. Hier haben wir den Eingangstext vorbereitet. Das ist also der Text, den wir übersetzen werden, Englischen ins Spanische übersetzen. Das ist der folgende Text, den wir übersetzen lassen werden. Tokenisieren Sie den Eingabetext in Eingabe-IDs, die das Modell verarbeiten kann Verwenden Sie das Modell, um den übersetzten Text zu generieren. Sie können den Generierungsprozess mit Parametern wie „Max. Länge“, „ Name“ und „Underscoe-Balken“ anpassen mit Parametern wie „Max. Länge“, , die wir auch in der vorherigen Lektion gesehen haben Hier werden die Ausgabetokens in Text dekodiert, und danach drucken wir den Also hier ist der ausgegebene, übersetzte Text. Mein Name ist Amed Devan und ich liebe Cricket. Also hier ist es ins Spanische übersetzt. Also auf diese Weise, Leute, können wir die Übersetzung durchführen. 14. Antworten auf Fragen mit Hugging Face: In dieser Lektion werden wir verstehen, wie man die Umarmungsphase für die Beantwortung von Quien nutzt Wir werden uns auch ein Beispiel ansehen. Lass uns anfangen. Wir werden also die Transformers-Bibliothek von Hugging Phase verwenden , um die Quotien-Antwortaufgabe auszuführen. Wir werden den Code auf Google Colab ausführen. Hier werden wir also das folgende Modell verwenden, das in der Umarmungsphase öffentlich verfügbar ist, sodass wir dafür kein überschüssiges Token erstellen müssen Sehen wir uns das Beispiel auf Google Colab an. Also hier werden wir unseren Code öffnen. Zuerst werden wir die erforderlichen Bibliotheken installieren , die wir gezeigt haben. Wir haben denselben PIP-Installationsbefehl verwendet , den wir zuvor gesehen haben, um die erforderlichen Bibliotheken zu installieren Danach laden wir ein vorab trainiertes QA-Modell und einen Tokenizer Hier sind unser Modell und der Tokenizer. Bereiten Sie die Eingabe für die QA-Aufgabe vor. Das gilt für die Quotien-Antwortaufgabe. Wir brauchen sowohl einen Kontext als auch einen Quotienten. Was ist jetzt der Kontext? Es ist ein Absatz oder Text, in dem die Antwort gefunden werden könnte. Das ist das Folgende. Ich gebe auch einen Kontext, und hier ist das Zitat Es geht also um mich, und hier ist die Frage, die Sie beantworten möchten Okay. Also haben wir beides gesagt. Danach werden wir die Eingabe tokenisieren, den Kontext und den Quotien mithilfe des Tokenizers tokenisieren . Wir haben Rufen Sie die Vorhersage des Modells ab und übergeben Sie die tokenisierte Eingabe an das Modell, um die Antwort zu erhalten. Das ist das Folgende Es werden auch die Start - und Endergebnisse extrahiert. Ich werde hier die wahrscheinlichsten Start- und Endpositionen ermitteln und dieselbe verwenden, um Token-IDs wieder in Wörter umzuwandeln , sodass die Antwort hier angezeigt wird. Antwort- und Disco-Token werden hier gesetzt und es wird wieder dekodiert Das wird deine Ausgabe haben. Also hier war der Quotient der Ort, an dem Amid der Onean basiert. Der Kontext war der folgende, und die Antwort lautet Feinkostladen Auf diese Weise, Leute, können wir die Beantwortung einfach durchführen. 15. Text zu Bild mit Hugging Face: In dieser Lektion werden wir verstehen, wie wir mithilfe von Hugging Face Text zu Bild umwandeln können Lassen Sie uns das anhand eines Beispiels Deshalb verwenden wir hier die Diffusor-Bibliothek von Hugging In diesem Beispiel wird auch das stabile Diffusionsmodell verwendet, das eines der beliebtesten Textbildmodelle ist, die in der Diffusor-Bibliothek verfügbar sind Was sind nun die Diffusor-Bibliothek und die stabile Diffusion? Die Diffusers-Bibliothek ist eine Open-Source-Python-Bibliothek , die sich auf Diffusionsmodelle zur Generierung von Bildern, Audio und anderen Datentypen konzentriert auf Diffusionsmodelle zur Generierung von Bildern, Audio und anderen Datentypen Dabei handelt es sich um eine Klasse generativer Modelle nur von Hugging Face entwickelt wurden Was ist stabile Diffusion? Es ist ein latentes Diffusionsmodell für die Erzeugung qualitativ hochwertiger Bilder entwickelt wurde So können Sie damit Bilder aus Textproms generieren. Es ist auch eines der beliebtesten generativen Modelle. Sehen wir uns das Beispiel an. Hier werden wir ein öffentlich verfügbares Modell auf Huggingface verwenden Sehen wir uns das Beispiel an und konvertieren wir Text in Bild. Die Ausgabe wird als Bild in Google Colab selbst generiert Also lass uns sehen. Hier ist unser Google Colab Lassen Sie uns unser Notizbuch für Text zu Bild öffnen. Hier ist es. Zunächst installieren wir die erforderlichen Bibliotheken mit demselben pip install-Befehl, den wir bereits besprochen Jetzt werden wir die stabile Diffusionspipeline laden. Die Diffusor-Bibliothek bietet eine stabile Diffusionspipeline, die es einfach macht, Bilder aus Textaufforderungen zu generieren Wir werden das stabile Diffusionsmodell hier laden. Generieren Sie nun ein Bild aus einer Texteingabeaufforderung. Generieren Sie einfach ein Bild, indem Sie einen Text-Prom an die Pipeline übergeben . Hier ist unsere Aufforderung. Fliegende Autos schweben bei Sonnenuntergang über einem futuristischen Stadtbild. Im Folgenden wird das Bild generiert. Okay. Hier ist unser Bild. Dieses Bild wird nur mit derselben Methode in Google Colab gespeichert . Außerdem wird das Bild gedruckt, das als generierter Unterstrich-Bildpunkt im PNG-Format gespeichert PNG-Datei wird generiert, wo sie in Google Colab sichtbar ist. Klicken Sie wo sie in Google Colab sichtbar ist. Klicken Sie können Dateien sehen. Jetzt führe ich es aus. Ich werde es ausführen. Ich lasse das jetzt laufen. Jetzt renne ich, um ein Bild zu generieren und es zu speichern. Okay, hier ist unser Bild. Es steht geschrieben. Das Bild wurde als generierter Unterstrich-Bildpunkt im PNG-Format gespeichert. Okay, es hat es also generiert. Ich werde einfach von hier aus hierher gehen. Du kannst es herunterladen. Sie können den Pfad auch kopieren. Ich klicke auf Herunterladen. Es wurde heruntergeladen. Okay, hier ist es. Also haben wir ein Bild generiert , das Text zu Bild ist. 16. Text zu Video mit Hugging Face: In dieser Lektion werden wir verstehen, wie man Text in Video umwandeln kann , indem man das Gesicht drängt Dies wird als Text-zu-Video-Synthese bezeichnet. Wir werden verstehen, was es ist, und wir werden auch ein Beispielbeispiel ausführen. Lassen Sie uns also beginnen: Text to Video beinhaltet das Generieren von Videos aus Textbeschreibungen wie das Eingeben eines Textes und das Generieren eines Videos Wie wir in der vorherigen Lektion gesehen haben, Text zu Bild, haben wir einen Text eingegeben und ein Bild generiert In diesem Fall werden wir ein Video generieren. Wir haben also viele vorgefertigte Modelle und Tools zum Generieren von Videos. Hugging Face bietet die gleichen Modelle. Die Text-zu-Video-Synthese Tom, von der ich gerade erzählt habe, beinhaltet die Generierung einer Sequenz von Bildern auf der Grundlage einer Textbeschreibung Da es sich um eine komplexe Aufgabe handelt, müssen verschiedene NLP-Modelle mit generativen Modellen oder sogar Diffusionsmodellen kombiniert mit generativen Modellen oder sogar Diffusionsmodellen Okay, Diffusionsmodelle, die wir in der vorherigen Lektion gesehen haben , werden zum Generieren von Bildern oder Videos verwendet Sehen wir uns zunächst einige Frameworks zur Videogenerierung bevor wir uns dem Beispiel zuwenden. Eines der beliebtesten ist Runway ML. Es bietet Tools zur Videogenerierung und -bearbeitung. Meist können Sie für generierte Videos PIA Labs verwenden. Mit diesem Deep Mind Percepver kann IO auch verwendet werden, um multimodale Eingaben zu verarbeiten Multimodale Eingaben können Text, Bilder und sogar Videos enthalten. Sie müssen die Bibliothek wie Pitch oder Tensor Flow verwenden , damit Sie Pipelines für die Generierung von Videoframes erstellen können Pipelines für die Generierung Sehen wir uns ein Beispiel an . Also hier werden wir auch die Diffuser-Bibliothek verwenden Wir haben bereits über die Diffusor-Bibliothek gesprochen. Es ist eine Open-Source-Bibliothek, die von Hugging Face entwickelt und zum Generieren von Bildern und sogar Videos verwendet wird zum Generieren von Bildern und sogar Videos Wir werden das öffentlich verfügbare Modell der stabilen Division verwenden. In unserem Beispiel werden wir den Code wie zuvor auf Google Colab ausführen Lass uns anfangen. Hier ist ein Google Collab Lassen Sie uns unseren Code, die Datei und das Notizbuch öffnen. Wir werden unser Notizbuch für Text zu Video öffnen. Ich gebe Video nur zur Suche ein. Hier ist es. Zuerst werden wir installieren. Hier haben wir also den Befehl pip install verwendet , um die Transformatoren sowie die Diffusor-Bibliothek auch mit Pytorch zu installieren sowie die Diffusor-Bibliothek auch mit Danach laden wir einen Text Image-Modell, also laden wir ihn hier Das ist das Modell, das ich dir schon erzählt habe. Wir haben die Diffusor-Bibliothek verwendet , um einen vortrainierten Text in das Bildmodell zu laden , z. B. stabile Diffusion Generieren Sie zuerst Frames aus Text, wir haben den Abschlussball festgelegt. Hier werden wir anhand der Textbeschreibung einzelne Frames generieren . Das ist die Textbeschreibung, ein futuristisches Stadtbild bei Nacht mit fliegenden Autos Dadurch werden zehn Frames unter Verwendung der Fremdschleife generiert. Hier sind es zehn, und es wird angehängt. Später haben wir die OpenCV-Bibliothek verwendet, um die Frames zu einem Video zu skizzieren Hier verwenden wir das OpenCV innerhalb der Fremdschleife, damit wir Wir haben auch die Numpi-Bibliothek verwendet . Wir verwenden darin das Numpi-Array. Dadurch werden Frames als Bilder gespeichert. Dadurch werden die Frames zu Videos zusammengefügt, und im Folgenden wird die Ausgabe angezeigt, bei der die Frames mithilfe der Fremdschleife gesammelt Und die Ausgabe wird so in Form von Frames angezeigt so in Form von Frames Wenn ich hier starte , werden mir zehn Frames angezeigt , weil wir hier zehn Frames generieren. Und nach diesem Ende wird das Video angezeigt. Also hier ist die Ausgabe, das Ausgabevideo wird den folgenden Namen haben : output underscore video dot mp four, aber es werden auch Frames generiert Wie viele Frames? Zehn Bilder. Das Format des Frames dem folgenden Frame, der den Wert von I unterstreicht Die Frames wären also wie Frame Underscore Null Punkt PNG, Frame Underscore One Punkt PNG, und es wird bis neun sein. Das bedeutet zehn Frames. Und die Ausgabe wird hier sein, habe ich dir gesagt. Lassen Sie es uns jetzt ausführen. A Jetzt werden wir hier klicken. Und hier kannst du sehen, ich habe dir gesagt , dass es zehn Frames erzeugen wird. Der Frame unterstreicht den Nullpunkt, PNG bis neun und das Ausgabevideo wird hier angezeigt. Das war also die Ausgabe. Ich klicke einfach hier und klicke auf Herunterladen. Laden Sie es herunter. Rechtsklick und öffnen. Hier ist unser Video. Okay, du kannst zehn Bilder sehen. Auf diese Weise, Leute, können wir Videos aus Text mit sich umarmendem Gesicht generieren Videos aus Text mit sich umarmendem Danke, dass du dir das Video angesehen hast.