Intelligence artificielle pour les débutants : outils pour apprendre le machine learning

1. Introduction: Voitures autoconduites, réalité augmentée, assistants vocaux. Ce sont des produits d'un avenir proche, rendus possibles par l'intelligence artificielle. Demandez comment fonctionne l'intelligence artificielle, et vous obtiendrez un tas de choses neurales profondes, graphiques, figures, visualisations, mèmes même. Confuse. Cette classe est différente. Je vais vous expliquer ce qui se passe dans les coulisses avec substance, sans intimidation. Ne pas utiliser de mots à la mode juste pour le bien. Cette fois, vous apprenez l'apprentissage automatique pour de vrai. Salut. Je suis Alvin. Je suis doctorante en informatique et conférencière à UC Berkeley où j'ai enseigné plus de 5 000 étudiants. J' ai travaillé sur la recherche sur le Deep Learning pour des applications orientées vers la production. Tout d'abord, pendant deux ans chez Facebook Reality Labs et Mixed Reality pour des produits comme Oculus Quest. Maintenant, chez Tesla Autopilot pour une conduite autonome complète. Basé sur des années de production face à la recherche, je distillerai les concepts d'apprentissage automatique en une introduction pratique pour vous. Ce cours est écrit pour toute personne intriguée par l'intelligence artificielle et l'apprentissage automatique. Croyez-le ou non, le secret est de prendre du recul et d' apprendre les fondations à partir du sol zéro pour décomposer un produit d'IA sexy dans son composant et toutes les parties. En suivant ce cours, vous faites un pas significatif vers l'application de ML à votre produit, votre passe-temps ou à votre entreprise. Vous pouvez être un codeur ou une personne complètement non-technique de chef d'entreprise et d'artiste ; n'importe qui vraiment. Cependant, si vous ne connaissez pas déjà Python, vous obtiendrez beaucoup plus de ce cours en suivant mon cours Coding 101 : Python pour débutants. Pour tout le monde, codeur ou non, l'objectif principal de ce cours est de jeter les bases de votre future formation à l'apprentissage automatique. Cela signifie : d'une part, apprendre à apprendre à apprendre l'apprentissage automatique, et, d'autre part, appliquer cette méthode à l'apprentissage de quelques concepts d'introduction. Pour réussir en tant que praticien ML, vous avez besoin de code et de mathématiques. Nous allons travailler sur les deux dans ce cours. En particulier, nous aborderons les concepts et les termes mathématiques fondamentaux tels qu'ils s'appliquent à ML. Ne vous inquiétez pas, pas de symboles grecs funky. Juste les idées. Comment utiliser une bibliothèque d'apprentissage automatique populaire en Python ? Nous allons ensuite l'utiliser pour créer un classificateur de visage et de mouvement, et enfin, connaître le vocabulaire de l'apprentissage automatique afin que vous puissiez parler confortablement de sujets ML. Nous nous efforçons de comprendre les concepts de base de ML, pas seulement d'intégrer quelque chose d'apprentissage profond dans chaque phrase. Cela peut être pour notre avenir. Dans ce cours, nous apprenons les fondamentaux. La compréhension de l'apprentissage automatique fera beaucoup de chemin. Après avoir suivi ce cours, vous aurez les outils, le vocabulaire, les connaissances pour commencer à apprendre sur d'autres domaines de l'apprentissage automatique : la vision par ordinateur, traitement du langage naturel, vous le nommez. Comprenez les applications de l'apprentissage profond dans ce domaine, mais nous allons d'abord apprendre les fondements de l'apprentissage automatique de la bonne façon dans ce cours. Commençons. 2. Projet: Votre projet dans ce cours est de décomposer un problème d'apprentissage automatique que vous trouvez passionnant dans ses composants. Nous aborderons ces composants, les données, le modèle, l'objectif et l'algorithme dans la leçon 3. Cela vous aidera à mieux comprendre un monde AI ML en évolution rapide. À titre d'exemple de décomposer un problème avec du code, vous allez construire un classificateur d'émotions faciales. Ne vous inquiétez pas, aucune expérience de codage n'est requise. Si vous ne connaissez pas déjà le codage, vous pouvez simplement copier chaque ligne que j'explique et écrit. Cependant, vous obtiendrez plus d'informations sur le cours en comprenant Python. Vous pouvez vous rattraper en prenant mon cours de Coding 101, Python pour débutants. Ce classificateur d'immersion faciale est un excellent moyen de voir un, les concepts ML en action, et deux, une façon visuelle de comprendre la puissance de ML. C' est l'une de mes parties préférées de la vision par ordinateur. Le fait que vous puissiez voir votre modèle ML fonctionner, et peut-être plus important encore, il est essentiel de voir que même les modèles ML les plus simples peuvent être très pratiques. Si vous pouvez produire une solution ML rapide et facile en quelques minutes, vous devez absolument. Tout ce qu'il faut, c'est les idées et les principes fondamentaux que vous allez reprendre dans ce cours. Parfois, vous n'avez pas besoin d'un modèle de fantaisie et parfois vous le faites. Premièrement, nous allons commencer par l'image globale, ce qu'est l'IA, ce qu'est le ML, et comment apprendre le ML. Deuxièmement, nous nous concentrerons ensuite sur le ML, disséquant les problèmes de ML et pratiquons les concepts d'apprentissage automatique. Nous allons en apprendre davantage sur différentes idées fondamentales comme la féaturisation, la variance biaisée, la régularisation, la régression linéaire. Nous allons ensuite effectuer un zoom arrière en discutant de différents sujets ML et entraînerons à écrire des produits IA dans leurs différents composants ML. Pour les deux leçons de codage de ce cours, je recommande fortement de m'asseoir pour pratiquer le codage à mes côtés. Coder ou non, vous pouvez le faire. Honnêtement, voir c'est croire, une fois que vous obtenez que le premier programme ML fonctionne, c'est absolument époustouflant. Je veux que vous ressentiez ce même moment époustouflant, non seulement en utilisant un produit IA, mais en construisant votre propre solution ML. Commençons par la question avec laquelle vous êtes venu ici, qu'est-ce que l'IA ? 3. Qu'est-ce que l'IA ? ML ?: Répondons maintenant à la question, qu'est-ce que l'intelligence artificielle ? En outre, qu'est-ce que l'apprentissage automatique ? Comment sont-elles liées et en quoi sont-elles différentes ? Tout d'abord, c'est l'intelligence artificielle ou l'IA en bref. IA au sens large sont des machines qui agissent comme des humains. Il existe un certain nombre de différents produits d'IA qui reflètent cela : assistance vocale, voitures autonomes et appareils de réalité augmentée de style Iron Man. Pour vraiment comprendre ce qui rend ces produits IA si intelligents, nous devons les décomposer. Pour commencer, disséquons un assistant vocal. Un assistant vocal à un niveau de base est la parole à texte, puis une recherche de texte, et enfin, le texte à la parole à nouveau. Ces trois parties sont toutes des problèmes d'apprentissage automatique, et ensemble, ces solutions ML deviennent un produit IA. Nous pouvons maintenant répondre à nouveau à ce qu'est l'IA ? L' IA est plus précisément une combinaison de solutions d'apprentissage automatique. Cela pose notre prochaine question : qu'est-ce qui fait de l'apprentissage automatique ce que c'est ? Qu' est-ce que l'apprentissage automatique ? Généralement, les modèles d'études ML qui apprennent des données comme nous l'avons fait avec l'IA rendront cette définition de ML plus concrète. Voici quelques problèmes typiques d'apprentissage automatique. D' abord, détectez les anomalies. Par exemple, reconnaître une activité bancaire anormale. Deuxièmement, recommander des produits. Trouvez des produits que vous recherchez peut-être. Troisièmement, prédire l'avenir. Par exemple, prédites le prix de votre prochain achat. On dirait une grande variété de problèmes très différents. Qu' est-ce qui définit réellement l'apprentissage automatique ? Et si je te disais que c'est le même problème. Pour comprendre comment, je dois vous donner des informations secrètes. Disons que vous aviez des informations sur mes habitudes de dépenses, qui est illustré ici, particulier, compte tenu de l'un de mes achats, vous pouvez attribuer des probabilités à combien j'ai dépensé. Par exemple, avec une probabilité de 50 pour cent, mon achat est inférieur à 5$. Avec 25 % de probabilité, mon achat est compris entre 5$ et 10$ et ainsi de suite et ainsi de suite. Nous appelons cela une distribution. Une distribution attribue des probabilités à certains événements qui se produisent. Dans ce cas, nous attribuons des probabilités à combien je dépense. Cette distribution est complètement fictive d'ailleurs, avec une probabilité de 100 pour cent, mes achats définitivement dans le magasin du dollar. Comment cette distribution nous aide-t-elle ? Ce sont les trois problèmes ML d'avant. Permettez-moi de vous montrer comment répondre à ces trois problèmes en utilisant notre distribution. Tout d'abord, voici comment détecter les anomalies. Regardez la distribution et demandez à quel point ce montant d'achat est probable. Par exemple, un achat de 200$ est extrêmement peu probable selon cette distribution. Ainsi, un achat de 200$ est une anomalie. Deuxièmement, voici comment recommander des produits. Disons que j'achète un article de 8$, cela pourrait signifier que j'achète des articles de 5 à 10$, donc nous pouvons recommander plus de produits dans cette gamme de prix. Troisièmement, voici comment prédire l'avenir. Juste en regardant cette distribution, nous pouvons dire que la fourchette de prix la plus élevée est inférieure à 5$. Ainsi, mon prochain achat est susceptible d'être inférieur à 5$. Cela nous amène à une nouvelle définition ML. En particulier, ML étudie des modèles qui apprennent les distributions de données. La distribution des données que nous voulons apprendre dépend du problème. Nous pourrions être intéressés par la distribution des prix d'achat, la distribution des prix des actions, ou peut-être la distribution d'images naturelles. Ce dernier, la distribution d'images, est un concept bizarre. Toute distribution sur un espace de haute dimension est difficile à visualiser en réalité. Nous revisiterons cela dans les cours ultérieurs. Enfin, pour lancer une définition de plus, définissons l'apprentissage profond. Qu' est-ce que l'apprentissage profond ? Le Deep Learning est en fait un sous-ensemble de l'apprentissage automatique. En particulier, le Deep Learning étudie des modèles complexes qui apprennent les distributions de données. Nous aurons besoin de quelques leçons supplémentaires pour comprendre ce que signifie vraiment complexe. Cela conclut les sujets de cette leçon. Nous avons défini les produits d'intelligence artificielle comme une combinaison de solutions d'apprentissage automatique. Nous avons défini les solutions d'apprentissage automatique comme des modèles qui apprennent les distributions de données. Enfin, nous avons défini le Deep Learning comme des modèles d'apprentissage automatique complexes. Pour résumer encore plus loin, pour comprendre l'IA, comprenez d'abord l'apprentissage automatique. C' est précisément l'objectif de ce cours, commencer à comprendre le ML, pas seulement les fondamentaux, mais aussi comment apprendre l'apprentissage automatique. Pour obtenir une copie de ces diapositives et d'autres ressources, assurez-vous de consulter le site Web du cours. C' est tout pour nos définitions fondamentales. Dans la prochaine leçon, nous allons apprendre à apprendre l'apprentissage automatique. 4. Comment apprendre le machine learning: Dans cette leçon, nous allons discuter de la façon d'apprendre l'apprentissage automatique. Plus précisément, nous discuterons de quatre catégories différentes de connaissances en apprentissage automatique. Les quatre catégories sont répertoriées ici : données, modèle, objectif et algorithme. Définissons ces catégories avant de les plonger un par un. La première catégorie est les données. Ce sont les entrées et la sortie souhaitée pour votre application. Pour toute demande, vous devriez poser quelques questions. À un niveau élevé, quel est votre objectif ? Comment l'entrée est-elle structurée ? Que prédites-vous et existe-t-il des sources de données supplémentaires qui pourraient fournir des informations supplémentaires ? Voici quelques exemples de réponses. Par exemple, votre objectif pourrait être de classer les chiffres manuscrits. Votre entrée serait alors une image d'un nombre manuscrit. Enfin, la sortie est un nombre. Pour ce problème particulier, il n'y a pas de sources de données supplémentaires que nous pouvons exploiter. La deuxième catégorie est notre modèle. C' est une fonction qui fait des prédictions. Pour n'importe quel modèle, vous devriez vous demander, quelle est la complexité de mon modèle, une fonction linéaire est-elle suffisante ? Ai-je besoin d'une fonction quadratique, d'un polynôme, d'un réseau neuronal ? Un exemple de modèle est un modèle linéaire, comme dans la régression linéaire, nous allons visualiser plus en détail la régression linéaire plus tard. La troisième catégorie est notre objectif. Un objectif spécifie précédemment ce que vous souhaitez apprendre. Pour tout objectif, vous devriez demander, est-ce que je maximise le gain ou minimise l'erreur ? Comment définir l'erreur ? Comment définir le gain ? Y a-t-il des déséquilibres dans mes données ? Y a-t-il des biais que je devrais aborder ? Par exemple, l'objectif est de minimiser l'erreur en ajustant la pente de la ligne et l'interception. L' erreur est la différence entre nos prédictions et les données observées sous forme d'étiquettes. Nous le rejetterons plus concrètement plus tard. Si cet exemple n'a aucun sens, c'est bon. Nous reviendrons plus en détail dans une leçon ultérieure. La quatrième catégorie est l'algorithme. Voici comment atteindre efficacement votre objectif, comment faire la partie apprentissage de l'apprentissage automatique. Il y a plusieurs questions que vous pouvez poser. Devrais-je résoudre cela manuellement ? Dois-je le résoudre itérativement ? Réduire le problème à un problème plus facile ? Un exemple de réponse consiste à prendre l'ensemble dérivé à zéro et à résoudre. Notez que ces algorithmes ne sont pas le focus pour cette classe. Cela vaut la peine d'être appris plus tard, mais pas encore dans une introduction. Pour résumer le but de cette section, voici mon conseil pour vous. Classez toutes les nouvelles connaissances d'apprentissage automatique que vous acquérez dans les données, modèle, l'objectif ou l'algorithme. Cela conclut la vue d'ensemble de notre cadre de quatre catégories pour l'apprentissage automatique. Maintenant, commençons à utiliser ce cadre d'apprentissage. Nous allons maintenant introduire les bases de connaissances pour chaque catégorie d'apprentissage automatique. Tout d'abord, c'est les données ou ce qu'il faut apprendre. Les données de tout problème d'apprentissage automatique sont divisées en trois parties. La première partie est l'ensemble de trains, les données que vous utilisez pour former votre modèle. La deuxième partie est le jeu de validation, les données sur lesquelles vous vérifiez votre modèle. Vous pouvez utiliser ce jeu de validation pour choisir le meilleur modèle ou les meilleurs réglages de modèle. La dernière partie est l'ensemble de tests. Vous ne devez exécuter votre modèle qu'une seule fois sur l'ensemble de tests. Il s'agit de votre dernière vérification des performances des modèles d'apprentissage automatique avant de les expédier à la production, par exemple. Nous allons maintenant élargir vos connaissances sur les modèles ou sur la façon de prévoir. Il existe deux types de modèles, génératifs et discriminants. modèles génératifs apprennent comment les données ont été générées directement. Compte tenu de la classe, les modèles génératifs apprennent la distribution des données. Par exemple, des modèles génératifs peuvent être utilisés pour améliorer automatiquement les images, générer des essais ou transformer du texte en discours. Les modèles discriminants apprennent les limites entre les classes. Compte tenu des données, les modèles discriminants apprennent la probabilité de chaque classe. Par exemple, des modèles discriminants peuvent être utilisés pour classer l'émotion du visage, effectuer une analyse du sentiment de tweet ou traduire la parole en texte. Nous allons nous en tenir à des modèles surtout discriminatoires dans nos discussions pour l'instant. Il y a une autre façon de diviser les modèles. Nous pouvons également envisager un supervisé contre des modèles non supervisés. modèles supervisés ont des étiquettes. Voici deux types de modèles supervisés. Les modèles de classification classent les entrées en une ou plusieurs classes. Par exemple, étant donné une image, classer la race de chien, et les modèles de régression prédisent une sortie à valeur continue. Par exemple, prédire un cours d'action futur. modèles non supervisés ne comportent pas d'étiquettes. Voici deux types de modèles non supervisés. Premièrement, le regroupement divisera les entrées en groupes distincts. Par exemple, vous pouvez demander quelles séquences d'ADN sont les plus similaires et les algorithmes de réduction de dimensionnalité réduiront le nombre de dimensions de vos données. Dans ce cours, nous nous concentrerons sur les modèles supervisés. Maintenant, comprenons les objectifs d'apprentissage automatique ou votre objectif plus concrètement. Pour ce faire, nous devrons comprendre comment les données sont générées et comment nous arrivons à une notion d'erreur. Disons que nous essayons de prédire y à partir de x. Y peut être des prix stockés et x peut être la date. Votre vrai modèle, la vérité au sol, la réponse est en vert. Pour chaque x, cette ligne vous fournit un y. Cette ligne verte sera notre véritable modèle de vérité fondamentale. Maintenant, échantillonnons les données de ce vrai modèle. Ces données sont nos vraies données. Perturbons maintenant nos vraies données en ajoutant du bruit. Ce bruit pourrait être dû au bruit d'observation dans le monde réel, peut-être que vos règles sont imprécises ou que votre horloge est légèrement éteinte. L' ajout de bruit nous donne alors nos données observées. C' est l'ensemble de données que vous collecteriez et c'est tout ce que nous avons pour former un modèle. Toutes les visualisations que nous avons montrées précédemment en vert les vraies données, le vrai modèle, nous n'avons accès à aucune de ces visualisations. On a juste accès aux données observées ici en bleu. Nous formons ensuite notre modèle, la ligne ici en noir. Ce modèle formé nous donne aussi quelques prédictions, les points noirs. Enfin, l'erreur est la différence entre nos prédictions et les données observées que nous avons recueillies. C' est une façon de définir l'erreur. C' est juste l'intuition visuelle, nous l'écrirons plus formellement plus tard. Enfin, la dernière catégorie est les algorithmes. Un algorithme dont vous pouvez vous souvenir de la classe de calcul pour minimiser ou maximiser un objectif est de prendre le dérivé, mis à zéro, et résoudre. Nous n'allons pas aller beaucoup plus loin, cependant. Comme nous l'avons dit tout à l'heure, nous allons sauter cette catégorie de connaissances pour l'instant. Cela conclut les sujets de cette leçon. Pour résumer, nous avons couvert le cadre énuméré ici, les quatre catégories de connaissances ou de modèles de données, d'objectifs et d'algorithmes d'apprentissage automatique . Au fur et à mesure que vous apprenez l'apprentissage automatique, vous devez compartimenter vos connaissances dans ces quatre catégories. Ce fut d'une grande aide et je commençais tout juste à commencer et j'espère que cela vous aidera à traiter les grandes quantités de connaissances ML que vous rencontrerez. Pour obtenir une copie de ces diapositives et d'autres ressources, assurez-vous de consulter le site Web du cours. Cela conclut notre leçon Meta sur la façon d'apprendre l'apprentissage automatique. Dans la leçon suivante, vous découvrirez votre tout premier modèle. N' oubliez pas ces quatre compartiments de connaissance ML. Pour chaque nouveau sujet, assurez-vous de vous demander à quelles catégories de connaissances ces concepts appartiennent. 5. Le modèle le plus simple du monde: Dans cette leçon, nous explorerons plus que les modèles d'apprentissage automatique les plus simples, Align. Ne vous laissez pas tromper. Le modèle lui-même est simple. Ce n'est qu'une ligne, mais nous avons dans cette leçon un certain nombre de concepts qui ne sont pas aussi simples. Dans cette leçon en fait, il y aura quelques équations mathématiques. Quand nous rencontrons ces équations, il n'y a pas besoin de mémoriser. Concentrez-vous sur ce que chaque déclaration signifie. Discutons maintenant de ce qu'un modèle linéaire ou linéaire peut faire. abord, un modèle linéaire peut être utilisé pour la régression. régression est un type de problème avec les sorties et les étiquettes à valeur continue. valeur continue signifie que la valeur peut être décimale comme 1,5 ou 2,365. Voici un exemple de problème de régression. Le long de l'axe x est la hauteur du chien, le long de l'axe y est la longueur de la queue de chien. Nous avons tracé nos données observées en bleu. Dans cet exemple, notre objectif est de prédire la longueur de la queue de chien à partir de la hauteur du chien. En d'autres termes, créez une fonction qui prédit une valeur y pour chaque entrée de valeur x. Voyons maintenant comment un modèle linéaire peut être utilisé pour la régression. Cet algorithme d'apprentissage automatique est appelé moindres carrés ordinaires ou régression linéaire. Le but de cette prochaine section est de vous présenter une notation mathématique. En particulier, nous allons revoir les dernières visualisations de leçons, mais cette fois nous allons formaliser ces visualisations en tant que déclarations mathématiques. Retour à notre problème de régression. Cette fois, nous utiliserons des x et y génériques. Notre objectif est de prédire y en utilisant x. Nous indiquerons nos données observées avec des points bleus sur la gauche. Chaque point bleu a une coordonnée comme indiqué sur la droite. Notre objectif est d'adapter une ligne illustrée en noir aux données observées. Rappelons que l'équation d'une ligne est y égale à mx plus b. X est notre entrée et y est notre sortie. M et b sont nos paramètres de modèle. La modification des paramètres du modèle entraînera une nouvelle ligne ou un nouveau modèle. Nous allons maintenant faire des prédictions en utilisant notre ligne illustrée ici sous forme de points noirs. Pour obtenir ces prédictions, branchez votre entrée x_1 dans l'équation d'une ligne. Brancher le suivant dans notre équation pour une ligne puis nous donne notre prédiction y_1 hat. Vous pouvez répéter ceci pour chacune de vos coordonnées. Maintenant, nous devons définir formellement notre perte ou notre erreur en utilisant les prédictions. En particulier, prenez la différence entre le chapeau y observé et prédit. Il s'agit de la distance verticale entre chacun des points gris observés et le point noir correspondant sur la ligne. Nous mettons ensuite la différence en place parce que nous voulons pénaliser la fois la sous-estimation et la surestimation. Encore une fois, répétez ceci pour tous vos points. Ceci conclut la visualisation de notre perte. Prenons un moment pour simplifier un peu nos maths. Voici les équations de nos prédictions que nous avons vues plus tôt. Nous pouvons écrire une version générique de ceci en remplaçant les chiffres par la lettre i. Cette lettre i est une variable qui correspond au ième échantillon observé. C' est juste un moyen pour nous de résumer les trois lignes ci-dessus avec une ligne ici où les pertes que nous avons vues précédemment. Pour obtenir la perte totale de notre modèle, nous devons résumer tous ces éléments ensemble. Nous pouvons représenter succinctement la somme en utilisant une notation mathématique. Ce funky regardant latéralement w est une lettre grecque majuscule sigma. Ce Sigma majuscule avec la minuscule i signifie que nous somme sur tous les i. Pas plus de lettres grecques d'ailleurs, juste celle-ci. Allons maintenant tout brancher pour obtenir notre objectif final en maths. Pour notre objectif, nous voulons minimiser les pertes que nous avons décrites précédemment. Remarquez l'indice mb. Cet indice nous indique ce que nous pouvons modifier pour minimiser les pertes. Dans ce cas, nous minimiserons notre perte en modifiant les paramètres du modèle m et b. Ensuite, notez le script L. C'est notre perte. Regardons notre perte de la diapositive précédente. Ceci est un objectif mis à jour, cependant, notre prédiction y_i hat est indéfinie. Allons le brancher aussi. C' est là l'objectif final. On dirait beaucoup de lettres aléatoires quand on regarde tout ça. Mais récapitons les différentes parties. abord, nous minimisons la perte en ajustant les lignes m et b. Deuxièmement, la perte est la distance verticale entre la prédiction et l'étiquette observée. Enfin, nous définissons des prédictions pour être notre ligne évaluée à chaque x i. C'est tout pour les symboles. Pour résoudre cet objectif, moindres carrés ordinaires prennent simplement l'ensemble dérivé à 0 et résolvent. On va passer cette partie. Maintenant, si vous vous sentez enroulé par tous les symboles, n'hésitez pas à passer à la leçon suivante où nous commençons à construire un classificateur d'émotions faciales. Il n'y a plus de symboles mathématiques, mais nous aurons besoin de quelques concepts pour comprendre comment les moindres carrés peuvent être utilisés pour la classification. Contrairement à la régression, la classification se distingue par des étiquettes catégoriques. Par exemple, les étiquettes de notre classificateur d'émotions de visage seront heureuses, tristes ou surpris. C' est notre objectif. Notre prédiction est une valeur continue et nous voulons convertir cela en une émotion comme heureuse. Concentrons-nous sur le fait de représenter heureux comme un nombre. Pour ce faire, affectez chaque émotion à un nombre, heureux à 1, réglé à 2, et surprenez à 3. Notre objectif est maintenant de convertir notre prédiction décimale en un libellé entier 1, 2 ou 3. Mais comment on fait ça ? Pour aggraver les choses, notre décimal est sans limites. Il pourrait être 5.267, il pourrait être 10.7, il pourrait être 1.000. On a besoin d'un truc. Nous changeons notre prédiction. Au lieu de sortir un seul numéro, nous avons notre modèle sortie trois nombres. Si le premier numéro est le plus grand, on prédirait la première classe. Si le deuxième nombre est le plus grand, nous prédisons la deuxième classe. Par exemple, ici nous prédisons la classe 2 puisque 5.36 est la plus grande valeur. Ici, nous prédisions la classe 1 puisque 7.94 est le plus grand nombre. Comme il n'y a que trois entrées, nos classes prédites ne peuvent être que 1, 2 ou 3. Cela résout notre problème avec la prédiction étant sans limites. C' est notre stratégie de prédiction finale pour trois classes, prédire trois nombres, prendre l'indice de la plus grande valeur, et cet indice est votre prédiction de classe. Dans ce cas, vous prédisiez la classe 2 puisque la deuxième valeur est la plus grande. Vous pouvez ensuite convertir cet index de classe en un nom de classe. Par exemple, la classe 2 ici correspond à triste. De cette façon, notre modèle des moindres carrés peut prédire triste. En général, pour un problème de classification avec les classes k, sortie k nombres, puis prendre l'index du plus grand nombre. Cet index est votre prédiction de classe. Cela résout la prédiction, mais maintenant, comment formons-nous cela ? Il y a trois sorties et pourtant il n'y a qu'une seule étiquette. Rappelez-vous, nous calculons l'erreur en prenant la différence entre notre prédiction et notre étiquette. Nous avons donc aussi besoin d'une étiquette tridimensionnelle. Comment convertir notre étiquette entière en étiquette tridimensionnelle ? En fait, c'est simple, plus ou moins. Remplacer l'étiquette 1 par un vecteur tridimensionnel, 1, 0, 0, remplacer l'étiquette 2 par les vecteurs tridimensionnels de 0, 1 , 0, et enfin remplacer trois par le vecteur 0, 0, 1. Nous appelons cette transformation spécifique un codage à chaud. Donc, maintenant, nous avons une étiquette codée à chaud en trois dimensions appropriée sur le bas pour superviser notre sortie tridimensionnelle sur le dessus. Pour résumer en vue de la classification avec les classes K, coder toutes les étiquettes à chaud utilisera ces deux concepts. Codez uniquement votre premier modèle des moindres carrés. Ceci conclut les concepts de cette leçon. Pour résumer, nous avons défini la régression comme un problème avec les étiquettes à valeur continue. Les moindres carrés sont une méthode de résolution d'un problème de régression. Nous avons également défini la classification comme un problème avec étiquettes de catégorie et exploré comment appliquer les moindres carrés la classification en utilisant un codage à chaud pour une copie de ces diapositives et plus de ressources assurez-vous de consulter le cours site Web. Cela conclut cette leçon. Malgré le titre, ce n'est pas du tout une leçon simple. Le modèle, l'aligner simple, mais nous avions besoin de concepts avancés pour faire fonctionner cette ligne si vous êtes confus, je suggère de mettre cette leçon de côté pour l'instant. Ne vous frustrez pas de regarder de suite. Au lieu de cela, je suggère de revisiter cette leçon après une bonne nuit de sommeil. Si ça n'a pas de sens maintenant, ça le fera dans une journée. Dans la leçon suivante, nous allons coder un modèle des moindres carrés de travail pour la classification des émotions faciales. 6. Construire un classificateur d'émotions de visage: Dans cette leçon, vous allez construire votre tout premier modèle d'apprentissage automatique, un classificateur d'émotions faciales. Vous pouvez toujours suivre si vous ne savez pas comment coder. Mais vous obtiendrez plus de cette section du cours si vous le savez. Pour vous familiariser avec la programmation Python, vous pouvez suivre mon cours Coding 101 Python pour débutants. Nous utiliserons également des objets dans cette leçon. Vous pouvez éventuellement vous rattraper avec programmation orientée objet en prenant mon Coding 101 plus, nivelez votre code avec la programmation orientée objet. C' est tout pour les disclaimers. Faisons ça. Commencez par naviguer vers cette URL et accédez à un modèle repl.it. Je suggère d'interrompre la vidéo ici, y compris le compte si vous ne l'avez pas déjà fait. Alors que vous pouvez coder sans compte, un compte vous permet d'enregistrer votre code. Une fois que vous voyez cette page, fork le produit pour obtenir votre propre copie modifiable. Pour ce faire, cliquez sur le nom du projet en haut à gauche pour obtenir une liste déroulante. Cliquez sur l'ellipse pour obtenir une autre liste déroulante et enfin, cliquez sur le bouton de fourche. Ensuite, je recommande de placer vos fenêtres Skillshare et repl.it côte à côte comme indiqué ici. Nous commencerons par les importations dont vous aurez besoin pour ce projet. abord, entrez votre modèle. Notre modèle est appelé régression linéaire. Le modèle de régression linéaire est fourni par le paquet Python scikit-learn. Scikit-Learn est une bibliothèque dédiée aux outils destinés aux statisticiens et aux praticiens de l'apprentissage automatique. Ici, tapez, « From », scikit-learn est abrégé comme sklearn, donc sklearn.linear_ import model linearRegression. Ensuite, importez un OneHotenCoder pour nos étiquettes. De sklearn à nouveau, pré-traitement importation OneHotenCoder. Ensuite, utilitaire d'importation pour évaluer les prédictions de classification à partir de sklearn.metrics import accuracy _ score. Assurez-vous de taper exactement comme je tape jusqu'au cas et à la ponctuation. Enfin, importez une bibliothèque d'algèbre linéaire appelée NumPy. Importer NumPy en tant que np. Maintenant, nous allons commencer le script en chargeant vos données de formation et de validation. Les ensembles de données de formation et de validation se trouvent dans votre répertoire de données. Utilisez la fonction de charge NumPy pour charger nos données d'entraînement. Nous allons assigner ceci à une variable appelée train de données. Ici, je vais créer quelques lignes vides et nous dirons data_ train est égal à np.load et le chemin vers vos données est dans le répertoire de données fer 2013 train.npz. Ce fer signifie juste la reconnaissance de l'émotion de visage. Ce fichier npz chargé agit comme un dictionnaire. Nous pouvons accéder à la clé X pour obtenir nos échantillons de données de formation. Sur une nouvelle ligne, nous allons taper x_ train égal à train données et un X majuscule. Répétez ceci pour les étiquettes du jeu de données d'entraînement. Y_train est data_train Y. Nous pouvons répéter ce processus pour l'ensemble de données de validation. Ici, je vais taper data_val np.load data fer 2013 val.npz. Ensuite x_Val est les validations X et Y_Val est les validations Y. Maintenant, nous devons pré-traiter nos données. Pour l'instant, le seul traitement p dont nous avons besoin est un encodage OneHot pour nos étiquettes. Pour ce faire, nous utiliserons un OneHotenCoder, un utilitaire fourni par scikit-learn. D' abord, voici un pourboire. Toutes les bibliothèques scikit-learn suivent le même modèle. Nous allons créer ou instancier l'objet scikit-learn comme première étape. Pour la deuxième étape, appelez la méthode d'ajustement, c'est effectivement la méthode du train. C' est légèrement trompeur parce que pour des transformations comme le OneHotenCoder, il n'y a pas de formation. Enfin, pour votre troisième étape, appelez la méthode transform ou predict que vous appelez dépend si l'objet est un modèle ou une transformation comme OneHotenCoder. Pour une raison quelconque, quand je ramassais la bibliothèque scikit, ces étapes m'ont vraiment confondu, alors j'espère que les mettre ici aide. Maintenant, suivons les étapes. Tout d'abord, nous allons instancier votre OneHotenCoder. Ici, le type encodeur est égal à OneHotenCoder. Ensuite, scikit-learn propose une transformation d' ajustement de méthode soignée qui combine les deuxième et troisième étapes. Utilisons ça maintenant. Nous devons encoder nos étiquettes de formation. Appelez la méthode de transformation d'ajustement sur le train Y. Ici, nous allons assigner le résultat à une nouvelle variable appelée Y-oh-train, abrégé pour OneHot. Ensuite, nous allons appeler encodeurs ajustement méthode de transformation sur les données d'entraînement. Enfin, nous allons appeler toarray. C' est une bizarrerie pour OneHotenCoder En particulier, appeler toarray garantit que votre sortie est un tableau. Maintenant, avec toute la configuration faite, nous pouvons créer et former notre modèle. Notre modèle est un modèle LinearRegression de scikit-learn. Nous allons suivre les mêmes trois étapes d'avant, instancier, ajustement et prédire. Ensuite, sous votre code existant, nous allons instancier la classe LinearRegression, modèles égaux à LinearRegression avec parenthèses. Ensuite, entraînez le modèle LinearRegression sur l'ensemble de données d'entraînement, donc model.fit et nous nous engageons à transmettre les ensembles de données d'entraînement X et les ensembles de données d'entraînement Y. Ensuite, nous utiliserons le modèle pour produire des scores pour chaque classe de l'entraînement ensemble de données. Nous définirons que le train de score est égal aux prévisions du modèle sur l'ensemble de données d'entraînement. Répétez cette opération sur l'ensemble de données de validation. SCORE_VAL est model.predict sur l'ensemble de données de validation. Enfin, pour chaque échantillon, trouver l'indice de la plus grande valeur. Cet index est votre prédiction finale de classe. Ici, nous aurons la prédiction est l'indice de la plus grande classe. Répétez ensuite cette opération pour le jeu de validation. Avec le modèle formé et les prévisions faites, nous devons maintenant évaluer ces prédictions à l'aide d'une fonction scikit-learning appelée score de précision évaluera nos prévisions de modèles. Ici, nous allons le taper, « Imprimer ». abord, nous lui donnerons une étiquette, « Précision du train », puis nous évaluerons réellement les prédictions des modèles. Y_train, YHAT_train. Remarquez ici que je n'ai pas vraiment créé de nouvelle ligne, c'est parce que ma fenêtre est si minuscule que celle-ci s'enroule. Répétez ensuite cette opération pour l'ensemble de données de validation. Nous allons imprimer la précision de val, puis répéter score de précision pour les étiquettes de validation et les prédictions de validation. Maintenant, appuyez sur la flèche verte en haut pour exécuter votre code. abord, vous verrez un tas de journaux d'installation comme repl.it configure votre environnement d'exécution. Cela prendra quelques minutes. Deuxièmement, vous verrez une invite vide pendant que le modèle s'entraîne, ce qui prendra environ 15 secondes. Enfin, vous verrez vos résultats d'évaluation avec environ 59 % de précision d'entraînement et 61 % de précision de validation et félicitations, c'est votre tout premier modèle d'apprentissage automatique de classificateur d'émotions faciales. Cependant, une précision d'entraînement de 59 % semble assez faible. Ça veut dire que nous sommes en train d'adapter notre modèle. On réparera ça dans la prochaine leçon. Pour obtenir une copie de ces diapositives et le code fini de cette leçon, assurez-vous de consulter le site Web du cours. Ceci conclut votre tout premier modèle d'apprentissage automatique, un classificateur d'émotions faciales. Comme nous l'avons dit précédemment, notre précision d'entraînement de 59 % est assez faible. Dans la prochaine leçon, nous parlerons des moyens d'améliorer votre classificateur d'émotions faciales. 7. Comment améliorer votre modèle: Dans cette leçon, nous allons parler de l'amélioration de votre modèle d'apprentissage automatique. Un avertissement, il y a beaucoup de termes dans cette leçon, mais il n'est pas nécessaire de mémoriser au fur et à mesure que nous allons. Nous allons passer en revue ces termes et les plats à emporter dans la dernière partie de cette leçon. En particulier, nous traiterons d'un compromis connu sous le nom de compromis biais-variance. Ensuite, nous aborderons deux méthodes de contrôle de ce compromis, connues sous le nom de féaturisation et de régularisation. Plongons maintenant dans le compromis. Le long de l'axe des x, nous avons la complexité du modèle. Pour l'instant, vous pouvez considérer la complexité du modèle comme nombre d'opérations que le modèle doit exécuter pour faire une prédiction. Le long de l'axe des y, est l'erreur. Notre objectif avec n'importe quel modèle est de trouver le modèle avec l'erreur la plus faible. Trouvez l'endroit idéal pour la complexité du modèle. Cependant, il est facile de rater ce point doux. Rendez un modèle trop complexe, et vous frappez l'un des maux les plus redoutables de l'apprentissage automatique, le suréquipement, où un modèle est trop proche pour être adapté aux données d'entraînement dans la limite où la plupart des modèles surajustés mémorisent les données. Rendre un modèle trop simple et vous frappez un mal lié, sous-équipement, où le modèle n'est pas suffisamment expressif pour capturer des informations importantes dans les données. Cela pourrait signifier que vous n'examinez que les résultats des devoirs pour prédire les résultats des examens, ignorant les effets de la lecture des notes, des examens de pratique et bien plus encore. La raison pour laquelle l'erreur se comporte ainsi est due à un biais et à une variance. biais est l'erreur pour votre meilleur modèle possible. Par conséquent, si vous choisissez de plus en plus de modèles expressifs, votre meilleur modèle possible devient de mieux en mieux, conduisant à moins d'erreurs et à moins de biais. En bref, plus la complexité du modèle est élevée, moins vous avez de biais. La variance est la propagation de vos prédictions. Avec de plus en plus de modèles expressifs, votre ensemble de modèles de sorties possibles augmente de plus en plus. Cela signifie probablement que les prédictions de votre modèle, pour toutes les données qu'il a fournies, se répandent également. En bref, plus la complexité du modèle est grande, plus vous avez de variantes. La somme du biais et de la variance vous donne alors votre erreur. C' est le compromis. Notre objectif est d'équilibrer le biais et la variance afin minimiser les erreurs en choisissant la complexité appropriée du modèle. Pour résumer, équilibrez le biais et la variance en réglant la complexité du modèle. Nous allons maintenant parler de façons spécifiques d'équilibrer le biais et la variance. Compte tenu de ces deux maux, manque d'équipement et le suréquipement, il existe une variété d'approches pour combattre les deux. Tout d'abord, c'est la féaturisation, qui combat la sous-adéquation en augmentant la complexité du modèle. Tout d'abord, considérez certaines données. Ici, les cercles représentent des échantillons d'une classe. Les X représentent des échantillons d'une deuxième classe. Notre objectif est d'utiliser les moindres carrés pour classer les deux classes. En d'autres termes, nous voulons trouver une ligne qui sépare les deux classes. Cela s'avère très difficile, peu importe la ligne que nous tracons, nous ne pouvons pas séparer les deux classes. Ce que nous voulons vraiment, c'est un cercle qui séparerait proprement les deux classes. C' est un problème parce qu'un cercle n'est pas une ligne et pour l'instant, nous savons seulement comment former des modèles ML qui tracent des lignes à travers des points. Comment pouvons-nous utiliser une ligne pour séparer ces deux classes ? Pour comprendre comment, nous allons d'abord annoter chaque point avec ses coordonnées. Notez que les axes sont x et y, comme normaux. Ensuite, nous allons carré la coordonnée x de chaque point et carré la coordonnée y de chaque point. Notez maintenant que les axes sont x au carré et y au carré. Ces nouvelles étiquettes d'axes signifient que nous sommes dans un système de coordonnées différent ou dans un espace différent. Dans cet espace, il est soudainement très facile de tracer une ligne qui sépare les deux classes. Définissons maintenant x tilde comme x carré. Notez que l'étiquette de l'axe des x est maintenant x tilde. Ensuite, définissez y tilde a comme y au carré. Notez que l'étiquette de l'axe y est maintenant y tilde. En utilisant x tilde et y tilde, nous pouvons maintenant écrire l'équation de la ligne rouge. Nous avons maintenant une ligne qui peut séparer les deux classes simplement en carré les coordonnées d'entrée. Nous appelons ce processus d'amélioration de la féaturisation des intrants. Maintenant, pour expliquer pourquoi cela est possible, revisualisons cette ligne dans l'espace tilde dans l'espace x, y d'origine. Notez que nous avons un cercle sur notre espace d'origine. Mais pourquoi est-ce que ça va ? Comment avons-nous pu tracer un cercle à l'aide d'une ligne ? Eh bien, c'est le truc. Nous avons featurisé nos échantillons ou notre fonction soulevée dans un autre espace avant de tracer une ligne. Une ligne dans notre nouvel espace correspond à un cercle dans notre espace d'origine. C' est le pouvoir de féaturisation. Dans ce cas, notre féaturisation était en quadrature chaque coordonnée. Vous pouvez aussi featuriser d'autres façons. Vous pouvez multiplier les coordonnées les unes par les autres, élever chaque coordonnée à des puissances supérieures ou appliquer un cosinus, par exemple. Ceux-ci vous permettent de tracer des lignes dans des espaces dimensionnels supérieurs qui correspondent à des formes complexes dans l'espace d'origine. Pour résumer, féaturisez vos données afin d'augmenter la complexité du modèle et de lutter contre la sous-adéquation. Le dernier concept est la régularisation, qui combat le suréquipement en diminuant la complexité du modèle. Il existe différentes façons de régulariser. L' une consiste à modifier votre objectif d'optimisation pour inclure un terme qui pénalise la complexité du modèle. On n'entrera pas dans les détails pour l'instant. Pour résumer, régulariser vos données afin de réduire la complexité du modèle et de lutter contre le surajustement. Pour résumer, nous avons couvert le compromis biais-variance, où le biais diminue avec l'augmentation de la complexité et la variance augmente avec l'augmentation de la complexité du modèle. Pour concilier les biais avec les variantes, nous utilisons la féaturisation pour lutter contre la sous-adaptation et nous utilisons la régularisation pour lutter contre le surajustement. Je sais que c'est une bouchée de termes. C' est sept termes juste là en moins de 10 minutes. Pour une fois, je dirai que vous devriez mémoriser ces termes. Encore une fois, voici les sept termes que vous devriez mémoriser. Je vais les redéfinir brièvement ici à nouveau. biais diminue à mesure que la complexité du modèle augmente. La variance augmente à mesure que la complexité du modèle augmente. Vous devez ensuite équilibrer le biais et la variance pour minimiser l'erreur du modèle. sous-installation se produit lorsque votre modèle est trop simple et que vous pouvez featuriser pour rendre votre modèle plus complexe. surmontage se produit lorsque votre modèle est trop complexe et que vous pouvez vous régulariser pour simplifier. Je sais que c'est beaucoup à prendre en même temps. Si vous vous sentez épuisé de mémoriser en ce moment, c'est tout à fait correct. Faites une pause, prenez une douche ou dormez dessus. Si vous êtes épuisé, attendez idéalement un jour avant d'essayer à nouveau. Une bonne nuit de repos fera des miracles. Une autre possibilité est de continuer tout simplement avec la classe car les plats à emporter voient vraiment l'impact de la féaturisation et de la régularisation sur la précision. Pour obtenir une copie de ces diapositives et d'autres ressources, assurez-vous de consulter le site Web du cours. Ceci conclut notre leçon d'amélioration du modèle. Dans la leçon suivante, nous allons implémenter ces techniques pour moduler le biais et la variance, produisant un classificateur d'émotions faciales amélioré et plus précis. 8. Meilleur classificateur d'émotions de visage: Dans cette leçon, vous allez améliorer votre classificateur d'émotions faciales en implémentant les concepts de la dernière leçon : féaturisation et régularisation. Commencez par naviguer vers cette URL pour accéder à un modèle Replis. Vous devriez alors voir l'écran comme le mien sur le côté droit. Une fois que vous voyez cette page, forcez le projet pour obtenir votre propre copie modifiable. Pour ce faire, cliquez sur le nom du projet en haut à gauche pour obtenir une liste déroulante. Cliquez ensuite sur les points de suspension pour obtenir une autre liste déroulante. Enfin, cliquez sur le bouton « Fourchette ». Ensuite, je recommande de placer vos fenêtres Skillshare et Replis côte à côte, comme indiqué ici. Tout d'abord, les entités polynômes. Commencez par importer un nouvel utilitaire de prétraitement à partir de scikit-learn appelé entités polynomiales. Cela nous permettra de featuriser nos données. Nous appelons également cette fonctionnalité de levage de nos données. Donc ici, juste à côté de OneHotenCoder, je vais taper des fonctionnalités polynômes. Encore une fois, je n'ai pas créé de nouvelle ligne, c'est simplement parce que ma fenêtre est trop petite donc la ligne 2 enroulée autour. fonctionnalités polynomiales augmenteront la dimensionnalité de nos données. Cela signifie que si chaque échantillon avait déjà 2 400 dimensions, notre échantillon féaturisé polynôme pourrait avoir 24 000 dimensions, par exemple. Par conséquent, nous devons réduire la dimensionnalité de chaque échantillon avant d'appliquer la féaturisation. Allez-y et faites défiler vers le bas jusqu'à l'endroit où vous avez défini Y_oh_train. Directement en dessous de cela, nous allons maintenant réduire la dimensionnalité de notre jeu de données. Ici, le type dans x_train est égal à lui-même, mais avec un crochet carré, une virgule deux-points, deux deux-points supplémentaires et un 40. Notez qu'il s'agit d'une notation que vous n'avez pas vue auparavant. L' indexation dans des tableaux en Python est un sujet légèrement plus avancé que je vais ignorer pour l'instant. Fondamentalement, sachez juste que cette notation prend chaque 40e dimension. Cela réduit la dimensionnalité de chaque échantillon de 2 400 à 60. Continuons et répétons ceci pour le jeu de données de validation. Ici, nous avons x_val à nouveau est égal à lui-même, crochet carré, virgule deux-points, deux-points, 40. Encore une fois, rappelez-vous qu'il y a deux colonnes ici. Ensuite, nous allons calculer les entités polynomiales. Comme avec d'autres utilitaires scikit-learn, nous le ferons en trois étapes. Nous allons instancier, adapter, puis nous transformer. D' abord, instancier notre featurizer. Encore une fois, directement en dessous du code que vous venez d'écrire, nous allons maintenant écrire featurizer est égal aux fonctionnalités polynomiales, et nous allons définir l'interaction sur l'argument mot-clé sur true pour limiter combien notre dimensionnalité augmente. Ici, nous allons taper interaction_only égal à true. Je vais frapper « Escape » pour rejeter ce modèle. Encore une fois, je n'ai pas créé une nouvelle ligne, c'est juste la ligne 21 débordé. Deuxièmement, nous allons appeler à la fois la forme et la transformation en même temps sur les échantillons d'entraînement. Directement en dessous de cette ligne, nous allons taper x_train est égal à featurizer.fit_transform. Encore une fois, x_train. Je vais frapper « Escape » pour rejeter ce modèle. Répétez maintenant ceci pour le jeu de données de validation. x_val est égal à featurizer.fit_transform x_val. Cela complète nos modifications. Nous avons maintenant un modèle de régression polynomiale, ou en d'autres termes, un modèle de régression linéaire avec des caractéristiques polynômes. Maintenant, appuyez sur la flèche verte « Exécuter » en haut de votre fichier. Encore une fois, repl.it prendra quelques minutes pour mettre en place l'environnement. Notre dossier nous prendrons ensuite une minute pour former votre modèle. Une fois que les deux sont terminées, vous verrez une précision d'entraînement de 72 % et une précision de validation de 64 %, un peu mieux. Cependant, cet écart de 7 % entre la formation et l'exactitude de la validation est préoccupant. Cela signifie que notre modèle est surmonté. Pour y remédier, nous allons ensuite régulariser notre modèle. Pour régulariser notre modèle, nous utiliserons une méthode appelée régression des crêtes. Cela implique en fait de changer seulement deux lignes de code puisque scikit-learn nous a rendu facile de brancher et de jouer. Allez-y et faites défiler vers le haut de votre fichier. Nous allons d'abord changer notre importation de régression linéaire à la crête. Tapez dans la crête. Ensuite, supprimez votre modèle de régression linéaire et remplacez-le par la crête. Faites défiler l'écran jusqu'à l'endroit où vous avez défini votre modèle de régression linéaire. C' est sur la ligne 25 pour moi. Supprimez votre modèle de régression linéaire et remplacez-le par crête. La régression de crête comprend un hyperparamètre alpha, qui régit la lourdeur de la pénalisation de la complexité molaire. Nous allons pénaliser la complexité molaire très lourdement ici. Nous allons ajouter l'argument mot-clé alpha est égal à 1e11. Maintenant réexécutez votre fichier en cliquant sur la flèche verte en haut. Votre modèle devrait prendre une minute pour s'entraîner. Ensuite, vous verrez une précision d'entraînement de 67 % et une précision de validation de 64,5 %. Même si la précision de l'entraînement est plus faible, la précision de validation est légèrement supérieure de 0,3 %. Le plus petit écart de précision de validation de l'entraînement signifie également que nous avons réussi à régulariser notre modèle. La prochaine question naturelle est : pouvez-vous apporter encore plus d'améliorations ? Les améliorations que nous avons apportées jusqu'à présent sont tout ce que j'ai prévu pour ce cours parce que pour apporter plus d'améliorations, nous devons comprendre la structure des images, tirer parti de vos connaissances de domaine pour améliorer vos modèles. Dans ce cas, puisque nous travaillons avec des images, nous devons tirer parti de notre compréhension fondamentale de la vision par ordinateur. Pour en savoir plus sur la vision par ordinateur et pour construire une démo avec laquelle vous pouvez facilement jouer, vous pouvez consulter mon cours de vision par ordinateur pour débutants. Sinon, cela conclut votre meilleur classificateur d'émotion face. Nous avons incorporé plusieurs concepts clés dans cette leçon. Maintenant que nous sommes conscients du compromis biais-variance, nous pouvons utiliser la féaturisation et la régularisation pour lutter à la fois contre le sous-équipement et le surajustement dans notre modèle. Nous avons appliqué ces deux techniques ici, appliquant la féaturisation polynôme puis en régularisant avec régression de crête. Pour obtenir une copie de ces diapositives et le code fini de cette leçon, assurez-vous de consulter le site Web du cours. Ceci conclut notre classificateur d'émotions faciales. Dans la prochaine leçon, nous commencerons à revenir à une discussion de haut niveau. En particulier, va décomposer les problèmes d'apprentissage automatique en quatre éléments dont nous avons parlé précédemment : données, modèle, objectif et algorithme. 9. Pratique : disséquer les problèmes de ML: Dans cette leçon, nous allons décomposer plusieurs problèmes d'apprentissage automatique en données, modèle, objectif et algorithme. Ceci est effectivement pratiqué pour des applications réelles de vos connaissances. Lorsque vous rencontrez un article ML, blog, une discussion ou des notes, je vous recommande de répéter cet exercice pour comprendre où mettre ces nouvelles connaissances. En bref, mon conseil est de décomposer les problèmes ML en données, modèle, objectif et algorithme. Cette diapositive peut sembler familière. Auparavant, j'ai donné un conseil pour toujours catégoriser les connaissances ML dans ces quatre catégories. C' est vraiment la même astuce juste explicitement appliquée à cette leçon. Commençons par décomposer l'exercice que vous venez de passer, qui est la classification des émotions du visage. Tout d'abord, c'est les données. Nous allons passer la majeure partie de notre temps à décomposer cette partie, l'application et les données. Avant de vous laisser essayer cet exercice, passons en revue les questions ici, afin que je puisse souligner ce que vos réponses doivent inclure. D' abord, quel est ton objectif ? Votre objectif devrait décrire ce que vous sortez et ce que votre contribution est. Deuxièmement, comment votre entrée est-elle structurée ? Cette réponse doit décrire comment vos données d'entrée seront converties en chiffres. Troisièmement, que prédis-tu ? Cette réponse doit décrire la sortie numérique de votre modèle et comment traduire ces nombres dans votre format final. Enfin, existe-t-il des sources de données supplémentaires ? Maintenant, mettez la vidéo en pause et prenez une minute pour remplir la colonne de droite répondant aux questions sur la gauche. Voici les réponses que j'ai trouvées. D' abord, quel est ton objectif ? Votre objectif est de classer l'émotion à partir des images de visage. Deuxièmement, l'entrée est une image d'un visage. Voir mon cours de vision informatique pour les débutants pour voir comment les images sont représentées sous forme de nombres. Troisièmement, que prédis-tu ? Nous prédisons l'une des trois émotions suivantes : heureuse, triste ou surprise. Rappelons que nous faisons cela en prédisant trois sorties, puis en prenant l'indice de la plus grande valeur. Chaque index correspond alors à un nom de classe. Pour plus de détails, consultez la section de classification de la leçon 5. Enfin, existe-t-il des sources de données supplémentaires ? Pour ce problème, il n'y en a pas. Encore une fois, pour plus de détails sur la façon dont les images sont représentées sous forme de nombres, voir mon cours de vision informatique pour les débutants. Suivant, c'est le modèle. Je vais juste remplir ça maintenant. Comme nous n'avons couvert qu'un seul type de modèle jusqu'à présent dans nos exercices, nous avons utilisé un modèle linéaire. Maintenant l'objectif. Nous n'avons également abordé qu' un seul objectif en détail dans la leçon 5. Je vais remplir ça. Nous minimisons l'erreur en modifiant les paramètres de notre modèle, la pente de ligne et l'interception. L' erreur est formellement définie comme la distance entre nos étiquettes et nos prédictions. Enfin, l'algorithme. Nous l'avons mentionné quelques fois, mais nous n'avons pas discuté. Comme avant, je vais remplir ça. Pour résoudre ces carrés, vous pouvez prendre le dérivé, mettre à zéro, et résoudre. Cela conclut notre première panne de problèmes ML. Dans les problèmes de ML restants, nous examinerons uniquement la première catégorie, l'application et les données. Nous n'avons couvert qu'un seul modèle, objectif et algorithme. Ces réponses resteraient théoriquement les mêmes. Ensuite, c'est l'analyse du sentiment de tweet. Si vous n'êtes pas déjà familier, l'analyse du sentiment est une tâche où nous prédisons le sentiment, comme frustré, sarcastique ou excité. L' analyse du sentiment de Tweet signifie que nous analysons le sentiment pour un tweet. Maintenant, mettez la vidéo en pause ici et remplissez la ventilation des données pour l'analyse du sentiment de tweet. Voici ma réponse. D' abord, quel est ton objectif ? Votre objectif est de classer un sentiment de tweets. Deuxièmement, comment l'entrée est-elle structurée ? Celle-ci que nous n'avons pas couverte avant. Pour représenter les mots sous forme de nombres, considérez un dictionnaire de tous les mots possibles. Disons qu'il y a 1 000 mots dans notre dictionnaire, nous pouvons représenter un tweet sous forme de nombres en remplaçant chaque mot par sa position dans le dictionnaire. Par exemple, un tweet à trois mots pourrait être 200, 350, 75. Troisièmement, que prédis-tu ? Nous prédisons ensuite le sentiment. J' ai inventé trois sentiments ici, mais vous pourriez utiliser tout ce que vous voulez : heureux, triste et en colère. Comme avant, nous avons déjà discuté de la façon de traduire les numéros de sortie de modèle en un nom de classe. Enfin, il existe d'autres sources d'information que nous pouvons tirer parti. Une source naturelle est les goûts et les commentaires de tweet. Cela conclut notre analyse de sentiment sur tweet. Maintenant, nous allons décomposer le discours en texte. Mettez la vidéo en pause ici et remplissez la ventilation des données pour la parole au texte. Voici ma réponse. Quel est votre objectif ? Votre objectif est de transcrire l'audio en texte. Vous pouvez pour l'instant penser à cela comme classer chaque extrait audio en un des mots possibles. Deuxièmement, comment l'entrée est-elle structurée ? Pour l'entrée, comment traduire l'audio en chiffres ? Eh bien, un format commun est appelé un spectrogramme. Vous pouvez penser à un spectrogramme comme une partition pour la parole. Troisièmement, que prédis-tu ? Notre prédiction est un mot. Nous avons déjà discuté de la façon de traduire des mots en nombres à l'aide d'un dictionnaire et de l'index des mots. Nous ferons la même chose ici, en prédisant un index de mots à traduire plus tard en un mot. Pour des sources de données supplémentaires, nous pouvons utiliser l'audio environnant et d'autres mots prédits. Par exemple, si le dernier mot était vous, le mot suivant est probable sont et non l'est. Cela conclut la répartition de la parole au texte. Maintenant, nous allons décomposer la direction inverse, text-to-speech. Mettez la vidéo en pause ici et remplissez la ventilation des données pour la parole au texte. Tout d'abord, votre objectif est maintenant de générer de l'audio à partir du texte. Deuxièmement, nous changeons simplement l'entrée et la sortie de mon dernier exemple. L' entrée est une liste d'indices de mots. Troisièmement, nous prédisons un spectrogramme ou une partition pour la parole. Enfin, pour des sources de données supplémentaires, nous pourrions utiliser des extraits d'audio aléatoires mettant en vedette des personnes qui disent ces mots. Cela conclut la ventilation du texte à la parole. Cela conclut également la pratique de cette leçon. Nous avons décomposé les quatre problèmes énumérés ici. En particulier, nous avons discuté d'une façon de représenter les mots sous forme de nombres, qui consiste à utiliser plutôt des positions de mots dans le dictionnaire. Nous avons également discuté d'une façon de représenter l'audio sous forme de nombres, c' est-à-dire d'utiliser un spectrogramme ou une partition pour le son. Pour obtenir une copie de ces diapositives et d'autres ressources, assurez-vous de consulter le site Web du cours. C' est tout pour disséquer les problèmes d'apprentissage automatique. Dans la prochaine leçon, nous discuterons d'une façon d' organiser vos connaissances sur différents sujets de ML. 10. Taxonomie des sujets ML: Dans cette leçon, nous allons établir une taxonomie de différents domaines d'apprentissage automatique. Connaître différentes catégories de sujets d'apprentissage automatique est essentiel pour apprendre à apprendre à apprendre l'apprentissage automatique. Cela vous aidera à compartimenter davantage vos connaissances d'apprentissage automatique. Cependant, contrairement aux quatre premiers compartiments de connaissances, ces catégories sont une liste sans fin, toujours en cours. En bref, mon conseil est de classer dans tous les sujets en données, modèle, objectif et algorithme. Vous remarquez peut-être une tendance. Je le pensais vraiment. J' ai dit de catégoriser toutes les connaissances ML dans ces quatre catégories. Je répète juste cette astuce sous différentes formes pour vraiment ramener le point à la maison. Il y aura un tas de termes et de définitions aléatoires dans cette leçon, l'objectif n'est pas nécessairement de les mémoriser tous. Au lieu de cela, l'objectif est de mémoriser le diagramme qui s'affichera à la fin. De cette façon, vous saurez comment organiser votre liste des problèmes connus et tous les problèmes, Nous allons organiser la taxonomie autour des compartiments de connaissances dont nous avons discuté plus tôt. Les données, le modèle et l'objectif, comme d'habitude, vont sauter les algorithmes partie de la connaissance de l'apprentissage automatique pour l'instant. À la fin, nous choisirons au hasard des combinaisons de ces différentes données, modèles et objectifs. Chacune de ces combinaisons donne une nouvelle recherche sur la ML et un nouveau sujet. Tout d'abord, les différentes applications et sources de données. Il existe de nombreux types de données en entrée. Il y a des images et des vidéos dans la vision par ordinateur. Il y a du texte dans le traitement du langage naturel. Ensuite, il y a des applications de l'apprentissage automatique à d'autres domaines aussi. Dans ML pour des raisons de sécurité, votre entrée peut être des images cryptées. En robotique, votre entrée peut être des images avec profondeur pour un robot chirurgical. Dans les sciences physiques, votre entrée peut être des IRM scanners pour les organes dans le corps. Il y a d'innombrables autres types d'intrants et de domaines de recherche que je n'ai pas inclus. Une partie de l'apprentissage automatique consiste à ajouter à cette liste de domaines et d'applications. Ensuite, il y a la taxonomie des modèles. Nous en avons discuté précédemment. Avant leur exhaustivité, nous les examinerons brièvement. Nous pouvons diviser les modèles en génératif, qui a appris la façon dont les données sont générées, et discriminatif, qui se concentre sur les frontières entre les classes. Nous pouvons également diviser les modèles en supervisés avec des étiquettes et sans étiquettes. Un autre terme que vous entendrez souvent est semi-surveillé. Cela signifie souvent, soit a, une combinaison de modèles supervisés et non supervisés, soit b, supervision d'un modèle sur des signaux qui ne nécessitent pas d'annotation humaine. Il existe également plusieurs catégories d'objectifs. Auparavant, nous avons couvert un type d'objectif, un objectif axé sur la précision. Cependant, il existe également d'autres objectifs généraux d'apprentissage automatique. Cinq des plus courantes sont la précision, la généralisation, interprétabilité, l'efficacité et l'esthétique. La précision est simple. généralisation est la capacité pour le modèle d'obtenir une grande précision au-delà des échantillons d'entraînement donnés. L' interprétabilité passe par de nombreuses définitions différentes, mais l'idée de base est de comprendre d'une manière ou d'une autre le processus décisionnel du modèle. L' efficacité peut être l'efficacité de l'entraînement, la rapidité avec laquelle le modèle se forme. Cela pourrait aussi être l'efficacité de la prévision. La rapidité avec laquelle le modèle fonctionne, la quantité de mémoire qu'il utilise, la puissance dont il a besoin, etc. Enfin, l'esthétique. Il s'agit généralement de tâches génératives qui ont tendance à avoir une définition ambiguë de la qualité. Enfin, nous allons discuter de quelques problèmes spécifiques d'apprentissage automatique et de l'endroit où ils se situent dans la taxonomie. Voici la liste des cinq problèmes ML que nous couvrirons. Rappelez-vous, le choix de ces problèmes ML est plutôt arbitraire. Je les ai choisis pour montrer que n'importe quel problème ML peut être intégré dans une taxonomie. S' il y a quelque chose que vous engagez en mémoire dans cette leçon, c'est la taxonomie ou le diagramme. C' est le diagramme que nous allons utiliser. Sur la gauche se trouvent les différentes catégories dont nous avons discuté dans les données, modèle et l'objectif. Sur la droite sont les problèmes. Votre objectif n'est pas de mémoriser ces problèmes ML sur la droite, en ce moment. L' avantage est que vous pouvez simplement choisir n'importe quelle combinaison de données, modèle et d'objectif pour trouver un nouveau problème ou une nouvelle zone. Choisissons maintenant quelques combinaisons sur la gauche et assignez-les aux noms sur la droite. Ici, violet signifie qu'on peut choisir tout ce qu'on veut. On va les sauter. Sous modèle, choisir semi-supervisé, et sous la généralisation objective choisie. Un sujet ML qui optimise la généralisation pour un modèle semi-supervisé est l'apprentissage de quelques coups sur la droite. Dans l'apprentissage de quelques coups, votre objectif est d'atteindre la même précision avec ces quelques exemples d'entraînement que possible. Changons maintenant le modèle d'un semi-supervisé à supervisé en gardant l'objectif le même. Une rubrique ML qui optimise la généralisation pour les modèles supervisés est l'adaptation du domaine. Dans l'adaptation de domaine, votre objectif est de former un modèle sur une distribution, par exemple, vidéos diurnes, et de s'adapter pendant le test à une autre distribution, par exemple, des vidéos nocturnes. Gardions les modèles supervisés, mais considérons maintenant un objectif différent, l'efficacité. Un sujet ML qui améliore l'efficacité des modèles supervisés est la distillation. En distillation, votre objectif est de former un modèle étudiant à l'aide prédictions provenant d'un modèle d'enseignant plus complexe et plus grand. Maintenant, nous changeons toutes les catégories. Sous données, choisir la vision, sous modèle, choisir génératif et semi-supervisé, sous objectif, choisir l'esthétique. Une rubrique ML dans cette catégorie est le transfert de style. Dans le transfert de style, votre objectif est de combiner le style d'une image avec le contenu d'une autre. Par exemple, vous pouvez réimaginer une vraie photo en utilisant le style Nuit étoilée de Van Gogh. Pour notre dernier problème, sous modèle, prélèvement supervisé, sous objectif, précision de prélèvement. Un sujet ML dans cette catégorie est des exemples contradictoires. Dans des exemples contradictoires, votre objectif est de tromper un modèle en ajoutant un filigrane invisible à l'entrée. Par exemple, vous pouvez modifier de manière invisible une image panda pour tromper le modèle en pensant que l'image est d'un singe. Enfin, les exemples contradictoires ciblent la précision ou plutôt tentent de détruire la précision pour les modèles supervisés. On l'a fait. Nous avons réussi à identifier où appartient dans notre taxonomie chaque problème ML. Choisir des combinaisons aléatoires de sujets sur la gauche nous donne différents sujets ML et domaines de recherche sur la droite. C' est la diapositive, je te le promets. Prenez une capture d'écran si vous le souhaitez. Fondamentalement, à mesure que vous apprenez de plus en plus de sujets d'apprentissage automatique, je suggère d'ajouter à ce diagramme nouveaux champs pour l'apprentissage automatique appliqué sur la gauche sous données, et de nouvelles combinaisons de données, modèles et de objectif va engendrer de nouveaux problèmes sur la droite. Pour obtenir une copie de ces diapositives et d'autres ressources, assurez-vous de consulter le site Web du cours. Ceci conclut la taxonomie des sujets d'apprentissage automatique. Dans cette leçon, nous avons commencé avec de grandes catégories de sujets ML et avons vu comment des combinaisons de différentes catégories peuvent entraîner de nouveaux problèmes de ML. Cependant, en réalité, vous rencontrerez l'inverse. Vous ne commencerez pas par choisir des catégories et vous retrouverez avec un nouveau problème ML. Au lieu de cela, vous découvrirez un nouveau problème de ML , puis travaillerez à l'envers pour l'adapter à votre taxonomie. J' ai choisi de pratiquer la mauvaise direction parce que la « mauvaise direction est plus facile ». Pratiquer cette direction plus facile plusieurs fois vous aidera éventuellement à intégrer des problèmes ML réels dans votre taxonomie. Dans la leçon suivante, nous allons décomposer plusieurs produits d'IA en ces problèmes de ML. 11. Pratique : disséquer les produits de l'IA: Dans cette leçon, nous allons décomposer les produits IA en problèmes ML. Considérez cela comme pratique aussi pour les applications réelles de vos connaissances. Lorsque vous rencontrez un article d'actualité, publication ou un autre marketing pour un produit IA, je vous recommande de répéter cet exercice de décomposer ce produit en différents sous-problèmes. Pour résumer, mon conseil est de diviser les produits IA sous-problèmes ML chaque fois que vous rencontrez un produit IA. Cela s'applique également aux produits IA qui n'existent pas encore en passant. Apprendre à décomposer est vraiment un art. Cette compétence est essentielle pour comprendre ce qui est possible aujourd'hui par rapport à ce qui ne l'est pas. Nous allons décomposer trois produits d'IA différents en sous-problèmes ML, assistance vocale, voitures autonomes et réalité augmentée. Tout d'abord, qu'est-ce qu'un assistant vocal ? Nous l'avons déjà mentionné. Tout d'abord, traduisez la parole en texte, recherchez et traduisez les textes en paroles. Vous avez maintenant une compréhension plus approfondie de la première et de la dernière étape. Ensuite, qu'est-ce qu'une voiture autonome ? Un modèle simpliste d'une voiture inclut la détection d'objets, où vous dessinez des boîtes autour de chaque objet de la scène. Cela vous donne une idée de l'espace de conduite. Ensuite, vous planifiez un chemin. Cela pourrait être un problème d'optimisation qui lui est propre, où vous minimisez la distance et le temps jusqu'à la destination tout en vous limitant à l'espace de conduite. Enfin, nous avons des contrôles. Ce n'est pas un sous-problème ML, mais je l'ai inclus pour des raisons d'exhaustivité, contrôles impliquent réellement de déplacer la voiture, comme tourner la roue ou frapper la pédale de gaz. Ces trois parties décrivent au minimum une voiture autonome. Enfin, qu'est-ce que la réalité augmentée ? Il y a quelques problèmes ML connexes qui font fonctionner AR. L' un est le suivi de l'intérieur, où l'appareil se trouve par rapport à son environnement. C' est ce qui vous permet de vous promener dans une réalité virtuelle ou augmentée. Un autre est le suivi de la main, où vous suivez les articulations dans les segments de votre main. Cela vous permet d'utiliser des gestes pour contrôler l'appareil. Enfin, une autre est la détection d'objets. Là où vous êtes de nouveau, dessinez des encadrés autour de tous les objets de la scène. Cela vous permet d'annoter des éléments en réalité augmentée. C' est l'échantillonnage de différents sous-problèmes ML requis pour la réalité augmentée. Pour obtenir une copie de ces diapositives et d'autres ressources, assurez-vous de consulter le site Web du cours. C' est tout pour les concepts de cette leçon et dans le cours. Nous avons fait le tour complet à l'approche de haut niveau pour comprendre l'IA et le ML, se terminant par une pratique réelle pour vos connaissances en IA, ML. Dans la prochaine leçon, nous parlerons des prochaines étapes pour en savoir plus sur l'IA, ML. 12. Les prochaines étapes: Félicitations pour avoir terminé le cours. Vraiment, vous devriez vous tapoter sur le dos pour apprendre machine learning. Non seulement recueillir des mots à la mode et des peluches marketing, mais en fait assis pour apprendre le code en maths. Nous avons abordé des sujets généraux tels que l'IA à des fondamentaux spécifiques comme la féaturisation. Ce sont tous des concepts qu'un intervieweur s'attend à ce que vous sachiez, qu'un praticien du ML comme vous attend à ce que chaque collègue sache. Notez que ce n'est que le début de votre formation ML, mais au fur et à mesure que vous commencez à en apprendre davantage, je veux que vous ayez deux idées clés à l'esprit. Numéro 1, décomposer chaque problème ML en données, modèle, objectif et algorithme. Compartimenter vos connaissances dans ces quatre catégories vous aidera énormément. Quand quelqu'un vous parle d'une nouvelle solution ML cool, vos questions sur cette solution doivent être orientées autour de ces quatre catégories. n'est qu'après avoir coché ces quatre cases que vous comprenez assez pour réimplémenter complètement cette solution ML. Si un intervieweur vous demande de résoudre un problème de ML, la même chose, orientez votre réponse autour de ces quatre catégories. Deuxièmement, rappelez-vous le compromis biais-variance. Un modèle de fantaisie complexe fait de grandes peluches marketing. Mais en étant plus intelligent dans la conception de votre modèle, vous pouvez travailler plus rapidement et plus efficacement. Tout neural profond est un grand clickbait, mais pas toujours la bonne solution. Pour vos prochaines étapes, je vous recommande d'abord vérifier la vision par ordinateur 101 sur mon profil Skillshare afin que vous puissiez plonger en profondeur dans une application de l'apprentissage automatique. Vous allez construire un Snapchat comme filtre pour chien et couvrir les concepts clés de vision par ordinateur. Vous pouvez également consulter mes cours relatifs aux données comme SQL 101 et Data Science 101 pour couvrir l'analyse et le traitement des données. Deuxièmement, consultez le site Web du cours pour connaître les diapositives, ressources et les liens. Vous trouverez également des articles que vous pouvez maintenant lire, comprendre et mettre en œuvre vous-même. Troisièmement, assurez-vous de me suivre sur Skillshare pour d'autres cours ML à l'avenir. Comme vous le savez, il y a beaucoup de sujets passionnants et avec les fondations de ce cours, vous êtes prêt à en apprendre davantage. Je suis excité de montrer plus de ML à des gens comme vous. Maintenant, la grande question, puis-je commencer à jouer avec ML aujourd'hui ? Oui, bien sûr, vous devriez certainement commencer à jouer avec ML aujourd'hui afin que vous puissiez voir comment éviter de manquer d'appliquer ML de manière dangereuse. Premièrement, la pratique est la clé. Plus d'expérience signifie une meilleure compréhension des risques, modes de défaillance et de marche est en ML. Deuxièmement, je vous encourage également à continuer d'apprendre sur les sujets techniques de ML afin d' élargir votre capacité à décomposer et à ajouter des produits aux problèmes de composants ML. Troisièmement, examinez attentivement le monde qui vous entoure. Certains problèmes et applications sont adaptés à ML et d'autres ne le sont pas. Par exemple, la prévision météorologique est actuellement effectuée par superordinateurs et de grandes quantités d'équations différentielles. Vous pouvez appliquer ML, mais vous devriez être prêt à comprendre pourquoi les statisticiens avant vous n'ont pas déjà essayé cela ou pourquoi les prévisionnistes populaires ne l'utilisent pas actuellement. ML a de nombreuses applications, mais je veux que vous résolviez de vrais problèmes, pas seulement appliquer AI ML pour le bien de cela. J' espère que vous voyez l'IA sous un jour nouveau. Vous venez de terminer votre tout premier pas dans votre carrière et vos études sur l'IA ML. La prochaine fois que vous verrez un produit IA, essayez d'identifier ses composants ML. La prochaine fois que vous voyez un nouveau problème ML essayez de le décomposer en données, modèle, objectif et algorithme. C' est ça. Félicitations encore une fois pour le faire jusqu'à la fin du cours et jusqu'à la prochaine fois.