Introduction à la gestion de produits d'IA, partie 2, par où commencer ?

1. Introduction à la leçon 2: Bonjour, merci d'avoir cliqué sur ce cours de gestion des produits A0. Je m'appelle Kristin. Je travaille dans l' informatique depuis près de dix ans et dans la science des données et la vision par ordinateur, presque cinq ans. Bonjour, je suis Lizzie et bienvenue au cours. J'ai également participé au développement de produits d' IA au cours des trois dernières années, en travaillant à l'automatisation du processus de vérification grâce à l'apprentissage automatique et plus particulièrement à la vision par ordinateur. Dans ce cours, nous approfondirons le développement de produits d'IA. Nous discuterons des différences entre un état d'esprit de développement logiciel et un état d'esprit de développement de produits d'IA. Nous verrons également pourquoi les produits d'IA prennent autant de temps à entretenir et pourquoi ils se dégradent avec le temps. La dernière chose à faire pour ce cours, nous allons examiner les trois étapes que vous devez suivre et auxquelles vous devez commencer à réfléchir lors de la création de votre premier projet d'IA. Merci. 2. Changement de mentalité dans le développement de l'IA: Dans la leçon précédente, nous avons parlé du fait qu' un ordinateur est capable d'effectuer des tâches qui sont généralement effectuées par des personnes. La plupart des applications d'IA fonctionnent avec des tâches vraiment spécifiques. de développement de l'IA et de développement de logiciels Les processus de développement de l'IA et de développement de logiciels sont très différents. Nous en discuterons également plus en profondeur dans cette leçon. Nous avons parlé des exigences relatives aux produits d'IA et de ce dont elles dépendent. Et nous avons parlé des produits d'IA et du type d'IA qu' elle inclut aujourd'hui. Le sujet d'aujourd'hui est de savoir dans quels types de travail il faut réellement vivre. En termes de données. Il est parfois bon de vivre dans un monde où tout est destiné à être ou dans un monde où nous créons leur propre avenir en prenant nos propres décisions. Nous sommes conscients que certaines tâches mènent à un résultat spécifique et que certaines décisions mènent à une surprise ou à un résultat inattendu. Ce monde peut être décrit comme un monde déterministe et probabiliste. Le terme monde déterministe signifie que nous savons ce qui se passera si vous faites une chose, autre se produira certainement. problèmes classiques de génie logiciel Les problèmes classiques de génie logiciel sont exactement comme ça. Déterministe. Si vous cliquez sur un bouton, il fait quelque chose pour lequel il est programmé. Je veux dire, bien sûr, à moins qu'il n'y ait un bug. Mais lorsque nous parlons produits d' IA ou de fonctionnalités NEA, nous nous tournons davantage vers un monde non déterministe, également appelé monde probabiliste. Cela signifie que nous ne pouvons pas être certains de l'effet du modèle. Ceci est particulièrement important pour comprendre lorsque les mères se trouvent dans une situation inconnue. Par exemple, lorsque les données d'entrée sont légèrement différentes de la norme normale. En vision artificielle, cela signifierait que l'image inclut des objets ou des environnements auxquels le modèle n'est pas habitué. Expliquons donc cela plus en détail. Si une activité se produit, par exemple, appuyez sur un bouton, saisissez une requête ou recevez des données dans un formulaire. Il y a toujours une sorte de fonctions concrètes liées à cela. Vous cliquez sur un bouton, la page suivante s'ouvre ou une requête est saisie, puis le résultat est recherché dans la base de données. Ou troisième exemple, les données sont reçues et enregistrées automatiquement dans la base de données. Bien que les choses soient déterministes. Mais le clic s'est produit. Cliquez sur vrai et quelque chose de prédéfini est alors effectué. Mais qu'en est-il du monde probabiliste ? Il y a un équilibre entre les statistiques et les suppositions. Nous ne savons donc pas exactement certitude que quelque chose va se produire, mais nous pouvons le prévoir sur la base des modèles précédents. Par exemple, si vous voyez un joueur de chiens aboyer, ou lors d'une détection de fraude, si cela semble être le cas, ou si vous voyez des champs que l'utilisateur X a envoyés bizarrement, envoyez-les pour une inspection plus approfondie. La principale différence avec monde déterministe est que nous sommes sûrs à 100% que quelque chose s'est passé ou se produira. Ce n'est pas comme s'il y en avait, un clic, envoyons les données de toute façon. Mais nos algorithmes d'IA, déterministes ou probabilistes, nous pouvons dire qu'ils le sont, sont déterministes dans le sens où ils suivent l' algorithme ou le modèle, mais probabilistes dans le sens où de créer cet algorithme. Ainsi, lorsque nous entraînons un modèle, il utilise des statistiques pour prédire le résultat, ce qui signifie qu'il est probabiliste. Mais lorsque ce modèle de train est ensuite utilisé dans un produit, il prédit exactement selon les règles ou selon les règles, ou l'algorithme est entraîné à le faire. Nous pouvons également examiner rapidement les données déterministes et probabilistes. Les données probabilistes sont des données basées sur des événements comportementaux tels que les pages vues, temps passé sur la page est un nombre de clics. Ce type de données peut être utilisé pour les modèles de prédiction. Par exemple, il peut être utilisé pour le clustering. Les utilisateurs suggèrent des articles à votre client. Les données déterministes sont liées à quelque chose qui permet d'identifier l'utilisateur, comme une adresse e-mail ou un identifiant d'idée de cookie et c'est probablement 100 % vrai. Cela peut être considéré comme un fait ou une caractéristique d'un utilisateur. Par exemple, si un utilisateur s'inscrit une plateforme et donne son âge actuel, c'est un fait que l' année suivante , le client aura un an de plus. Mais si le même utilisateur utilise la plateforme dix fois moins de larmes, nous ne pouvons pas être sûrs qu'il utilisera la même plateforme l'année prochaine, 1110 ou neuf fois. Bien que nous puissions le faire, nous pouvons regrouper et analyser de nombreux utilisateurs ayant un comportement similaire l'année dernière et faire une supposition ou prédiction de la façon dont ils pourraient jouer l'année prochaine. Mais nous ne le savons pas avec certitude. Ainsi, lorsque nous parlons d'état d'esprit, lorsque nous créons nos produits, nous devons comprendre que le monde réel n'est pas déterministe. Le monde réel n'est pas noir et blanc. On peut dire que c'est Fifty Shades of Grey. Nous partons donc dans un monde probabiliste et nous devons faire toutes ces prédictions sur cette base L' IA résout des défis probabilistes. Lorsqu'il s'agit d'une journée ou d'un produit exceptionnel, nous devons donner un sens au monde probabiliste et le structurer en données qui décrivent le monde qui nous entoure d'une manière qui soit logique pour l'IA. Dans la dernière leçon, nous avons discuté de la différence de processus entre le génie logiciel et le développement de produits. Mais comment ce monde probabiliste influence-t-il plus en détail le développement ? Ainsi, pour les produits de génie logiciel, il y a de fortes chances de connaître le résultat. Le temps de développement peut être assez bien estimé. Les utilisateurs utilisent les processus Scrum et d'autres outils pour mieux estimer. L'objectif peut être décrit par des maquettes, des analyses de spécifications. Il existe des pratiques exemplaires établies en matière de processus d'ingénierie. Et les problèmes liés aux produits ne changent pas vraiment si souvent. Et lorsque la fonctionnalité est prête, c'est la plupart du temps qu' reste comme ça pendant longtemps. Mais lorsque nous parlons de produits d'IA, nous ne pouvons pas vraiment être sûrs de quoi que ce soit. Il y avait un espoir de résultat. Vous voulez que le modèle fasse quelque chose, mais vous ne pouvez pas être sûr qu'il le fera réellement. Vous ne pouvez pas vraiment estimer, mais vous pouvez chronométrer les tâches. On ne sait donc plus ou moins combien de temps il faudra pour réinventer le vélo. Il y a donc beaucoup de devinettes. L'objectif du modèle est décrit à l'aide d'exemples de données et de mesures. n'existe pas encore de bonnes pratiques établies en matière de gestion du processus de développement quotidien de l'IA. On peut donc dire que c'est un peu le bordel. Et l'environnement dans lequel les données, les modèles ou les fonctionnalités de l'IA utilisent change très souvent. Le modèle est génial. Cela coûte des mises à jour constantes. Il faudrait continuer à les entretenir pendant longtemps. 3. Maintenance cohérente - Pourquoi ? (nouveau): Et la maintenance des systèmes et la raison pour laquelle elle est vraiment nécessaire pour les produits d' IA dépendent vraiment de l'endroit où le produit est appliqué. Quels sont les environnements auxquels elle s'applique ? Parce que si vous appliquez le modèle à un endroit différent pour lequel il n'a pas été formé, il y a un changement environnemental et vous devez le mettre à jour. De plus, lorsque l'environnement qui nous entoure change, les données et les modèles changent également. Si la vie change, nous devons fondamentalement changer le modèle, le produit avec lui. Prenons un exemple de corona. Lorsque Corona a commencé, les gens ont commencé à porter des masques. Si vous aviez un modèle de détection de visage qui essayait de détecter des visages. Maintenant, l'environnement change, change. Si vous aviez beaucoup de gens avec des masques faciaux auparavant, vous aurez tout le monde avec des masques faciaux. Nouveaux clients. Si vous vous trouvez dans un endroit où vous appliquez votre modèle à différents clients, à différents environnements. Par exemple, vous avez d'abord un client en nous, puis vous avez un client en Europe. Ensuite, il existe différents modèles de comportement humain sur l'environnement et la façon dont tout fonctionne ressemble. Il y a donc un transfert de données qui s'ensuit. De plus, nous effectuons une maintenance constante car l'apprentissage automatique évolue très rapidement. Elle grandit d'année en année. Et d'autres choses que vous n'êtes peut-être pas et que vous n'avez pas pu vendre l'année dernière. Vous pouvez résoudre cette année et il vous suffit donc de revenir pour appliquer de nouvelles méthodes. Lorsque vous créez un produit logiciel, l'environnement dans lequel vous résolvez le problème est généralement beaucoup plus stable que pour les produits d'IA. Au moins, cela n'apparaît pas si facilement lorsque vous créez un site Web, vous savez généralement, par exemple, qui sont les principaux clients ? Est-ce pour les personnes âgées, est-ce pour les enfants ? Vous ferez probablement quelques modifications en fonction de la personne à qui ce produit est destiné à tromper les développements des produits d'IA. Oui, vous pensez également que cela s'applique, mais de nombreux autres facteurs jouent un rôle dans les performances de ces modèles. Les développements de la réalité augmentée optimisent spécifiquement un très petit ensemble de problèmes si les problèmes et les modifications des performances changent également. Prenons un exemple. Donc, l'algorithme de détection des animaux de la forêt a pour but de détecter les animaux et de classer de quel animal il s'agit. Vous pouvez donc voir l' exemple ici. Il y a du rapide. On dit que c'est un lapin. Si cela a à voir avec l' escalier, dites ce que c'est. Nous sommes maintenant dans le nord de l'Europe. C'est là que nous construisons nos animaux, mais il y a 20 animaux ici au total. quoi nous allons d'abord nous concentrer lorsque nous essayons de créer un bon modèle d'apprentissage automatique, c'est de prendre le plus grand groupe possible. Le groupe le plus important aujourd'hui, c'est qu' ils sont si épais qu' ils le sont correctement. Nous pouvons détecter sept animaux après 20 ans. Le suivant est né. Nous avons donc quatre planches et si nous les détectons correctement, nous pouvons déjà devenir accro à plus d'animaux. Après cela, il y a des renards. Donc, on peut attraper trois personnes, c'est génial. Il s'agit donc en quelque sorte de la distribution de l'environnement. Avec cet environnement et avec ce modèle, nous capturons 70 % des animaux. Ainsi, avec la détection de la viande de cerf, les cases à cocher le dicton pour l'instant, nous avons un changement selon lequel quelqu'un a décidé mettre le même modèle et de l' utiliser dans les forêts tropicales. Ce que nous allons faire, c'est créer un nouvel environnement. Nous avons exactement le même modèle. Donc, tout est pareil. Mais ce pour quoi nous l'optimisons est différent. Donc, nous allons d'abord regarder ma chère, oh, il n'y en a qu'une. Nous ne l'attrapons donc qu'un seul animal. Quelle autre chose que nous avons apprise sur le pont ? Ils formaient donc le tableau, donc nous avons trois tableaux. Ils prennent aussi la dose qu'ils sont des pores. Ensuite, nous avons détecté des renards, moins c'est le modèle que j'ai appris. Aucune boîte n'a été détectée. Nous avons donc complètement perdu ce cours. Vous pouvez donc voir ici le changement d'environnement. Très clairement. Nous avons changé l'endroit où nous utilisions les urgences et les urgences ne le comprennent pas. Ainsi, dans la forêt tropicale, l'algorithme capture 20 % des animaux au total. Nous ne pouvons donc pas affirmer que l'algorithme est mauvais. Cela ne se limite pas à l'endroit où nous l'appliquons et à ce qu'il était censé être. Il s'agit d'un changement vraiment radical dans la vie réelle. La plupart du temps, nous n' avons pas de changements aussi radicaux. Mais il y a des changements allant jusqu'à 10 % et des changements encore plus minimes, mais ils soulèvent le problème de l'équité et de la partialité. Nous sommes donc tous pour l'apprentissage automatique. 4. Développement de produits IA: Nous allons passer à la partie développement du produit. Il y a donc d'abord les trois piliers sur lesquels réfléchir avant de commencer à travailler dans nos prévisions. faut donc vraiment y réfléchir , car sinon, vous ne pourrez pas réussir à résoudre le problème ou à créer le produit. Alors d'abord, quel problème essayez-vous de résoudre ? Quels sont les problèmes que vous essayez de résoudre ? Quelles sont les améliorations que nous sommes en train de corriger ici  ? Deuxièmement, quels indicateurs vous intéressent ? Vraiment, quelles sont les choses qui t'intéressent ? Et nous allons entrer dans plus de détails. Vous verrez les exemples. Et troisièmement, où obtenez-vous les données ? Dans le cours précédent, nous avons examiné les animaux. Vous avez vu que les données sont vraiment importantes et vous devez garder à l'esprit où les obtenons-nous ? Parce que les données obtenues déterminent réellement votre performance par rapport aux indicateurs qui vous intéressent. Il existe deux types de problèmes ou de dépassement. En gros, tout dépend de l'apprentissage automatique. L'un consiste à automatiser le processus, autre à estimer un résultat. En automatisant le processus, nous entendons essentiellement automatiser le travail humain, le travail en usine, le travail des rapports des clients. Vraiment aujourd'hui, un travail vraiment répétitif. Nous sommes doués pour l' IA restreinte aujourd'hui dans le monde, pas pour l'ARE en général. Nous pouvons ainsi automatiser de petites tâches. L'estimation d'un résultat est également quelque chose qui se fait. C'est par exemple lorsque vous souhaitez estimer ce que les gens aiment, comme le marketing. Ou vous voulez estimer le temps qu'il faut pour se rendre d'un endroit à un autre et demain, car demain c'est lundi. Donc quelque chose comme ça. Estimation et automatisation, leur objectif est différent, mais les méthodes utilisées sont les mêmes. Automatisation. Comme je l'ai dit, l'automatisation est par exemple, un travail d' usine qui guide les tâches répétitives. Comment comprendre à quelle tâche répondre. Il peut également y avoir des tâches très difficiles à effectuer dans les facteurs ou les dérivés. Certains d'entre eux pourraient enseigner à un enfant à lire. Ce sont des tâches répétitives. Les professeurs le font tout le temps, mais ce sont des tâches difficiles. Mais ce que l'apprentissage automatique peut faire aux urgences, ce sont des tâches plus petites, des tâches d'une seconde. Commencez donc à considérer votre problème comme des tâches d'une seconde. Quelles sont les choses que vous pouvez faire en une seconde ? Et c'est là une tâche. C'est un problème à régler. Si vous avez un problème plus important, vous pouvez le diviser en différentes tâches d'une seconde. Par exemple, si vous voulez, euh, voir un robot qui trouve des déchets et les jette, il faut d'abord regarder autour de vous. Deuxièmement, détectez les déchets. Troisièmement, approchez-vous de la poubelle. Quatre. Prenez-le, continuez et continuez, puis jetez-le. Vous pouvez donc voir que c'est vraiment une petite tâche. Vous ne pouvez pas avoir de tâche de nettoyer la pièce. Mais c'est facile à accomplir, plus il y a de chances que cela soit fait. Nous le comprenons donc tous. Et ceux qui contrôlent sont en quelque sorte des conseils pour comprendre quelles sont les choses qui peuvent être faites ou comment elles doivent être réparties ? Si la tâche est fondamentalement très petite, si c'est vraiment une tâche facile, il est vraiment facile de la résoudre s'il y a beaucoup de détails sur la tâche et beaucoup de choses à garder à l'esprit pour jouer des rôles. Il y a bien plus de mal. Donc, choses vraiment très simples que nous pouvons faire de nos jours. Et votre objectif en tant que chef de produit devrait être de penser tâches afin qu'elles ne soient pas un atlas T2. Cela signifie qu'il est plus facile pour vous de le résoudre. Les estimations, la tâche d'estimation est ce que sont les gens, aimeraient estimer cela, euh, et c'est essentiellement qu'aujourd'hui, elle est principalement utilisée à des fins de marketing. Et essentiellement du côté du consommateur, du côté du consommateur. Deuxièmement, quel type de mesures vous intéresse ? Le plus gros problème ici, c'est d'oublier d'être toujours correct à 100 %. Vous ne pouvez jamais avoir raison à 100 %. Les gens ne peuvent jamais avoir raison à 100 %. IA non plus. Aujourd'hui, comme je l'ai dit, une fois, c'est pour résoudre de très petites tâches. La plus grande question à laquelle il faut répondre est donc quelles erreurs êtes-vous prêt à commettre de l'eau et à faire des choses qu'il est normal de commettre ? Regardons quelques exemples. Par exemple, état rare dans un magasin. Nous sommes donc dans une émission. C'est essentiellement l'estimation que vous avez essayé de comprendre. Des gens comme ça. Ou ce que vous pouvez faire, c'est montrer la longueur des clients à Glows. C'est vraiment bien. Ne montrez pas de brillance. Le client ne ment pas. Cela signifie que vous ne leur montrez pas des choses qu'ils n'aiment pas. Ce sont vraiment de bonnes choses à faire. L'une des choses que vous pourriez faire, votre émission brille que les clients n'aiment pas. Cela signifie donc que vous montrez aux clients des choses qui, pour eux, sont nulles. Ils voient quelque chose qui ne les intéresse pas. Ou aussi, ce que vous pouvez faire par erreur c'est de ne pas montrer les vêtements que le client aime. Cela signifie que vous ne leur montrez pas ce qu'ils aiment vraiment. Et en tant que spécialiste du marketing, vous allez perdre des revenus parce que vous ne vendez pas de produits serrés que le client achèterait. De plus, un autre exemple est bon. Donc, de bons tarifs, vous savez, sont une recommandation pour les livres. Voici donc les recommandations faites et certaines choses, peut-être, comme les choses de Salton. Non. Quatrièmement, il est recommandé qu'un livreur ne ment pas et qu'il ne soit pas recommandé avec force à un livreur qui aime. Ce sont donc les deux erreurs que vous pouvez commettre aujourd'hui. Donc, que vous ne montriez pas de livres, que les gens aiment, ou que vous leur montriez essentiellement des choses qu'ils ne freinent pas. Je regarde ce système aujourd'hui. Probablement que si vous obteniez tas de livres qui vous sont recommandés, mais que vous ne les aimez pas, vous n' utiliserez plus ce service parce que vous voyez que la recommandation est inutile. En plus, bien. Qu'est-ce qui est plus correct ? Ça ne recommande pas une rafale dans les livres. Les gens aiment recommander la plupart d'entre eux. Vous pouvez donc voir ici pourquoi le premier ne va pas bien. Mais la seconde est que lorsque la première chose se produisait tout le temps, le client n'utilisait pas le service. Mais si le second se produit, alors Pip continuera probablement à faire la queue. Ils ne le font tout simplement pas. Nous obtiendrons tous les livres qui leur seraient recommandés ou bons. Un autre exemple dans les avions. Les avions nécessitent beaucoup d'entretien. Ils ont besoin de beaucoup de réparations et ils doivent respecter de nombreuses exigences pour voler. De plus, des terroristes, des calculs fondamentalement similaires. Dites faussement qu'une seule pièce de l'avion ne convient pas. Ou déclarez faussement que la pièce est correcte. Donc, si nous sommes les premiers et que nous disons faussement qu'une seule pièce d' équipement ne convient pas. Nous utilisons simplement plus de temps pour réparer l'avion. Nous utilisons plus d'argent pour réparer l'avion. Mais rien de mal n'arrive. Si les quatre cinquièmes indiquent qu'une pièce est correcte. Cela signifie que nous déclarons faussement que cette pièce est votre k et que nous laissons l'avion voler, nous aurons un avion défectueux. Donc aujourd'hui, dans ce cas, ce n'est pas une bonne chose. Quelque chose de grave peut se produire avec un avion quand on le laisse voler. Vous pouvez donc voir auparavant que toutes ces choses dépendent du cas d'utilisation. Passons maintenant au type de données dont vous disposez. Ce sont des données de renouvellement restaurées. abord, il faut toujours avoir certaines choses, mais c'est clair. C'est vraiment très difficile de partir d'un sujet complètement abordé. Mais le type de données dont vous avez besoin est également remis en question. Et cela dépend maintenant du problème que vous avez noté. Vous avez besoin de données aussi proches que possible des données que vous possédez dans la vie réelle. Le mieux serait que vous ayez des données sur vraiment, vraiment le live, où vous les utiliseriez. Pour en revenir à l' exemple de la forêt avec les animaux, si vous voulez utiliser le détecteur d'animaux dans une forêt tropicale, il est préférable d'avoir la salle de données de la forêt tropicale, non d'un autre type de forêt. Donc, en réalité, des données provenant exactement de endroit où vous allez utiliser et du produit. Prenons l'exemple d'un détecteur de voiture. Vous voulez que l'IA sache ce qu' est une voiture et ce qui ne l'est pas. Donc, la question que nous apprenons est qu'est-ce que c'est, est-ce une voiture ? Donc, le côté gauche, c'est le côté droit. Non, c'est une tournée de Googler. À la recherche de voitures, vous verrez des tonnes de voitures différentes aux alentours. Ce que vous pouvez voir ici, c'est d'abord une couleur différente. Certains sont sur fond blanc, certains conduisent, autres sur fond grisâtre lacustre. C'est complètement de côté. C'est plutôt au sommet et pas complètement au sommet. Ça vient de face. Donc, si vous utilisez un détecteur de voiture, quel côté voulez-vous voir la voiture ? Et est-ce sur fond blanc ou noir ou sur les éléments ? Ou est-ce dans la vraie vie, près de la plage ou dans la rue ? Avez-vous besoin de détecter des voitures ici Ces photos sont vraiment différentes de celles que nous avions dans la diapositive précédente. Ou souhaitez-vous voir et détecter des voitures d'en haut ? Nous n'avions pas les photos gratuites ci-dessus et la photo ci-dessus est complètement différente. Vous devez donc vraiment réfléchir à l' angle sous lequel vous souhaitez également les détecter. Parce que si vous entraînez un modèle à détecter les voitures de côté, mais qu'en réalité, la caméra de l' endroit où vous regarderez par le haut dans le futur avec des voitures détecteurs, le modèle ne fonctionnera pas ; AN échouera ici. Les données doivent donc être aussi similaires au cas d'utilisation que vous avez dans la vie réelle du point de vue de la foudre géographique. Nous sommes donc assis dans une pièce sombre, une pièce claire, dans le temps. Je suis une voiture vieille de 50 ans. Des voitures aujourd'hui, des rues il y a 50 ans ou aujourd'hui. Peut-être. Les choses ne changent pas tellement ces derniers temps et vous n' avez pas autant de photos des années cinquante. Mais en gros, de temps en temps , de nouvelles choses se produisent. Le temps est donc très important pour obtenir les dernières données, points de vue et angles. Assurez-vous donc de regarder les objets de la même manière que vous à l'avenir. Un cas d'utilisation pour. 5. Conclusion: Pour moi, comme indiqué ci-dessus, les performances du produit d'IA dépendent énormément des données disponibles que vous détenez. Parce que les données qui arrivent sont essentiellement des performances qui en sortent. Donc, ce que vous collectez, vous obtenez également à partir des données du client ou de vous-même, où vous utilisez les données. Ceci est essentiellement déterminé par rapport aux performances de ce modèle, car cela dépend de l'endroit où il est appliqué. Où est donc le véritable cas d'utilisation ? Et il est extrêmement important que les données dont vous disposez sur l' utilisation diminuent, les données disponibles pendant entraînement ou de manière aussi similaire que possible. En conclusion, pour le cours de ce jour, verbes de développement et le développement de logiciels, rien ne les sépare . 28 Le développement est plus risqué, connu, inconnu, beaucoup plus inconnu que donc pour le développement parce que c'est de la recherche et du développement. Et il existe également de nombreuses dépendances quant la façon dont vous allez utiliser ce modèle. Le développement est dépendant. Données sur les enfants. Ils peuvent le dire ou le blesser, c'est prêt. Les données, ce que vous utilisez pour la formation, comment doivent être vraiment similaires à endroit où vous allez les utiliser à l'avenir. même que les données déterminent également vos performances. Je préfère les formulaires, c'est un lien énorme sur l'environnement. Donc, données et environnement. Ils ont mérité Kiki, merci. Merci de m'avoir écouté aujourd'hui. À la prochaine fois.