‫Bon retour, jusqu'à présent, nous avons vu différentes manières d'évaluer un modèle de classification
‫et rappelons-nous que l'évaluation d'un modèle d'apprentissage automatique compare souvent les prédictions aux étiquettes de vérité.
‫Passons maintenant à une manière plus visuelle d'évaluer nos modèles de classification, et c'est là que se trouve la
‫matrice de confusion.
‫Et si vous n'avez jamais entendu parler de cela auparavant, ne vous inquiétez pas, nous aurons beaucoup d'expérience pratique
‫avec les matrices de confusion au moment où vous aurez terminé cette vidéo.
‫Donc, la meilleure façon d'évaluer un modèle de classification est d'utiliser une matrice de confusion juste ici.
‫Une matrice de confusion est un moyen rapide de comparer les étiquettes, un modèle prédit et l'étiquette réelle.
‫Alors les étiquettes de vérité.
‫C'était censé prévoir.
‫Essentiellement, cela vous donne une idée de l'endroit où le modèle est confus.
‫Donc ce n'est que de l'écriture Mettons la main sur cessez d'écrire du code.
‫La belle chose à propos de Psychic Lone est qu'il a beaucoup de ces mesures d'évaluation, formats
‫et fonctions intégrés.
‫Passons donc de Kaylon Dot Matrix Impart Confusion Matrix.
‫Et puis nous allons y aller.
‫Pourquoi les parades feront des prédictions avec notre classificateur formé prédira sur le test X, puis nous
‫allons créer une matrice de confusion avec Y Test et Y Preds.
‫Mais avant de faire cela, passons simplement à la matrice de confusion de la documentation Kaylon.
‫Rappelez-vous simplement la fonction que nous exécutons.
‫C'est donc ici.
‫Voyons quelles sont les entrées.
‫Nous avons pourquoi.
‫True est le premier paramètre, puis généralisé en tant que deuxième paramètre.
‫Si nous faisons défiler vers le bas, nous avons un exemple ici.
‫C'est ce à quoi notre sortie, nous voulons qu'elle ressemble.
‫Alors ils ont pourquoi vrai ?
‫Dans notre cas, nous avons pourquoi vrai est pourquoi tester?
‫Et ils ont pourquoi Fred, qui est dans notre cas, appelons-nous ça pourquoi Fred est avec un s ?
‫Oui.
‫Je vais donc simplement copier ce lien dans la matrice de confusion ici.
‫Et nous allons mettre cela juste au-dessus ici.
‫Voir ici pour la matrice de confusion Skyline.
‫D'accord, mais assez parlé.
‫Voyons-le en action.
‫Oh, nous y allons maintenant.
‫Pour le moment, cela ne signifie pas grand-chose pour nous.
‫Si vous avez déjà utilisé les matrices de confusion, vous savez peut-être ce qui se passe ici.
‫Mais si vous ne l'avez pas fait, et je suis sûr que beaucoup d'entre vous ne l'ont pas fait, ce n'est qu'un tableau de nombres différents.
‫Alors continuons.
‫Et si on y ajoutait quelques étiquettes ?
‫Donc, une façon de le faire est d'utiliser la méthode PD Dot Cross Tab, que nous pouvons rechercher dans l'onglet
‫Pandas Cross, qui va essentiellement comparer deux facteurs ou plus.
‫Voyons donc cela en action si vous voulez la documentation, bien sûr, vous pouvez y faire référence,
‫mais je préfère mettre la main dessus.
‫Allons donc PD à travers Tab Y Test Y Preds, puis nous allons entrer ici.
‫Nous allons à nouveau lui donner un nom de ligne de paramètre.
‫Tous ces éléments sont mentionnés ici.
‫Nous avons un index, nous avons des colonnes, nous avons des noms de lignes, des noms de colonnes.
‫Vous pouvez probablement deviner ce que font ces deux paramètres.
‫Allons-y et voyons ce qu'ils font réellement.
‫C'est donc l'étiquette de vérité et nous avons ensuite des noms d'appel égaux à l'étiquette prédite.
‫Nous avons donc les lignes des valeurs réelles et les colonnes sont les valeurs prédites de
‫notre étiquette prédite par modèle.
‫Oh, on y va.
‫Maintenant, puisque nous projetons zéro un, donc maladie cardiaque ou pas de maladie cardiaque, nous avons
‫prédit les étiquettes ici zéro un et les étiquettes réelles ici.
‫Et donc l'endroit le plus idéal que nous voulons que les valeurs soient sur la diagonale.
‫Pourquoi donc?
‫Eh bien, cela signifierait que l'étiquette prédite de notre modèle zéro s'aligne sur l'étiquette réelle des valeurs
‫de vérité zéro et zéro et de même avec un.
‫Maintenant ces échantillons ici dans la diagonale opposée.
‫C'est donc en haut à gauche en bas à droite.
‫Des exemples où nos modèles se confondent, en substance, prédisent un un où l'étiquette réelle
‫est zéro et vice versa.
‫Ici, il prédit zéro, où l'étiquette réelle est un.
‫Maintenant, nous allons devenir un peu plus visuels car encore une fois, c'est pour moi.
‫On peut aller plus visuel.
‫Je ne suis pas sûr que vous puissiez comprendre cela, mais pour moi, j'aime regarder de jolies couleurs.
‫Passons donc à la keynote.
‫Rappelons-nous ce qu'est l'anatomie de la matrice de confusion.
‫Pas nous rappeler.
‫Peut-être nous présenter.
‫Mais nous y sommes.
‫Nous avons donc les bonnes valeurs sur la diagonale.
‫En haut à droite, les valeurs sont considérées comme des faux négatifs dans une classe binaire.
‫Problème de vacances.
‫Je veux juste que vous preniez note ici aussi, c'est que notre matrice de confusion ne traite actuellement que de
‫deux classes zéro ou une.
‫Cependant, cette matrice de confusion peut être aussi grande que vous le souhaitez.
‫Mais comme vous pouvez l'imaginer, si nous allions très rapidement de zéro à 100, cela pourrait devenir trop gros, presque trop gros pour que
‫nous puissions commencer à le visualiser.
‫Voyons Google vraiment gros.
‫Nous voulons une très grande matrice de confusion.
‫Voyons à quoi cela ressemble.
‫D'accord, on y va.
‫Je te vois ici.
‫Voilà à quoi peut ressembler une très grosse matrice de confusion, et si en fait vous pouvez vraiment aller plus
‫loin ?
‫Regarde ça.
‫Cela fait 90 cours.
‫Alors oui, ça m'embrouille.
‫Mais c'est, oh, c'est ce que vous voulez, idéalement.
‫C'est la matrice de confusion idéale où la diagonale de gauche en haut à gauche en bas à droite est mise en évidence.
‫Maintenant, que diriez-vous de devenir coloré sans matrice de confusion ?
‫J'ai le keynote ici de ce qui se passe ici.
‫Correct est en haut à gauche en bas à droite.
‫De vrais positifs.
‫De vrais négatifs.
‫En haut à droite, les faux négatifs.
‫En d'autres termes, qu'est-ce que cela signifie ?
‫Le modèle prédit zéro donc négatif.
‫Lorsque la vérité est une et que nous avons en bas à gauche se trouvent les faux positifs et qu'un faux positif est un modèle,
‫en prédit un.
‫Quand la vérité est zéro.
‫Je vous laisse y replonger plus loin à votre rythme.
‫Revenons à écrire du code.
‫Maintenant, il y a une belle méthode à l'intérieur de Ketlen, qui est en fait relativement nouvelle, alors écrivons-la un
‫peu ici.
‫Création d'une matrice de confusion à l'aide de CI Ketlen C'est en fait la deuxième fois que j'enregistre cette vidéo.
‫Pourquoi?
‫Parce que si j'enregistre cette vidéo à l'origine, il y avait une méthode différente dans Ketlen, mais comme elle a été mise
‫à jour, je veux garder le cours aussi à jour que possible.
‫Nous avons les nouvelles versions.
‫C'est à l'intérieur de Ketlen 1. 0.
‫Donc à utiliser les nouvelles méthodes.
‫Ce sont donc des nouveautés au moment de l'enregistrement, soit dit en passant.
‫J'ai donc gardé la ligne 1. 0 vient de sortir.
‫Vous allez créer une matrice de confusion avec une ligne de socket, vous aurez besoin d'une version 1 réduite. 0 plus.
‫Je veux donc transformer cela en démarque.
‫On y va.
‫Recherchons donc la ligne de socket lors de l'installation de Kaylon.
‫Je vais vous montrer comment installer la dernière version de Socket Line.
‫Voici donc cette page Web ici.
‫Je vais copier cela quand nous descendrons ici, et je vais simplement le mettre là maintenant.
‫Merveilleux.
‫Maintenant, nous pouvons vérifier quelle version de ligne nous utilisons en allant importer.
‫Vous avez peut-être déjà la version 1. 0, si vous voulez, si vous avez installé la ligne de
‫socket relativement récemment, et encore, parce que vous pourriez regarder cela à l'avenir récemment comme un terme arbitraire.
‫Mais nous allons juste vérifier l'exécution de la dernière version.
‫Cependant, si nous voulions le mettre à niveau, comment pourrions-nous le faire ?
‫Eh bien, passons au terminal.
‫Voici le dossier à partir duquel j'exécute mes blocs-notes.
‫Donc, si je vais ailleurs, j'exécute cette section deux outils de science des données et de ML.
‫C'est de là que vient ce cahier.
‫J'ai activé l'environnement.
‫Ce que je vais faire, c'est désactiver cet environnement.
‫Donc deuxièmement, pour désactiver clear.
‫Alors maintenant, c'est juste le dossier où se trouvent tous mes cahiers.
‫Voici mon environnement que nous avons créé il y a longtemps.
‫Si vous avez besoin d'un rappel sur la création de l'environnement, vous pouvez y revenir.
‫Mais maintenant, je vais procéder à l'activation de mon environnement.
‫Le point ici signifie Activer l'environnement dans le dossier actuel.
‫Donc le dossier actuel ici.
‫Maintenant, si nous allons supprimer tout cela juste pour expliquer un peu plus loin.
‫Je vois qu'on voit avec ça.
‫J'ai un dossier d'environnement là-bas.
‫Donc, cela signifie simplement que le contact active le point et ce dossier ici, ce dossier d'environnement, si nous l'exécutons, alors nous
‫effaçons.
‫Et maintenant, si nous voulons mettre à niveau, je ne peux donc pas apprendre dans cet environnement où nous exécutons nos
‫blocs-notes à partir du vôtre peut-être légèrement différent de mon chemin ici, mais allons-y simplement ici.
‫L'installation PIP que vous utilisez est synonyme de socket de mise à niveau.
‫Apprenez, alors nous reviendrons au terminal.
‫Nous allons exécuter ce pip pour installer votre socket Ketlen.
‫Maintenant, parce que j'utilise la dernière version, il est dit : Ouais, c'est parti.
‫Exigence déjà à jour.
‫Donc, auparavant, lorsque je faisais cela, j'exécutais la version 0 de la ligne de socket. 24 points quelque chose.
‫Mais ensuite j'ai installé 1. 0 pour fabriquer ce nouveau matériau.
‫Donc je l'ai déjà.
‫Maintenant, si vous n'exécutez pas 1. 0, vous devrez suivre ces étapes si vous en avez déjà 1. 0 et vous l'avez découvert
‫dans votre cahier.
‫Eh bien, alors ce code devrait fonctionner pour vous.
‫Si vous venez d'installer 1. 0, vous devrez peut-être redémarrer le noyau de votre notebook.
‫Je ne vais pas le faire, mais cliquez simplement sur Redémarrer, puis sur Exécuter tout, et vous voudrez réexécuter toutes
‫ces cellules.
‫Réimportez le site, Ketlen, la dernière version, et assurez-vous simplement que vous en avez 1. 0 ici avant d'exécuter ce prochain jeu
‫de code.
‫Alors maintenant, regardons vers le haut.
‫Skyline Confusion Matrix Et c'est là que nous allons trouver les nouvelles méthodes introduites ou les nouvelles classes et
‫méthodes introduites dans 1. 0 affichage de la matrice de confusion à partir de l'estimation.
‫Merveilleux.
‫C'est donc de cela que je parle.
‫C'est plus coloré pour moi et on voit que le vert ou le jaune du carreau.
‫Cela signifie que plus il y a de valeurs et plus la tuile est sombre.
‫Vous pouvez modifier ces couleurs par défaut si vous le souhaitez.
‫Soit dit en passant, si vous parcourez simplement la documentation sur le quai de la tuile, cela signifie que moins de valeurs
‫sont présentes.
‫Alors reproduisons cela pour nos données.
‫Et il y a deux versions de cela.
‫Nous avons l'affichage de la matrice de confusion Skyline Metrics, deux versions.
‫L'un provient de l'estimateur et l'autre des prédictions.
‫Nous allons jeter un oeil à ces deux.
‫Donc, si vous voulez aller de l'avant, vous pouvez accéder à cette documentation, cliquer sur chacune de ces méthodes
‫et l'essayer par vous-même.
‫Mais voyons-le en action.
‫Nous allons de Skyline Dot Matrix Import Confusion, Matrix Display.
‫D'accord, c'est donc la classe globale.
‫Et puis nous allons utiliser ce point d'affichage de la matrice de confusion des classes à partir de l'estimation.
‫Maintenant, vous pouvez deviner ce qui se passe ici lorsque vous avez besoin d'un estimateur qualifié ou d'une estimation ajustée.
‫Dans notre cas, notre estimation actuelle est la falaise.
‫Nous tapons ici le classificateur de forêt auto-aléatoire, puis il prend X, qui dans notre cas est X, puis
‫Y, X et Y.
‫Voyons donc ce qui sort ici.
‫On y va.
‫Nous obtenons une belle parcelle.
‫Maintenant, qu'est-ce qui est différent entre ce que nous avons ici ?
‫Y Test Y Preds contre X et Y ?
‫Eh bien, tout d'abord, nous avons beaucoup plus de valeurs.
‫Eh bien, c'est parce que nous transmettons toutes les données X et toutes les données Y.
‫Et donc si nous regardons la chaîne de documentation ici, onglet Chef, de quoi avons-nous besoin pour estimer notre estimation de X
‫Y ?
‫Ensuite, nous avons quelques options différentes ici, comme les étiquettes, l'échantillon blanc normaliser.
‫Je vous laisse lire la documentation pour voir ce qu'ils font.
‫Essentiellement, il s'agit de personnaliser à quoi ressemble l'intrigue lorsqu'elle sort.
‫Et donc estimation est une estimation, par exemple, un classificateur ajusté ou une classe d'échelle ajustée propre pipeline dans lequel
‫la dernière estimation est un classificateur.
‫Quelle est notre estimation ?
‫C'est un classificateur de forêt aléatoire.
‫Examinons maintenant l'autre version de l'affichage de la matrice de confusion, l'autre méthode qui lui est associée
‫à partir des prédictions.
‫Maintenant, la différence ici est qu'à partir des prédictions, y est vrai et y s'étend comme l'onglet Al Cross auparavant.
‫Il n'y a donc pas d'estimation.
‫Cela signifie donc que vous devez avoir des prédictions prêtes à être utilisées.
‫Alors que dans l'autre version d'estimation, vous pouvez créer une matrice de confusion sans prédictions prêtes à l'emploi.
‫Donc, il fait les prédictions pour, vous savez, disons, la confusion, le point d'affichage de la matrice à partir des prédictions et nous allons passer ou
‫voyons la chaîne de documentation ici, nous avons pourquoi vrai et pourquoi Fred si vrai est égal à ce que
‫nos étiquettes de test et pourquoi Pred est égal ?
‫Nous avons appelé nos prédictions.
‫Pourquoi Preds ?
‫Voyons à quoi ressemble cette matrice de confusion.
‫Merveilleux.
‫Beaucoup mieux, plus coloré.
‫Vous ne serez peut-être plus le plus grand fan de ces couleurs si vous souhaitez les changer.
‫Voir, la documentation est un tas de façons différentes de les personnaliser.
‫C'est un aspect plus visuel que ce que nous avons vu ici.
‫Il affiche que tous les trois affichent les mêmes données.
‫Celui-ci ici, celui-ci ici et celui-ci ici.
‫Mais ils ne font qu'augmenter les niveaux de visualisation, ce qui est souvent très utile pour comprendre ce qui se
‫passe.
‫Voilà pour les matrices de confusion.
‫Ce sont des moyens très, très, très visuels de voir comment vont vos classificateurs entraînés.
‫Si vous aimez l'anatomie, vous pouvez trouver la diapositive ici.
‫Sinon, je vous verrai dans la prochaine vidéo.
‫Continuons à évaluer nos modèles.