‫Maintenant, nous venons de couvrir la précision en tant que méthode d'évaluation de nos modèles de classification, et vous vous demandez peut-être
‫pourquoi ne pouvons-nous pas en rester là ?
‫Eh bien, alors que nous commençons à parcourir ces autres métriques ici, vous commencerez à comprendre pourquoi il
‫pourrait être important d'avoir quelques métriques d'évaluation différentes au tableau plutôt que simplement la précision.
‫Dans mon cas, lorsque j'apprenais à créer des modèles de classification, je pensais toujours, oui, une
‫précision plus élevée est meilleure.
‫À droite?
‫Et puis lentement, après avoir regardé différents exemples, je commence à réaliser, OK, maintenant je
‫vois l'intérêt d'utiliser d'autres métriques comme celles-ci, mais n'en parlons pas.
‫Voyons-le en action.
‫Le prochain que nous allons couvrir est la zone sous le récepteur fonctionnant donc la zone sous la courbe
‫caractéristique de fonctionnement du récepteur.
‫La belle chose est qu'il est également connu comme un U. S. Donc aire sous courbe ou ossy.
‫Donc caractéristique de fonctionnement du récepteur.
‫Faisons donc cette courbe RRC.
‫Ce sont donc les deux choses que vous surveillerez.
‫Aire sous courbe ou courbe rocheuse.
‫Je le mettrais ici.
‫Êtes-vous voir ou.
‫Rakove, magnifique, donc si vous entendez quelqu'un parler d'AUC ou d'ARACY ou de Rock ou quelque chose comme ça, ils parlent
‫probablement de cette métrique ici.
‫Maintenant, que mesure une courbe rocheuse ?
‫Eh bien, par définition formelle, une courbe de roche est une comparaison du taux de vrais positifs d'un modèle par rapport aux faux
‫positifs d'un modèle.
‫À droite.
‫Écrivons cela.
‫Voici une comparaison du taux de vrais positifs d'un modèle, également appelé TPA, par rapport aux faux positifs d'un
‫modèle.
‫À droite.
‫Qui est également connu sous le nom de FPO.
‫Maintenant, vous vous demandez peut-être, d'accord, qu'est-ce qui est vrai, positif et qu'est-ce qu'un faux positif ?
‫Eh bien, regardons ici.
‫Un modèle d'aigle vraiment positif en prédit un lorsque la vérité est celle qui a du sens.
‫Donc, dans notre cas, si nous regardons ici, si les cibles réelles sont un ou zéro, un vrai positif est lorsque notre
‫modèle prédit un un.
‫La vraie étiquette est une.
‫D'accord, ouais, c'est logique.
‫Donc, si nous allons ici, un faux positif est le modèle prédit un lorsque la vérité est zéro.
‫Alors pourquoi s'appelle-t-on faux positif.
‫Eh bien, c'est parce qu'il en prédit un.
‫Ainsi, la classe positive a une maladie cardiaque alors que la vérité est en fait zéro.
‫Cela nous donne donc une fausse impression positive qu'une personne peut avoir une maladie cardiaque dans notre cas particulier
‫pour un problème de classification des maladies cardiaques.
‫Et puis si on y va, un vrai négatif.
‫Le modèle de Google prédit zéro lorsque la vérité est zéro.
‫Donc ça a du sens.
‫C'est donc prédire que le modèle obtient la bonne prédiction.
‫On prédit que quelqu'un n'a pas de maladie cardiaque alors qu'en réalité ce n'est pas le cas.
‫C'est génial.
‫Et puis un faux négatif égal modèle prédit.
‫Que pensez-vous que ce sera celui-ci?
‫Faux négatif.
‫Nous regardons les faux positifs.
‫Un faux négatif est lorsque le modèle prédit zéro lorsque la vérité est gagnée.
‫C'est parce qu'il ne prédit pas une maladie cardiaque alors qu'il s'agit en fait d'une maladie cardiaque, n'est-ce pas ?
‫Alors maintenant que nous les connaissons, nous pouvons voir qu'une courbe de roche est une comparaison du vrai positif d'un modèle.
‫À droite.
‫TPA contre fautes de frappe partout.
‫Et vous allez, c'est le faux positif d'un modèle, n'est-ce pas.
‫Ou fpr.
‫Alors maintenant, nous savons cela.
‫Voyons-le en action afin que nous puissions le faire à l'aide de la bibliothèque de métriques de prêts Saikat, nous allons importer
‫la courbe dit voir Rakove notre courbe, puis nous allons faire des prédictions avec des probabilités.
‫Et comment pouvons-nous faire des prédictions avec des probabilités.
‫Nous l'avons vu en faisant des prédictions.
‫Nous pouvons le faire avec pourquoi probs est égal à clifftop prédire avec un pied de biche pour la probabilité.
‫Nous allons faire quelques prédictions sur les données de test.
‫Maintenant, je veux juste m'assurer que nous le ferons peut-être lorsque nous créerons.
‫Créez un test X juste pour vous assurer que c'est le bon test X, le test X de données.
‫Etc. , Nous voulons donc aller ici X train, X test.
‫Pourquoi s'entraîner, pourquoi les véhicules d'essai s'entraînent pour diviser la taille x Y égale zéro virgule deux, merveilleux.
‫Et maintenant, nous pouvons le faire là-bas, car une courbe de roche est une comparaison du taux de vrais positifs d'un modèle par rapport aux
‫faux positifs d'un modèle, n'est-ce pas.
‫Nous voulons ne garder que les classes positives.
‫Alors en fait, voyons ce que nous avons de probs.
‫On dirait mes problèmes.
‫Pourquoi cela n'a-t-il pas fonctionné ?
‫Qu'avons-nous ici ?
‫Cette forêt tropicale classée n'est pas encore aménagée.
‫Appelez en forme.
‫Oh, ça aurait du sens.
‫Alors on veut.
‫Le classificateur, bien sûr, vous ne pouvez pas faire de prédictions sans les ajuster, sans que le modèle
‫n'apprenne de modèles.
‫Nous allons donc l'adapter ici, puis nous ferons quelques prédictions et nous examinerons cela, peut-être
‫seulement les 10 premiers.
‫Donc, nous ne prenons pas de place pour nos gens.
‫OK beauté.
‫Et donc parce que notre courbe rose.
‫Seule une comparaison du taux de vrais positifs d'un modèle par rapport à un taux de faux positifs, nous voulons seulement les probabilités que
‫le modèle a prédites pour la classe positive.
‫Donc si vous imaginez ici nos modèles essayant de prédire zéro ou un.
‫Il s'agit d'une probabilité que l'étiquette soit nulle.
‫Et c'est la probabilité que l'étiquette soit une et ainsi de suite pour tous ces échantillons jusqu'à ce qu'elle
‫se termine.
‫Il y en aura donc autant dans l'ensemble de test ici.
‫Soixante et un vont être soixante et un d'entre eux.
‫Donc, essentiellement, ce que nous voulons, c'est pourquoi les problèmes sont positifs ?
‫Donc, ce sont les probabilités que ce soit la classe positive acte zéro est la classe négative
‫et une est la classe positive, pourquoi les problèmes vont utiliser un découpage ici, mais seulement la première colonne de chaque ligne afin
‫que nous puissions le faire.
‫Juste pour que vous sachiez ce qui se passe, positif.
‫Et nous ne regarderons que le premier Hanigan.
‫Donc cela a du sens, nous obtenons zéro virgule quatre trois oui, zéro virgule sept sept oui, zéro virgule quatre huit ainsi
‫de suite, et ainsi de suite pour toute la liste des problèmes.
‫Et maintenant, nous pouvons calculer le FBAR et le seuil.
‫Alors pour les Eagles, Teper Threshold, pourquoi est-ce que je sais que cela verra cela dans une seconde?
‫Pourquoi est-ce que je sais que cela va être la courbe ROC du seuil de karma du commentaire ?
‫Nous allons le passer.
‫Pourquoi tester et pourquoi Rob est positif.
‫Maintenant, comment découvririez-vous ce que l'amour du rock revient dans ce cas ?
‫Eh bien, ce que je ferais, c'est une tabulation oppressante et c'est comme ça que je sais.
‫Nous avons donc la courbe Roc.
‫Il faut y.
‫Vrai.
‫Voilà donc nos étiquettes de test.
‫Il faut un score Y.
‫C'est donc notre y probs positif.
‫Et si nous descendons ici, calculez la roche caractéristique de fonctionnement du récepteur.
‫Ouais.
‫Belle maintenant paramètres.
‫Pourquoi vrai, pourquoi les scores cibles peuvent être soit des estimations de probabilité des valeurs de confiance de classe positives, soit
‫des mesures sans seuil de la décision.
‫Voilà donc les estimations de probabilité de la classe positive.
‫C'est de là que nous avons obtenu cette tranche.
‫À droite.
‫Et puis si nous descendons ici, cela va nous dire quels sont nos rendements, en augmentant les taux de
‫faux positifs, de sorte que l'élément AI est un taux de prédictions faussement positifs avec un score supérieur aux seuils TPA.
‫C'est donc un vrai taux et seuils positifs.
‫C'est ainsi que nous pouvons déterminer ce qu'une fonction renvoie.
‫Et encore une fois, il s'agit simplement de visualiser la chaîne dans un cahier égyptien.
‫Vous pouvez toujours consulter la documentation à ce sujet.
‫Si vous vouliez le faire, vous pourriez chercher quelque chose comme comment calculer la courbe Roc afin que je puisse apprendre.
‫Nous allons donc vérifier les taux de faux positifs.
‫FPA magnifique.
‫Cela nous donne donc un large éventail.
‫Mais les regarder seuls n'a pas vraiment de sens.
‫Il est beaucoup plus facile de le voir visuellement.
‫Et puisque I getline n'a pas vraiment de fonction intégrée pour tracer une courbe de roche, ce que nous pourrions avoir
‫à faire est et vous rencontrez assez souvent ce problème, vous devrez trouver une fonction ou écrire la
‫vôtre.
‫Cela le fera pour vous.
‫C'est donc ce que nous allons voir dans la prochaine vidéo qui tracera une courbe de roche.
‫Et cette fonction ici, ROC Curve commencera à avoir un peu plus de sens plutôt que d'être simplement un tableau
‫de nombres.