‫Ainsi, la métrique d'évaluation du modèle de classification finale que nous allons examiner est un rapport
‫de classification et maintenant, en réalité, un rapport de classification est également une collection de différentes métriques d'évaluation plutôt
‫qu'une seule.
‫C'est donc de là que vient le rapport.
‫C'est une sorte de rapport sur un certain nombre de paramètres différents évaluant notre modèle de classification.
‫Voyons-en un en action, donc du genre de rapport de classification des importations matriciel de České.
‫Pour ce faire, nous posons juste quelques vrais labels, OK, pourquoi tester et quelques prédictions ?
‫Encore une fois, cette métrique d'évaluation ne fait que comparer les véritables étiquettes de nos données avec les prédictions
‫de notre modèle.
‫Voyons donc ce qui se passe ici.
‫Très bien.
‫Les quelques choses qui se passent, nous avons un rappel de précision, avons un soutien scolaire, zéro, peut-être que c'est
‫pour la classe zéro quatre, pas une maladie cardiaque.
‫C'est peut-être pour les maladies cardiaques.
‫Si nous descendons avec un point de précision soixante-quinze macro moyenne.
‫Moyenne pondérée.
‫Hmm.
‫Que se passe t-il ici?
‫Eh bien, allons à notre Keano, jetez un œil à notre anatomie de rapport de classification.
‫Donc ici, nous voyons que vous avez la même chose, il suffit d'importer le rapport de classification.
‫Nous en avons fait un sur les étiquettes de test et les prédictions.
‫Quelques chiffres légèrement différents ici.
‫Qu'y a-t-il dans notre cahier?
‫Mais ça va.
‫Alors, qu'est-ce que la précision ou la précision indique la proportion d'identifications positives, donc a. k. une. le modèle a
‫prédit la classe 1, qui était en fait correcte.
‫Maintenant, un modèle qui ne produit pas de faux positifs avec une précision de un.
‫C'est donc ce que nous pouvons voir, nos scores de précision si le modèle n'a produit aucun faux positif.
‫Et nous savons que notre modèle ne l'a pas fait parce que nous avons examiné la classification de la matrice de
‫confusion et nous l'avons vu confus sur certains exemples, et il les a prédits comme de faux positifs.
‫Nos scores de précision sont donc un peu inférieurs à un.
‫Maintenant, le prochain est le rappel.
‫Ainsi, le rappel indique la proportion de positifs réels qui ont été correctement classés.
‫Maintenant, un modèle qui ne produit pas de faux négatifs a un rappel d'un point zéro.
‫Et encore une fois, nous savons de notre matrice de confusion que ce n'est pas le cas.
‫Notre rappel est donc un peu plus faible.
‫Désormais, le score F1 est une combinaison de précision et de rappel, un modèle parfait obtient un score F1 d'un point
‫zéro.
‫D'accord, donc quand nous voyons que notre score F1 n'est pas un point zéro, mais il est toujours relativement élevé, alors si nous allons
‫au support.
‫Le nombre d'échantillons sur lesquels chaque métrique a été calculée, nous le voyons donc ici.
‫Cela signifie donc que nous regardons ce 29, donc nous regardons cela, c'est quatre zéro ici à 61.
‫Cela signifie donc que ces métriques ici ont été calculées sur 61 échantillons différents.
‫Et ces métriques ici ont été calculées sur 29 échantillons, qui avaient l'étiquette de classe zéro, et que celui-ci est
‫de 32 avec l'étiquette de classe un AK a une maladie cardiaque.
‫Et donc si vous totalisez ces vingt-neuf plus 32, vous obtenez 61, vous savez, précision.
‫Nous avons déjà vu cela.
‫C'est juste la précision du modèle sous forme décimale, la précision parfaite est de 1. 0, a. k. une. notre modèle fait
‫des prédictions justes 100 pour cent du temps.
‫Si la précision est de 1. 0, puis nous examinons la moyenne macro.
‫Maintenant, quel est l'abréviation de macro moyenne, comme vous l'avez peut-être deviné.
‫Il s'agit donc du rappel de précision moyen et des scores F1 entre les classes.
‫Maintenant, la clé ici est que la moyenne macro ne prend pas en compte la classe et l'équilibre doit être pris en compte.
‫Alors faites comme si c'était un compte.
‫Donc, si vous avez des déséquilibres de classe, faites attention à cette métrique.
‫OK, donc dans notre cas, qu'est-ce que ça classe le déséquilibre ?
‫Eh bien, si vous regardez notre exemple, nous n'avons pas de déséquilibres de classe ici.
‫Pourquoi donc?
‫Eh bien, parce que nous avons relativement la même quantité d'échantillons avec la classe zéro et la classe un, ce qui signifie que nous avons
‫environ 50/50 divisés ici.
‫Ce n'est pas exactement 50/50, mais ce n'est pas comme si nous avions 60 exemples de classe un et un exemple de classe
‫zéro.
‫Nous en avons donc environ 30 dans chacun.
‫Donc, si vous aviez des déséquilibres de classe, vous voulez vraiment vérifier votre moyenne macro maintenant ?
‫Car dans notre exemple, les classes sont relativement équilibrées.
‫C'est pourquoi la moyenne macro et la moyenne pondérée du déficit moyen pondéré de la moyenne pondérée sont un rappel
‫de précision et le score F1 entre les classes pondérées signifie que chaque métrique est calculée en fonction
‫du nombre d'échantillons dans chaque classe.
‫Cette métrique favorisera donc la majorité.
‫La classe, par exemple, donnera une valeur élevée lorsqu'une classe surpasse une autre en raison du plus grand nombre d'échantillons.
‫C'est donc pour cela que nos valeurs ici sont assez similaires, car nous avons des classes d'équilibre.
‫Maintenant, vous vous demandez peut-être dans quel genre de situation ces valeurs seraient-elles détraquées
‫?
‫À droite.
‫Genre, où cela se produirait-il ?
‫Et vous pensez peut-être aussi que nous avons appris tout un tas de mesures différentes ici.
‫Nous revenons à notre cahier.
‫Nous avons passé en revue les rapports de classification, nous avons fait la confusion, la matrice, nous avons fait la précision.
‫Nous avons fait l'aire sous la courbe ROC.
‫Alors, quand dois-je utiliser chacun d'entre eux ?
‫Alors maintenant, nous les avons en quelque sorte parcourus.
‫Il pourrait être tentant de penser, eh bien, pourquoi ne pas simplement laisser tomber tous ces autres
‫que j'ai vraiment du mal à saisir et juste utiliser la précision ?
‫Eh bien, prenons un exemple.
‫Voyons quand d'autres mesures entrent en jeu.
‫Et peut-être que vous ne devriez pas utiliser la précision parce que c'est un piège dans lequel je me suis fait prendre.
‫Lorsque j'ai commencé à créer des modèles de classification, j'étais comme si, oui, mon modèle obtenait une précision de plus
‫de 90 %.
‫Ce doit être un super modèle.
‫Voyons un scénario.
‫Ainsi, par exemple, disons qu'il y avait 10 000 personnes et que l'une d'entre elles souffrait d'une maladie et qu'on vous demande de construire
‫un modèle pour prédire qui en est atteinte.
‫Très bien.
‫Alors faisons-le en fait.
‫Gardons ça en place.
‫C'est donc là que la précision et le rappel deviennent précieux.
‫Et en fait, toutes les métriques de notre rapport de classification deviennent précieuses ici.
‫Donc la maladie, c'est vrai.
‫Il y avait donc 10 000 personnes et l'une d'entre elles avait une maladie.
‫Donc ce que nous pourrions faire, c'est créer un empire de 10 000 personnes et ensuite nous pourrions changer l'un d'entre eux.
‫Je peux épeler la maladie.
‫C'est un indice zéro de la maladie égal à un, donc il n'y a qu'un seul cas positif.
‫Ensuite, si nous descendons ici et disons que notre modèle a prédit ou que la maladie se propage à 10 000
‫et zéro maintenant, cela signifie que le modèle prédit chaque cas comme zéro.
‫Très bien.
‫Et ensuite, ce que nous allons faire, c'est créer le bloc de données afin que nous puissions visualiser ce rapport de classification, et si c'était ce que
‫faisait notre modèle ?
‫À droite.
‫C'est ce qui se passe ici.
‫La maladie, c'est vrai.
‫Il n'y a donc qu'un seul cas positif, un sur 10000.
‫Et nous construisons un modèle et notre modèle prédit que chaque cas est nul.
‫Il manque donc la seule prédiction.
‫Que se passerait-il si nous construisions une classification ?
‫Rapports d'une maladie gay.
‫Vrai.
‫Nous sommes arrivés ici.
‫La maladie se propage.
‫Je veux passer ce petit paramètre pour qu'il s'intègre bien dans un cadre de données, donc la sortie dict est égale.
‫Alors.
‫Qu'est-ce qu'il se passe ici?
‫Nous regardons ceci, c'est juste un autre format de ce rapport de classification ici si nous ne l'avons pas
‫fait.
‫Cela s'aérerait, donc c'est juste pour visualiser ce qui se passe, c'est vrai.
‫C'est donc un excellent exemple, à droite, de l'endroit où vous souhaitez utiliser une autre métrique autre que la précision, c'est lorsque
‫vous avez un très grand déséquilibre de classe.
‫Donc, dans notre cas, nous avons un énorme déséquilibre de classe car dans notre ensemble de données d'origine, la
‫maladie est égale à vrai n'est qu'un exemple.
‫Donc, un seul exemple de l'endroit où le travail serait gagné et tout le reste est nul.
‫Nous avons construit un modèle qui prédit simplement zéro pour chaque cas.
‫D'accord, parce que ce n'est qu'un échantillon.
‫Il est vraiment difficile d'apprendre qu'il existe un modèle pour ce cas particulier.
‫Et donc ce qui se passe, c'est que si nous mesurions juste la précision sur notre modèle qui est prédit à zéro pour
‫tout, il en ressort une précision de zéro virgule neuf neuf ou en d'autres termes, 99%.
‫Et alors demandez-vous, bien que le modèle atteigne une précision de quatre-vingt-dix-neuf virgule neuf neuf pour cent, le modèle est-il
‫toujours utile ?
‫À droite.
‫C'est pourquoi nous examinons ces autres mesures, telles que la moyenne macro, c'est là que nous
‫pouvons dire, OK, nos modèles tombent ici sur la position.
‫Il obtient en fait une précision nulle pour la classe un, ce qui est logique car il n'a même pas prédit
‫la classe un.
‫Et ici, il obtient essentiellement 100 pour cent sur la classe zéro parce qu'il n'a prédit que la classe zéro.
‫Il s'agit donc d'une sorte de scénario de cas d'utilisation dans lequel vous voulez vous assurer que vous utilisez
‫un large éventail de métriques d'évaluation pour vos modèles de classification et pas seulement la précision.
‫Et maintenant, nous venons juste d'aborder certaines des métriques que vous pouvez utiliser pour évaluer un algorithme de classification,
‫mais il y en a quelques autres.
‫Donc, si vous voulez en savoir plus, alors allons-y, évaluation du modèle, Saikat apprend.
‫Nous allons regarder la documentation.
‫Si vous venez ici, il s'agit d'un petit extrascolaire, c'est de jeter un œil à cette section ici.
‫Donc, tout ce que j'ai fait est d'aller dans la documentation du prêt de socket pour l'évaluation du modèle.
‫Nous arrivons au classement.
‫Nous pouvons en voir quelques-uns ici, ceux que nous avons couverts.
‫Et donc ceux que nous avons couverts sont probablement le strict minimum que vous souhaitez utiliser, n'est-ce pas ?
‫Donc zone de précision sous la courbe rocheuse ou vous voyez confusion, matrice et rapport de classification.
‫Alors gardez-les dans votre trousse à outils.
‫Et si vous avez besoin de plus, assurez-vous de vous référer à la documentation.
‫Cela va donc conclure nos mesures d'évaluation spécifiques à la classification.
‫Plongeons dans la section suivante.
‫Nous examinerons quelques métriques d'évaluation du modèle de régression plus spécifiques.