‫Maintenant, nous avons vu les hyper paramètres de notre modèle de régression logistique, et le score
‫est plutôt bon ici, mais souvenez-vous de ce score, le score par défaut pour un classificateur est la précision.
‫Ce que nous voulons faire maintenant, c'est créer des métriques d'évaluation autour de notre modèle qui vont un peu au-delà de
‫la précision.
‫Plus précisément, créons notre modèle d'apprentissage automatique optimisé, en fait des classificateurs d'apprentissage automatique pour un
‫meilleur.
‫Ces métriques d'évaluation sont spécifiques à la classification, nous allons donc aller au-delà de la précision.
‫Donc, encore une fois, plus précisément, nous voulons une courbe RSI et un U. S. But.
‫Nous voulons également une matrice de confusion, en y mettant des défauts qui semblaient en fait provenir de The Matrix avec beaucoup
‫de chiffres.
‫Vous savez, cet écran vert qui coule, ils veulent un rapport de classification.
‫Que voulons-nous d'autre ?
‫Nous voulons un rappel de précision et un score F1, et ce serait formidable.
‫Et ce serait formidable si la validation croisée était utilisée dans la mesure du possible.
‫Alors transformons cela en démarques.
‫C'est ce sur quoi nous allons travailler, utiliser notre grille de recherche à l'ancienne, notre modèle de
‫régression logistique, ainsi que le meilleur type de paramètres pour cela.
‫Et nous verrons où ils entrent en jeu dans une seconde.
‫Donc, tout d'abord, lorsque nous évaluons un modèle, nous comparons toujours la façon dont les prédictions d'un modèle
‫entraîné se comparent aux étiquettes de vérité.
‫Donc, ce que nous devons faire, c'est d'abord faire quelques prédictions afin de pouvoir les comparer aux étiquettes de vérité, a. k. une.
‫les étiquettes dans l'ensemble de données de test pourquoi.
‫Alors faisons-le.
‫Très bien, une note ici pour faire des comparaisons et évaluer notre modèle formé.
‫Tout d'abord, nous devons faire des prédictions.
‫Donc, ce que nous allons faire, c'est faire des prédictions avec un modèle ajusté et il y a une belle fonction appelée prédiction que nous pouvons utiliser pour cela, donc
‫nous allons l'enregistrer dans pourquoi les défilés ?
‫Nous utilisons G. S. Log Regg, qui n'est que notre version de train de notre modèle de recherche de grille, Segers Log.
‫Regg, ne prédis pas.
‫Et nous allons prédire sur les données de test pourquoi.
‫Merveilleux.
‫Et voyons-les juste pour s'assurer que nous ne devenons pas follement belles.
‫Et maintenant, nous devons les comparer à l'ensemble de données de test.
‫Nous examinons donc cela ici.
‫OK, donc si nous voulions aller à zéro zéro, nous pouvons savoir que celui-ci est faux.
‫C'est censé être un zéro là-bas ?
‫Parce que ce sont les étiquettes de vérité et alors nous pourrions continuer à passer par là, mais nous n'allons pas
‫le faire.
‫Nous voulons utiliser du code pour le faire.
‫La première chose d'abord, nous voulons basculer la courbe car rappelez-vous que nous avons cette petite liste, la
‫courbe ascendante et l'école AUC.
‫Hmm.
‫Qu'est-ce qu'une courbe rocheuse?
‫Eh bien, si nous regardions vers le haut et qu'est-ce qu'une courbe rocheuse.
‫Nous sommes passés par ce processus de compréhension de A. S. Rockhead, donc si nous devions lire ceci.
‫Ce que nous obtiendrions, c'est que la roche est créée en traçant le taux de vrais positifs par rapport au taux de faux
‫positifs à divers réglages de seuil.
‫OK beauté.
‫Voyons donc comment nous procédons, la courbe de roche est un moyen de comprendre les performances de votre
‫modèle en comparant le taux de vrais positifs au faux positifs.
‫À droite.
‫Et si nous voulons comprendre ce qu'est un vrai positif et un faux positif, nous pouvons jeter un œil à notre
‫matrice de confusion pour cela.
‫Ainsi, un modèle vrai positif prédit un lorsque la vérité est un et un faux positif est simplement le modèle prédit un lorsque
‫la vérité est supposée être zéro.
‫Et un modèle parfait va avoir un œil, vous voyez l'école, ce que nous voyons dans une seconde de 1. 0.
‫Voyons donc comment nous procédons.
‫Importez donc la fonction de courbe RISC depuis Escalon, matrice de points.
‫C'est de là que ça vient.
‫C'est là qu'il vit.
‫Mais en fait, nous l'avons déjà fait, comme pour toutes les autres fonctions Skyland que nous utilisons depuis
‫le début.
‫Remontez ici.
‫Il s'agit donc d'évaluations de modèles en ce moment dans cette section suivante.
‫Cette prochaine vidéo, nous allons aborder tout à partir d'ici.
‫Donc, nous pouvons voir ici que nous avons un randomiseur d'une recherche par grille, une courbe de tracé de matrice de confusion que nous sommes
‫sur le point d'utiliser des dossiers scolaires de précision, école, EF1, école.
‫Ce sont donc pour notre modèle de classification.
‫Alors descendons.
‫Nous pouvons nous épargner une ligne de code, nous n'avons pas besoin de l'importer.
‫On va redescendre ici, on peut juste tracer la courbe Roc.
‫Maintenant, il s'agit d'un ajout relativement nouveau à cette bibliothèque de deuxième ligne, dont je suis très, très
‫satisfait, car généralement vous deviez les écrire sur votre propre dysfonctionnement, cette courbe de tracé, et la calculer calcule en fait
‫le U. S. métrique pour nous.
‫Donc, la zone sous la métrique de la courbe, voyons-la en action, puis tracez la courbe.
‫G. S. Law, Greg, et si nous recherchons cela dans la documentation
‫et nous dirons ce que cela fait, une estimation de ce qui est notre modèle d'apprentissage automatique à X pour cent Y caractéristique de fonctionnement du récepteur de tracé,
‫a. k. une. Courbe de Roc.
‫C'est ce que cela va faire pour nous.
‫De belles choses comme le test Wragg X et nous voulions le faire sur l'ensemble de données de test.
‫Toujours évaluer.
‫Cela devrait être calculé, toujours évaluer vos modèles d'apprentissage automatique dans l'ensemble de données de test et voyons.
‫Oh magnifique.
‫OK, alors souvenez-vous d'une courbe parfaite que nous avons vue dans les vidéos précédentes.
‫Nous sommes montés jusqu'à ce coin, puis nous avons traversé comme ça, mais Elstein est assez bien en place et nous obtenons une zone sous
‫la courbe.
‫Donc, si nous calculons toute cette zone sous ici de zéro virgule neuf trois, bien sûr un modèle parfait
‫atteindra 1. 0 comme modèle.
‫Pas parfait, mais c'est un score d'acte de zéro virgule neuf trois quand la moyenne est juste.
‫Lancer une pièce serait essentiellement zéro virgule cinq, donc nous nous rapprochons d'un modèle parfait, pas mal pour un modèle
‫qui vient de sortir de la boîte.
‫Très bien.
‫La prochaine chose que nous voulons faire.
‫C'est une matrice de confusion, alors disons que la matrice de confusion, comment pourrions-nous faire cela ?
‫Donc je pense que la ligne a une fonction et je ne pense pas connaître socket.
‫Il a une fonction.
‫Nous pouvons faire confusion, matrice, et nous voulons comparer les niveaux de troupes au sol avec les niveaux prédits.
‫OK, je pourrais juste le laisser comme ça.
‫C'est un peu fade.
‫Nous pouvons améliorer la visualisation de cette matrice de confusion en utilisant.
‫Seabourne, c'est ce que tu veux.
‫Alors on veut y aller.
‫Je crois que nous avons déjà Seabourne ici.
‫Ouais, faire S. UNE. S. , oui, nous le faisons.
‫Nous vous avons donc déjà fait participer à ce projet afin que nous puissions y aller.
‫Ce que je pourrais faire, c'est savoir à l'avance que nous avons besoin d'une taille de police plus grande.
‫La taille de la police est égale à un virgule cinq.
‫Ce n'est tout simplement pas réglé.
‫Et nous allons créer une petite fonction ici au cas où nous voudrions créer une autre matrice
‫de confusion, car la fonction de matrice de confusion de cyclone n'est pas à la hauteur car la réalisation de cette vidéo pourrait toujours
‫être une opportunité pour une demande d'extraction.
‫Alors on y va.
‫Agréable et simple, nous allons donc simplement poser ce test fonctionnel.
‫Les étiquettes et nos étiquettes prédites, puis nous allons créer de jolis tracés, une belle
‫matrice de confusion utilisant des bords de mer, nous l'avons vu avant la carte de hauteur.
‫Merveilleux.
‫Nous avons donc un grand X égal à des sous-parcelles de points T, une grande taille équivaut à trois trois o extrémité de décalage pour déclencher à nouveau heureux
‫X est égal à sinistre carte thermique.
‫Merveilleux.
‫Nous allons poser la matrice de confusion du site de la fonction de la ligne psychique.
‫Pourquoi tester.
‫Pourquoi Fred.
‫Et puis nous voulons ajouter ici et pas si annoter, oui, s'il vous plaît, annoter est égal à vrai.
‫Et on va aller au bar parce qu'on ne veut pas de Colaba, parce que j'ai vu les
‫talibans, ça n'a pas l'air trop bien sur une confusion Matrixx pénalité n'ex étiquette.
‫Fiable.
‫Et puis nous allons indiquer pourquoi responsable, allons prédire la diffamation et voyons cela.
‫Nous avons donc beaucoup de confusion mathématique.
‫Matrixx, pourquoi tester ?
‫Pourquoi des défilés ?
‫Oh, qu'avons-nous fait, la taille de la police ?
‫Ce sac de Fonzi est faux.
‫Quelle est cette échelle O ?
‫Hé, on a un onglet.
‫Ce pour quoi je peux y jouer est classique et cela nous donne cette petite chose coupée
‫ici afin que nous puissions résoudre ce problème, je crois, en allant au-dessus parce que x ne comprend pas pourquoi limn.
‫Ouais.
‫Et puis nous voulons passer à X dot set Wiliam.
‫Fais que ça soit un peu joli, Whilom, et ce sera le dernier virgule cinq en bas moins zéro virgule
‫cinq.
‫Maintenant, bien sûr, si vous êtes confus, Matrix est bien sorti, vous n'aurez peut-être pas besoin de ces lignes,
‫mais cela n'a pas d'importance.
‫On y va.
‫Nous pourrions regarder un peu mieux.
‫Vous pouvez donc voir que le modèle se confond.
‫Donc prédit la mauvaise étiquette relativement la même dans les deux classes.
‫Donc, en substance, il y a quatre occasions ici où le modèle a prédit zéro.
‫L'étiquette prédite prédisait ainsi qu'une personne n'avait pas de maladie cardiaque alors qu'elle aurait dû être prédite
‫comme telle.
‫C'est donc un faux négatif.
‫C'est donc prédire zéro au lieu d'un, un faux négatif.
‫Rappelez-vous, comme nous revenons ici, le modèle faux négatif prédit zéro lorsque la vérité est gagnée.
‫Et là, c'est les faux positifs.
‫Donc, d'accord, nous avons ici trois cas où un modèle prédit, l'un, que quelqu'un a une maladie cardiaque alors qu'en réalité
‫ce n'est pas le cas.
‫Et vous pouvez voir que ce sont deux choses que nous voulons éviter.
‫À droite.
‫Surtout quand on pense à quelque chose d'aussi grave ou aussi grave qu'une maladie cardiaque, même en prédisant quand elle
‫n'est pas présente.
‫Donc ici, si on prédit zéro, donc pas de maladie quand elle est présente.
‫D'accord, c'est mauvais.
‫Mais aussi prédire qu'il est là alors qu'il n'y est pas réellement, c'est aussi mauvais.
‫C'est donc quelque chose que vous devez prendre en compte lorsque vous créez ce type de modèles.
‫Un faux négatif est-il pire ou un faux positif est-il pire ?
‫Et encore une fois, un modèle parfait n'aurait rien de tout cela.
‫Mais en réalité, vous allez probablement finir par avoir une sorte de confusion ici avec votre modèle.
‫Vous n'allez pas idéalement, ce serait parfait ici, de l'autre côté de la ligne.
‫Maintenant, nous avons créé une matrice de confusion.
‫Nous avons cela là-bas.
‫Nous pourrions partager cela avec notre patron.
‫On pourrait partager ça avec notre boss rocker là-bas.
‫Et après?
‫Rapport de classement ?
‫OK, et ce serait formidable si la validation croisée était utilisée dans la mesure du possible.
‫D'accord, c'est donc ce que nous pourrions aborder dans la prochaine vidéo.