‫Merveilleux.
‫Nous avons vu comment obtenir rapidement un aperçu du fonctionnement de nos modèles d'apprentissage automatique et
‫l'évaluer à l'aide de la méthode de score, et cela renverra une métrique d'évaluation par défaut
‫en fonction du problème sur lequel nous travaillons dans la régression, ses retours, le coefficient de détermination et en classification, il renvoie
‫la précision principale.
‫Cependant, lorsque vous approfondissez un problème, vous souhaiterez probablement commencer à utiliser des métriques plus puissantes pour
‫évaluer les performances de votre modèle.
‫Et donc naturellement, la prochaine étape par rapport à l'utilisation du score consiste à utiliser un paramètre de score personnalisé.
‫Donc, si nous voyons ici, nous avons examiné cette estimation, une méthode de score, et maintenant
‫nous allons examiner l'utilisation d'un paramètre de notation, des outils d'évaluation de modèle, en utilisant la validation croisée, ou nous devrons peut-être voir
‫ce que C'est.
‫Alors plongeons-y.
‫Ce que nous allons faire, c'est régler cela.
‫Maintenant, vous devrez me supporter pour les prochaines vidéos car nous allons en couvrir pas mal ici.
‫La raison en est que l'évaluation d'un modèle d'apprentissage automatique est une étape si importante.
‫C'est une chose d'appeler une fonction d'ajustement sur certaines données, mais la prochaine chose la plus importante est de savoir,
‫hé, ce modèle fonctionne-t-il réellement ?
‫Apprend-il quelque chose ?
‫Pourrions-nous l'utiliser pour prédire l'avenir?
‫Et c'est pourquoi s'assurer que nous couvrons beaucoup de terrain ici.
‫Alors, commençons.
‫Ce que nous allons faire, c'est partir d'Escalon, ne pas sélectionner de modèle, importer le score de Crosswell.
‫Et comme toujours, nous allons d'abord exécuter le code avant de nous plonger dans ce qui se passe réellement.
‫Et ce dont nous avons besoin, c'est d'un code de classification.
‫Donc ce que nous allons faire, nous pouvons le copier.
‫Soit dit en passant, vous êtes autorisé à copier ceci, car nous avons écrit à quelques reprises maintenant.
‫Donc, la seule différence ici par rapport à ce que nous avons fait est que nous avons importé le score de Crossville à partir de la sélection de
‫modèles de prêts Saikat.
‫Maintenant, la prochaine chose que nous allons faire parce que nous avons appelé fit ici, nous voulons mettre un petit point-virgule afin
‫de ne pas obtenir une grande sortie.
‫Vous savez quoi?
‫Cet avertissement revient sans cesse, nous pourrions donc continuer à le modifier et estimer à 100.
‫Merveilleux.
‫Et donc Crossville score, il y a le mot score dedans, mais nous avons vu ce que fait ce Crossville?
‫Eh bien, regardons comme aller voir notre score.
‫Nous allons d'abord faire les données de test afin de pouvoir comparer, puis nous ferons de même.
‫Mais cette fois, en utilisant Crossville Score, Crossville Score et Crossville Score prend notre classificateur.
‫Il prend les données X et il prend les données Y, pas le test.
‫Et pas le train.
‫On verra ce qui se passe dans une seconde.
‫Oh, que se passe-t-il ici et encore, nous recevons un autre avertissement, c'est juste pour dire que la valeur
‫par défaut de C. V passera de trois à cinq.
‫Donc, si nous regardons cet onglet de décalage.
‫Lisons la doctrine, évaluant un score par validation croisée ce qui est encore une validation croisée, et
‫donc C. V va nous donner un avertissement.
‫C'est de là que vient cet avertissement.
‫Si nous changeons cela de C. V Eagles', la valeur par défaut est trois.
‫Si nous le changeons en cinq, cet avertissement disparaîtra et nous obtiendrons ensuite un tableau
‫de cinq scores différents.
‫Hmm.
‫C'est donc probablement la première différence que vous remarquerez.
‫Le score de Crossville renvoie un tableau, alors que le score ne renvoie qu'un seul nombre.
‫OK, alors comment pouvons-nous comprendre cela?
‫Nous devons comprendre ce qu'est la validation croisée parce que c'est, après tout, ce que fait Crossville Score,
‫revenir dans la chaîne du dock.
‫Évaluer un score par validation croisée malchanceux.
‫Voici quelque chose que j'ai préparé plus tôt pour démontrer, et comme toujours, je comprends mieux les choses visuellement.
‫Vous pouvez faire de même pour démontrer ce que fait la validation croisée.
‫Donc, ce que nous avons fait auparavant dans notre attelle de test d'entraînement normale, nous avons donc divisé nos données en entraînement afin que cela
‫puisse être un séjour.
‫Nous avons commencé avec 100 dossiers de patients.
‫Nous l'avions divisé en une division d'entraînement.
‫Dans notre cas, nous avons utilisé 80 pour cent et cela contiendrait le train X et le train Y 80 échantillons.
‫Et j'ai utilisé le nombre 100 ici.
‫Nous avons vraiment plus que cela.
‫Mais c'est juste parce que les chiffres fonctionnent mieux visuellement ici.
‫Et dans notre ensemble de données de test, nous avons 20 pour cent des données qui contiendraient le test X et le test Y.
‫Maintenant, la différence ici avec la validation croisée et dans notre cas, cette image ici démontre la validation
‫croisée quintuple.
‫La validation croisée à laquelle vous faites probablement référence est le pli K, où K est un nombre arbitraire.
‫Et la raison pour laquelle nous en utilisons cinq est que nous sommes revenus ici.
‫C. V est égal à cinq là-bas.
‫Cela signifie donc validation croisée.
‫Et c'est de cela dont je parle, diviser nos données en formation et test en utilisant 20% pour le site
‫de test.
‫Cela signifie donc naturellement que les 80 % restants vont aux données d'entraînement, d'où vient cette petite
‫division ici.
‫Maintenant, ce que fait la validation croisée, c'est qu'elle effectue cinq divisions différentes, elle utilisera donc les 20 premiers pour cent.
‫Vous voyez donc ici comment cela utilise en quelque sorte le dernier tableau, 20 pour cent ici.
‫Il va donc créer un ensemble de données de test ici et un ensemble de données d'entraînement ici.
‫Ensuite, je vais me déplacer ici et l'utiliser comme ensemble de données de test, puis à nouveau.
‫Et encore et encore.
‫Et donc, ce qui se passe, c'est que la validation croisée entraîne cinq versions différentes du modèle, puis elle évalue
‫que ces modèles ont été entraînés sur chaque donnée d'entraînement sur cinq versions différentes des données de test.
‫Alors quel est le but de cela?
‫Eh bien, comme vous pouvez l'imaginer, si nous n'entraînons qu'un seul modèle, cela pourrait être un partage chanceux comme, disons, ceci, 80% des
‫lignes disent qu'il y avait tout un tas d'informations dans le modèle, a été capable d'apprendre
‫très bien sur ces quatre-vingts lignes, sur ces 80 dossiers patients.
‫Et puis il a obtenu un très bon score sur cet ensemble de test.
‫Est-ce un reflet fidèle de la façon dont notre modèle comprendrait les données ou déterminerait les modèles dans les données
‫?
‫Eh bien, pas vraiment vrai.
‫Parce que c'est juste de la chance, non ?
‫Si nous ne faisons que diviser cela au hasard et que d'une manière ou d'une autre, un tas de dossiers de patients faciles sont arrivés
‫ici et les modèles ont découvert certains modèles et c'est parti ici.
‫Cet ensemble de données de test et a obtenu un score incroyable.
‫Nous pourrions nous tromper.
‫Nous pourrions nous leurrer en pensant que notre modèle est bien meilleur qu'il ne l'est réellement.
‫C'est donc là que la validation croisée entre en jeu.
‫Il vise à fournir une solution pour ne pas s'entraîner sur toutes les données et éviter d'obtenir ces scores
‫chanceux sur une seule division de données afin de créer cinq divisions différentes.
‫Donc, quoi qu'il en soit, notre modèle va s'entraîner sur toutes les données et être évalué sur toutes les
‫données.
‫Et c'est pourquoi si nous revenons.
‫Pour voir le score de Crosswell, c'est pourquoi il nous renvoie ici cinq scores différents.
‫Oh, alors cela commence à avoir du sens si nous appelons le paramètre score uniquement sur nos données de test.
‫Et maintenant, pourquoi les données des tests vont rendre une école.
‫Mais si nous appelons le score de Crossville parce que nous nous référons au graphique ici, cela va faire cinq
‫divisions différentes.
‫Et rappelez-vous, Cinq fois n'est qu'un nombre arbitraire.
‫Vous pourriez faire dix fois, vous pourriez faire trois fois.
‫Vous pouvez même faire un 100 fois.
‫Mais quintuple est la valeur par défaut de la bibliothèque.
‫C'est généralement assez bon, selon la taille de vos données.
‫Nous utiliserons donc Five-fold pour démontrer ici.
‫Juste pour vous le prouver, nous pouvons entrer ici, Crosswell School et en faire 10.
‫Cela signifie donc qu'il va juste faire dix divisions différentes, exactement la même chose que celle-ci.
‫Et puis retourne 10 scores différents.
‫Alors vous dites ici, c'est un excellent exemple sur le split one, il faut marquer le point neuf.
‫Cela pourrait donc être 90 pour cent, ce qui est plus élevé ici.
‫Mais sur un split plus léger, il a quelque chose de beaucoup plus bas, 72.
‫Et donc ce que nous faisons ici, c'est trouver une mesure de performance ou une mesure d'évaluation plus idéale pour notre
‫modèle, c'est que nous pouvons prendre la moyenne de ces cinq scores.
‫Voyons cela arriver.
‫Nous allons tout faire dans une seule cellule, graine aléatoire.
‫Et ce que nous allons faire, c'est obtenir une seule note d'entraînement et de test.
‫Je vais m'assurer de voir un seul score et aller voir que j'ai quitté le test de l'école X.
‫Il va utiliser les mêmes données ici.
‫Pourquoi tester ?
‫Merveilleux.
‫Et puis nous allons prendre l'école de validation croisée Mane of Five-fold.
‫L'école auto-croisée équivaut à l'ENPI principal, alors nous avons besoin de l'école croisée X, oh non, nous devons la réussir.
‫Notre classificateur X, Y et nous utilisons CV est égal à cinq et puis.
‫Comparez les deux.
‫Nous allons donc voir un single live.
‫Score, puis score de Silver Cross Valley.
‫Alors que voyons-nous ici?
‫Eh bien, dans notre cas.
‫Notre score unique d'origine, qui se trouve maintenant ici, est exactement le même nombre, car nous
‫utilisons une graine aléatoire, en utilisant les mêmes données de test, notre score unique est de zéro virgule huit cinq.
‫Mais lorsque nous utilisons la validation croisée, lorsque nous utilisons cinq divisions parce que S. V. est égal à cinq, nous obtenons un score
‫de huit virgule deux.
‫C'est donc un peu plus bas.
‫Mais dans ce cas, si on vous demande de déclarer la précision de votre modèle, même si
‫elle est inférieure, vous préférez la métrique de validation croisée à la métrique de non-validation.
‫Attendez, nous n'avons même pas du tout utilisé le paramètre de notation.
‫Eh bien, c'est parce que par défaut, il est défini sur aucun.
‫Jetons un coup d'œil au paramètre de notation défini sur aucun.
‫Par défaut, c'est un record Crossville school sealife, x, y CV, on peut passer la notation ici et ça va être dit à
‫aucun.
‫Donc, si nous changeons de sujet, comment puis-je le savoir ?
‫Eh bien, heureusement, le doctoring est utile.
‫C par défaut, il est défini sur aucun.
‫Donc, si nous continuons à faire défiler vers le bas.
‫Peut-être notre bloc-notes, donc chaîne de notation appelable sur aucun, valeur par défaut facultative, aucun.
‫Oh, OK, une chaîne voir la documentation d'évaluation du modèle.
‫C'est ce que nous avons dû chercher ici.
‫Ou une fonction d'objet global Sakurako avec un score de signature, une estimation de
‫x Y, qui ne devrait renvoyer qu'une seule valeur si aucune, l'estimation est le scoreur par défaut si disponible est utilisée.
‫D'accord.
‫Maintenant, c'est pourquoi nous savons qu'il s'agit d'exactitude, car si le paramètre de notation du score
‫de Crossville est nul, il utilise le paramètre de notation par défaut de notre estimation dans notre cas.
‫Qu'est-ce que c'est?
‫Le
‫paramètre de notation des fautes de la précision moyenne des aigles classificateurs et où avons-nous vu cela auparavant ?
‫Nous l'avons vu dans la dernière vidéo lorsque nous avons quitté l'école et que nous avons appuyé sur l'onglet "Shift" pour obtenir une précision moyenne sur les données et l'étiquette
‫de donner et de tester.
‫Cela signifie donc que lorsque nous avons un score défini sur aucun, il va utiliser la métrique d'évaluation par défaut
‫pour la validation croisée sur notre classificateur.
‫Donc, si nous appuyons sur Maj et entrons.
‫Va retourner les mêmes valeurs ou peut être légèrement différent, n'est-ce pas, car nous n'avons pas configuré de
‫siège dans cette cellule.
‫Ces valeurs vont donc être différentes de l'école de Crossville que nous voyons là-bas.
‫Si nous l'avions exécuté ici, nous aurions vu des valeurs similaires.
‫Qu'avons-nous couvert ici?
‫Eh bien, comme vous l'avez peut-être deviné, le paramètre de notation peut être modifié, donc nous pouvons, comme le dit
‫le psy, nous pouvons importer notre propre paramètre de notation ici.
‫Nous pouvons changer cela en autre chose que rien.
‫C'est ce que nous allons commencer à couvrir et nous allons jeter
‫un œil dans les prochaines vidéos, à d'autres métriques d'évaluation de modèle de classification que nous pouvons utiliser avec la validation croisée.
‫Et alors pourquoi utilisons-nous la validation croisée ?
‫Eh bien, comme nous l'avons vu.
‫Dans l'image, la validation croisée vise à résoudre le problème de ne pas s'entraîner sur toutes les données, n'est-ce pas ?
‫Nous créons donc cinq modèles et nous finissons par avoir un modèle formé sur toutes les données et en évitant d'obtenir
‫des scores chanceux.
‫Nous nous sommes donc entraînés sur un seul split et nous l'avons vu en action.
‫Avec notre score fractionné unique ici, nous obtenons un score légèrement plus élevé que notre score de validation croisée.
‫Eh bien, c'est la loi maintenant.
‫Il nous en reste encore un peu.
‫Voyons quelques métriques de classification en profondeur qui se produisent.
‫Je te verrai dans la prochaine vidéo.