‫Nous avons maintenant nos données dans X, train Y, train X validation, Y validation, mais dans une vidéo précédente, nous avons évalué notre
‫modèle à l'aide de cette fonction de score.
‫Qu'est-ce que la fonction de l'école utilise, elle utilise le coefficient de détermination, mais si nous nous souvenons tout
‫de suite, le haut remontera tout en haut juste pour vérifier, parce que nous avons écrit cela.
‫Nous savons que la métrique d'évaluation pour cette compétition, donc pour ce projet sur lequel nous
‫travaillons est un SLA ou en d'autres termes, une erreur quadratique moyenne du journal.
‫Ce n'est pas la même chose que le coefficient de détermination.
‫Et si vous vous demandez d'où vient cette fonction d'évaluation, c'est à partir de l'évaluation d'ensemble du concours de
‫vaches, que nous avons vue dès le début.
‫Mais nous allons simplement vérifier cela à nouveau.
‫Évaluation.
‫Donc, la métrique d'évaluation pour cette compétition est l'AR et nous pouvons certainement Google cela pour voir ce que
‫c'est réellement.
‫Allons ici.
‫Laurita quadratique moyenne.
‫Quelle est la différence entre comment interpréter l'erreur quadratique moyenne ?
‫OK, nous avons donc quelques options là-bas.
‫Donc, si vous vouliez lire plus loin, c'est quelque chose que vous pouvez rechercher, mais nous allons travailler à
‫travers cela dans le code.
‫Descendons.
‫Vous vous demandez peut-être pourquoi nous n'avons pas vu ou vraiment mentionné l'erreur de journal quadratique moyenne.
‫C'est un peu une bouchée en soi.
‫Donc ce que nous pourrions faire, nous allons devoir créer notre propre fonction d'évaluation parce que si nous revenons
‫à notre keynote.
‫Donc, les métriques de classification et de régression travaillant sur le problème de régression ici, c'est l'une des diapositives
‫de, je pense, la section des prêts.
‫Nous avons une erreur absolue principale.
‫Je veux dire, erreur quadratique, MSI, OK, erreur quadratique moyenne.
‫Mais il manque le composant de journal.
‫Voyons si nous pouvons le faire via Escalon.
‫Nous y retournerons donc.
‫Ce que nous pourrions faire, c'est créer notre propre bâtiment ainsi qu'une fonction d'évaluation.
‫Maintenant, c'est quelque chose que vous devrez peut-être faire en fonction du projet sur lequel vous travaillez.
‫Droit.
‫Donc, si nous travaillons sur cette compétition de câble et qu'ils disent que pour une raison quelconque nous devons utiliser
‫cette métrique, qui sait ?
‫Les personnes qui ont posté ce défi peuvent en avoir besoin.
‫Ils ont peut-être décidé qu'il s'agissait de leur meilleure mesure d'évaluation.
‫Selon le projet sur lequel vous travaillez, vous devrez peut-être trouver une fonction d'évaluation qui convient le
‫mieux à votre cas d'utilisation.
‫Et donc ce que nous allons faire, c'est créer une fonction d'évaluation parce que nous allons exécuter plusieurs expériences,
‫nous voulons alimenter plusieurs modèles d'apprentissage automatique différents et les évaluer.
‫C'est pourquoi nous allons l'intégrer dans une fonction afin que nous puissions utiliser cette fonctionnalité plusieurs fois sans avoir à nous répéter,
‫car nous sommes un peu paresseux quand il s'agit d'écrire tout ce code, vous savez ?
‫Je veux juste expérimenter de plus en plus et créer une fonction de valorisation.
‫La compétition utilise énormément la racine, la moyenne et le carré de Loewer.
‫On peut donc passer de Skyline, Dot, Matrix, je peux vous le dire.
‫Alors j'apprends.
‫Vous pouvez consulter les métriques d'évaluation d'Escalon, mais nous pouvons passer par ici, nous pouvons jeter un œil à
‫certaines métriques d'évaluation, l'erreur quadratique moyenne du journal.
‫OK, donc nous pourrions l'utiliser.
‫Je veux dire, erreur de log au carré, mais nous allons devoir ajouter notre propre petit morceau là-dessus, car ce
‫n'est pas la moyenne quadratique plus longue.
‫Donc ce que nous pourrions faire, c'est qu'ils pourraient prendre celui-ci.
‫Nous pouvons importer cela.
‫Faisons cela.
‫Ainsi, à partir des métriques apprises par České, importez l'erreur principale du journal au carré et cela signifierait une erreur absolue.
‫Vous faites des prédictions sur tous les exemples, puis vous diminuez vos prédictions de vos valeurs réelles et prenez
‫la moyenne.
‫C'est une erreur absolue.
‫Alors, à combien s'élève en moyenne votre prédiction par rapport au prix de vente réel ?
‫Mais la principale erreur de log au carré est davantage liée au rapport et le plus souvent à des problèmes de régression.
‫Droit.
‫Si tu veux.
‫Dix dollars de rabais quelque chose comme.
‫Donc, si nous étions à dix dollars de moins, cette prévision du prix de vente n'aurait pas vraiment d'importance.
‫Mais si nous étions à 10 % de rabais, ce serait plutôt mauvais.
‫Droit?
‫Vous ne voulez pas être plus de 10 pour cent de quelque valeur que ce soit insérer quelque chose.
‫Cela pourrait être 20 pour cent, pourrait être 30 pour cent.
‫Mais c'est un peu la différence entre ces deux, non?
‫Chaque fois que vous voyez l'absolu.
‫Pensez-y comme à dix dollars de rabais et à chaque fois que vous voyez comme un carré ou une sorte de bûche
‫ou pensez-y comme le rapport.
‫Donc, étant à environ 10 % de réduction, c'est à ce moment-là que vous pouvez vraiment les comparer l'un à l'autre.
‫Mais nous en avons un peu plus dans la diapositive.
‫Vous voudrez peut-être faire une capture d'écran de cela.
‫C'est assez bon, mais tout cela sera dans la diapositive.
‫Vous pouvez vérifier plus tard.
‫Nous voulons créer une fonction d'évaluation.
‫Nous avons une erreur de journal au carré principal.
‫Alors, comment pourrions-nous transformer cela en journal quadratique moyen.
‫Essayons donc.
‫Alors peut-être qu'on y va.
‫Je ne veux pas taper root signifie que c'est trop r.
‫Moyenne de la racine S Emslie.
‫Squared Laguerre, beau, et ça peut juste passer y test et pourquoi le défilé va
‫prendre les mêmes entrées que mes fonctions d'apprentissage Saikat pour voir comment cela prend vrai, pourquoi lire cela pourrait être vrai.
‫Cela pourrait être votre test.
‫Peu importe pourquoi tester.
‫Et puis on y va, on se laisse un peu de doctoring.
‫Calcule
‫l'erreur de log quadratique moyenne.
‫Entre les prédictions et les vraies vraies étiquettes, merveilleux, et puis nous retournons myco, ce qui est agréable et simple, nous pouvons
‫simplement utiliser chaque racine carrée de l'erreur de log quadratique moyenne.
‫Il devra transmettre cela aux valeurs de test et aux prédictions pour signifier la logorrhée au carré.
‫C'est en fait assez facile.
‫Ce que nous faisons ici, nous prenons la racine carrée.
‫Donc.
‫Droit.
‫Donc la composante racine de l'erreur logarithmique carrée principale, la logorrhée carrée principale entre les prédictions et les vraies
‫étiquettes.
‫Merveilleux.
‫Nous avons donc créé notre propre fonction d'évaluation qui correspond aux exigences de Cagle, l'avocat à la
‫racine carrée.
‫OK, et nous voulons probablement vérifier quelques autres choses comme nous voulons créer une fonction d'évaluation pour vérifier quelques choses en même
‫temps afin que nous n'ayons pas à appeler quelque chose comme ça.
‫Créons donc une fonction pour évaluer le modèle à plusieurs niveaux différents.
‫Encore une fois, l'évaluation est tout aussi importante que la construction du modèle réel.
‫Nous allons donc entendre le modèle des scores de spectacle, donc nous allons le passer.
‫Notre modèle.
‫Nous allons faire des prédictions sur les données d'entraînement, certains modèles ne prédisent pas.
‫Nous évaluerons donc comment notre modèle s'est comporté sur le train de données d'entraînement X, puis nous évaluerons comment notre modèle s'est comporté
‫sur le modèle de données de validation ne prédit pas.
‫Nous le transmettrons ici à la validation x si notre modèle fonctionne mieux sur l'ensemble de données de validation qui nous
‫indique que notre modèle est surajusté.
‫Donc, entre l'entraînement et la validation, en général, parce que notre ensemble de validation n'a que 12 000 exemples et
‫que nous n'entraînons pas notre modèle dessus, vous voudriez voir des métriques légèrement pires sur l'ensemble de
‫validation, en inversant l'ensemble d'entraînement.
‫Donc, nous allons obtenir des scores égaux.
‫Peut-être que nous renverrons un dictionnaire quelconque.
‫Oui.
‫La formation et ils, je veux dire, l'erreur absolue.
‫Nous allons passer à la saisie semi-automatique de Kitab qui signifie erreur absolue.
‫Oui je peux.
‫Pourquoi s'entraîner.
‫Alors rappelez-vous, nous ne faisons que comparer le pourquoi du train.
‫Il s'agit donc de l'erreur absolue moyenne d'entraînement sur les étiquettes d'entraînement par rapport aux prédictions d'entraînement et
‫magnifique.
‫Nous allons y aller valide.
‫Donc, encore une fois, vous vous attendriez à ce que cette validité soit légèrement pire et la formation sera pourquoi valide ?
‫Et ce sera le valproate.
‫Et ensuite, nous allons nous entraîner et XLE pour l'erreur quadratique moyenne.
‫Et nous pouvons le faire en utilisant notre petite fonction sophistiquée que nous venons de créer ici.
‫C'est excitant d'écrire nos propres fonctions d'évaluation, c'est peut-être une pull request, potentiellement
‫psychédélique.
‫Je me demande pourquoi ils n'ont pas d'erreur de journal quadratique moyenne.
‫Ce n'est peut-être pas si populaire.
‫Ou peut-être pouvez-vous simplement le créer vous-même comme ça.
‫Est-ce exact?
‫Pourquoi former former des cerveaux.
‫Je parle trop.
‫Ne parle pas.
‫Et le naumkin de Colgate.
‫Tu peux faire ce que tu veux.
‫Nous y voilà.
‫Ici, FSLIC, sauf que vous ne sous-évaluez pas votre modèle d'apprentissage automatique.
‫C'est la seule chose que vous n'êtes pas autorisé à faire.
‫Tout le monde aime un bon modèle, mais tout le monde aime encore plus un modèle d'apprentissage automatique bien évalué.
‫Et enfin, pour faire bonne mesure, puisque nous sommes ici, faisons la partition par défaut et nous importons juste cela.
‫C'est probablement un peu mieux pour essayer de marquer.
‫Qu'est-ce que c'est pourquoi cet onglet ne fonctionne pas, la saisie semi-automatique me pose des problèmes, nous devons donc demander uniquement
‫sur un score AA2.
‫Ouais, fais confiance à ton instinct, Daniel.
‫Allez.
‫Sont à l'école.
‫C'est donc tout ce que nous changeons là-bas.
‫Plutôt que de recalculer quelque chose, la volonté est simplement importante.
‫Maintenant, c'est une fonction assez décente, je ne vais pas mentir.
‫Il s'occupe de certaines choses et c'est probablement une redondance que nous pourrions corriger.
‫Mais c'est vrai.
‫Nous essayons d'expérimenter le plus rapidement possible.
‫Vous pensez peut-être que les expériences sont ralenties, mais avec votre propre pratique, sans avoir à
‫m'écouter parler et passer par ce genre de choses, vous passerez à travers les expériences.
‫Tu.
‫Non, c'est faux, n'est-ce pas ?
‫Ça doit être Valpreda, c'est beau, et on va rendre les scores.
‫OK, alors qu'avons-nous fait ici ?
‫Nous avons donc construit une fonction d'évaluation conforme à ce qui est requis pour ce projet particulier.
‫Et dans notre cas, c'est la moyenne quadratique.
‫Noguera, je vais devenir rauque en disant que si je continue à le faire et que nous créons ensuite une
‫autre petite fonction d'aide qui va faire tout un tas d'autres métriques va faire des prédictions en utilisant
‫un modèle auquel nous le transmettons.
‫Et puis il va comparer ces prédictions sur tout un tas de terrains
‫de jeu différents sur l'erreur absolue principale, sur la racine carrée de l'erreur logarithmique et sur le coefficient de détermination.
‫C'est donc vraiment suffisant pour cette vidéo qui crée nos propres fonctions d'évaluation personnalisées.
‫Maintenant, encore une fois, c'est quelque chose que vous voudrez peut-être faire pour vos propres projets, car nous menons
‫autant d'expériences que possible.
‫Il est utile d'avoir des fonctions d'évaluation comme celle-ci afin que vous puissiez rapidement faire tout un tas de choses
‫différentes plutôt que d'avoir à retaper cela à chaque fois que nous essayons un nouveau modèle.
‫Mais.
‫Décalons un intermède, nos fonctions sont instanciées et nous allons essayer de les tester dans la
‫prochaine vidéo.