‫Et la dernière vidéo que nous avons laissée marquer notre modèle d'apprentissage automatique que nous avons adapté aux données
‫après avoir simplement rempli toutes les valeurs numériques, rempli toutes les valeurs catégorielles et transformé toutes nos données en
‫nombres.
‫Le modèle a fonctionné, nos données n'avaient pas de valeurs manquantes et tout était numérique, mais nous nous sommes arrêtés à la question :
‫pourquoi cette métrique est-elle fiable ?
‫Mettons cela ici, car cela mérite d'être souligné, car rappelez-vous, souvenez-vous toujours d'adapter un modèle d'apprentissage automatique
‫ou d'évaluer un modèle d'apprentissage automatique est tout aussi important que d'en adapter un.
‫Et c'est là où nous en sommes maintenant, car nous nous conformons simplement à un modèle d'apprentissage automatique.
‫Nous devons nous assurer que nos résultats tiennent bon.
‫Parce que nous ne voulons pas promettre des choses que notre modèle ne peut pas faire.
‫Alors, demandez-vous pourquoi la métrique ci-dessus ne tient-elle pas l'eau?
‫Retenir l'eau est une expression expliquant pourquoi la métrique n'est-elle pas fiable ?
‫C'est juste une façon de parler.
‫Alors pourquoi ne tient-il pas l'eau ?
‫Pourquoi n'est-il pas fiable ?
‫Avez-vous dû y penser ?
‫Je vais vous montrer un schéma qui pourra vous rafraîchir la mémoire si nous revenons à notre keynote, vous vous souvenez du tout au début, le concept le plus
‫important en apprentissage automatique, a. k. une. les trois ensembles.
‫Donc, ce que nous avons fait, c'est que nous avons formé un modèle d'apprentissage automatique sur un ensemble de données, mais qu'avons-nous fait ensuite
‫?
‫On revient au code.
‫Nous adaptons le modèle.
‫Sur l'ensemble de données sur certaines données, mais nous l'avons ensuite évalué sur exactement les mêmes données.
‫Ah d'accord.
‫Donc, si nous revenons ici, essentiellement ce que nous avons fait, c'est que si nous pensions que
‫c'était un cours universitaire, nous avons appris le matériel du cours, mais ce que nous avons fait, au lieu de tester notre modèle sur l'équivalent de
‫comme un examen final, a. k. une. un ensemble de données de test,
‫nous venons d'évaluer notre modèle d'apprentissage automatique sur les mêmes matériaux sur lesquels il a été appris.
‫Vous étiez dans une classe et on vous a donné un livre à lire, puis exactement au même moment que vous le
‫souhaitez, vous allez être testé avec les questions directement de ce livre que vous lisez.
‫Hmm.
‫OK, mais nous recherchons la capacité de généralisation de notre modèle et a. k. une. la capacité d'un modèle d'apprentissage automatique à
‫bien fonctionner sur des données qu'il n'a jamais vues auparavant.
‫C'est ce que nous recherchons.
‫Si nous retournons à Kagle.
‫Il existe un ensemble de données d'entraînement qui contient des données jusqu'à la fin de 2011.
‫Il y a un ensemble de validation et il y a un ensemble de test.
‫C'est donc ce que nous recherchons.
‫Nous devons évaluer notre modèle, pas sur les données sur lesquelles nous l'avons formé, c'est-à-dire ceci.
‫Nous devons l'évaluer sur les données de test.
‫Mais avant de faire cela, si vous vous souvenez de tout en haut, revenons tout en haut jusqu'à ce que
‫nous ayons importé notre première trame de données.
‫J'ai dit que nous reviendrions là-dessus et maintenant le moment est venu.
‫Nous allons donc ici, nous importons et formons et validons CATV.
‫Hmm.
‫Je me demande pourquoi avons-nous fait cela ?
‫Eh bien, tout va devenir clair dans cette vidéo.
‫Nous avons donc le train et Valencias V, nous sommes Valencias V et nous avons le train GSV.
‫Pourquoi ne les importons-nous pas simplement séparément ?
‫Eh bien, je voulais montrer ce que c'est que de créer votre propre ensemble de validation plutôt que quelqu'un d'autre le créant
‫pour vous avec un ensemble de données de séries chronologiques, ce sur quoi nous travaillons.
‫C'est donc un terrain de jeu parfait pour cela.
‫Donc, si nous lisons ici, former CSFI est l'ensemble de formation.
‫Donc, fondamentalement, ce sur quoi nous avons travaillé et Valencias V est un ensemble de validation.
‫Le point clé ici est qu'il s'agit d'une série chronologique, l'ensemble de données d'apprentissage contient des données jusqu'à la
‫fin de 2011, tandis que l'ensemble de validation contient des données entre le 1er janvier 2012 et le 30 avril 2012.
‫Donc, ce que nous allons faire pour mieux évaluer notre modèle, nous devons diviser nos données en ensembles d'entraînement et de validation.
‫Alors faisons-le.
‫Allons ici.
‫Diviser les données en ensembles de validation de train parce que c'est ce que nous recherchons maintenant.
‫Nous avons un modèle.
‫Nous pouvons créer des modèles maintenant, mais nous devons exécuter et simplement créer de meilleurs modèles.
‫Nous devons nous assurer que ce avec quoi nous évaluons a du sens.
‫Vérifions à nouveau nos données, comme nous le faisons toujours.
‫Alors peut-être que nous pouvons utiliser l'année.
‫Comment s'appelait-il ?
‫Année de Sayle.
‫Essayez-vous de dire?
‫Oh oui.
‫On y va.
‫OK, alors peut-être parce que notre bloc de données est en ordre.
‫Oui, cela va nous aider lorsque nous importerons le bloc de données.
‫Nous l'avons commandé dans l'ordre des dates de vente.
‫Alors maintenant, en lisant ceci pour créer notre propre ensemble de validation, nous voulons diviser nos données.
‫Donc toutes les lignes jusqu'en 2011.
‫Ainsi, la même année 2011, cela peut être dans l'ensemble d'apprentissage, puis toutes les lignes de 2012 peuvent être l'ensemble
‫de validation.
‫Nous ne nous soucierons pas de l'ensemble de test pour le moment car il se trouve dans un ensemble de données distinct.
‫La raison pour laquelle nous travaillons uniquement sur le train et le CSP valide est que ceux-ci ont importé le train
‫et validé le CEV au début du cahier.
‫Ce fichier ici.
‫Nous devons donc créer notre propre ensemble de données de validation, alors faisons-le pour pouvoir créer des modèles, vérifier le
‫décompte de la valeur de vente.
‫Et voilà, 2012, il y a donc onze mille cinq cent soixante-treize échantillons en 2012.
‫D'accord.
‫Donc, pour diviser nos données en formation et validation, cela devrait être aussi simple que de procéder.
‫OK, introspectons ceci.
‫Notre colonne d'année et chaque colonne qui est égale à 2012 sera un ensemble de validation pour notre année et exemple.
‫Et chaque ligne qui n'est pas égale à l'année de vente, qui n'est pas égale à 2012 sera dans l'ensemble d'entraînement.
‫Alors arrêtons d'en parler et voyons le code.
‫Divisez donc les données en formation et validation.
‫C'est quelque chose que vous pourriez avoir à faire avec vos propres données de séries chronologiques, n'est-ce pas.
‫Parce que vous n'allez pas toujours être donné dans un format décontracté.
‫Droit.
‫Lorsque vous travaillez avec un client ou sur un projet, vous n'allez pas toujours
‫automatiquement valider vos données en cours et tester ce sont des choses que vous devrez créer vous-même.
‫En regardant cette colonne de vente ou en regardant la colonne de temps, en regardant la colonne de date et en
‫découvrant comment vous pouvez créer votre propre ensemble de formation et de validation.
‫C'est donc exactement la raison pour laquelle nous les avons importés en un seul ensemble pour commencer afin que nous puissions nous entraîner à créer nos propres ensembles
‫de formation et de validation.
‫Et j'ai l'impression de dire beaucoup de mots, mais c'est important parce que nous revenons à notre.
‫Remarque importante, il s'agit du concept le plus important de l'apprentissage automatique, car quel que soit le modèle sur lequel nous entraînons notre
‫modèle, nous voulons nous assurer que nous l'évaluons sur autre chose.
‫J'en viens donc ici à l'ensemble de validation est chaque ligne dans DF temp où la colonne SC est égale à 2012 ?
‫Oui c'est correct.
‫Et le jour de l'entraînement défini est chaque température d'arrondi où la colonne de l'année du Sud n'est pas égale à 2012.
‫Merveilleux, et alors nous pourrions descendre et blâmer le train F, donc tout ce que cela va nous dire, c'est la longueur de
‫ces deux trames de données.
‫Beau.
‫Nous avons donc maintenant un ensemble de validation qui contient onze mille cinq cent soixante-treize lignes et
‫un ensemble de données d'apprentissage qui contient quatre cent mille cent vingt-cinq lignes ou échantillons, et ils sont
‫divisés par date.
‫Magnifique, on prend des cartons ici, on prend des cartons ici.
‫Alors maintenant, ce que nous pourrions faire, c'est diviser les données en X et Y.
‫Nous avons déjà vu cela.
‫Et de cette façon, nous avons un ensemble d'apprentissage X et un ensemble d'apprentissage Y et un ensemble valorisé X et un ensemble valide Y, qui
‫sont nos données et nos étiquettes.
‫Nous aurons donc un train d'échange Y égal à D. F..
‫Maintenant, nous travaillons avec l'ensemble d'entraînement ici drop.
‫Nous souhaitons supprimer la colonne des prix de vente lors du premier accès.
‫OK, lâchez simplement la colonne et nous allons nous installer pour former et le train sera égal au prix de vente.
‫Alors voyez comment je le fais avec une virgule ici.
‫Je suis un peu délicat en faisant juste en une seule ligne.
‫Beau.
‫Et nous allons ici.
‫Valide et valide.
‫Pas sûr et développé de ne pas baisser le prix de vente tout de même, mais cette fois avec le jeu de
‫validation D. F. ils vont commencer.
‫Ce sera en fait un prix de vente.
‫On y va.
‫Et maintenant, nous avons une petite jauge qui inspecte nos données juste pour nous assurer que nous n'avons pas fait une petite erreur quelque part.
‫Ils doivent tous être de formes compatibles les uns avec les autres.
‫Pourquoi cette forme, alors nous prenons simplement ces ensembles de données que nous créons ici et nous découvrons
‫leurs formes.
‫Beau.
‫Donc, notre ensemble d'entraînement est de quatre cent mille roses oh, à peu près ça avec cent deux caractéristiques,
‫cent deux colonnes.
‫Notre formation Y est de quatre cent mille lignes, puis la validation est d'environ onze mille et demi avec le
‫même nombre de colonnes pour X et aucune colonne pour Y car Y n'est qu'une colonne.
‫Regardons.
‫Maintenant, regardez, c'est ce que nous faisons.
‫Assurez-vous que toutes nos données.
‫OK, donc ce sont tous des prix de vente.
‫Beau.
‫OK, nous avons donc mis nos données dans des ensembles de validation d'entraînement.
‫Nous nous sommes occupés de deux des trois choses les plus importantes ou des ensembles les plus importants.
‫Nous verrons l'ensemble de test plus tard.
‫Mais c'est ce que nous avons créé, un ensemble d'entraînement et un ensemble de validation.
‫Il est temps de continuer à créer d'autres modèles. Nous pourrions donc terminer cette vidéo ici et trouver un
‫moyen d'évaluer le fonctionnement d'un modèle d'apprentissage automatique.
‫Nous verrons donc probablement cela dans la prochaine vidéo.