‫Maintenant, nous avons un modèle idéal qui fonctionne assez - eh bien, sur l'ensemble de données de
‫validation si valide, Emslie, est la métrique à laquelle nous avons prêté attention car c'est la métrique d'évaluation pour cette
‫compétition de fret particulière.
‫Bien sûr, si vous travaillez sur un problème différent ou un ensemble de données différent, vous pouvez
‫avoir une métrique d'évaluation différente que vous essayez d'améliorer.
‫Mais maintenant, nous nous débrouillons plutôt bien.
‫Utilisons donc notre modèle idéal pour faire des prédictions sur les données de test.
‫Il y a un petit détail dans cette section qui est vraiment important à retenir, et nous allons le découvrir
‫dans une seconde.
‫Donc, tout d'abord, nous allons devoir importer les données de test.
‫Maintenant, si nous regardons.
‫Dans notre dossier de données, c'est donc juste dans la maison Jupiter, parce que nous avons créé un dossier de projet pour
‫ce projet particulier et nous avons téléchargé nos données, placez-le ici.
‫À l'intérieur, il y a un ensemble de données qui est le test CSFI.
‫C'est donc ce que nous allons utiliser.
‫Et si nous revenons à Kagle, cela nous dit que Test CSFI est l'ensemble de test, qui ne sera publié que lors de la compétition
‫de la semaine dernière.
‫Eh bien, nous l'avons pour le moment puisque cette compétition est déjà passée.
‫Il contient des données du 1er mai 2012 à novembre 2012.
‫OK, donc c'est à peu près les six mois après notre validation ensemble magnifique.
‫Et nos modèles fonctionnent correctement sur l'ensemble de validation.
‫Donc, ce que vous pourriez voir, c'est voir comment nous pouvons faire des prédictions sur cet avenir.
‫Six mois de données.
‫Nous allons donc tester Eagles' Reid voir comme V, ce qui va le faire exactement de
‫la même manière que nous l'avons fait au début avec notre jeu de données invalides de train lubow pour les bulldozers.
‫Merveilleux.
‫Et ça s'appelle Test Ötzi, comme on passera en mémoire faible égal à faux.
‫Et nous allons également passer des dates car rappelez-vous, nous n'avons fait aucune manipulation sur cet ensemble de données comme nous
‫l'avons fait avec nos autres.
‫Nous verrons où cela entre en jeu dans un instant, puis nous vérifierons les tests DFG à l'avance.
‫Ah, qu'est-ce qui se passe ?
‫Oh, fautes de frappe.
‫Beau.
‫Cela semble donc familier.
‫C'est quelque chose que nous avons déjà vu, sauf que cette fois, il manque la colonne des prix de vente à l'ensemble de données de
‫test.
‫Et la raison en est que c'est la colonne que nous essayons de prédire.
‫Alors pourquoi ne voyons-nous pas si nous pouvons le faire ?
‫Nous allons donc répartir le modèle idéal.
‫Nous utilisons notre modèle idéal, ce modèle temporel ne prédit pas.
‫Un modèle idéal a donné les meilleurs résultats et nous devrions pouvoir simplement dépasser l'ensemble du bloc de données.
‫Exact, car ce seront nos valeurs X et nous n'avons pas besoin de supprimer de colonnes car il n'a pas de
‫colonne de prix de vente.
‫Voyons donc ce qui se passe.
‫En fait, mettez un petit commentaire ici, faites des prédictions sur l'ensemble de données de test et je lance juste un petit défi avant
‫d'exécuter cette cellule, je veux que vous réfléchissiez en quelque sorte à ce qui pourrait arriver à notre modèle
‫d'apprentissage automatique.
‫Il a été formé sur un ensemble de données particulier et nous avons maintenant importé l'ensemble de données de test.
‫Que va-t-il se passer si nous essayons de faire des prédictions sur cet ensemble de données sur la base de Je vais vous donner un indice
‫basé sur les données sur lesquelles notre modèle a été formé.
‫Et si tu n'es pas sûr, ça va, on va le voir dans une seconde, on devrait le voir tout de suite.
‫Oh, on y va.
‫Erreur de valeur.
‫OK, ce qui se passe ici n'a pas pu convertir la chaîne en flottant.
‫Ah d'accord.
‫Donc, si vous vous souvenez tout de suite en haut, revenons en arrière dans notre bête de cahier sur laquelle
‫nous avons travaillé.
‫Qu'avons-nous fait avant de pouvoir entraîner une machine à apprendre ce que nous avons vu comme une erreur similaire lorsque
‫nous avons commencé ici, lorsque nous avons commencé à modéliser.
‫Ce serait super si je pouvais le trouver.
‫Notre modèle.
‫N'a pas fonctionné.
‫Nous y voilà.
‫OK, construisez un modèle, donc tendance à baisser.
‫Impossible de convertir la chaîne en vol, donc les mêmes messages d'erreur, qu'est-ce qu'il y a ci-dessous ?
‫Maintenant, la raison pour laquelle cela s'est produit est pourquoi pensez-vous?
‫Eh bien, c'est parce que lorsque nous avons importé notre ensemble de données d'origine, nous y avons fait quelques manipulations, qu'avons-nous fait
‫?
‫Nous nous sommes assurés que nos données étaient numériques et nous nous sommes assurés qu'il n'y avait pas de valeurs manquantes.
‫Donc ce que nous avons fait maintenant, c'est que nous avons importé les plus habiles.
‫Peut avoir des valeurs manquantes, ce qui est le cas.
‫Et ce n'est peut-être pas tout numérique.
‫Et.
‫Loin.
‫Nous avons fait pas mal de traitement de données ici, et si nous vérifions les colonnes.
‫Ce sont donc toutes les fonctionnalités, mais si nous vérifions X train de colonnes.
‫Eh bien, Danny Bracket est un.
‫Nous avons remarqué que la colonne Lancs, un autre.
‫Hmm.
‫Il y a donc cent deux colonnes dans al X train, alors qu'en test, qu'est-ce qu'on a là ?
‫Nous l'avons vu ici avant quand nous avons fait la tête pointée.
‫Cinquante-deux colonnes, hmm.
‫Ainsi, la raison pour laquelle notre modèle d'apprentissage automatique ne peut pas prédire sur l'ensemble de données de test pour le moment est qu'il n'est pas dans
‫le même format que celui sur lequel le modèle a été formé ou sur lequel l'ensemble de données sur lequel le modèle a été formé.
‫C'est donc ce que nous allons devoir faire.
‫D'accord.
‫Débarrassons-nous de ceux-ci ici.
‫Et alors, comment pourrions-nous faire cela afin que nous puissions pré-traiter les données.
‫En d'autres termes, obtenir l'ensemble de données de test dans le même format que nos données d'entraînement est merveilleux.
‫Alors, comment pourrions-nous faire cela?
‫Donc ce que nous pourrions faire, je pense, c'est créer une fonction pour le faire.
‫Donc, si nous devions importer un nouvel ensemble de données, disons, un ensemble de données de test, nous avons en fait effectué quelques manipulations
‫sur nos données d'entraînement.
‫Nous pourrions prendre les fonctions que nous avons effectuées sur l'ensemble de données d'apprentissage et faire exactement la même
‫chose sur l'ensemble de données de test, de sorte qu'elles soient toutes les deux identiques.
‫Ça a du sens.
‫Voyons d'abord.
‫Voyons si nous pouvons le faire.
‫Ainsi, les données prétraitées passeront au niveau d'une trame de données.
‫Nous laisserons une petite note ici.
‫Effectue donc des transformations sur D. F. et revient transformé par simple droit.
‫Nous voulons créer une fonction qui prend une sorte de trame de données.
‫Il effectue un tas de manipulations sur cette trame de données, puis il finira par renvoyer cette trame de
‫données.
‫Alors maintenant, nous allons devoir remplir toutes les transformations que nous avons faites à l'origine pour faire temp ici.
‫Et donc nous pouvons le faire en montant.
‫Nous devrons peut-être faire quelques copies et Pasir, alors rappelez-vous, remontez tout en haut.
‫C'est donc une petite règle, un petit détail, ce que vous faites à l'ensemble de données d'apprentissage, vous allez
‫devoir faire à l'ensemble de données de test.
‫C'est donc une friandise d'apprentissage automatique là-bas.
‫OK, alors voici le premier gros lot de manipulations que nous avons fait.
‫Ils pourraient copier ce merveilleux.
‫Et nous pouvons juste nous souvenir de cette ligne, nous avons donc ajouté des informations ici
‫basées sur la journée Colin Saldate, puis nous l'avons supprimée.
‫Ce sont donc les deux premières étapes que nous devons faire.
‫OK, nous allons faire défiler jusqu'à la fin de notre cahier.
‫Je vais beaucoup faire défiler cette vidéo parce que nous avons bien fait trois choses principales.
‫Nous avons ajouté quelques informations ici à la journée ou nous avons extrait.
‫C'est probablement une meilleure idée.
‫Nous avons extrait des informations de notre colonne date/heure et les avons ajoutées au bloc de données afin que nous puissions passer à D. F.
‫goutte de point.
‫Et après que nous ayons fait cela supprimera la colonne Saldate.
‫Et nous allons accéder à un et en place est égal à vrai, merveilleux, et nous devons supprimer la température de tout cela parce que nous
‫n'utilisons que D. F..
‫Donc, une petite astuce consiste à déplacer votre curseur et à maintenir la commande enfoncée si vous êtes sur un Mac ou peut-être que c'est le
‫contrôle si vous êtes sur Windows et nous pouvons simplement revenir à la base ici.
‫Merveilleux, non ?
‫Parce que nous ne travaillons pas avec do temp.
‫Nous travaillons avec D. F..
‫Ainsi, tout cadre de données nommé arbitrairement fonctionnera avec notre fonction.
‫Donc, la prochaine chose que nous avons faite était de remplir les lignes numériques avec Madian et nous aussi.
‫Rempli, catégorique.
‫Données manquantes et transformées en nombres.
‫À leur tour, les catégories en nombres.
‫C'est donc ce que nous devons faire défiler vers le haut et trouver.
‫OK, commençons par le faire.
‫Nous aurons les nouveaux miracles manquants manquants.
‫Heureusement, nous avons disposé notre cahier.
‫Nous avons ajouté ces rubriques ici afin que nous puissions voir ce que nous faisions.
‫Tout cela fait partie de vous aider, non?
‫Remplissez donc les lignes numériques à la médiane.
‫Nous avons en fait besoin de tout ce code ici.
‫Nous allons copier cela.
‫Beau.
‫C'est donc là que les commentaires et les différentes rubriques de votre cahier peuvent vraiment vous aider dans votre futur,
‫c'est quand vous voulez fonctionnaliser les choses et nettoyer les choses.
‫Alors c'est reparti, il faut enlever la tente DF, on descend au camp.
‫Nous ne voulons pas de cette température.
‫Nous ne voulons que D. F..
‫OK, beau, et nous devons encore remplir les données manquantes catégoriques et transformer les catégories en nombres.
‫Voyons maintenant si nous pouvons nous rappeler comment faire cela plutôt que d'avoir à faire défiler vers le haut, car nous avons
‫fait assez de défilement, pour être honnête.
‫Donc on peut faire ça, sinon si on s'en souvient, si ce n'est pas un type numérique.
‫C'est comme ça que nous avons fait le type de contenu de type numérique parce que nous bouclons.
‫Nous sommes dans cette même boucle ici.
‫Contenu que nous voulons aller D. F. l'étiquette et le trait de soulignement sont manquants.
‫Oui, égal.
‫Donc, il va vérifier si c'est maintenant, si c'est maintenant que nous voulons ajouter
‫une étiquette qui manque, que ce point de données particulier est manquant et déterminer comment nous ajoutons plus un au code de catégorie parce que les pandas et les
‫codes manquants des catégories comme un négatif .
‫C'est donc ici que nous pouvons aller.
‫RÉ. F. étiquette Eagles PD catégorique.
‫Alors transformez-le en catégoriel pour transformer le contenu d'une colonne particulière en une catégorie, puis accédez à son
‫code, a. k. une. en le transformant en nombre puis en plus un.
‫Très bien, pas une mauvaise fonction.
‫C'est donc ce qui se passe dans un flux de travail de bloc-notes, à droite, c'est que ici, vous pourriez probablement
‫classer la plupart de ces éléments sont assez désordonnés.
‫Nous nous sommes aidés avec différentes rubriques et ainsi de suite et des commentaires.
‫Cependant, au fur et à mesure que vous avancez dans le processus, vous commencerez à créer ces fonctions d'assistance.
‫Vous rassemblez donc tout un tas d'étapes différentes dans une fonction afin qu'elle synchronise vraiment les choses dans
‫le bloc-notes.
‫Et vous pouvez simplement appeler une fonction comme celle-ci, un peu comme notre fonction d'affichage des scores et elle effectue un processus qui sera
‫le même à chaque fois plutôt que de devoir faire défiler le cahier et trouver quelque chose
‫dans une cellule différente.
‫Alors maintenant, nous pouvons appuyer sur Shift, entrer sur cela ou sur ce qui s'est passé.
‫Bloc manquant attendu.
‫Je ne pensais pas que nous en avions besoin.
‫Oh, ouais, c'est là qu'on en a besoin.
‫Nous avions besoin d'Indiens ici.
‫Et voilà, classique.
‫C'est ce qui se passe quand on copie et colle du code, n'est-ce pas ?
‫La mise en forme n'est pas toujours parfaite, magnifique.
‫Nous avons donc une fonction ici qui va pré-traiter une sorte de trame de données.
‫Il va ajouter des informations basées sur la colonne Saldate.
‫Il va remplir les lignes numériques avec la médiane.
‫Cela va transformer les données catégorielles manquantes en une valeur nulle et le reste des données
‫en un numéro de code de catégorie magnifique.
‫Cela passe donc par quelques étapes, mais c'est une fonction de droite.
‫Est-ce que ça va encore se passer ensemble ?
‫Et maintenant, que pourrions-nous faire ici ?
‫En fait, une bonne question est de savoir où cette fonction pourrait s'interrompre ?
‫Je pourrais vous laisser là-dessus pour cette vidéo pour éviter qu'elle ne devienne trop longue.
‫Je veux que vous jetiez un œil à cette grande fonction que nous avons créée et que vous réfléchissiez si nous la
‫réussissions, notre base de données d'entraînement, comment cela pourrait-il fonctionner ?
‫Et puis si nous transmettions notre trame de données de test.
‫Droit.
‫Le test DF, qui se trouve ici, nous avons réussi cette trame de données.
‫Comment pourrait-il casser ?
‫Nous répondrons à cette prochaine vidéo.