‫OK, super, maintenant nous avons une petite fonction d'aide qui non seulement nous renvoie nos images sous forme de
‫temps, mais elle nous renvoie également l'étiquette afin que nous puissions la récupérer sous forme
‫de tuple.
‫Utilisons donc cela pour écrire une autre fonction qui va transformer nos données, toutes nos données, car
‫cela ne fait qu'un seul échantillon.
‫Nous avons besoin d'un moyen de transformer toutes nos données, donc nos X et Y, nos données et nos étiquettes en lots de taille 32.
‫Très bien.
‫Maintenant, nous devons écrire cela.
‫Nous essayons de nous communiquer dans nos cahiers un moyen de transformer nos données en tuples de temps.
‫Et nous allons ici sous la forme.
‫Étiquette d'image.
‫Créons une fonction pour transformer toutes nos données.
‫X et Y en lots.
‫Très bien, merveilleux.
‫Maintenant, encore une fois, si vous vous demandez d'où vient tout cela, un bon endroit pour tout type de chargement de données
‫est de lire la documentation.
‫Je sais que ça peut être un peu ennuyeux parfois, mais croyez-moi, en lisant, même si vous ne comprenez pas la première
‫fois, je n'ai pas compris la première fois.
‫Lisez-le, essayez-le, essayez-le à nouveau et voyez comment cela va se passer.
‫Un gros chien d'une fonction.
‫Oh, ça tombe bien car nous travaillons sur la vision canine, mais ça va nous faire gagner un
‫temps fou par la suite.
‫Alors faisons-le.
‫Nous devons donc définir la taille du bash.
‫Alors 32 est un bon début.
‫N'oubliez pas que les valeurs par défaut sont généralement de 30 à beaucoup.
‫Donc, si vous ne le définissez pas quelque part, il sera probablement par défaut à 32, mais nous allons le définir quand même.
‫Créons donc une fonction pour transformer les données en lots.
‫Et maintenant, nous allons écrire cette fonction ensemble.
‫Et cela va faire quelques petites choses différemment, selon que nous voulons un lot de données d'entraînement, un
‫lot de données de validation ou un lot de données de test.
‫Parce que rappelez-vous, ce sont nos trois sets là-bas, donc ce sont nos trois sets, donc nous avons un set d'entraînement.
‫Nous allons nous transformer en un lot d'entraînement, un lot de validation et un lot de test.
‫À droite.
‫Nous voulons donc la mort, créer des correspondances de données, nous voulons qu'elle prenne en compte un X et un Y.
‫Et en fait, pourquoi ne peut en être aucun.
‫Maintenant, je veux que vous réfléchissiez à pourquoi pourquoi pourrait-il n'y en avoir aucun ?
‫Parce que pourquoi nos étiquettes cela aura probablement un sens et un peu.
‫Mais réfléchissez simplement à pourquoi pourrions-nous vouloir créer un lot de données sans étiquette ?
‫Les données valides sont égales à fausses et les données de test sont égales à fausses.
‫Et nous allons nous laisser un peu de docteur ici.
‫J'avais un collègue qui s'appelait Ron et il m'a dit une technique appelée canard en caoutchouc.
‫Il était bien meilleur codeur que moi, et il a dit, si vous avez des problèmes.
‫Trouvez comment faire quelque chose dans le code, écrivez-le d'abord dans le langage ou dites-le vous-même dans le langage comme
‫si vous parliez à un canard en caoutchouc.
‫Et les canards en caoutchouc ne comprennent pas très bien l'anglais, vous devez donc le dire très clairement comme un bon conseil de
‫Ron.
‫Merci, Ron.
‫Cette fonction crée donc des lots de données à partir des paires image X et étiquette Y.
‫Il mélange les données s'il s'agit de données d'entraînement, donc mélange les données, car s'il y avait un ordre inhérent dans le
‫fichier d'entraînement que nous avons téléchargé, ce n'est probablement pas parce qu'ils semblent assez confus.
‫Nous ne voulons pas que notre modèle s'en souvienne, même si nous voulons qu'il soit aussi adaptable que possible, quel que soit
‫l'ordre dans lequel une image entre.
‫Mais donc, s'il s'agit de données d'entraînement mélangées mais pas de données aléatoires, s'il s'agit de données de validation.
‫Maintenant, je veux que vous réfléchissiez aux raisons pour lesquelles il pourrait ne pas être mélangé s'il s'agit de données de validation.
‫Ne vous inquiétez pas, nous allons couvrir cela.
‫Mais réfléchissez-y en attendant.
‫Accepte également les données de test en entrée.
‫Maintenant, voici pourquoi nous pourrions n'en être aucun.
‫Parce que les données de test n'ont pas d'étiquettes, bien sûr.
‫À présent.
‫Ce que nous voulons faire, c'est créer une fonction qui fait en quelque sorte la même chose mais en a si Claus ou Iliffe provoque, s'il
‫s'agit de données valides ou de données de test.
‫Nous savons donc ce que nous voulons faire.
‫Et nous avons quelques conditions ici que si c'est des données valides ou de test.
‫Commençons donc par des données de test, car je pense que c'est le moins de choses.
‫Donc, si les données sont un ensemble de données de test.
‫Nous ne le faisons probablement pas.
‫J'avais certainement des étiquettes ou nous savons que nous n'avons pas d'étiquettes s'il s'agit d'un ensemble de données de test, nous
‫allons donc tester les données.
‫Brent, donnons-nous un petit aperçu, je vais m'informer un peu de ce qui se passe, notant
‫des lots de données de test, juste pour être sûr que plus tard, hé, peut-être que nous ferons des lots de
‫données et nous J'ai accidentellement transmis un faux paramètre aux données de test et cela finit par le faire différemment pour les données
‫de test.
‫Nous ne voulons pas de cela.
‫Nous voulons savoir qu'il fait des lots tests.
‫Donc, les données sont égales aux données.
‫L'ensemble de données.
‫C'est donc le module intensif, les données faibles que nous créons essentiellement un ensemble de données par lots et nous allons
‫voir celui-ci est un peu intéressant ici de Tenzer Slices.
‫Crée donc un ensemble de données, juste un ensemble de données de flux tensoriel dont les éléments sont des tranches de donner et de temps.
‫Donc, en gros, ce que cela dit, c'est de me passer quelques temps et je vais créer un ensemble de données à partir de cela.
‫Un peu déroutant, je sais, mais c'est comme ça que c'est fait, intensif, comme Tefft, constant X.
‫Donc, en gros, ce que cela dit, c'est que je vais créer un ensemble de données de déchargement tendu.
‫Des trancheuses Tensas.
‫X et parce que nous passons X à la constante TFW, cela transforme X en Tenzer.
‫Il ne s'agit donc que de pièces de fichier Pas d'étiquettes.
‫OK, et maintenant les données en arrière, voici où nous tournons notre ensemble de données, car pour le moment, cela transformerait
‫tout X en un ensemble de données.
‫Nous devons le transformer en une taille de lot de 32.
‫Est donc égal à la carte de points de données.
‫Nous devons traiter l'image.
‫Et nous devons le transformer en une taille de lot de lots.
‫Whoa, beaucoup de choses se passent ici.
‫Daniel, que se passe-t-il ?
‫Eh bien, nous avons parlé de la ligne ci-dessus, mais celle-ci ne dit que prendre ces données, qui sont des
‫ensembles de données intensifiés constitués de X.
‫Il s'agit simplement de noms de fichiers sous forme de temps, puis de mapper nos fonctions d'image de processus.
‫Vous voyez, c'est pourquoi nous l'avons intégré à notre fonction afin que nous puissions l'appeler image traitée.
‫Il va passer par toutes ces étapes ici sur nos noms de fichiers.
‫Il va donc les importer, les transformer en temps normalisés, puis les transformer en un lot de taille de
‫lot.
‫Allons ici.
‫Lot de données faible donc intensif.
‫C'est le flux de travail que j'utilise chaque fois que je regarde.
‫aFunction, donc si nous revenons en arrière.
‫Et voilà, Bache.
‫Combine des éléments consécutifs de cet ensemble de données en lots.
‫On y va.
‫Donc, si nous passons une plage de huit et que nous voulons que ce soit un lot de trois, il va diviser
‫huit en trois lots.
‫C'est donc exactement pourquoi cela dans un nouvel onglet.
‫C'est ce qu'il va faire ici, sauf qu'il est de taille 30 à.
‫Merveilleux.
‫C'est donc une donnée de test.
‫Maintenant, nous voulons faire si les données sont un ensemble de données valide, nous n'avons pas besoin de les mélanger.
‫Maintenant, je veux que vous réfléchissiez à nouveau, pourquoi n'aurions-nous pas besoin de le mélanger ?
‫Ce n'est pas grave si vous n'êtes pas tout à fait sûr.
‫J'ai été pris au piège sur ce beaucoup de fois, aussi, si peu de déclaration d'avancement ici et ensuite nous ferons à peu près la
‫même chose que cela.
‫Nous pourrions simplement copier cela, mais nous allons nous entraîner à l'écrire pour obtenir un ensemble de données.
‫Des dizaines de tranches maintenant, c'est là que parce que l'ensemble de validation a des étiquettes, nous allons poser quelques
‫X et T. F. constante Y.
‫Donc, il suffit de transformer les noms de fichiers et les étiquettes en temps.
‫Et nous avons ici des chemins de fichiers, des étiquettes.
‫Alors maintenant, nous avons un ensemble de données de déchargement tendu.
‫Des pots et des étiquettes de fichiers image, parce que c'est un ensemble de données de validation, l'ensemble de données de
‫validation a des étiquettes et nous allons le transformer en une base de données qui équivaut à une
‫carte de données, exactement comme ci-dessus, en traitant l'image et en la transformant en un lot de taille de lot.
‫OK, la gâchette est contente.
‫Merveilleux.
‫Et puis retournez les données.
‫Et enfin, nous voulons que si aucun de ces éléments ne fonctionne bien, si les données valides sont fausses et que les données de test sont également fausses, il
‫s'agira évidemment d'un lot d'entraînement.
‫Nous allons donc créer des badges de données d'entraînement sur.
‫Et allons-y.
‫Donc, s'il s'agit d'un ensemble de données d'entraînement, nous voulons le mélanger.
‫C'est la seule différence ici.
‫Nous voulons donc transformer les chemins de fichiers et les étiquettes en temps.
‫Donc, tout comme nous l'avons fait avec la validation, nous pouvons simplement copier ceci maintenant.
‫C'est probablement un moyen plus efficace d'écrire cette fonction qui fait la même fonctionnalité.
‫Mais j'ai essayé de l'écrire d'une manière qui soit assez compréhensible quant à ce qui se passe.
‫Constant et comme je l'ai dit, j'aurais peut-être dit que c'était assez compréhensible, mais si vous rencontrez
‫quelque chose comme ça pour la première fois, croyez-moi, quand je l'ai fait, j'étais confus.
‫Mais une fois que je l'ai parcouru étape par étape, souvenez-vous de notre technique pour décomposer
‫une fonction, écrivez-la ligne par ligne, puis vérifiez ce qu'elle fait à chaque ligne.
‫Nous voulons donc mélanger les noms de chemin et les étiquettes avant le mappage.
‫Nous y reviendrons dans une seconde avant de cartographier.
‫La fonction de processeur d'image est plus rapide que la lecture aléatoire d'images.
‫Je vais juste écrire le code pour que nous puissions en parler, mais datez le shuffle.
‫Forsys, sous-bureaux Stancil, combien de variables voulons-nous mélanger que nous voulons mélanger le tout ?
‫Eh bien, il se passe beaucoup de choses ici.
‫Eh bien, tout ce que cela dit, c'est, hé, prenez ces données, qui sont un ensemble de données des données, donc les
‫noms de fichiers et les étiquettes, puis mélangez-les et nous voulons mélanger le nombre d'exemples.
‫Si nous n'en mélangeions que cent, cela prendrait les cent premiers exemples de X et Y et les mélangerait.
‫Mais non, nous voulons tous les mélanger.
‫Et la raison en est, pourrait-on dire, que les éditoriaux sont mélangés plus tard après avoir exécuté la fonction
‫de carte, cela devient une image de processus de carte de données.
‫Donc, si vous avez mélangé après avoir déjà traité l'image, il faut beaucoup plus de temps pour mélanger une image complète que
‫pour un seul nom de fichier.
‫Donc, comme je l'ai dit, rappelez-vous, nous essayons de minimiser le temps entre les expériences, nous voulons donc essayer
‫d'accélérer le plus possible.
‫Je viens de réaliser que nous avons fait une petite erreur ici.
‫Dans notre ensemble de données de validation, parce que nous avons.
‫Images et étiquettes, nous devons mapper la fonction, obtenir une étiquette d'image, qui traite également notre image, tandis que
‫pour notre ensemble de données de test, parce que nous n'avons pas d'étiquettes, nous pouvons exécuter directement la fonction d'image
‫traitée.
‫Remplaçons donc cette étiquette d'image, et ce sera la même chose.
‫Pour notre ensemble de données d'entraînement, obtenez donc une étiquette d'image merveilleuse et nous pourrions simplement écrire ce que cela fait avec
‫un petit commentaire.
‫Alors créez l'étiquette d'image Tuttle's.
‫Cela transforme également le chemin de l'image en une image prétraitée.
‫Alors si tu peux.
‫Mélangez vos données lorsqu'elles sont dans leur plus petit format, a. k. une. dans notre cas, des
‫noms de fichiers plutôt que des images complètes, et maintenant, enfin, nous voulons transformer les données d'apprentissage en lots.
‫Donc, le lot de données est égal au lot de données.
‫Cette taille, et puis nous irons ici, reviendrons.
‫Dana Bash.
‫Wolf, c'est un peu un monstre de fonction, mais comme je l'ai dit, cela va nous faire gagner beaucoup de
‫temps plus tard et vous le verrez.
‫Rappelez-vous, c'est le genre de style de travail de développement auquel je veux que vous commenciez à penser,
‫comment vais-je réutiliser certaines fonctionnalités plus tard ?
‫Eh bien, si je le suis, je vais le monter dans une fonction.
‫Et vous le savez probablement déjà parce que vous êtes un développeur beaucoup plus intelligent que moi.
‫J'avais l'habitude de fanfaronner et d'écrire les choses ligne par ligne.
‫Testons maintenant notre fonction en créant des lots de données d'entraînement et de validation.
‫Nous allons donc former les données.
‫Nous allons utiliser notre fonction gros chien juste au dessus.
‫Nous allons passer à X train pour les données d'entraînement et nous nous entraînons pour les données de validation et c'est tout ce dont nous avons
‫besoin.
‫Et puis pour les données valides, on peut aller créer des lots de données, valeur X, valeur Y.
‫S'agit-il de données valides ?
‫Égal à vrai.
‫Et maintenant, croisons les doigts, on devrait voir.
‫Nos messages de progression d'impression.
‫Oh, oui, c'est incroyable.
‫OK, vérifions maintenant les différents attributs de nos correspondances de données.
‫Donc, si nous allons former des données, elles sont maintenant au format d'un lot de données, ce qui correspond à la manière préférée de Flo de
‫traiter les choses.
‫On y va.
‫Ce sont nos données d'entraînement, les premières ici.
‫Qu'est-ce que ça dit?
‫Vous avez donc la forme aucune, deux, deux, quatre, deux, deux, quatre, trois.
‫C'est notre image.
‫Aucun n'est pour la taille du lot.
‫Je sais que nous l'avons dit à trente-deux, mais ça va rester comme aucun parce que la taille du lot, rappelez-vous,
‫est flexible.
‫C'est donc juste que nos images sont maintenant par lots de trente-deux et qu'elles ont une forme de deux à quatre,
‫deux, deux pour trois canaux de couleur de type hauteur/poids pour flotter trente-deux.
‫Et nous en avons ici quelques-uns de notre label.
‫Ce sont donc des paires d'étiquettes d'image sous la forme de temps et nos étiquettes ont également une forme de lot sans forme car la
‫taille du lot est flexible.
‫Et ils ont une dimension de cent vingt, c'est parce que si nous y allons, pourquoi zéro ?
‫Il y a 120 descentes de chiens différentes, et c'est encore la même chose pour les données de validation.
‫Beau.
‫C'était donc une question assez approfondie.
‫Une fois cette vidéo terminée, ce qui sera dans quelques secondes, je reviendrai en arrière et je lirais simplement ce
‫qui se passe dans cette fonction ici.
‫Si vous n'êtes pas tout à fait sûr, je chercherais le chargement et le prétraitement des données, un
‫didacticiel d'images, je le relirais, puis la meilleure façon d'apprendre est d'écrire simplement cela, de décomposer la fonction
‫et d'essayer de exécuter une ligne par ligne.
‫C'est comme ça que je décompose les choses pour moi-même.
‫Mais la façon dont nos données sont pour le moment, c'est toujours un peu difficile à comprendre si vous êtes nouveau dans le concept
‫de lots.
‫C'est probablement un concept très difficile à saisir.
‫C'est parfaitement normal de ne pas savoir ce qui se passe en ce moment.
‫Donc, pour nous aider à comprendre, plutôt que d'avoir ce charabia imprimé, lorsque nous essayons de
‫vérifier ce qu'il y a dans nos lots de données, écrivons une fonction qui va nous aider
‫à visualiser ce qui se passe.
‫C'est donc ce que nous allons faire dans la prochaine vidéo.