‫Content de te revoir.
‫Et dans la dernière vidéo, nous avons vu comment utiliser la méthode de prédiction pour faire des prédictions sans
‫modèles d'apprentissage automatique, sans modèles d'apprentissage automatique équipés sur des modèles de régression ou estimation de régression comme dans la terminologie
‫d'apprentissage psychique.
‫Revenons donc sur ce que nous couvrons, ce que nous couvrons.
‫Nous avons donc fait zéro un à trois.
‫Nous avons fait des prédictions sur nos données, car c'est l'objectif final de l'apprentissage automatique qui est
‫de faire une sorte de prédiction.
‫Nous avons des données existantes.
‫Nous aimerions essayer un algorithme sur ces données pour trouver des modèles et utiliser ces modèles pour faire des prédictions
‫à l'avenir.
‫Donc, mais tout aussi important que de faire ces prédictions, c'est d'évaluer ces prédictions.
‫Alors allons-y.
‫Je vais écrire un nouveau titre ici.
‫J'en ai 4. 0 évaluer un modèle d'apprentissage automatique.
‫La raison pour laquelle nous évaluons nos modèles est que nous avons donc construit un modèle pour prédire quelque chose, puis nous
‫avons voulu le mettre dans une application.
‫Si notre modèle fait de mauvaises prédictions, serait-ce une expérience formidable pour quiconque utilise cette application
‫?
‫Probablement pas.
‫Donc, avant de mettre nos modèles dans l'application ou de prédire quelque chose qui va être assez critique,
‫nous voulons évaluer les prédictions existantes que nous pouvons.
‫Ainsi, avec Typekit learn, il existe trois façons de bien évaluer, trois façons intégrées de créer vos propres pondérations personnalisées,
‫mais trois façons d'évaluer les estimations de barres obliques des modèles de ligne de socket.
‫Ceux-ci font partie de cette bibliothèque de lignes Typekit.
‫L'une est que l'estimation est intégrée à la méthode des scores.
‫Nous avons eu un peu d'expérience avec cela jusqu'à présent.
‫Deux est le paramètre de notation.
‫Nous n'avons pas vu ce seul paramètre de notation que nous pourrions avoir.
‫En fait, nous avons couvert beaucoup de choses, mais nous allons passer en revue chacune de ces fonctions, puis des fonctions métriques
‫spécifiques au problème.
‫Ainsi, en fonction de votre travail avec la classification ou la régression, il y aura des mesures d'évaluation spécifiques pour
‫chacun de ces moments problématiques.
‫Et d'où tirons-nous cela ?
‫Eh bien, cela entre dans la documentation du prêt de socket.
‫Ce sont des mesures, et la notation est un élément très important.
‫C'est d'ailleurs votre programme actuel.
‫Pour lire ceci, vous n'avez pas besoin de tout savoir par cœur, mais simplement de comprendre
‫où trouver ces informations.
‫C'est une grande partie d'être un programmeur et surtout un ingénieur en apprentissage automatique.
‫Un data scientist sait simplement où chercher, où trouver des choses.
‫Je vais donc mettre ceci ici, et j'ai pris les trois API différentes.
‫Nous avons donc la méthode scolaire estimée, le paramètre de notation et les fonctions métriques.
‫Commençons par décomposer chacun d'eux.
‫Hé, je vais apporter ça ici.
‫Et puis c'est que je vais mettre ça ici.
‫Vous pouvez en savoir plus à ce sujet ici.
‫Merveilleux.
‫Faisons donc juste un récapitulatif de la méthode de partition, et je vais la formater pour la rendre belle et
‫jolie.
‫Balle dans ça -- magnifique.
‫Faisons un récapitulatif, donc je vais le mettre un peu, pas un petit titre ici.
‫Quatre points un Nous allons évaluer un modèle avec la méthode des scores.
‫Transformez cela en démarque et nous passerons de S. K. ensemble appris importation Random Forest Classifier.
‫Nous allons donc le faire avec nos données de classification.
‫Premier MP, graine aléatoire.
‫Quarante-deux.
‫Maintenant je te veux.
‫Je veux que tu te donnes.
‫Lancez-vous un défi ici.
‫Créez X et Y.
‫Je vais laisser quelques commentaires ici.
‫Créez X et Y.
‫Créer un test de train.
‫Ce sera donc X équivaut à une maladie cardiaque, quelque chose que nous utilisons notre ensemble de données sur les maladies cardiaques et que
‫nous voulons ensuite créer.
‫Je vais simplement descendre ici, instance de modèle de classificateur, puis adapter le classificateur aux données d'entraînement.
‫C'est donc mon défi pour vous.
‫Je vais vous permettre de poster la vidéo ici et d'essayer de remplir ces commentaires
‫vous-même, mais je vais y revenir dans trois.
‫Un au dos, et j'espère que vous avez tenté de les remplir, mais sinon, ce n'est pas grave.
‫Nous allons les parcourir ensemble.
‫Nous avons écrit ce code juste ici, et c'est l'une des seules fois où je vous laisserai jamais copier et
‫coller du code comme si nous avions des trucs, si nous réécrivons des trucs que nous avons écrits un certain nombre de
‫fois avant.
‫Je vais donc copier ça.
‫Je vais faire tomber ça.
‫Nous vérifions la méthode de score, c'est la première que nous vérifions, alors faisons un
‫copier-coller.
‫Donc, la sauvegarde aléatoire crée les données, divise les données, instancie le classificateur de forêt aléatoire.
‫Maintenant, je crois, oui, une estimation est de 100 par défaut.
‫Nous allons laisser cela là de toute façon.
‫Ajustez le modèle aux données d'entraînement.
‫Alors laissons ça tourner en beauté.
‫Nous avons donc un classificateur de forêt aléatoire adapté.
‫Agréable et rapide.
‫Et maintenant, comment pensez-vous que nous allons utiliser la méthode des scores ?
‫Et c'est un peu une question piège parce que nous venons de voir qu'elle vient en fait de la cellule où
‫nous avons copié tout cela.
‫Alors essayons, Cliff, ne marque pas.
‫Et que diriez-vous d'essayer le marqueur sur ces données d'entraînement 1. 0 ?
‫Maintenant, pourquoi pourrait-il obtenir un score de 1. 0 sur les données d'entraînement si nous imaginons la valeur la plus élevée pour le
‫score, au fait, c'est quoi ?
‫Je vais juste écrire ceci explicitement.
‫La valeur la plus élevée pour la méthode de score est 1. 0, le plus bas est zéro virgule zéro, donc 1. 0.
‫La méthode de score par défaut pour un algorithme de classification est la précision.
‫Renvoie la précision moyenne sur les données de test et les étiquettes données.
‫Et maintenant, bien sûr, nous allons devoir convertir cela en pourcentage si nous voulons une précision en pourcentage.
‫Số 1. 0 correspond à une précision de 100 %.
‫Donc, s'il s'agissait de zéro virgule huit, la précision serait de 80 %.
‫Maintenant, pourquoi notre modèle d'apprentissage automatique obtient-il un score parfait à 100 % ?
‫Vous ai-je déjà dit que vous n'étiez pas sceptique quant à un modèle d'apprentissage automatique qui obtient un score parfait n'importe où ?
‫Sinon, considérez que c'est moi qui vous dis qu'il faut toujours être sceptique quant aux mesures parfaites.
‫Pourquoi notre modèle obtient-il un point sur les données d'entraînement ?
‫Eh bien, c'est parce qu'il a été exposé à toutes les fonctionnalités de formation et à toutes les étiquettes de
‫formation.
‫Et donc, si le modèle est suffisamment puissant, il obtiendra un score parfait sur les données d'entraînement car
‫il est capable de diviser les données.
‫Dans notre cas, c'est le zéro binaire un.
‫Il est capable de prédire à partir de toutes les valeurs extrêmes.
‫Il est capable de prédire parfaitement toutes les valeurs du train Y.
‫Maintenant, cela pourrait être un scénario différent pour le jour du test à retenir.
‫Il n'a pas encore vu les échantillons de test.
‫Nous voulons que notre modèle puisse apprendre suffisamment des fonctionnalités d'entraînement et des étiquettes d'entraînement pour prédire sur des échantillons qui
‫n'avaient jamais été vus auparavant.
‫C'est le cœur de l'apprentissage automatique, des modèles d'apprentissage et des données dont nous disposons pour faire des prédictions de
‫qualité sur des données que nous n'avons jamais vues auparavant.
‫Oh, donc le score est un peu moins sur les données invisibles.
‫Maintenant, c'est une tendance que vous allez voir souvent dans vos propres projets d'apprentissage automatique et dans vos articles de
‫recherche sur l'apprentissage automatique partout.
‫Le score d'entraînement est généralement parfois un peu plus élevé que le score de test, mais ils devraient
‫être relativement proches.
‫Mais la formation sera généralement plus élevée que le score du test.
‫Et si jamais vous obtenez un résultat de test parfait comme une précision de 100 pour cent ou quelque chose comme ça, soyez
‫toujours sceptique, revenez en arrière et vérifiez vos données.
‫Mais si nous avons un peu aggravé notre modèle et que nous n'utilisons peut-être que cinq estimations, voyons ce qui se passe
‫ici.
‫Le nombre d'estimation est égal à cinq.
‫Quelle est l'école de formation?
‫Voyez-vous comment nous obtenons un score moins que parfait ?
‫Combien pouvons-nous pousser pour qu'il soit parfait ?
‫On y va.
‫Il n'en faut que 10.
‫C'est la puissance d'un algorithme d'ensemble.
‫Et si on n'en utilisait que deux ?
‫Qu'est-ce que ça donne ?
‫Obtient toujours 90 pour cent avec seulement deux, mais comment cela fonctionne-t-il ?
‫Vous voyez, nous obtenons un score bien pire, c'est donc l'algorithme d'ensemble.
‫En un mot, la forêt aléatoire est l'un des algorithmes d'ensemble les plus puissants et les plus rapides, nous
‫utilisons donc 10 ici, nous obtenons un score parfait sur les données d'apprentissage.
‫Et si on le poussait jusqu'à peut-être 500 ?
‫Pouvons-nous augmenter le score du test ?
‫Nous n'obtenons pas vraiment un score de test plus élevé, même si nous en utilisons peut-être un millier.
‫Vous dites comment vous pouvez modifier différentes choses avec des modèles d'apprentissage automatique.
‫C'est la partie amusante à ce sujet, non?
‫C'est peaufiner différentes choses et obtenir des résultats différents.
‫Avançons maintenant.
‫Nous avons vu la méthode scolaire pour les classificateurs.
‫N'oubliez pas que la métrique d'évaluation du score par défaut dans les modèles de classification et la ligne de socket est la précision que vous
‫pouvez trouver sur la chaîne d'amarrage.
‫Faisons de même.
‫Utilisons la méthode des scores sur notre problème de régression.
‫Donc.
‫Je vais vous laisser cela.
‫J'aimerais que vous reproduisiez cela, mais pour un ensemble de données de régression et en utilisant un algorithme de régression et en testant la méthode de
‫score, je vais vous donner un indice que nous avons déjà fait.
‫Mais j'aimerais que vous essayiez de l'écrire vous-même cette fois.
‫Faites la même configuration, configurez.
‫Créez les données, divisez les données.
‫Faire en sorte que le modèle s'adapte au modèle.
‫Noter le modèle.
‫Je te verrai dans la prochaine vidéo.