‫Content de te revoir.
‫Nous avons donc appris qu'en tant qu'ingénieur de données, vous collectez des données, vous ingérez des données, puis vous les stockez dans un
‫lac de données, souvent un cluster Hadoop.
‫Maintenant, cette idée de fuite de données peut également être utilisée avec quelque chose comme AYSO, S3 Object Storage.
‫Ce sont donc les deux plus populaires.
‫Et puis une fois qu'elles sont dans votre lac de données, vous pouvez généralement exécuter des tâches par lots sur ces données pour les nettoyer,
‫les modifier ou les modifier d'une manière ou d'une autre.
‫Hadoop nous a donc permis de le faire avec une production de masse, nous pouvons utiliser Apache Spark, vous pouvez simplement écrire manuellement des
‫scripts sur Amazon S3 ou vous pouvez même faire les meilleurs travaux avec des bases de données com comme vous demander toutes les bases de données.
‫Mais cette idée d'un traitement de flux est maintenant de plus en plus populaire.
‫Au lieu de traiter les données en utilisant uniquement des tâches par lots, disons toutes les heures ou tous les jours, il y a maintenant
‫un mouvement vers cette idée de traitement de flux en temps réel.
‫Cela signifie que lorsque les données sont reçues, les traiter immédiatement au lieu d'attendre un peu jusqu'à ce que nous puissions faire des lots
‫à la fois.
‫Cela nous permet d'avoir des réactions plus rapides aux données.
‫Maintenant, cette idée de traitement de flux est assez compliquée, mais l'un des principaux
‫outils actuellement utilisés pour le traitement de flux s'appelle Kafka.
‫Kafka, si on regarde sur leur site internet, est une plateforme de streaming distribuée.
‫Il nous permet de lire et d'écrire des flux de données comme le système de messagerie.
‫Il nous permet de traiter et il nous permet également de stocker des données.
‫Mais comme vous pouvez voir ce que fait Kafka, cela nous permet de recevoir des messages et de les transmettre à différents endroits.
‫Alors pourquoi vous verrez souvent que nous utilisons Apache, Kafka pour recevoir tous ces messages, journaux et
‫données de toutes ces sources, nous les collectons dans un emplacement central, puis Kafka peut les transmettre à différents
‫emplacements.
‫Par exemple, nous pouvons transmettre tout ce que Kafka reçoit à un cluster Hadoop pour stocker ces données.
‫Et puis peut-être si nous voulons utiliser Apache Spark pour traiter ces données dans un entrepôt de données.
‫Mais maintenant, avec l'idée du traitement en temps réel, Kafka nous permet maintenant de transmettre les choses au mur lui-même, ou nous pouvons
‫utiliser quelque chose comme Spark Streaming ou Flink, dont nous avons parlé, Apache Flink, qui
‫est davantage utilisé pour le traitement de flux ou Apache Storm ou encore Kinesis d'Amazon, qui en fait peuvent aussi être
‫placés comme Kafka ici pour gérer tous ces messages de tous ces endroits.
‫Maintenant, à la fin de la journée, tout cela aurait pu être déroutant.
‫Vous pourriez être submergé par tous ces outils disponibles.
‫Mais rappelez-vous ce que j'ai dit au début de cette section, un ingénieur de données est quelqu'un avec qui
‫vous interagirez en tant que scientifique des données.
‫Il est donc bon de savoir ce qu'ils font, quels sont leurs rôles, quelles sont leurs responsabilités.
‫Et vous travaillerez en étroite collaboration avec eux pour que vous disposiez des données nécessaires pour effectuer des analyses ou créer des
‫modèles d'apprentissage automatique.
‫Mais j'espère que ce schéma a maintenant un sens.
‫Un ingénieur de données crée ce paysage pour vous où il ingère des données via les informations du magasin Kafka à l'aide
‫de quelque chose comme Hadoop ou Amazon S3.
‫Ils traitent ces données en utilisant quelque chose comme Apache Spark ou Kinesis.
‫Et puis, ils stockent même les données dans des entrepôts de données, de sorte que des outils comme Redshift ou Becherer peuvent être utilisés
‫par des personnes au sein de l'entreprise pour apprendre quelque chose d'utile à partir des données.
‫Ils construisent la structure pour que vous vous épanouissiez.
‫Alors soyez gentil avec eux.
‫Et si jamais vous êtes intéressé par l'une de ces technologies, elles évoluent très rapidement.
‫Mais ils valent vraiment le détour et ils ne sont pas aussi intimidants à apprendre que vous ne le pensez.
‫Je verrai dans le prochain.
‫Au revoir.