‫Content de te revoir.
‫Nous venons donc de parcourir tout ce flux de la façon dont les données sont utilisées par une entreprise.
‫Mais il y a quelques autres choses dont je veux parler, parce qu'en ce moment nous venons de parler de
‫l'eau et comment cela s'applique-t-il vraiment ?
‫Quels types d'outils les ingénieurs de données utilisent-ils réellement ?
‫Eh bien, vous avez peut-être entendu parler de quelque chose comme.
‫Kafka, et nous reviendrons sur Kafka plus tard, mais quelque chose comme collecter ces flux de données et les mettre dans un
‫lac de données.
‫Cela pourrait être quelque chose que Kafka ou Apache Kafka pourraient faire pour les lacs de données, par exemple, ce sont
‫simplement des programmes que les entreprises peuvent utiliser.
‫Par exemple, vous avez peut-être entendu parler d'Hadoop ou d'Amazon S3 ou d'Azure Datalink.
‫Ce sont des programmes qui ont été construits par des ingénieurs pour conserver de grandes quantités de données comme un quotidien.
‫Et puis pour un entrepôt de données, nous avons des outils comme Google Bakery, Amazon Redshift, voire Amazon,
‫Athena, ce sont des entrepôts de données qui permettent aux ingénieurs de faire des requêtes ou d'analyser ces données structurées.
‫Maintenant, je sais ce que vous pensez, qui fait quoi dans tout ce système ?
‫Nous avons appris que l'ingénieur de données crée tout ce système pour nous.
‫Ils utilisent différents outils et programmes pour ingérer des données, puis les mettre dans un lac de données ou un entrepôt de données.
‫Alors, en tant que data scientist et expert en machine learning, quelles données utilisez-vous ?
‫Mettez la vidéo en pause et réfléchissez-y.
‫Prêt pour la réponse ?
‫Eh bien, la plupart du temps, vous travaillez avec un lac de données.
‫Parce que rappelez-vous, si vous faites de l'apprentissage automatique, plus vous avez de données, mieux c'est.
‫À droite.
‫Et avec l'apprentissage automatique, vous pouvez utiliser des données structurées ou non structurées.
‫Vous pouvez donc accéder à un lac de données et récupérer un tas de données à utiliser pour vos modèles, qu'ils soient sous forme
‫de CSV ou sous toute autre forme.
‫Et généralement, les entrepôts de données sont utilisés par des êtres ou des personnes en intelligence d'affaires, des analystes commerciaux ou
‫des analystes de données pour effectuer une visualisation ou analyser des données, car l'entrepôt de données contient généralement plus de données structurées
‫qui ont été nettoyées que lorsqu'il s'agissait d'un lac de données.
‫Il est beaucoup plus facile de comprendre et d'utiliser les données pour l'information.
‫Désormais, en tant que data scientist, vous pouvez utiliser les données d'un entrepôt de données.
‫Et ce n'est pas qu'une règle.
‫C'est généralement vous utilisez toutes les données qui vous sont utilisables.
‫Mais c'est une bonne façon de penser aux choses qu'un data scientist utilise autant de données qu'il le peut, autant
‫de données utiles qu'il le peut, alors que quelqu'un comme un informaticien ou un analyste de données fait
‫déjà nettoyer les données, les traiter par un ingénieur de données et a utilisé quelque chose comme un entrepôt de données pour
‫analyser les données.
‫Et la grande requête de Google est exactement cela et permet à quelqu'un qui n'a pas
‫trop d'expérience en ingénierie ou en programmation d'analyser ces données dans un entrepôt de données.
‫Une autre façon de penser est comme ça.
‫Généralement un ingénieur logiciel, un développeur logiciel, un développeur d'applications, un développeur mobile, ils créent des programmes et des
‫applications que les utilisateurs et les clients utilisent et qui libèrent des données.
‫Ensuite, un ingénieur de données construirait cette tuyauterie et ce pipeline pour que nous puissions ingérer les données et les stocker dans différents services
‫comme Hadoop, comme Google Bakery, afin que ces données soient accessibles par le reste de l'entreprise.
‫Ensuite, nous avons des data scientists qui utilisent le lac de données ainsi que des data scientists pour extraire des informations et fournir
‫une sorte de valeur commerciale.
‫Enfin, nous avons des analystes de données ou de l'intelligence d'affaires pour utiliser quelque chose comme un entrepôt de données ou des données structurées
‫pour dériver à nouveau de la valeur commerciale, et j'espère que cela clarifie un peu la situation lorsque vous
‫entendez tous ces titres dans l'industrie.
‫Maintenant, l'industrie évolue rapidement et il y a certainement un certain chevauchement et parfois ce qu'une description de poste peut dire
‫peut être différent de l'autre.
‫Mais ce sont des règles générales simplifiées que vous pouvez utiliser pour comprendre comment chaque rôle joue dans la partie
‫d'une entreprise.