‫OK, OK, alors que fait réellement un ingénieur de données ?
‫Commençons par trois grands mots que nous devons comprendre avant de vraiment comprendre ce que fait un
‫ingénieur de données.
‫Oui, je sais que je continue de tourner autour de l'ingénieur de données et je continue de vous enthousiasmer, mais je vous promets que
‫nous nous rapprochons vraiment, vraiment.
‫Nous avons juste besoin de discuter de ces trois guerres dont vous avez peut-être entendu parler ou non.
‫L'un est l'exploration de données et l'exploration de données signifie simplement le prétraitement et l'extraction de certaines connaissances à partir des
‫données.
‫Nous utilisons donc une sorte de données pour extraire des connaissances de ce qu'est l'exploration de données.
‫Big Data.
‫Eh bien, cela signifie que nous avons beaucoup de données, beaucoup de variables, tellement de données, en fait, que
‫vous ne pouvez pas exécuter sur votre ordinateur portable et qu'il y a tout simplement trop de données pour votre ordinateur portable ou votre ordinateur.
‫Habituellement, lorsque nous parlons de données volumineuses, ce sont des données si volumineuses que vous devez les exécuter sur le cloud
‫computing ou sur plusieurs ordinateurs tels qu'un W. S. Azure et Google cloud, car ils ont beaucoup d'ordinateurs et beaucoup
‫de stockage pour stocker ces données.
‫C'est donc ce qu'a le Big Data.
‫Les mégadonnées sont des données que vous ne pouvez généralement pas avoir sur un seul ordinateur.
‫Cela se produit généralement parce que, eh bien, les ensembles de données deviennent si volumineux que nous avons maintenant des pétaoctets et des pétaoctets de
‫données.
‫Ainsi, le simple fait d'avoir des données dans une base de données comme mon école ou PostgreSQL ou n'importe quel type de base de données devient vraiment difficile
‫lorsque cette base de données n'est qu'une seule machine.
‫Maintenant, de nouvelles technologies ont été inventées pour résoudre ce problème de big data comme Hadoop et NQ, dont nous allons
‫parler.
‫Maintenant, un pipeline de données est essentiellement un pipeline qu'un ingénieur de données construit pour utiliser essentiellement le fait que nous disposions de cette grande
‫quantité de données, nous devons extraire des informations de ces données à l'aide de l'exploration de données.
‫Nous devons donc apporter ou construire un pipeline qui nous permet de passer de cette grande quantité inconnue de données
‫à un pipeline qui extrait et les données sous une forme plus utile.
‫Ainsi, un ingénieur de données crée essentiellement un pipeline de données où toutes les informations que différents appareils comme les
‫appareils Iot, les applications mobiles, les applications Web, les caméras, les voitures et à peu près tout ce qui
‫collecte des données et stocke des informations ou enregistre des données dans des serveurs ou dans le
‫cloud , un ingénieur de données accumule essentiellement toutes ces informations dans des bases de données bien emballées et stocke des moteurs afin
‫que différentes parties de l'entreprise puissent créer des visualisations.
‫Ils peuvent surveiller les performances de leur produit.
‫Ils peuvent obtenir des informations commerciales et prendre des décisions commerciales à partir de ces données et même utiliser ces données sur leurs
‫applications.
‫Par exemple, pour les profils d'utilisateurs avant qu'un data scientist ou un expert en apprentissage automatique ou même un
‫business intelligence ou un data analyst soit embauché pour une grande entreprise.
‫La chose qu'ils doivent faire avant que tout cela puisse être fait est d'embaucher un ingénieur de données.
‫Ils construisent le pipeline qui nous permet de travailler en tant que data scientists.
‫Souvenez-vous de ce diagramme et de la façon dont nous nous sommes concentrés sur cette partie.
‫Eh bien, un ingénieur de données nous permet de faire cette partie de collecte de données.
‫Ils apportent toutes ces informations, les organisent de manière à ce que nous fassions notre modélisation des données.
‫Ils nous aident vraiment avec cette partie de la collecte de données qui, généralement, en tant qu'ingénieur en apprentissage automatique ou scientifique des données,
‫vous n'avez pas à vous en préoccuper trop.
‫Mais tu sais quoi?
‫Ma démonstration préférée de ce qu'est un ingénieur de données se trouve dans la vidéo suivante.
‫J'espère que vous êtes excité parce que les choses vont commencer à avoir de plus en plus de sens.
‫Je te verrai sur celui-là.
‫Bye Bye.