‫Terminons cet aperçu de haut niveau de ce que fait un ingénieur de données en décrivant les trois tâches principales qu'il
‫effectue.
‫La première est qu'ils construisent ce que nous appelons un pipeline et al.
‫Ou un pipeline de charge de transformation d'extrait.
‫Contrairement à l'ingestion de données, qui signifie simplement déplacer des données d'un endroit à un autre et son pipeline est
‫l'idée qu'un ingénieur de données extrait les données qui ont été générées par tous ces systèmes.
‫Ils extraient ces données, puis lorsqu'ils extraient ces données, ils se transforment.
‫Les données sous une forme utile qui peut être chargée dans un entrepôt de données, donc ils extraient les données, ils transforment les
‫données et ils les chargent dans quelque chose comme un entrepôt de données afin que les données puissent être
‫utilisées par le reste de la compagnie.
‫Et ils utilisent des langages de programmation comme Python, Go Skalla et Java pour accomplir ces tâches ETEL ou
‫extraire, transformer la charge.
‫C'est donc la première question, quelle est la deuxième ?
‫Le second est la construction d'outils d'analyse.
‫Vous voyez que pour que nous comprenions le fonctionnement des systèmes de notre entreprise, un ingénieur de données doit s'assurer que lorsqu'une
‫partie du système tombe en panne, nous sommes avertis.
‫Ainsi, un ingénieur de données permet aux data scientists, data analysts, business intelligence d'utiliser des outils
‫pour analyser les données, mais aussi de s'assurer que le système qu'ils ont mis en place fonctionne correctement.
‫Enfin, leur troisième tâche principale est évidemment de maintenir l'entrepôt de données et les lacs de données qui s'assurent
‫que tout ce qui s'y trouve est accessible aux autres parties de l'entreprise.
‫Alors maintenant que nous avons un aperçu de haut niveau de ce que fait un ingénieur de données.
‫Je veux parler de certains des outils dont vous avez certainement entendu parler dans
‫l'industrie, des choses comme Hadoop, Kafka, Apache, Spark, tous ces termes qui sont vraiment difficiles à comprendre.
‫Je vais essayer de vous donner un aperçu de ce paysage afin que la prochaine fois que quelqu'un vous demande de
‫détester, devrions-nous utiliser Hadoop ?
‫Hé, à quoi sert Hadoop ?
‫De quoi avons nous besoin?
‫Kafka, vous pourrez y répondre.
‫Et après ce cours, vous pouvez partir seul et apprendre à utiliser ces outils s'ils se présentent un jour
‫dans votre travail.
‫Maintenant, ce paysage change rapidement.
‫De nouveaux outils apparaissent à gauche, à droite et au centre.
‫Donc, mon conseil est que ce que je vais vous montrer au cours des deux prochaines
‫vidéos, vous ne le considérez pas comme le must absolu pour tous les ingénieurs de données, sachez plutôt qu'ils existent, allez lire une partie de leur
‫documentation, certaines informations en ligne, mais ne les apprenez ou ne les utilisez qu'une fois que le besoin s'en fait sentir, car
‫elles sont constamment mises à jour.
‫Et le monde de l'ingénierie des données va très vite en ce moment.
‫Mais cela dit, n'ayons aucun doute sur les données des prochaines vidéos.