‫Bem vindo de volta.
‫Quero fazer uma seção rápida para cobrir um tópico que muitas vezes é esquecido nos cursos de ciência de dados e aprendizado
‫de máquina.
‫No entanto, para entender verdadeiramente um tópico, precisamos entender os princípios de alto nível e
‫a paisagem desse tópico.
‫Nesse caso, queremos trabalhar como cientista de dados ou engenheiro de aprendizado de máquina.
‫Portanto, precisamos pelo menos entender o tópico da engenharia de dados.
‫Mas o que isso significa?
‫O que há com todos esses títulos, cientista de dados, analista de dados, visualização de dados, isso é uma loucura, isso
‫é tão confuso.
‫Bem, vamos falar sobre engenharia de dados e como ela se encaixa em todo esse ecossistema do qual falamos
‫até agora.
‫Agora, aprendemos que a ciência de dados trata do uso de dados para tomar decisões de negócios.
‫Direito.
‫Uma das maneiras de tomar decisões de negócios é usar uma técnica como o aprendizado de máquina.
‫E isso permite que um computador aprenda e descubra a solução para um problema que pode ser
‫um pouco complicado demais para ser resolvido por um ser humano ou pode ser muito tedioso e demorado.
‫Queremos automatizá-lo para que o aprendizado de máquina seja uma técnica e a ciência de dados seja a ideia de usar
‫dados e convertê-los em algo útil para um produto ou negócio.
‫E a análise de dados é um subconjunto da ciência de dados que nos permite analisar os dados que temos, mas a peça que
‫falta é a engenharia de dados e nem todas as empresas têm engenheiros de dados.
‫Mas, à medida que as empresas ficam cada vez maiores, elas precisam contratar para essa função.
‫Vamos dar uma olhada em por que quem traz todos esses dados para nós em um pequeno arquivo legal.
‫De onde vêm esses dados?
‫Como fazemos isso?
‫Nós jogamos fora depois de terminarmos?
‫Quem rotulou esses dados?
‫Você vê que um cientista de dados ou um especialista em aprendizado de máquina não precisa se preocupar na
‫maior parte do tempo com esses tópicos.
‫O ideal é que você tenha os dados acessíveis, porque essa parte dos dados é tratada por um engenheiro de dados, então
‫quem é essa figura mítica?
‫Bem, um engenheiro de dados pegaria todos os pontos de dados que chegam, digamos, para uma empresa.
‫Digamos que esta empresa tenha todos esses produtos e todos esses dados que vêm de seus
‫usuários, de suas câmeras de segurança, de seu site, de dispositivos Iot.
‫E um engenheiro de dados obtém todas essas informações.
‫E depois produz e mantém em bancos de dados ou em um determinado tipo de computador para que a empresa
‫tenha acesso a esses dados de forma organizada.
‫Eles são como os bibliotecários, onde coletam todas essas informações e as organizam para nós, de
‫modo que pessoas como o aprendizado de máquina ou especialistas em ciência de dados possam usar esses dados.
‫Mas esta é uma versão simplificada do que um engenheiro de dados faz.
‫Para que possamos realmente entender isso, precisamos voltar ao início e fazer a
‫pergunta, quais são os dados que verei no próximo por.