‫Bem vindo de volta.
‫Acabamos de passar por todo esse fluxo de como os dados são usados por uma empresa.
‫Mas há mais algumas coisas que quero falar, porque agora acabamos de falar sobre água
‫e como isso realmente se aplica?
‫Que tipo de ferramenta os engenheiros de dados realmente usam?
‫Bem, você pode ter ouvido algo parecido.
‫Kafka, e chegaremos a Kafka mais tarde, mas algo como coletar esses fluxos de dados e colocá-los em um
‫data lake.
‫Pode ser algo que Kafka ou Apache Kafka possam fazer por Data Lakes, por exemplo, são simplesmente
‫programas que as empresas podem usar.
‫Por exemplo, você pode ter ouvido falar do Hadoop ou Amazon S3 ou do Azure Datalink.
‫Esses são programas desenvolvidos por engenheiros para armazenar grandes quantidades de dados, diariamente.
‫E então, para um data warehouse, temos ferramentas como Google Bakery, Amazon Redshift, até
‫Amazon, Athena, esses são data warehouses que permitem aos engenheiros fazer consultas ou analisar esses dados estruturados.
‫Agora, eu sei o que você está pensando, quem faz o quê em todo este sistema?
‫Aprendemos que o engenheiro de dados cria todo esse sistema para nós.
‫Eles usam diferentes ferramentas e programas para ingerir dados e, em seguida, colocá-los em um data lake ou data warehouse.
‫Então, como cientista de dados e especialista em aprendizado de máquina, quais dados você usa?
‫Pause o vídeo e pense sobre isso.
‫Pronto para a resposta?
‫Bem, na maioria das vezes, você estaria trabalhando com um data lake.
‫Porque lembre-se, se você estiver fazendo aprendizado de máquina, quanto mais dados você tiver, melhor.
‫Direito.
‫E com o aprendizado de máquina, você pode usar dados estruturados ou não estruturados.
‫Portanto, você pode entrar em um data lake e realmente pegar um monte de dados para usar em seus modelos, sejam eles
‫em formulários CSV ou quaisquer outros formulários.
‫E geralmente os data warehouses são usados por seres ou pessoas de business intelligence ou analistas de negócios
‫ou analistas de dados para fazer visualização ou analisar dados, porque o data warehouse geralmente tem mais dados estruturados
‫que foram limpos do que quando era um data lake.
‫É muito mais fácil entender e usar os dados para obter informações.
‫Agora, como cientista de dados, você pode usar dados de um data warehouse.
‫E isso não é apenas uma regra.
‫Normalmente, você usa todos os dados que podem ser usados para você.
‫Mas esta é uma boa maneira de pensar sobre coisas que um cientista de dados usa o máximo de dados
‫que puder, o máximo de dados úteis que puderem, enquanto alguém como uma pessoa de inteligência de negócios
‫ou um analista de dados já limpou os dados, processados por um engenheiro de dados e usou algo como um data warehouse
‫para analisar dados.
‫E a grande consulta do Google é exatamente isso e permite que alguém sem
‫muita experiência em engenharia ou programação analise esses dados em um data warehouse.
‫Outra maneira de pensar sobre isso é assim.
‫Normalmente, um engenheiro de software, um desenvolvedor de software, desenvolvedor de aplicativos, desenvolvedor móvel, eles criam programas e
‫aplicativos que os usuários e clientes usam e que liberam dados.
‫Em seguida, um engenheiro de dados construiria esse piping e pipeline para que pudéssemos ingerir dados e armazená-los em diferentes serviços, como Hadoop,
‫como o Google Bakery, para que os dados pudessem ser acessados pelo resto da empresa.
‫Em seguida, temos cientistas de dados que usam o data lake, bem como os cientistas de dados, para extrair informações e entregar algum
‫tipo de valor de negócios.
‫Finalmente, temos analistas de dados ou business intelligence para usar algo como um data warehouse ou dados estruturados para derivar novamente
‫o valor do negócio, e espero que isso esclareça um pouco a situação quando você ouvir todos esses
‫títulos por aí no setor.
‫Agora, a indústria está evoluindo rapidamente e há definitivamente alguma sobreposição e, às vezes, o que uma descrição de trabalho pode dizer
‫pode ser diferente da outra.
‫Mas essas são regras gerais simplificadas que você pode usar para entender como cada função desempenha no papel de uma
‫empresa.