‫Bem vindo de volta.
‫Então, o que são dados, quero dizer, já conversamos sobre isso e devemos ter uma ideia do que são dados e também sabemos
‫por que as empresas se preocupam com os dados, certo?
‫Vivemos em um mundo onde os dados são valiosos e algumas das empresas mais valiosas são valiosas porque
‫coletam dados.
‫Empresas como Facebook e Google vendem dados para ganhar dinheiro.
‫Eles fornecem produtos para clientes usando os dados para melhorar seus produtos.
‫Os dados são o novo ouro.
‫Portanto, as empresas se preocupam porque, ao compreender seus dados, eles podem fazer parte do produto, como a criação de
‫um mecanismo de recomendação do YouTube, podemos perguntar se a empresa está fazendo tudo certo para monitorar as vendas e estatísticas
‫da empresa.
‫E você também pode usar os dados para melhorar a empresa e perguntar: podemos fazer melhor?
‫O que podemos melhorar?
‫Como podemos tornar nossos aplicativos mais rápidos?
‫Portanto, as empresas se preocupam muito com os dados, mas quero dedicar um pouco de tempo para realmente entender o
‫que os engenheiros de dados fazem ao manipular ou coletar esses dados.
‫Portanto, vamos falar sobre os quatro tipos diferentes de dados.
‫Aprendemos que existem coisas chamadas dados estruturados.
‫Agora, esses são dados que estão realmente bem organizados para que possamos entender e ler, porque os dados são
‫coletados de maneiras diferentes a partir de fontes diferentes.
‫Direito.
‫Mas, uma vez no computador, existe uma forma padrão, geralmente em uma tabela ou o que chamamos de matriz, uma tabela
‫que facilita a leitura.
‫Os atributos são geralmente colunas e as linhas geralmente são instâncias.
‫E às vezes temos as saídas e eles são a coluna mais à direita, como vimos no aprendizado de
‫máquina, onde prevemos uma saída com base nas entradas e na estrutura.
‫Os dados geralmente vêm de coisas como bancos de dados relacionais como MySQL, postcrisis e outros bancos de
‫dados relacionais que nos permitem fazer algo chamado consultas ESKIL, ou seja, realizar ações nos
‫dados estruturados para coletar informações.
‫Depois, há dados semiestruturados, eles ainda são dados estruturados, mas geralmente em algo como
‫XML, CSFI, que vimos ou JSON.
‫E essas são apenas extensões diferentes e maneiras diferentes de armazenar dados em arquivos diferentes.
‫Por exemplo, um site muito popular para pegar dados que são abertos gratuitamente online e encontrar conjuntos de dados, talvez até fazer competições ou
‫ver os cadernos de outras pessoas e falar sobre tópicos de aprendizado de máquina, bem,
‫Kagle nos permite realmente olhar os conjuntos de dados que estão disponíveis para nós para usar e brincar.
‫E aqui, se eu digitar algo como XML.
‫Você me dará todas as informações ou todos os dados.
‫Vamos aumentar ainda mais os que estão no formato XML.
‫Então, por exemplo, se eu clicar em imagens de células sanguíneas.
‫E eu.
‫Dê uma olhada aqui, vejo que nas fontes de dados existem alguns arquivos CSFI, mas também existem
‫alguns arquivos XML.
‫E se eu rolar para baixo, também há algumas imagens.
‫Tão diferentes formatos de dados que podemos usar.
‫A propósito, se você clicar em Filtrar aqui, verá alguns dos tipos de arquivo disponíveis para
‫dados.
‫Agora que sabemos sobre CVS, há também Jason, onde Jason, se dermos uma olhada e vamos para este estilo de
‫cerveja.
‫Se eu rolar para baixo, vemos que está no formato JSON e no formato Jason, você pode ver que tem essa estrutura em
‫forma de árvore para explorar os dados.
‫Então, apenas um pouco diferente do CSFI.
‫Apenas outra maneira de organizar os dados.
‫Como eu mencionei.
‫No Kagle, você encontrará todos esses tipos de datasets usando coisas diferentes, SQLite Light, por exemplo, é
‫um tipo de banco de dados e usando Eskew também dados estruturados.
‫Então, se eu te pedir uma luz aqui e pesquisar por algo usando bancos de dados relacionais.
‫Você verá que isso usa perguntar a todos.
‫E nos diz que tipo de comércio ele tem.
‫Existem muitas maneiras de explorar Kagle, mas esses dois tipos de dados são geralmente bem organizados
‫e fáceis de manipular com ferramentas como pandas para cafés.
‫E você também pode fazer tudo bem com os pandas.
‫O terceiro tipo são os dados não estruturados.
‫E Daniel já mencionou isso.
‫Direito?
‫Essa ideia de dados não estruturados é boa, geralmente não estão em formatos simples que possamos realmente
‫manipular e analisar facilmente.
‫Freqüentemente, são coisas como e-mails ou PDFs ou qualquer tipo de documento em que talvez realmente entendê-los seja
‫um pouco mais difícil.
‫É desestruturado.
‫Finalmente, temos dados binários.
‫São coisas como arquivos de áudio, arquivos de imagem, arquivos de vídeo.
‫Eles estão em binários, isto é, uns e zeros que os computadores podem entender.
‫Mas para nós categorizá-los, isso é muito, muito difícil.
‫Como você pode ver, vai de cima para baixo.
‫De dados realmente organizados e bem rotulados a algo um pouco mais difícil de organizar, especialmente para máquinas, então por que
‫temos que falar sobre esses quatro tipos de dados?
‫Bem, porque a maioria das empresas.
‫Quanto maiores eles ficarem, não terão apenas dados estruturados, eles terão todos os tipos de dados, todos
‫os tipos de entradas que precisam de alguma forma trabalhar juntos.
‫Portanto, uma das funções de um engenheiro de dados é essencialmente usar o fato de que existem todos esses tipos de
‫dados e, de alguma forma, combiná-los ou organizá-los de uma forma que seja útil para o negócio.
‫Vamos fazer uma pausa aqui e explorar um pouco mais no próximo vídeo.