‫Ben tornato.
‫Quindi cosa sono i dati, voglio dire, ne abbiamo già parlato e dovremmo avere un'idea di cosa sono i dati e sappiamo
‫anche perché le aziende si preoccupano dei dati, giusto?
‫Viviamo in un mondo in cui i dati sono preziosi e alcune delle aziende più preziose lo sono perché
‫raccolgono dati.
‫Aziende come Facebook e Google vendono dati per fare soldi.
‫Forniscono prodotti ai clienti utilizzando i dati per migliorare i loro prodotti.
‫I dati sono il nuovo oro.
‫Quindi le aziende si preoccupano perché comprendendo i loro dati, potrebbero far parte del prodotto, come la creazione
‫di un motore di raccomandazione di YouTube, possiamo chiedere se l'azienda sta facendo bene a monitorare le vendite e le
‫statistiche dell'azienda.
‫E puoi anche usare i dati per migliorare l'azienda e chiedere, possiamo fare di meglio?
‫In cosa possiamo migliorare?
‫Come possiamo rendere le nostre app più veloci?
‫Quindi le aziende si preoccupano molto dei dati, ma voglio prendermi un po' di tempo per capire veramente
‫cosa fanno gli ingegneri dei dati manipolando o raccogliendo questi dati.
‫Quindi parliamo dei quattro diversi tipi di dati.
‫Abbiamo imparato che esistono cose chiamate dati strutturati.
‫Ora, questi sono dati che in realtà sono ben organizzati per noi da capire e leggere, perché i
‫dati vengono raccolti in modi diversi da fonti diverse.
‫Destra.
‫Ma una volta su un computer, c'è un modo standard, di solito in una tabella o in quella che chiamiamo matrice, una tabella che lo
‫rende facile da leggere.
‫Gli attributi sono in genere colonne e le righe sono in genere istanze.
‫E a volte abbiamo gli output e sono la colonna più a destra come abbiamo visto con l'apprendimento
‫automatico, dove prevediamo un output in base agli input e alla struttura.
‫I dati di solito provengono da cose come database relazionali come MySQL, postcrisis e altri database relazionali
‫che ci consentono di fare qualcosa chiamato query ESKIL, ovvero eseguire azioni sui dati
‫strutturati per raccogliere informazioni.
‫Poi ci sono i dati semi strutturati, sono ancora dati strutturati, ma spesso in qualcosa come un XML,
‫CSFI, che abbiamo visto o per cui JSON.
‫E queste sono solo estensioni diverse e modi diversi per archiviare i dati in file diversi.
‫Ad esempio, un sito Web molto popolare per acquisire dati che sono aperti gratuitamente online e trovare set di dati, magari anche fare concorsi o
‫vedere i taccuini di altre persone e parlare di argomenti di apprendimento automatico, beh, Kagle ci
‫consente di guardare effettivamente i set di dati che sono disponibili per noi da usare e con cui giocare.
‫E qui, se digito qualcosa come XML.
‫Mi darai tutte le informazioni o tutti i dati.
‫Rendiamo questo più grande che sono in formato XML.
‫Quindi, ad esempio, se clicco sulle immagini delle cellule del sangue.
‫E io.
‫Dai un'occhiata qui, vedo che le origini dati sono alcuni file CSFI, ma ci sono anche
‫alcuni file XML.
‫E se scorro verso il basso, ci sono anche alcune immagini.
‫Quindi diversi formati di dati che possiamo usare.
‫A proposito, se fai clic su Filtro qui, vedrai effettivamente alcuni dei tipi di file disponibili per i
‫dati.
‫Ora sappiamo di CVS, c'è anche Jason dove Jason, se diamo un'occhiata e andiamo a questo stile di
‫birra.
‫Se scorro verso il basso, vediamo che è in formato JSON e in formato Jason, puoi vedere che ha questa struttura
‫ad albero per esplorare i dati.
‫Quindi solo un po' diverso da CSFI.
‫Solo un altro modo per organizzare i dati.
‫Come ho detto.
‫Su Kagle, troverai tutti questi tipi di set di dati che utilizzano cose diverse, SQLite Light, ad
‫esempio, è un tipo di database e utilizzando Eskew anche dati strutturati.
‫Quindi se ti chiedo una luce qui e cerco qualcosa usando i database relazionali.
‫Vedrai che questo usa chiedere a tutti voi.
‫E ci dice che tipo di commercio ha.
‫Ci sono così tanti modi per esplorare Kagle, ma questi due tipi di dati sono generalmente ben organizzati
‫e facili da manipolare con strumenti come i panda per i caffè.
‫E puoi davvero fare tutto anche con i panda.
‫Il terzo tipo sono i dati non strutturati.
‫E Daniel l'ha già detto.
‫Destra?
‫Questa idea di dati non strutturati va bene, di solito non sono in formati semplici che possiamo davvero
‫manipolare e analizzare facilmente.
‫Si tratta spesso di cose come e-mail o PDF o qualsiasi tipo di documento in cui forse comprenderli effettivamente
‫è un po' più difficile.
‫Non è strutturato.
‫Infine, abbiamo i dati binari.
‫Queste sono cose come file audio, file di immagine, file video.
‫Sono in binario cioè uno e zero che i computer possono capire.
‫Ma per noi classificarli è davvero molto difficile.
‫Come puoi vedere, va dall'alto verso il basso.
‫Da dati veramente organizzati e ben etichettati a qualcosa che è un po' più difficile da organizzare, specialmente per le macchine, quindi
‫perché dobbiamo parlare di questi quattro tipi di dati?
‫Bene, perché la maggior parte delle aziende.
‫Più grandi diventano non solo avranno dati strutturati, avranno tutti i tipi di dati, tutti i
‫tipi di input che devono in qualche modo lavorare tutti insieme.
‫Quindi uno dei compiti di un data engineer consiste essenzialmente nell'utilizzare il fatto che ci sono tutti questi
‫tipi di dati e in qualche modo combinarli o organizzarli in modo utile per l'azienda.
‫Facciamo una pausa qui ed esploriamo un po' di più nel prossimo video.