‫Welkom terug.
‫Dus wat is data, ik bedoel, we hebben er al over gesproken en we zouden een idee moeten hebben van wat data is
‫en we weten ook waarom bedrijven om data geven, toch?
‫We leven nu in een wereld waar gegevens waardevol zijn en enkele van de meest waardevolle bedrijven zijn waardevol omdat
‫ze gegevens verzamelen.
‫Bedrijven als Facebook en Google verkopen data om geld te verdienen.
‫Ze leveren producten aan klanten door de gegevens te gebruiken om hun producten te verbeteren.
‫Data is het nieuwe goud.
‫Bedrijven geven er dus om, want door hun gegevens te begrijpen, kunnen ze onderdeel zijn van het product, zoals het
‫maken van een YouTube-aanbevelingsengine. We kunnen vragen of het bedrijf er goed aan doet om de verkoop en statistieken van het bedrijf
‫te controleren.
‫En je kunt data ook gebruiken om het bedrijf te verbeteren en je af te vragen: kan het beter?
‫Wat kunnen we verbeteren?
‫Hoe kunnen we onze apps sneller maken?
‫Bedrijven geven dus veel om data, maar ik wil wat tijd nemen om echt te begrijpen wat
‫data-engineers doen door deze data te manipuleren of te verzamelen.
‫Laten we het dus hebben over de vier verschillende soorten gegevens.
‫We hebben geleerd dat er dingen zijn die gestructureerde gegevens worden genoemd.
‫Dit zijn gegevens die voor ons goed georganiseerd zijn om te begrijpen en te lezen, omdat gegevens
‫op verschillende manieren uit verschillende bronnen worden verzameld.
‫Rechts.
‫Maar eenmaal op een computer is er een standaardmanier, meestal in een tabel of wat we een matrix noemen, een tabel die het gemakkelijk
‫maakt om te lezen.
‫Attributen zijn meestal kolommen en rijen zijn meestal instanties.
‫En soms hebben we de output en ze zijn meest rechtse kolom zoals we zagen bij machine learning,
‫waar we een output voorspellen op basis van de input en structuur.
‫Gegevens komen meestal uit dingen zoals relationele databases zoals MySQL, postcrisis en andere relationele databases die ons in staat stellen om
‫iets te doen dat ESKIL-query's wordt genoemd, dat wil zeggen om acties uit te voeren op de
‫gestructureerde gegevens om informatie te verzamelen.
‫Dan zijn er semi-gestructureerde gegevens, het zijn nog steeds gestructureerde gegevens, maar vaak in zoiets als een XML,
‫CSFI, waarvoor we hebben gezien of JSON.
‫En dit zijn gewoon verschillende extensies en verschillende manieren om gegevens in verschillende bestanden op te slaan.
‫Bijvoorbeeld, een echt populaire website om gegevens te pakken die vrij online zijn te openen en datasets te vinden, misschien zelfs wedstrijden te doen of de
‫notebooks van andere mensen te bekijken en te praten over machine learning-onderwerpen, nou, Kagle stelt ons
‫in staat om daadwerkelijk naar datasets te kijken die voor ons beschikbaar zijn te gebruiken en mee te spelen.
‫En hier, als ik iets als XML typ.
‫Je geeft me alle informatie of alle gegevens.
‫Laten we dit groter maken in XML-formaat.
‫Dus bijvoorbeeld als ik op bloedcelafbeeldingen klik.
‫En ik.
‫Kijk hier eens, ik zie dat de gegevensbronnen daar enkele CSFI-bestanden zijn, maar er zijn
‫ook enkele XML-bestanden.
‫En als ik naar beneden scrol, zijn er ook enkele afbeeldingen.
‫Dus verschillende formaten van gegevens die we kunnen gebruiken.
‫Trouwens, als u hier op Filter klikt, ziet u enkele van de bestandstypen die beschikbaar zijn voor
‫gegevens.
‫Nu we weten over CVS's, is er ook Jason waar Jason, als we een kijkje nemen en laten we naar deze bierstijlen
‫gaan.
‫Als ik naar beneden scrol, zien we dat het in JSON-formaat en Jason-formaat is, je kunt zien dat het deze
‫boomstructuur heeft om gegevens te verkennen.
‫Dus net even anders dan CSFI.
‫Gewoon een andere manier om gegevens te ordenen.
‫Zoals ik al zei.
‫Op Kagle vind je al dit soort datasets met verschillende dingen, SQLite Light bijvoorbeeld
‫is een soort database en met Eskew ook gestructureerde data.
‫Dus als ik je hier een licht vraag en iets zoek met behulp van relationele databases.
‫U zult zien dat dit gebruik u allen vraagt.
‫En het vertelt ons wat voor soort handel het heeft.
‫Er zijn dus veel manieren om Kagle te verkennen, maar deze twee soorten gegevens zijn meestal goed
‫georganiseerd en gemakkelijk te manipuleren met tools zoals panda's voor koffie.
‫En met panda's kun je eigenlijk alles.
‫De derde soort is ongestructureerde data.
‫En Daniël heeft dit al genoemd.
‫Rechts?
‫Dit idee van ongestructureerde gegevens is goed, ze zijn meestal niet in eenvoudige formaten die we echt gemakkelijk
‫kunnen manipuleren en analyseren.
‫Dit zijn vaak dingen zoals e-mails of pdf's of andere documenten waarvan het begrijpen ervan misschien
‫een beetje moeilijker is.
‫Het is ongestructureerd.
‫Ten slotte hebben we binaire gegevens.
‫Dit zijn zaken als audiobestanden, afbeeldingsbestanden, videobestanden.
‫Ze zijn binair, dat zijn enen en nullen die computers kunnen begrijpen.
‫Maar voor ons om ze te categoriseren, dat is echt heel moeilijk.
‫Zoals je kunt zien, gaat het van boven naar beneden.
‫Van echt georganiseerde, goed gelabelde gegevens tot iets dat een beetje moeilijker te organiseren is, vooral voor machines, dus waarom
‫moeten we het hebben over deze vier soorten gegevens?
‫Nou, omdat de meeste bedrijven.
‫Hoe groter ze worden, ze zullen niet alleen gestructureerde gegevens hebben, ze zullen allerlei soorten gegevens hebben, allerlei
‫soorten invoer die op de een of andere manier allemaal moeten samenwerken.
‫Dus een van de taken van een data-engineer is om in wezen gebruik te maken van het feit dat er al deze soorten gegevens zijn en
‫ze op de een of andere manier te combineren of te organiseren op een manier die nuttig is voor het bedrijf.
‫Laten we hier even pauzeren en in de volgende video meer ontdekken.