‫Tudo bem, agora temos nosso notebook, um pouco apagado e sabemos quais passos estamos tomando, sabemos
‫qual problema estamos tentando resolver.
‫Nós sabemos de onde nossos dados estão vindo.
‫Conhecemos nossa métrica de avaliação e os recursos.
‫Vamos importar os dados e começar.
‫Portanto, no meu caso, importamos isso para uma pasta chamada dados.
‫Você pode ter criado uma pasta da mesma forma.
‫Portanto, quando escrevo o caminho do arquivo, ele pode ser diferente do meu.
‫A mina será chamada de dados.
‫Então, vamos fazer isso e vamos importar os conjuntos de treinamento e validação para começar.
‫Se você está se perguntando por que os estamos empregando ao mesmo tempo, isso ficará claro em um próximo vídeo.
‫Portanto, você apenas terá que confiar em mim por enquanto, que estamos importando os dois em um único conjunto.
‫E se formos para o bluebook, provavelmente podemos usar o Tabora completo, com certeza.
‫Aqui vamos nós.
‫Por isso, queremos treinar e validar o CSFI.
‫Maravilhoso.
‫Mudamos para agora, isso pode demorar um pouco porque, como veremos em um segundo, este é um conjunto
‫de dados bastante grande.
‫Estamos recebendo um aviso.
‫O que temos aqui?
‫As colunas de aviso de tipo, 13, 39, 40, 41 têm tipos mistos de opção de tipo especificado na importação ou conjunto.
‫Pouca memória é igual a falso.
‫Portanto, se formos aqui, podemos nos livrar desse aviso definindo memória baixa igual a falso.
‫Então, isso é basicamente dizer que quando o panders avalia o ASV, quando essa função é instanciada, dependendo do tamanho
‫do conjunto de dados, porque os frames de dados vivem na RAM pandas tenta minimizar a quantidade de espaço
‫que eles ocupam.
‫Então, o que estamos fazendo é apenas configurar o deagle para baixa memória como false, ei, sabemos que você está tentando
‫minimizar o espaço, mas não se preocupe muito.
‫Temos muito espaço no quarto.
‫Portanto, isso deve funcionar, devemos ser capazes de nos livrar desse aviso.
‫Maravilhoso.
‫Então, isso é apenas dizer armazene-o da maneira que quiser e tente puxá-lo.
‫Não tente minimizar o espaço que você está usando.
‫Maravilhoso.
‫E a primeira coisa que provavelmente faremos é ir ao ponto info para obter um pouco de informação sobre o que está acontecendo.
‫Então lá vamos nós de novo.
‫Dê uma olhada nisso.
‫É o maior conjunto de dados com o qual já trabalhamos, de longe.
‫Temos quatrocentos e doze mil seiscentos e noventa e oito linhas.
‫São muitas linhas e 53 colunas.
‫Lembre-se, se dermos uma olhada em nossas colunas, essas são nossas variáveis e descrições.
‫Portanto, devemos ter ideias de vendas.
‫Sim, essa é uma ideia de máquina de número inteiro nominal, que é o identificador de uma máquina específica.
‫As máquinas podem ter várias vendas.
‫OK, isso significa que uma máquina pode ser vendida várias vezes ao longo desse período de tempo.
‫Então, aquele ao qual provavelmente queremos prestar mais atenção, porque é uma série temporal além do preço de
‫venda.
‫Foi por esse valor que nossas máquinas foram vendidas na data de venda.
‫Então é aí que a máquina foi vendida.
‫Então, vamos dar uma olhada nessa data de venda, hora da venda.
‫Bela.
‫OK, então o que podemos fazer agora?
‫Como a data de venda é uma data, o que podemos fazer é passá-la como uma data.
‫Mas não faremos isso ainda porque quero demonstrar algo.
‫Então, vamos montar um gráfico porque isso é o que geralmente fazemos quando iniciamos qualquer tipo de projeto pela
‫primeira vez, é tentar fazer algumas visualizações.
‫Olhando para isso, tem muita coisa acontecendo aqui, certo?
‫Como se você pudesse apenas olhar para isso.
‫Isso é difícil de inferir se você gosta de mim e está apenas olhando uma lista de palavras e números e
‫assim como eu preciso visualizar as coisas, eu preciso olhar as coisas.
‫Mas podemos ver realmente o que podemos ver disso?
‫Portanto, temos quatrocentos e doze mil seiscentos e noventa e oito entradas.
‫Eles são conhecidos agora.
‫Dizemos que temos alguns valores ausentes, especialmente para a banda de uso, seja ela qual for.
‫Então, se chegarmos à nossa banda de uso do dicionário de dados, valor, baixo, médio, alto, calculado, comparando a venda
‫desta máquina em particular com a média de uso do modelo básico F I.
‫Portanto, a linha de base cinco é realmente outro recurso.
‫Aqui vamos nós.
‫Esta agregação de F. EU. descrição do modelo, temos algumas informações aqui sobre nossos
‫direitos de bulldozes.
‫Este é, na verdade, um conjunto de dados muito bom.
‫Mas podemos ver que para o uso banido, há alguns valores ausentes porque há apenas setenta e três mil
‫seiscentos e setenta objetos não nulos, então isso significa que há quatrocentos e doze mil seiscentos e
‫noventa e oito menos os valores ausentes.
‫E podemos descobrir isso antes de traçarmos.
‫Vamos descobrir isso.
‫Então nós temos D. F. é e é assim que vamos verificar.
‫Se não houver valores, lá vamos nós, então a banda de uso tem trezentos e trinta e nove mil e vinte e oito valores ausentes,
‫sabendo o que sabemos sobre modelos de aprendizado de máquina, isso é algo que teremos
‫que cuidar antes de podermos construir uma modelo.
‫Mas vamos seguir em frente.
‫Vamos plotar, porque estamos tentando prever o preço de venda e sabemos que nossos dados são uma série temporal.
‫O que podemos querer é algo como comparar as datas de venda com o preço de venda.
‫E porque, como tantos Rosea, se fizéssemos isso, se tentássemos plotar todos esses pontos de dados em um gráfico, porque você imagina
‫tentar desenhar quatrocentos e doze mil pontos em um gráfico, seu computador vai Passar
‫um mau bocado.
‫Então, vamos fazer cerca de mil.
‫Por que não.
‫Vamos lá.
‫Saldate.
‫Vamos ouvir o que dizem os primeiros mil, que é um número bastante grande.
‫Queremos fazer um preço de venda.
‫E se você quiser descobrir os nomes de diferentes colunas, lembre-se, você sempre pode ir para as colunas DFG.
‫Então, o que estamos fazendo aqui, estamos levando Saldate, onde quer que esteja escrito lá, que é se chegarmos ao nosso
‫dicionário de dados, é aqui que queremos estar nos referindo ao tempo de vendas da data em
‫que foi vendido, bem como o preço de venda.
‫Agora, isso está em nosso dicionário de dados?
‫Acho que isso é muito simples, na verdade.
‫Quais são os preços de venda.
‫Aqui vamos nós.
‫Preço de venda, custo de venda em dólares americanos.
‫Então, vamos dar uma olhada.
‫Vamos verificar quando um desses for vendido, vamos colocar a saudade no eixo x, porque lembre-se, a dispersão
‫é X Y e o preço de venda no eixo Y.
‫Então, vamos dar uma olhada.
‫O que temos aqui?
‫Bem, nós temos nosso ecocídio.
‫Nós vamos.
‫Como você pode ver aqui, tentamos colocar Saldate nos primeiros mil exemplos, então é por isso que
‫nosso enredo está parecendo um pouco estranho e está apenas tentando compactar se dermos uma olhada em nosso
‫quadro de dados, DFG Saldate.
‫Isso é o que ele está tentando plotar no eixo x se tivermos que olhar para o primeiro milhar.
‫Tento traçar todas essas idéias aqui para que você possa ver como parece apenas um grande pedaço de um
‫código de barras e, em seguida, apenas um grande pedaço de texto preto ali.
‫Então, o que podemos fazer é apenas plotar um histograma, porque sempre gostamos de verificar a distribuição, que é a difusão
‫dos dados do maior número de variáveis possível.
‫Mas, neste caso, por que não preço de venda?
‫Porque essa é a nossa variável de destino.
‫Então, preço de venda e agora, novamente, se parece meio desestruturado, o que estou fazendo aqui é porque realmente é assim, de
‫tantas maneiras diferentes, você pode explorar o conjunto de dados.
‫Um dos melhores que eu gosto é, é DFM, cheque FOH para ver se há algum valor nulo.
‫Portanto, sabemos agora em a como em valores ausentes, portanto, sabemos quantos valores ausentes são verificados.
‫As colunas representam uma das colunas mais importantes a partir de agora.
‫Acabei de escolher Saldate porque é um gráfico de problema de série temporal, uma das colunas
‫mais importantes versus o preço de venda ou versus a coluna de destino e, em seguida, distribuir algumas colunas de sua escolha.
‫Essas são as coisas estereotipadas que gosto de fazer ao explorar um conjunto de dados pela primeira vez.
‫Mas o que podemos ver aqui, podemos ver que a maioria dos nossos preços de venda está abaixo de vinte mil dólares americanos.
‫Portanto, a maior coluna aqui ou não a maioria, mas uma grande maioria.
‫Uma grande parte.
‫E então temos algo abaixo de trinta mil.
‫Vamos apenas supor que 30.000, 40.000 e então continua disparando e há cada vez menos e
‫menos e não há muitos que custem mais de 100.000 dólares americanos.
‫Então é isso que estamos vendo lá.
‫Certo, agora.
‫O que podemos fazer é porque essas datas não estão realmente no formato que queremos, então veja como elas são
‫de fato objeto de tipo.
‫Ao lidar com séries temporais, você deseja que o máximo possível de informações codificadas nas datas,
‫então é isso que faremos.
‫Uma pequena maneira de fazermos isso é chamada de passagem de datas.
‫Então, vamos dar uma olhada em como isso se parece, datas transitórias.
‫Então, quando trabalhamos com dados da série TIME, eles querem enriquecer.
‫O componente de hora e data, tanto quanto possível, você pode estar pensando, bem, como fazemos isso?
‫Bem, vamos colocá-lo aqui.
‫Podemos fazer isso dizendo aos pandas qual
‫das nossas colunas.
‫Tem datas nele.
‫Usando.
‫O parâmetro das datas anteriores.
‫Maravilhoso.
‫E o que isso vai fazer.
‫É transformar qualquer colônia que passou apóstatas em um objeto de data e hora, então vamos primeiro ver o que é uma data e
‫hora.
‫Objeto em panners.
‫Eu cheguei aqui, com carimbo de data / hora para que você pudesse descobrir um monte de coisas diferentes,
‫que dia aqui é objeto diurno.
‫Timestamp é apan é equivalente à data e hora do Python e pode ser trocada por ele na maioria dos casos.
‫OK, linda.
‫Então, basicamente, quando rodarmos lá, vamos fazer de novo, importar os dados novamente neste momento, datas anteriores.
‫Lembre-se, em caso de dúvida, execute o código para pagar as diárias, pois vamos usar o Data Bluebook
‫para Bulldozes Teq e vamos treinar.
‫O trem em Valência é muito bom, mas dessa vez vamos repassar baixa
‫memória era falsa, então não temos aquele aviso e depois vamos repassar, passar datas e passaremos na
‫coluna nomeie Saldate.
‫Porque?
‫Porque é aí que estão nossos dados.
‫E então observe o que é isso.
‫Então, se formos Saldate, é um objeto do tipo D.
‫Podemos apenas colocar um pouco aqui D.
‫Digite D, digite O.
‫Então, quando fizermos isso, vamos ver qual é a diferença.
‫Agora, isso vai substituir nosso quadro de dados original para que possamos ir ponto Saldate, ponto dia.
‫Oh, isso é um pouco estranho.
‫E se nós fizéssemos D. F. não diga, tudo bem, o que parece?
‫Eles têm som no primeiro milhar.
‫Aha, OK, então se viermos aqui.
‫Temos Saldate, então eles são assim.
‫O que Penders fez é porque nós o passamos para passar de Dade, ele repassou todos os valores na
‫coluna Saldate e os converteu neste estilo.
‫Temos ano, mês, dia e podemos ver que o tipo de dados é data e hora 64.
‫E se você fosse ao Google.
‫Compare esses dois, porque você pode estar se perguntando por que tem um valor diferente aqui em
‫comparação com aqui, você descobrirá que, em nenhuma torta, esses dois são equivalentes.
‫Portanto, você apenas terá que acreditar na minha palavra.
‫Você poderia pesquisar no Google e nós poderíamos fazer isso apenas para que possamos provar para você.
‫Então vamos aqui, controle, qual é o tipo de dado?
‫Naquela época, 64 é um tipo de dia geral, enquanto Maine é uma hora específica.
‫Aqui vamos nós.
‫Isso é estouro de pilha, então é apenas um fluxo de trabalho, certo, quando você não consegue algo.
‫Aqui vamos nós.
‫MPLX ponto d tipo diurno 64 é igual ao tipo NPD noturno.
‫É isso que procuramos.
‫Mas agora que nossas datas foram ultrapassadas, vamos fazer o mesmo pensamento de antes.
‫Tofig X é igual a subtramas de Palta.
‫Maravilhoso.
‫E vamos fazer exatamente a mesma coisa eckstut scatter.
‫Vamos terminar este vídeo em um segundo, porque estamos realmente com pressa, certo?
‫Estamos aprendendo.
‫Estamos explorando.
‫Preço de venda, e então vamos aqui, vamos fazer mil e ver o que parece diferente.
‫É maravilhoso ver como no fundo agora, em vez de quando voltarmos para cá,
‫temos apenas um monte de preto porque estamos tentando colocar tudo isso lá porque nossa coluna de saudade agora está na forma
‫de um dia objeto.
‫Matplotlib é capaz de olhar de forma inteligente para o tipo de dados e, em seguida, plotá-los de acordo.
‫Então, temos aqui os preços.
‫Você pode ver que há muitas vendas, talvez 25.
‫Algo aconteceu.
‫Então não houve muitas vendas em 2005, 2008, acho que pode ter sido a crise financeira ou algo
‫parecido.
‫Portanto, não houve muitas vendas aqui.
‫E, novamente, isso foi entre 2008 e 2009.
‫E podemos ver que a maior venda foi realizada apenas em 2007.
‫E então houve muitas vendas em meados de 2009, 2010.
‫Mas, novamente, isso realmente não nos diz muito.
‫Direito.
‫Estamos apenas tendo uma ideia do que está acontecendo.
‫Então, vamos dar uma olhada mais uma vez.
‫Verifique isso, idiota.
‫Estes são os nossos dados com os quais estamos trabalhando.
‫Temos pedidos de venda, preço de venda, um monte de colunas diferentes aqui.
‫Podemos ver que há um monte de valores ausentes.
‫E se quisermos saber mais sobre o que significa material rodante Padworth, lembre-se de que temos nosso dicionário
‫de dados.
‫Podemos dar uma olhada aqui.
‫Aqui vamos nós.
‫Configuração da máquina, largura dos trades sobre esteiras.
‫Maravilhoso.
‫Então, agora que fizemos um pouco de exploração, o que podemos fazer é classificar nosso quadro de dados por saudade e continuar
‫a partir daí, fazer mais algumas alterações.
‫Faremos isso no próximo vídeo, mas caso contrário, experimente explorar o quadro de dados, importá-lo e tentar passar
‫as datas com saudade e não passar as datas e verificar a diferença no tipo de dados quando você fizer
‫e não passe datas.