‫Bem vindo de volta.
‫Nos últimos vídeos, temos nos esforçado bastante para colocar nossos dados em um formato acessível.
‫Agora temos isso.
‫Então, vamos dar uma olhada rápida.
‫Temos rótulos Bulleen, que são nossos rótulos em formato numérico.
‫Vamos dar uma olhada nos dois primeiros para que não ocupe muito espaço.
‫Aqui vamos nós.
‫Verdadeiro e falso, podemos acessá-los como zeros e uns com facilidade.
‫E o mesmo vale para nossos caminhos de arquivo, então essas são nossas imagens de treinamento aqui, e paramos de
‫discutir como Kagle não nos fornece um conjunto de validação.
‫Então, criando nosso próprio conjunto de validação e já que o conjunto de dados de Kagle não vem.
‫Com o conjunto de validação, vamos criar o nosso próprio e lembrar do passado, no aprendizado de máquina, quando
‫ganhei o conceito mais importante.
‫O aprendizado de máquina é três seis, a. k. uma. o conjunto de treinamento, o conjunto de validação e o conjunto de teste.
‫Portanto, agora temos o conjunto de treinamento e um conjunto de teste, mas gostaríamos deste conjunto de validação, que é
‫como o exame prático.
‫Então, para reiterar, estamos testando um modelo de aprendizado de máquina no conjunto de treinamento.
‫Vamos avaliá-lo em um conjunto de validação para ver se nossos experimentos que estamos fazendo no conjunto de
‫treinamento estão indo bem.
‫E, finalmente, o exame final é o nosso conjunto de testes.
‫Portanto, gostaríamos que este pequeno conjunto intermediário validasse nosso experimento inicial.
‫É por isso que vamos fazer um conjunto de validação.
‫E agora, para fazer isso, o que poderíamos usar?
‫O que usamos no passado?
‫Eu quero que você pense sobre isso está na seção de linha de soquete.
‫Se você disse tentando dividir, está correto.
‫Agora pode ser um pouco confuso porque diz e teste a divisão.
‫Mas, realmente, a funcionalidade da função é apenas dividir os dados em dois conjuntos diferentes, um conjunto
‫de determinado tamanho e outro conjunto de outro tamanho.
‫Vamos configurar isso.
‫Mas, primeiro, o que podemos fazer é configurar as variáveis X e Y.
‫Agora, a razão de fazermos isso é porque.
‫Ter que lembrar as etiquetas de boliche e os nomes dos arquivos é um pouco tedioso.
‫Portanto, o que podemos fazer é criar X, que é nossa variável padrão para seus dados, e Y, que geralmente
‫é a variável padrão para seu rótulo.
‫Então, vamos apenas fazer cópias deles.
‫Lindo.
‫E agora, já que estamos trabalhando com mais de dez mil imagens, dez mil duzentos e vinte e dois, para
‫ser exato.
‫É uma boa ideia começar a trabalhar com uma parte deles primeiro para ter certeza de que tudo está funcionando antes de tentarmos um
‫modelo de aprendizado de máquina e todos eles.
‫Isso é algo a se observar em seus próprios projetos. Quando estiver fazendo experimentos, lembre-se de qual é o
‫nosso objetivo?
‫É para minimizar o tempo entre os experimentos para que possamos descobrir o que funciona e o que não funciona.
‫E se estivermos usando dez mil exemplos todas as vezes, isso vai demorar um pouco.
‫E se você nunca treinou um modelo de aprendizado de máquina ou um modelo de aprendizado profundo em mais de dez mil
‫imagens, então não tem uma perspectiva de quanto tempo isso leva, pode acreditar na minha palavra de que levaria
‫muito tempo.
‫Portanto, provavelmente iremos reduzi-lo e começar com cerca de mil imagens para começar e, em seguida, aumentá-lo conforme
‫necessário.
‫Então, vamos escrever uma pequena nota para nós mesmos.
‫Vamos começar experimentando mil imagens e aumentar conforme necessário, agora, isso não vale apenas para imagens,
‫mas para todos os tipos de projetos de aprendizado de máquina.
‫E vimos isso no passado, usando subamostras desses dados.
‫Se você estiver trabalhando em uma classificação de texto e tiver cem mil e-mails e quiser classificar
‫se eles são spam ou não, você pode começar com cinco mil e continuar a partir
‫daí.
‫Então, vamos definir um pequeno parâmetro.
‫Portanto, defina o número de imagens a serem usadas para fazer experiências.
‫Agora eu quero mostrar a vocês algo muito legal dentro do CoLab, então vamos criar um pequeno parâmetro aqui.
‫E agora está em maiúsculas porque a convenção que você pode ver aqui e ali com projetos de aprendizado
‫profundo é esse tipo de parâmetro.
‫Portanto, as coisas que você pode definir como um usuário geralmente são definidas em maiúsculas.
‫É onde você pode ver essas variáveis completas para maiúsculas.
‫Então vamos mil.
‫E então no CoLab tem esse pouco.
‫Uma pequena ferramenta legal que você pode.
‫É como uma função mágica no Perram, e agora eu ainda estou trabalhando nisso, então talvez você possa deixar
‫uma pequena sugestão sobre onde eu posso descobrir como fazer mais destes se você descobrir, porque eu só
‫conheço alguns .
‫Agora, observe isto.
‫Então, o que fizemos foi, ei, este é um parâmetro que podemos definir, criar um controle deslizante de tipo.
‫O mínimo é mil, o máximo é dez mil e o passo é mil.
‫As imagens entorpecidas agora desapareceram.
‫Olha, se formos assim, oh, sim.
‫Cinco mil, cinco mil.
‫Oito mil, oito mil, bem, eu poderia brincar com isso o dia todo.
‫Isso é algo que o CoLab tem sobre Júpiter.
‫Além de ser apoiado por uma preferência GBU.
‫Tudo bem, agora temos um pequeno parâmetro, temos X e Y, vamos usar Saikat, Lance
‫tentando dividir.
‫Portanto, vamos dividir nossos dados em treinamento e validação a partir da seleção do modelo.
‫Divisão de testes de trem de importação.
‫Agora, novamente, isso é chamado de divisão de teste de trem.
‫Mas a funcionalidade básica desta função é dividir.
‫Você poderia fazer isso manualmente usando a indexação, mas usaremos apenas uma função para nos ajudar.
‫É apenas uma divisão de dados em dois conjuntos diferentes em treinamento e validação de tamanho total.
‫Sem imagens.
‫Qual é essa variável que configuramos aqui.
‫Execute isso, venda X, treine X, val, desta vez não X, teste Y, desenhando Y val é igual a treinar teste dividir
‫X até núm imagens.
‫Portanto, só serão necessários os primeiros mil nomes de arquivo, porque lembre-se de que X são apenas os nossos nomes.
‫Ainda temos uma imagem importante porque é muito mais rápido trabalhar apenas com nomes de arquivos.
‫E por que nossos rótulos estão no formato booleano.
‫E o tamanho do teste, novamente, isso é apenas validação, o tamanho será 20 por cento e então o estado
‫aleatório é como definir a semente aleatória enquanto é como definir aleatório, digamos, para 40 a.
‫Portanto, o estado aleatório é igual a 42 é o mesmo que ir para a semente aleatória 42, e se você não tiver certeza do que a semente
‫aleatória do MPLX faz, há um vídeo sobre isso.
‫Do contrário, você pode querer pesquisar rapidamente no Google o que essa semente aleatória faz.
‫Então vamos treinar X apenas para verificar se todos os comprimentos de nossos dados estão corretos, porque você não acreditaria na quantidade de vezes
‫que fui queimado porque meus dados estavam com o formato errado.
‫Você passará horas lutando para colocar seus dados na forma certa.
‫Confie em mim.
‫Eu estive lá.
‫Tudo bem, maravilhoso.
‫Portanto, temos mil amostras e um tamanho de teste de 20 por cento, o que
‫significa que haverá oitocentas amostras na divisão de treinamento e duzentas amostras na divisão de validação.
‫Então, vamos dar uma olhada rápida.
‫Vamos dar uma olhada nos dados de treinamento.
‫Portanto, o Xchange é para verificar se ainda estamos nesta terra, ainda estamos trabalhando com as coisas certas.
‫Na verdade, isso é um pouco demais.
‫Tenho que lembrar que esses são rótulos Gullane totalmente desenvolvidos, então há muitos deles.
‫Tão tentando.
‫Temos pods de arquivo, correto?
‫Isso é o que nós queremos.
‫E treinando as gravadoras que temos.
‫Rótulos de bullying, é isso que procuramos.
‫Tudo bem, então agora que temos nossos dados em um treinamento e um conjunto de validação, um pequeno subconjunto, lembre-se, porque
‫lembre-se, nosso objetivo para começar é minimizar o tempo entre os experimentos.
‫O que provavelmente podemos finalmente fazer é transformar nossas imagens ou pelo menos criar alguma funcionalidade para
‫transformar nossas imagens e rótulos em Tensas.
‫Vamos fazer isso no próximo vídeo.