‫Bem, concluímos todas as métricas solicitadas.
‫Hmm, você seria capaz de montar um relatório muito bom contendo uma matriz de confusão, um
‫punhado de métricas de validação cruzada, como recall de precisão e F1, bem como quais recursos contribuem mais para a
‫tomada de decisão do modelo?
‫Você deve estar se perguntando, por que não temos um título para experimentação?
‫Então, se voltamos aqui, por que não examinamos isso?
‫Direito.
‫Bem, o segredo aqui é que tudo isso, especialmente da seção de modelagem em diante, tem sido
‫a experimentação.
‫Temos tentado coisas diferentes.
‫Estamos testando diferentes metodologias.
‫Temos explorado nossos dados.
‫Experimentamos o tempo todo.
‫Na verdade, estamos cumprindo essa estrutura.
‫Definimos nosso problema.
‫Nós olhamos os dados.
‫Definimos uma métrica de avaliação.
‫Verificamos os recursos, fizemos algumas modelagens.
‫E a verdade é que poderíamos continuar com nossa modelagem, tentando melhorá-la ou tentando melhorar nosso
‫modelo de regressão logística que interrompemos ou tentando encontrar outro modelo de classificação que
‫funcione melhor.
‫Mas é claro que as coisas não podem durar para sempre na prática.
‫No negócio, isso é o que chamaríamos de prova de conceito, certo.
‫Iríamos tentar algumas coisas.
‫Analisaríamos dados diferentes uma vez que o fizéssemos em uma linha do tempo segregada, em uma linha do tempo definida, como
‫se todo esse processo levasse duas semanas ou algo parecido.
‫Na verdade, fizemos isso em cerca de duas horas aqui.
‫Então, realmente, não se preocupe, se você não estiver pegando as coisas, esses processos demoram um
‫pouco.
‫Então, chegamos aqui é onde provavelmente revisitaríamos nossa métrica de avaliação para decidir se vamos avançar
‫ou se temos tempo suficiente?
‫Podemos falar com o cliente.
‫Podemos falar com a empresa com a qual temos parceria.
‫Podemos falar com alguns de nossos colegas e dizer, ei, tentamos algumas coisas, mas ainda não alcançamos
‫nossa métrica de avaliação de pelo menos 95 por cento de precisão para prever se um paciente tem doença cardíaca ou
‫não durante a prova de conceito.
‫É aí que você chega no aprendizado de máquina, certo, à medida que trabalha nesses processos.
‫E realmente não há como parar.
‫E é isso que torna tudo tão difícil.
‫Bem, em nosso caso, não chegamos a 95%, mas chegamos bem perto.
‫Chegamos a 90 por cento ou mais de precisão com nosso modelo de regressão logística, onde quer que esteja, em
‫algum lugar aqui, logo ali.
‫Portanto, é precisão.
‫Isso era cerca de 88 por cento quando fizemos a validação cruzada.
‫Então, o que você poderia tentar a seguir?
‫Você pode estar pensando, por que não chega a este ponto?
‫Você fica tipo, oh, bem, eu não cumpri a métrica de avaliação.
‫Tudo o que fizemos foi desperdiçado?
‫Não.
‫Bem, o que descobrimos neste caso, mostramos o que não funciona, pelo menos com os dados atuais que
‫temos, pelo menos com os modelos que temos, descobrimos o que não funciona, o que
‫é tão valioso quanto descobrir o que significa, porque agora sabemos, OK, podemos tentar algo novo.
‫Tudo bem.
‫Bem, é aqui que o sexto passo entra em ação.
‫Então, é aqui que você começa a fazer sua própria pesquisa, começando a pesquisar
‫maneiras diferentes de resolver problemas de classificação diferentes, construir modelos de melhoria, maneiras diferentes de olhar os
‫dados.
‫O que você pode se perguntar é.
‫Aqui, se você ainda não atingiu sua métrica de avaliação.
‫Pergunte a si mesmo.
‫Algumas coisas como, por exemplo, você poderia coletar mais dados porque, lembre-se, os modelos de aprendizado de máquina adoram aprender mais
‫dados.
‫Você poderia coletar mais amostras?
‫No momento, temos cerca de trezentas e três amostras de pacientes.
‫Você poderia dobrar isso?
‫Potencialmente.
‫Talvez você precise falar com um especialista no assunto.
‫Talvez você precise falar com um médico ou voltar ao cliente com quem está trabalhando
‫ou qualquer projeto em que esteja e pronto, ei, há alguma maneira de obtermos mais dados para enriquecer este conjunto de dados ou você poderia
‫tentar um modelo melhor que você pode estar pedindo?
‫Bem, nós usamos um modelo de regressão logística e eu olhei aqui, onde está o mapa de linhas de soquete?
‫Não há muitos que possamos tentar novamente, hmm, é aí que você pode ter que começar a fazer algumas pesquisas, você
‫pode ter que olhar para algo como os pássaros-gatos.
‫Queremos cobertura por enquanto.
‫Vou apenas plantar a semente.
‫Vou escrever aqui como comida de gato.
‫Esse é um currículo misto para você, como cat boost ou boost.
‫Essas são coisas que você pode querer pesquisar, certo.
‫Então, você pode querer pesquisar essas duas coisas.
‫O que mais está lá?
‫Bem, OK, se tentamos um modelo de regressão logística e podemos melhorá-lo.
‫Então, podemos melhorar os modelos atuais?
‫Entre colchetes além do que fizemos até agora, talvez tenhamos feito um pouco de ajuste de hiperparâmetro
‫usando a pesquisa de grade c. v ou TV de randomização, então talvez queiramos tentar um
‫pouco mais, ver se conseguimos extrair alguns pontos percentuais de precisão.
‫Novamente, você pode estar pensando, bem, isso não parece muito estruturado e a verdade é que
‫não se trata apenas de minimizar o tempo entre os experimentos e o aprendizado de máquina.
‫Então, digamos que alcançamos nossa métrica de avaliação.
‫Se o fizéssemos, se nosso modelo fosse bom o suficiente, como você poderia exportá-lo e compartilhá-lo com outras pessoas?
‫Então talvez a gente vá aqui.
‫Então, aprendo a exportar um modelo.
‫E então iríamos aqui, persistência de modelo, então digamos que queremos enviar um modelo para um colega ou um cliente ou
‫algo parecido, você pode querer pesquisar aqui como enviar um modelo.
‫Fizemos isso na seção de ciclones.
‫Então, se formos aqui, se o seu modelo for bom o suficiente.
‫Você atingiu sua métrica de avaliação.
‫Como você exportaria?
‫E compartilhar com os outros, não é assim.
‫O ponto principal aqui, a chave a lembrar é que passamos por toda essa estrutura agora que temos alguns
‫dados, definimos um problema, exploramos esses dados.
‫Nós definimos em uma métrica de avaliação.
‫Vimos os recursos de nossos dados.
‫Fizemos vários modelos de aprendizado de máquina.
‫E realmente todo esse processo foi um experimento.
‫E usamos as ferramentas que aprendemos até agora, tudo em um belo caderno de Júpiter.
‫E agora a conclusão final é que não há uma resposta real para o que você poderia fazer a seguir.
‫Depende de você fazer perguntas e começar a descobrir essas coisas, começar a pesquisar, para não ter
‫medo de errar.
‫Essa é a maior coisa que vai atrapalhar você no aprendizado de máquina se você não
‫fizer perguntas, se não passar por coisas como esta ou se não entrar em contato com outras
‫pessoas, se não perguntar comunidade, se você não olhar o estouro de pilha, se não encontrar exemplos,
‫você não vai melhorar o acabamento desse projeto.
‫O que você provavelmente poderia fazer como uma extensão é fazer essas perguntas aqui.
‫Talvez não possamos coletar mais dados porque o conjunto de dados é fixo, mas podemos tentar um modelo
‫melhor como o serviço direto CAPTUS.
‫Talvez seja algo que você possa tentar e também pesquisar sobre como.
‫Poderíamos melhorar os modelos atuais usando o ajuste de hiperparâmetro, mas parabéns, você acabou de terminar se estiver
‫acompanhando, você acabou de resolver um problema completo de classificação de aprendizado de máquina.
‫Não é incrível?
‫Prevendo doenças cardíacas usando aprendizado de máquina?
‫Espero que você esteja começando a ver.
‫Na verdade, este é provavelmente o ponto mais importante, em vez de passar para o que vem a seguir.
‫Se você seguiu em frente com isso e ainda está se perguntando, você está indo, meu Deus,
‫Daniel, há tanto aqui.
‫Não sei como pude me lembrar de tudo isso.
‫Não se preocupe, porque ainda estou nessa posição.
‫Direito.
‫Mesmo trabalhando como engenheiro de aprendizado de máquina, eu ainda passo por isso todas as vezes, tipo, oh, o
‫que posso fazer?
‫Eu sempre acabo em buscas em tocas de coelho como esta e depois coloco de volta em um caderno.
‫E acredite em mim, a primeira vez que você construir um notebook como este para um problema de aprendizado de máquina,
‫provavelmente não terá a aparência que temos.
‫Direito.
‫O nosso é bem legal, certo?
‫Portanto, é bem estruturado.
‫Ele percorre a estrutura passo a passo.
‫Sua primeira vez provavelmente tem coisas por todo o lugar.
‫E isso é bom.
‫Isso é bom porque significa que você está tentando coisas novas.
‫O que você pode fazer daqui?
‫Confira este código.
‫Tudo estará na seção de recursos ou em um anexo em algum lugar que você possa acessar.
‫Passar por isso.
‫Se você puder encontrar outro conjunto de dados de classificação em algum lugar na Internet, poderá encontrá-los com bastante
‫facilidade.
‫Portanto, o conjunto de dados de aprendizado de máquina de classificação, você pode encontrá-lo, encontrar um monte de conjuntos de dados usando o repositório de aprendizado
‫de máquina.
‫Isso é o que encontramos nos dados de doenças cardíacas bem no início.
‫Isso é o que encontramos, talvez você possa encontrar mais alguns.
‫Agora você pode encontrar alguém, Kagle ou Kadee Nugget.
‫Existe um monte de recursos diferentes.
‫Então, talvez você possa tentar encontrar outro conjunto de dados e, em seguida, voltar ao pipeline que criamos para um problema
‫de classificação agora com um conjunto de dados diferente.
‫E você poderia ter um fim a fim em vez de seu conjunto de dados aqui, problema de classificação.
‫Mas isso vai encerrar a classificação de ponta a ponta do projeto.
‫Se você tiver alguma dúvida, fique à vontade para deixá-la.
‫Caso contrário, vejo você no próximo conjunto de vídeos.