Uau, um número como 99% de confiança estatística parece bom, não?
Não tem como dar errado, certo?
Errado.
Na verdade, o conceito de confiança estatística é mais sutil do que aparenta.
Quando dizemos que algo tem 99% de confiança, não estamos dizendo que há 99% de chance de estar correto.
Estamos dizendo que, se repetirmos o mesmo experimento infinitas vezes, sob as mesmas hipóteses, o intervalo obtido conterá 99% das vezes o verdadeiro valor do parâmetro.
Ou seja, devo repetir exatamente o mesmo experimento, com exatamente as mesmas hipóteses. Se eu jogar 5 dados comuns e somar os números, 99% das somas vão cair entre 8 e 27, por exemplo.
Tal noção é muito válida para o caso em que temos um processo bem definido, repetitível. Ou seja, para poucos lugares fora do mundo teórico.
O problema são as hipóteses: Será que a distribuição que gera os resultados é realmente uma normal? Será que há algum fator viesando resultados? Será que algum processo mudou estruturalmente? Será que o futuro se comportará como o passado?
Ou seja, os dados não devem estar viciados. Não devo mudar os dados. Não devo mudar as regras do jogo. Minhas observações passadas devem estar corretas.
Não tem como a estatística olhar para o mundo real. Ela só olha para os dados.
O filósofo Friedrich Nietzsche era conhecido como “a dinamite”, porque destruía ídolos com peito de ouro, porém, com pés de barro. E os pés de barro, neste caso, são as HIPÓTESES.
O que fazer? Utilize as ferramentas estatísticas, mas não se iluda com elas. Questione as premissas. Tenha grande conhecimento dos processos do mundo real, para complementar os resultados numéricos. Não faça análises complicadas demais.
“Não enfrentes monstros sob pena de te tornares um deles. Se contemplas o abismo, a ti o abismo também contempla” – Friedrich Nietzsche
Socorro, sou júnior!
(Reflexões para data scientists em começo de carreira)
SQL. Search Query Language. Essencial para qualquer data scientist, porque necessariamente teremos que trabalhar com bancos de dados. Consultar, filtrar, cruzar. Domine o básico do SQL, utilizando alguma plataforma.
Há muitos softwares, como MySQL, Big Query, PostGRE, SqlServer, …, e cada uma delas tem uma sintaxe um pouquinho diferente, regras diferentes, até comandos específicos. Impossível dominar tudo. Então domine o essencial, aplique em uma delas, e estude quando for a hora de usar outra.
O Compêndio de Ideias do Prof. Arnaldo: https://asgunzi.github.io/Compendium/
Forgotten Lore 