Números aleatórios e gerador de Bingo

Funções de números aleatórios no Excel

Números aleatórios podem ser úteis para Análises estatísticas como Monte Carlo, e também é possível fazer algumas brincadeiras.

A fórmula “Aleatório()” do Excel fornece um número real aleatório entre 0 e 1:

Clicando F9 ou a qualquer mudança na planilha, este valor é recalculado.

Outra função útil é “=ALEATÓRIOENTRE(min;max)”: vai gerar um número aleatório inteiro entre o valor mínimo e o máximo.


Gerador de cartelas de Bingo

Vamos criar um gerador de cartelas de Bingo com números aleatórios.

Não podemos simplesmente jogar “=aleatórioentre(1, 15)”, porque provavelmente vai dar algum número repetido.

Então, temos que ser um pouquinho mais sofisticados.

Imagine que tenho que escolher 5 números entre 1 e 15, para a coluna “B” do Bingo.

Na célula imediatamente à esquerda, sorteio um número aleatório qualquer.

Uma forma de sortear 5 números da lista seria ordenar a coluna aleatória em ordem decrescente e pegar os 5 primeiros.

Existe uma forma fácil de fazer isso no Excel.

A função “Ordem.eq(núm, ref)” diz qual a ordem de um número numa sequência.

Por exemplo, o número 0,7412 é o sétimo na ordem decrescente, da lista de 15 números.

O 0,9985 é o maior da lista, e o 0,1675 é o menor.

Depois, é só fazer um procv para pegar os 5 primeiros.

Clicando em F9, o Excel vai sortear outra cartela.

Bônus: “Bingo corporativo”, para usar em reuniões entediantes.

Download da planilha no Google Drive.

Veja também:

Easy AI e Explainable AI

“Não há benefício em ter modelos complicados”

Baseado em palestra de Cynthia Rudin, Duke University, na Informs 2022.

A Inteligência Artificial (IA) tradicional é uma caixa-preta: entramos com dados (digamos, um milhão de fotos diversas) e com os outputs desejados (quais das fotos são rotuladas como gatinhos ou não), e o circuito interno é uma caixa-preta a ser treinada (uma rede neural de dezenas de camadas e milhares de neurônios por camada). O grande poder da IA dos últimos 10 anos derivou de conseguirmos melhorar essa caixa-preta cada vez mais.

Uma grande desvantagem desse tipo de método é como a rede neural vai se comportar com input totalmente desconhecido? Com algum caso nunca antes visto? Pode ser que ela classifique corretamente, pode ser que dê um resultado totalmente esdrúxulo.

Exemplos abundam, de como “enganar” uma IA.

Em métodos tradicionais de modelagem, entramos com inputs, as regras de decisão, e saímos com os resultados. Pode ser extremamente complicado deduzir ou criar tais regras de decisão.

Como unir o poder da IA moderna e ainda assim termos controle das decisões? Essa é a linha de pesquisa da “IA Explicável”, ou “Explanable AI”.

Na mesma linha, o “Easy AI” baseia-se na noção de que modelos simples podem ser quase tão poderosos quanto modelos complexos, com vantagens de serem mais robustas e validáveis junto ao usuário final.

Aqui, vale introduzir a definição de “Rashomon set”: conjunto de soluções quase iguais. Dentre todas as soluções possíveis para um problema (digamos, criar um classificador), há uma gama de soluções com desempenho quase igual (dentro de uma margem de erro).

Dentre as soluções quase iguais, haverá aquelas que serão mais simples e as que serão extremamente complexas – a recomendação aqui é pegar a mais simples.

Nota: a inspiração do nome é o filme Rashomon, de Akira Kurosawa, onde 4 testemunhas contam 4 histórias diferentes para o mesmo episódio (um crime ocorrido). Por sua vez, o filme foi inspirado em alguns contos de um dos maiores escritores do Japão de todos os tempos, Akutagawa Ryunosuke – notadamente os contos “Rashomon” e “Into the groove”.

Exemplo. Em desafio realizado pela palestrante, uma árvore de decisão com pouquíssimas linhas conseguiu replicar o que uma rede neural bem mais complexa faria.

Uma árvore de decisão é uma regra simples, como ilustrado abaixo, de ir classificando o resultado através de parâmetros nas entradas de dados.

Um modelo simples, como a árvore de decisão, tem diversas vantagens. Vai gastar menos energia em implementação, vai ter transparência para mostrar o funcionamento e tem comportamento generalizável para casos nunca antes vistos.

Com as regras de decisão expostas, fica mais simples levar o modelo para as pessoas que entendem o processo em questão criticarem, auditarem o mesmo. E sempre é bom ter validação de especialistas humanos nos modelos. Não devemos ter a arrogância de achar que um algoritmo vai sempre superar a lógica e intuição humana.

Conclusões

Explainable AI é uma das linhas de pesquisa mais ativas do mundo atual. Vantagens: double check, simplicidade, avaliação de riscos, validação do processo.

Uma IA caixa-preta pode ser útil para uma máquina de lavar. Porém, quem será responsável por um bug no sistema elétrico? Ou um acidente com carro autônomo? Daí a importância de entendermos minimamente os modelos.

O Rashomon set é o conjunto de soluções quase iguais.

Modelos simples podem ser extremamente efetivos, com vantagens de robustez, transparência e facilidade de validação com especialistas da área.

Note que é um problema difícil chegar numa árvore de decisão simples e efetiva – ou, como diria Steve Jobs, “A simplicidade é a maior das sofisticações”.

Veja também:

O projeto de mercados, e como a matemática pode salvar vidas

A palestra de encerramento do Informs 2022 foi de Alvin Roth, professor da Harvard Business School e Prêmio Nobel de Economia 2012. Foi uma aula espetacular, com direito a um case extremamente interessante sobre transplante de rins, da qual faço um resumo aqui.

O tema de estudo de Roth é “Como criar regras para bons mercados?”. Ele estudou e ajudou a desenhar marketplaces diversos, em sua carreira.

Características a serem consideradas do mercado:

– Espessura

– Congestionamento

– Segurança

– Simplicidade

A espessura diz respeito ao número de participantes. O marketplace da Amazon, com milhares de vendedores e compradores, é muito mais interessante do que um marketplace de amigos da escola, que será muito menor.

O congestionamento diz respeito a diversos gargalos, seja tempo de transação, restrições diversas, que tornam o mercado ineficiente.

A segurança me lembra os primórdios do e-commerce, meados dos anos 2000. Poucos estavam acostumados com cartão de crédito. Além disso, quem garantiria que o comprador entregaria o produto, após o pagamento? O feedback com a reputação do vendedor, ou o marketplace garantindo devolução ajudaram a dar segurança aos participantes.

Simplicidade é o que o próprio nome sugere. Um mercado simples e direto é melhor a um mercado complicado.

Exemplo. No início, o trigo era negociado por cada comprador para cada vendedor. Uma revolução ocorreu quando houve a padronização de qualidades de trigo como commodity. Com isso, houve aumento da espessura do mercado (mais compradores poderiam comprar de mais vendedores o trigo da mesma qualidade), além de segurança (rating confiável de qualidade) e simplicidade (ao invés de combinações de compradores e vendedores, todo mundo no mesmo mercado).

Com o café etíope, algo similar. Após a implementação de teste cego de qualidade e commoditização, o mercado cresceu, melhorou em qualidade e simplicidade.

Mercado de rins

O “mercado” de rins não é um “mercado”, no conceito de troca de órgãos por dinheiro, até porque isso é ilegal e imoral na maior parte do mundo.

Há uma fila de 100 mil pessoas e 20 mil mortes por ano. É muito comum a pessoa que necessita de um rim ter um doador da família (a mãe, o pai, irmão). Porém, nem sempre o doador vai ser compatível com o paciente – tipo sanguíneo e outros testes analisam essa compatibilidade.

É possível fazer uma doação cruzada: o doador de um paciente ser compatível com outro paciente, e vice-versa.

Aqui, uma nota. Para uma doação cruzada, é necessário ter 4 salas cirúrgicas simultâneas (duas para retirar e duas para transplantar). Isso porque um atraso entre as cirurgias pode fazer um possível doador “mudar de ideia” nesse meio tempo, tornando a vida do outro paciente um pesadelo (além de continuar com o problema nos rins, perdeu o seu doador).

É aqui que entra a matemática. Que tal formar cadeias cada vez mais longas? Há um limite para tal, por conta da necessidade de salas simultâneas, mas teoricamente é possível.

Há doadores e receptores mais universais que outros, que são “fáceis” de encaixar e promover trocas. Há os mais difíceis também, de modo que é claramente um problema de matching, resolvível via programação inteira. É como ter um grafo direcional, com a função objetivo de formar a maior quantidade de conexões possíveis.

Nota: o próprio Roth citou que as técnicas e solver modernos facilitam muito a análise matemática. Na época em que o estudo começou, esse problema era um desafio bem maior do que é hoje.

Outro desafio é o acesso à informação. Hospitais são instituições privadas, que, a seu modo, concorrem por pacientes. É tentador fechar doações “fáceis” no próprio hospital, e deixar as “complicadas” para o pool nacional de doações.

Adicionalmente, há doadores externos. Como temos dois rins, é possível doar um e continuar a vida (só não pode beber muito). Esses doadores altruístas não precisam da doação de um rim, de modo que eles podem iniciar uma cadeia de doações. Antigamente, o rim dele era doado ao primeiro compatível da fila. Hoje, é doado a quem conseguir iniciar o gatilho da cadeia de cirurgias mais longa possível. Além disso, há o benefício adicional de que não é necessário ter operações simultâneas – é possível esperar um tempo entre cirurgias. Não há muito prejuízo se alguém “quebrar o link”, porque o paciente continua como antes, na fila, e com o seu doador intacto.

Roth cita que houve uma cadeia de 30 doações em 2012, o que não seria possível sem o seu trabalho.

Além do trabalho citado, há diversas outras questões. Por exemplo, expandir o banco de dados de países para troca de rins é bom, porque engrossa o mercado. Porém, o Irã permite a compra de órgãos por dinheiro. Quem garante que alguém rico o suficiente não compre um rim no Irã e inclua no pool americano para se beneficiar? São questões éticas que geram inúmeros debates.

Conclusões

O trabalho de Alvin Roth é um trabalho aplicado, muita mão na massa, para ajudar as pessoas de verdade – seja no caso dos rins, seja em outros mercados que ele ajudou a melhorar. Ele mostrou, nas palestras, fotos dele acompanhando cirurgias reais, a fim de dimensionar melhor a cadeia de trocas.

Para mim, é muito inspirador, no sentido de utilizar muita técnica, pesquisa operacional, e ter resultado prático direto na vida das pessoas.

Recomendação de livro: “Como funcionam os mercados”, de Alvin Roth.

https://amzn.to/3TyRUxT

Veja também:

Informs Anual Meeting 2022

Estou no #Informs2022 Anual Meeting – o maior encontro do mundo na área de Pesquisa Operacional. Grandes mentes de todo lugar do mundo, discutindo #Optimization, #Simulation, #decisionscience, #advancedanalytics.

Vou postar temas interessantes em futuro próximo.

Lições aprendidas na carreira de Data Science

Seguem 5 lições aprendidas, baseadas em um bate-papo que fiz, com alunos de data science da VAI Academy.

  1. Humildade, dados não são só dados.
  2. Simplicidade
  3. Importância de aliados
  4. Caminho que gosta, tem habilidade e relevância no mercado
  5. Tentar gerar valor de verdade

Itens detalhados a seguir.

Dados nunca são só dados

Não é só pegar a base de informações e trabalhar sobre ela.

Sempre existe um processo, que roda no mundo real e produz algo de verdade. Seja a fabricação de algum produto, seja a execução de algum serviço. O analista deve entender minimamente o processo, o que aqueles dados significam. A gente não consegue fazer isso sozinho. Devemos contar com o apoio de quem roda o trabalho no dia-a-dia, pessoas operacionais.

A abordagem de entrar a fundo no processo dá trabalho, é muita quebração de pedra até chegarmos numa formulação correta. É necessário ouvir mais do que falar.

Uma postura arrogante, do tipo “sou engenheiro de machine learning e isso não é comigo”, não vai resolver o problema na vida real. É tipo querer ficar só com o filé mignon e deixar os colegas com os ossos. Até porque a solução pode vir de algumas formas, muitas vezes é possível melhorar o processo com solução simples – uma planilha Excel que nem precisa de nada avançado.

Sempre brinco, dizendo que o trabalho analítico em cima de dados é quase uma desculpa para entrar no processo e melhorá-lo. Não importa se utilizamos redes neurais profundas ou algum algoritmo simples. O que importa é gerar resultados melhores do que o atual, em menos tempo, com maior qualidade.

Simplicidade

É sempre melhor começar com uma abordagem simples e ir evoluindo, do que mobilizar uma quantidade enorme de recursos para tentar resolver tudo de uma vez.

Sabe aquele sistema perfeito, pensado nos mínimos detalhes para resolver todos os problemas de alguma área da empresa? Pois é, ele nunca vai existir. Muito menos, se for construído do zero.

Esse pensamento se traduz na Lei de Gall:

“Um sistema complexo desenhado do zero nunca funciona e não pode ser remendado para fazer funcionar” – John Gall, no livro Systemantics.

Camadas simples feitas sobre outras camadas simples tornam a solução final bastante complexa, acredite. A natureza é assim, conforme a evolução das espécies: melhorias incrementais ao longo de muito tempo, com seleção natural das melhores soluções.

Pense simples. Como dizia Steve Jobs, “A simplicidade é a maior das sofisticações”.

Aliados

Alguém muito forte tecnicamente tende a pensar de forma individualista, para garantir a qualidade do trabalho final. Porém, à medida em que os trabalhos tornam-se mais complexos, é impossível um indivíduo ou uma equipe muito pequena darem conta.

É mais interessante aliar-se à outras boas pessoas, com alto nível técnico. E também, à gestores, patrocinadores outros stakeholders. Isso tudo exige soft skills.

Uma dica é que, uma pessoa bem intencionada, com genuíno desejo de aprender e ajudar, de alguma forma ou de outra vai fazer aliados ao longo da carreira.

Outra forma de construir boas relações é ensinando e ajudando outros. Tem gente que vai se abrir, outras não, é sempre assim. Com aquelas que mostrarem abertura, aumentar o elo.

Uma equipe de 10 vendedores médios com um bom líder vai performar mais do que um único vendedor acima da média.

Caminho que gosta, tem habilidade e relevância no mercado

Vira e mexe, alguém me pergunta: será que um MBA numa área de Data Science é legal para o futuro? Ou uma especialização em algum outro tema da moda?

Respondo com outra pergunta: é isso que você gosta de fazer? Tem jeito para esta natureza de trabalho? Essa carreira envolve muita matemática, programação e conhecimentos hard, além de exigir uma quantidade mínima de soft skills.

Não adianta a pessoa só olhar para um tema da moda e correr atrás. Até porque, quando ela ficar pronta, o tema não vai mais estar na moda. Lembro de uma época, mais ou menos 2008, em que o petróleo estava no topo: descoberta do pré-sal, Petrobrás empresa mais valiosa do Brasil, etc… Nessa época, um Engenheiro de Geologia especialista em petróleo era a profissão mais valorizada do mundo. A questão é que não é fácil ser bom, qualquer seja a área. É necessário ter muitos anos de estudo, dedicação, muitos anos de prática, para chegar nesse nível. Quem tivesse começado naquela época teria perdido o bonde, porque, alguns anos depois, o mercado voltou ao normal.

É claro que mirar um ramo promissor ajuda. A pergunta que faço é se a pessoa tem o perfil, não está seguindo modinhas.

O ideal é um equilíbrio. Intersecção de fazer algo que gostamos, temos habilidade e tem relevância para o mercado, independente do que está na moda ou não. Estarmos preparados, fazendo um bom trabalho nessa área escolhida. Se vier o bonde da Fortuna, embarcamos, mas não é garantido que ele passe.

Gerar valor de verdade

Sempre tento me guiar em trabalhos que vão dar um retorno à sociedade. Isso não precisa ser necessariamente em causas sociais ou ambientais. Penso que fazer um bom trabalho numa boa empresa vai gerar produtos melhores, mais baratos ou maior disponibilidade de produtos à sociedade. E isso retorna a nós, de alguma forma ou outra.

O que não acho justo é querer entrar em algum cargo público ou empresa com a única finalidade de “se dar bem”, seja com salário, bônus ou estabilidade na posição.

Expectativas

Por fim, as perspectivas são muito boas, numa carreira de dados. Quando estamos navegando numa grande onda, de alguma forma progredimos junto.

Por ser um ramo de conhecimento recente, há muita gente que não entende nem a aplicabilidade – vide post anterior.

Mais e mais dados existirão nos próximos anos. Há uma estimativa da Statista de que 60% dos dados industriais ainda não são capturados – e que, dos dados capturados, 50% não são usados para tomada de decisões. Há um enorme oceano azul de possibilidades.

Vamos em frente.

Veja também: https://ideiasesquecidas.com/2022/09/29/data-science-skills

Data Science, Skills, Super-Homem

Seguem algumas reflexões, baseadas em um bate-papo que fiz, com alunos de data science da VAI Academy.

Zoom out histórico de data science

Sempre gosto de dar um “zoom out” histórico, para entender as coisas em perspectiva.

A contabilidade tem uns 5000 anos, desde o surgimento dos números. Na verdade, houve um motivador fortíssimo para o surgimento dos números, que foram os impostos. Como registrar quem pagou ou não, e quanto pagou? É muito verdadeira a frase: “Nada é certo, exceto impostos e a morte”.

A construção civil também tem uns 5000 anos, desde o início das civilizações estamos aperfeiçoando nossas casas.

A matemática tem uns 2000 anos, desde Euclides, Pitágoras.

Fast forwarding no tempo, o computador pessoal tem uns 40 anos, desde os primeiros computadores da Apple, IBM, os primeiros sistemas operacionais da Microsoft, etc…

Data Science e Analytics, da forma que conhecemos hoje, tem uns 5 anos. Antes disso nem existia o termo “data science”, ou “data engineer”. Há razões para isso, como o volume e qualidade de dados, capacidade de processamento.

Hoje em dia, temos sensores diversos nos maquinários, custos de IOT (internet das coisas) caindo, e capacidade de comunicação wireless disso tudo. E também temos a internet, possibilitando o compartilhamento de inúmeras informações de fontes diversas. Há não muito tempo atrás, digamos uma década, tudo isso era mais caro e difícil. Há duas décadas e meia, mal tínhamos comunicação celular.

Além do volume de dados, temos avanços em hardware (via Lei de Moore) e software. Lembro que, antigamente, tínhamos que escrever todas as linhas de um algoritmo do zero, na raça. Hoje temos uma gama de pacotes prontos, de altíssimo nível.

A finalidade disso tudo é a de otimizar o uso de recursos, diminuir desperdícios, acertar previsões, prevenir problemas no maquinário, etc.

As perspectivas futuras são boas. Mesmo hoje, a Statista estima que 60% dos dados industriais não são nem coletados. E, da parte coletada, menos de 50% é realmente utilizada para algo útil. Há ainda um enorme oceano azul a ser explorado, para quem conseguir embarcar nessa onda.

Sobre Super-Homem, hard e soft skills

Pela área de Data Science envolver muita matemática e programação, naturalmente o analista deve ter uma tendência a exatas, hard skills. Buscar conhecimento técnico, ser bastante curioso. Naturalmente, acaba virando poliglota em várias linguagens, até porque a melhor linguagem depende da aplicação, e as tecnologias avançam de tempos em tempos.

Não menos importante são os soft skills. Saber conviver com as pessoas, saber ouvir, entender os problemas. Também faz parte conseguir transmitir informações, ser didático ao apresentar. Ensinar aos outros, desde o leigo que pouco sabe até aquele que tem maior bagagem. Saber negociar e vender.

O antigo dito, “as pessoas são contratadas pelo hard skill e demitidas pelo soft skill”, é muito verdadeiro.

Ora, então a pessoa tem que ser um super-homem? Saber tudo de tudo, ser bom em tudo?

Conforme comenta o meu amigo Igor Queiroz, antigamente as descrições de vagas para essas áreas de Data Science era assim, altamente técnicas em tudo e também pedindo vários soft skills, quase um super-homem. Felizmente, hoje as coisas estão mais equilibradas, exigindo mais de parte técnica quando precisa, ou mais de itens gerenciais.

Como vejo um equilíbrio possível entre hard x soft?

A gente tem que performar excelentemente bem na área que é nossa competência principal, seja lá qual for. Como quem gosta dessa área normalmente é exatoide, em algum hard skill. Ser nota 10 nesse skill específico, seja banco de dados, otimização, arquitetura de dados, etc…

Quanto aos soft skills, todos nós temos a capacidade de melhorar, acima de um mínimo aceitável. Nunca vamos chegar no nível de quem tem o dom para a coisa, mas podemos performar de forma razoavelmente boa, respeitando a nossa forma de ser. Tirar uma nota 6 em tudo quanto é soft skill. Por exemplo, logo que saí da faculdade, eu era muito horrível em apresentações. Fui trabalhando no tema, treinando, e hoje consigo transmitir as mensagens que quero, sem grandes problemas. Nunca vou chegar no nível de um Steve Jobs, por exemplo, mas foi uma evolução considerável em relação ao que era.

Nossa energia é finita, não adianta tentar tirar 10 em tudo. Então, é assim que acho ser um bom equilíbrio.

Dicas de livros / links

– Thomas Davenport, autor de diversos livros com Analytics

– John Thompson, autor de “Building Analytics teams”

– Storytelling com dados, uma aula de como utilizar dados para gerar informação relevante

– Nassim Taleb, não tem tanta relação com Analytics, mas sempre recomendo. Autor de livros como “A lógica do Cisne Negro” e “Antifrágil”

– Evento: o Informs é a mais relevante associação do mundo em Operations Research, e, anualmente, organiza eventos internacionais

– Seguir gente interessante no LinkedIn, sempre aprendemos alguma coisa

– Há uma série de cursos online, para os mais variados públicos: VAI academy, Coursera, EDX, Youtube, Data science academy

– Newsletters como Exponential view

– Pegar um tema do seu interesse e criar Google Alert, para receber um e-mail diário com notícias que aparecem na mídia

– Participar de desafios do Kaggle

Ficam as dicas. Aproveite.

Veja também:

Dados movem o mundo

Divulgando um trabalho da qual participei.

Semana passada, ocorreu o PI System Day, liderado pela Gerência de Tecnologia da Automação da Klabin.

O PI System gerencia dados industriais. Só na empresa, são mais de 350 mil tags, em 10 fábricas, um enorme trabalho iniciado há 25 anos.

Mundialmente, segundo a Statista:

– 50% de todos os dados industriais foram gerados nos últimos 2 anos

– 44% dos dados ainda não são capturados – e da porcentagem capturada, 2/3 ainda não são bem utilizadas.

Há um imenso oceano azul de oportunidades a explorar, em dados industriais.

Vide post and me siga no LinkedIn:

https://www.linkedin.com/feed/update/urn:li:activity:6972530912156631040/

Fechamento da Trilha Analytics

Tivemos hoje o fechamento da Trilha Analytics, parceria da Escola de Negócios Klabin e a plataforma de ensino Alura

Foram 43 participantes em 1 ano. Foram feitas 27.739 atividades na plataforma, equivalente a 4.623 horas dedicação em #Excel#PowerBI#Estatística e #DataScience, entre outros cursos.

Além disso, 34 projetos práticos, de conclusão de curso, gerando valor no dia a dia dos participantes.

Para reflexão:
– Exploradores não fazem por fazer, eles têm propósito
– Desafios empolgam os exploradores
– Exploradores encontram bons aliados para resolver os grandes desafios

Temos o plano de criar novas turmas, para replicar a experiência numa escala maior.

Por fim, uma frase de Confúcio: “Há três métodos de aprender com sabedoria. Primeiro, por imitação, que é o mais simples; segundo, por experiência; e terceiro, por reflexão, que é a mais nobre.”

O que é um Centro de Excelência em Analytics e por que ter um?

O Centro de Excelência em Analytics (COE) pode ajudar as organizações a serem fortemente data-driven, desse forma atingindo a excelência em decisões e capturando ganhos de eficiência. Resumo baseado no texto https://elogroup.com.br/insights/centro-de-excelencia-em-analytics-na-jornada-de-uma-organizacao-data-driven/.

O que está em jogo? Estudo da McKinsey aponta ganhos da ordem de US$ 10 trilhões com AI e Analytics, mundialmente.

O COE é uma área que reúne engenheiros, cientistas de dados e executivos de negócio. Está está na intersecção de negócios, ciência de dados e tecnologia da informação.

Alguns pontos chave:

  • Centraliza exploração e adoção de ferramentas analíticas,
  • Aculturamento de lideranças e colaboradores em temas analíticos (otimização, simulação, estatística, AI),
  • Ponto de partida do modelo de trabalho de Advanced Analytics na empresa,
  • Possibilita ganhos de escala, padronização e agilidade na entrega de métodos analíticos,
  • Atração e retenção de talentos altamente demandados como data scientists e machine learning engineers. 40% desses profissionais se mantêm abertos a outras propostas. Movimentação por falta de maturidade analítica nas organizações é citada por 44,5%, e escassez de oportunidades de crescimento por 43,8%,
  • O data scientist é um profissional diferente de tecnologia da informação. Diferente em formação, demandas e na forma de pensar.

Empresas que utilizam dados são no mínimo 5% mais produtivas que concorrentes, segundo a ELO Group.

O COE pode ser centralizado ou descentralizado, ou um híbrido de ambos, a depender da jornada de cada empresa.

Qual a diferença entre Analytics e Advanced Analytics?

Enquanto o Analytics básico tem foco em dashboards e análises simples, o Advanced Analytics envolve algoritmos sofisticados e camada extra de inteligência. O COE atua na camada mais sofisticada.

Sendo o responsável por uma área deste tipo, com ganhos da ordem de dezenas de milhões de reais por ano, complemento: não é tarefa fácil agregar valor. O COE deve estar ligado ao negócio, entender o que realmente faz sentido – às vezes um modelo simples é melhor do que um complicado. Não parar em POCs, entregar algo realmente útil para a operação. Quase nunca os dados são bons ou suficientes – mais da metade do trabalho é a parte chata, carregar o piano. A recompensa, ao final da jornada: é muito bom ver o trabalho rodando na prática!

Finalmente, há espaço para este modelo de trabalho crescer bastante no Brasil e no mundo.

Veja também:

Use a IA só na máquina de lavar

Há 15 anos, num dia como hoje, eu estava tendo aulas de redes neurais no mestrado em Eletrônica, na Coppe UFRJ.

Naquela época, a melhor redes neural que conseguíamos fazer tinha 3 camadas e uma dúzia de neurônios por camada. Entretanto, já era um campo promissor, para visionários.

Perguntei ao meu professor: “Você confiaria numa rede neural para dirigir um carro ou fazer uma operação médica?”

A resposta foi algo como: “Colocar IA numa máquina de lavar, sem problemas. Agora, para situações importantes, não”.

A IA teve uma evolução exponencial desde então. Saiu do inverno para o verão, com avanços em pacotes computacionais (PyTorch, TensorFlow), novas técnicas (convolucional, transformer), e até em hardware (como GPU e TPU).

Entretanto, a resposta continua valendo.

A IA atual é uma caixa-preta: entra um monte de dados e sai uma decisão. Talvez seja uma caixa mais poderosa, mas a essência é a mesma.

O problema de uma caixa-preta é que ela vai funcionar extremamente bem, uns 98% dos casos, até o dia em que vai dar problema. E, se o dispositivo controlado for numa grande indústria, ou um carro autônomo, será um problema catastrófico, daqueles que põe em risco a confiança no trabalho todo.

Tanto é que uma das linhas de pesquisa mais importantes dos dias de hoje é o Explainable AI: abrir um pouco da caixa, entender de alguma forma o que está acontecendo, mesclar o poder da rede neural com regras explícitas.

E outra linha quente de pesquisas é a Ética em IA: de quem será a culpa, no caso de um atropelamento? Do fabricante? Do usuário que confiou no veículo? Da caixa-preta que ninguém sabe interpretar? Do engenheiro que treinou o algoritmo? Haverá auditoria de algoritmos, por parte do governo? São perguntas difíceis de responder.

De qualquer forma, é melhor seguir o conselho do meu professor: utilize AI em processos não críticos, no seu equivalente da máquina de lavar.

https://ideiasesquecidas.com/

Recomendação de livro: Hacking Digital

Quando falamos de transformação digital, 99% dos livros atuais focam na parte técnica. Este livro é diferente, é voltado à implementação numa grande empresa. Há uma diferença enorme entre fazer uma prova de conceito funcionar e convencer a empresa a mudar processos e sistemas para adotá-la em escala!

Estamos chegando numa era em que o conhecimento técnico está dominado. Não faltam boas e novas ideias. Os especialistas estão se formando em universidades e cursos complementares (embora ainda em número insuficiente). Agora o gargalo está sendo colocar em prática, integrar e escalar de forma coerente essas soluções inúmeras.

Este é um guia pragmático, vindo de gente que realmente tem know-how sobre o tema.

Alguns highlights:

  • Em 2023, gastos com transformação digital chegarão a US$ 2,3 tri.
  • A transformação digital é difícil. Apesar do que podem pregar alguns consultores, não é fácil. Acreditem.
  • 87% dos programas de transformação digital falham em atingir as expectativas originais!

Dá para dividir a transformação em três fases: Iniciação, Execução e Ancoragem.

  • A Iniciação envolve construir uma fundação sólida: criar momentum, estabelecer objetivos e entender o panorama da empresa.
  • A Execução responde por 70% do esforço, e envolve construir (portfólio balanceado, governança) e integrar esforços digitais com outras áreas (operações, TI, RH).
  • A última fase, de ancoragem, representa os 20% finais, e é a fase de embutir os sistemas digitais no processo, de modo que o digital se incorpore no negócio.

Sobre patrocínio, governança e TI tradicional

  • A duração média de um Chief Digital Officer é de 2,5 anos.
  • Evite objetivos complicados demais.
  • Alinhe com a direção da empresa para a transformação digital.
  • A governança é chave para o sucesso da transformação. Há prós e contras em ter times separados x integrados ao restante da organização – na prática, é sempre um modelo híbrido que depende do contexto. Seja claro em responsabilidades e tenha boas métricas.
  • Como fazer Digital e TI trabalharem juntos? A TI tradicional e a área de mudanças digitais geralmente têm conflitos relacionais. A TI tradicional cuida do legado, do que está rodando, segurança, garantia de estabilidade e qualidade. Já soluções digitais têm foco em velocidade, experimentação, desenvolvimentos novos e centrados em dados e analytics.

Sobre portfólio e áreas internas e externas

  • O portfólio de trabalhos deve ser balanceado, em termos de riscos, horizontes de tempo, habilidades necessárias e complexidade.
  • Internamente, é importante despertar a consciência digital, desenvolver skills e também criar urgência nas soluções digitais. Aumentar o QI digital e desenvolver as habilidades analíticas necessárias para o negócio são o desafio chave da transformação.
  • Externamente, focos citados são parceiros e ecossistemas, além de cuidados em questões sociais e ambientais.

Diversos dos pontos citados são mais fáceis de apontar do que fazer de fato – por isso a necessidade de alinhamento com lideranças, consciência digital e o alto esforço na execução (70%).

Quando a transformação digital virar o negócio como usual, você terá chegado lá.

Por fim, a transformação digital não é um projeto, mas sim, uma longa jornada. E uma longa jornada começa no primeiro passo, como já dizia um velho provérbio chinês.

Agradeço ao amigo Octaciano Neto pelo livro.

Link da Amazon
https://amzn.to/3KdUO5E

Hacking Digital, por Michael Wade e outros profissionais do International Institute for Management Development (IMD).

Veja artigos semelhantes e me siga no LinkedIn:

https://www.linkedin.com/in/arnaldogunzi/

Os efeitos gênesis e apocalipse dos modelos de otimização

 
Quando falamos que encontramos a “solução ótima”, esta é com aspas mesmo: todo modelo é necessariamente uma simplificação do mundo real, extremamente complexo e cheio de efeitos de segunda e terceira ordem.
 
O “efeito gênese” ocorre no início, quando as variáveis ainda não estão “a todo vapor”. É a fase de aquecimento, transitória, e o modelo ainda é jovem demais para aproveitar.
 
Já o “efeito apocalipse” ocorre no final. Como o mundo do modelo acaba com o fim da simulação, ele tende a otimizar tudo: para de produzir, consome todo o estoque, curte a vida adoidado.
 
Nem todos trabalhos sofrem com esses efeitos, obviamente depende do caso. São mais frequentes principalmente nos que envolvem o tempo.


 
Para contrabalancear. No caso da gênese, começar com variáveis iniciais próximas ao estável – ou deixar rodar por alguns períodos e desprezar esse começo. No caso do apocalipse, a mesma coisa: ter restrições contrabalanceando o mínimo de variáveis, e/ou deixar ele rodando por um tempo e desprezar os períodos finais.
 
Quando a gente constrói um modelo e manda otimizar, ele otimiza mesmo, e encontra furos que não fazem sentido na vida real. Boa parte do trabalho é ficar fechando esses furos lógicos.
 
Fica a dica.

Veja artigos semelhantes e me siga no LinkedIn:

https://ideiasesquecidas.com/2021/12/19/o-bilionario-que-fazia-graficos-com-lapis-coloridos/

https://www.linkedin.com/in/arnaldogunzi/