Por acaso, em meio a um fluxo de notícias e informações, encontrei um artigo na Nature Scientific Reports. Apresenta dados de uma pesquisa com 1.500 cientistas sobre a reprodutibilidade dos resultados da pesquisa. Se antes esse problema foi levantado para pesquisas biológicas e médicas, onde por um lado é explicável (falsas correlações, a complexidade geral dos sistemas em estudo, às vezes até software científico é acusado), por outro lado, ele tem um caráter fenomenológico (por exemplo, os ratos tendem a se comportar de forma diferente com os cientistas gêneros diferentes (1 e 2)).
No entanto, nem tudo é tranquilo com ciências mais naturais, como física e engenharia, química, ecologia. Parece que essas mesmas disciplinas são baseadas em experimentos "absolutamente" reproduzíveis realizados sob as condições mais controladas, infelizmente, incrível - em todos os sentidos da palavra - o resultado da pesquisa: até 70% dos pesquisadores encontraram experimentos não reproduzíveis e resultados obtidos não apenas por outros grupos de cientistas, MAS também pelos autores / co-autores de trabalhos científicos publicados!
Cada maçarico elogia seu pântano?
Embora 52% dos entrevistados apontem para uma crise de reprodutibilidade na ciência, menos de 31% consideram os dados publicados como fundamentalmente incorretos e a maioria indicou que ainda confia no trabalho publicado.
Pergunta: Existe uma crise de reprodutibilidade dos resultados?
Claro, não se deve cortar o ombro e linchar toda a ciência como tal apenas com base nesta pesquisa: metade dos entrevistados ainda eram cientistas associados, de uma forma ou de outra, às disciplinas biológicas. Como os autores observam, em física e química, o nível de reprodutibilidade e confiança nos resultados obtidos é muito mais alto (ver gráfico abaixo), mas ainda não 100%. Mas na medicina as coisas estão muito ruins em comparação com o resto.
Vídeo promocional:
Uma anedota vem à mente:
Marcus Munafo, psicólogo biológico da Universidade de Bristol, Inglaterra, tem um interesse de longa data na reprodutibilidade de dados científicos. Relembrando os dias de seus dias de estudante, ele diz:
Pergunta: Quantos trabalhos publicados em sua indústria são reproduzíveis?
Profundidade do problema de latitude e longitude
Imagine que você é um cientista. Você encontra um artigo interessante, mas os resultados / experimentos não podem ser reproduzidos em laboratório. É lógico escrever sobre isso aos autores do artigo original, pedir conselhos e fazer perguntas de esclarecimento. De acordo com a pesquisa, menos de 20% o fizeram em algum momento de sua carreira científica!
Os autores do estudo observam que, talvez, tais contatos e conversas sejam muito difíceis para os próprios cientistas, porque revelam sua incompetência e inconsistência em certas questões ou revelam muitos detalhes do projeto atual.
Além disso, uma esmagadora minoria de cientistas tentou publicar uma refutação de resultados irreproduzíveis, enquanto enfrentava a oposição de editores e revisores que exigiam que as comparações fossem minimizadas com o estudo original. É de se admirar que a chance de relatar a não reprodutibilidade de resultados científicos seja de cerca de 50%.
Primeira pergunta: você tentou reproduzir os resultados do experimento?
Segunda pergunta: você já tentou postar sua tentativa de reproduzir os resultados?
Quem sabe, então, dentro do laboratório, pelo menos para fazer um teste de reprodutibilidade? O mais triste é que um terço dos entrevistados NUNCA pensou em criar métodos para verificar a reprodutibilidade dos dados. Apenas 40% indicaram que usam regularmente essas técnicas.
P: Você já desenvolveu técnicas / processos técnicos especiais para melhorar a reprodutibilidade dos resultados?
Outro exemplo, uma bioquímica do Reino Unido, que não quis revelar seu nome, diz que tentar repetir, reproduzir trabalhos para seu projeto de laboratório simplesmente dobra o tempo e os custos de material, sem dar ou acrescentar nada de novo ao trabalho. Verificações adicionais são realizadas apenas para projetos inovadores e resultados incomuns.
E, claro, as eternas questões russas que começaram a torturar os colegas estrangeiros: de quem é a culpa e o que fazer?
Quem é o culpado?
Os autores do trabalho identificaram três problemas principais de reprodutibilidade dos resultados:
- Pressão de superiores para publicar o trabalho a tempo
- Relatório seletivo (aparentemente, significa a supressão de alguns dados, que "estragam" todo o quadro)
- Análise de dados insuficiente (incluindo estatísticas)
Pergunta: Quais fatores são responsáveis por resultados científicos irreproduzíveis?
Respostas (de cima para baixo): –Relatório de amostra –Pressão de saltos –Pobre análise / estatística –– Repetibilidade insuficiente do experimento no laboratório –Suficiente supervisão –Falta de método ou código –Pobre projeto experimental –Falta de dados brutos do laboratório primário –Fraude –Verificação insuficiente por especialistas / revisores –Problemas com tentativas de reprodução –É necessária perícia técnica para reproduzir –Variabilidade dos reagentes padrão - "Neddachka e Pichalka"
O que fazer?
Dos 1.500 pesquisados, mais de 1.000 especialistas falaram a favor do aprimoramento das estatísticas na coleta e processamento de dados, melhoria da qualidade da supervisão dos chefes e planejamento mais rigoroso dos experimentos.
P: Quais fatores ajudarão a melhorar a reprodutibilidade?
Respostas (de cima para baixo): - Melhor compreensão das estatísticas - Supervisão mais estrita - Melhor design experimental - Treinamento - Revisão interna do laboratório - Habilidades práticas aprimoradas - Encorajando a verificação cruzada de dados formais - Revisão interlaboratorial - Alocando mais tempo para gerenciamento de projetos - Aumentando os padrões dos periódicos científicos - Alocar mais tempo para trabalhar com registros de laboratório
Conclusão e alguma experiência pessoal
Em primeiro lugar, mesmo para mim, como cientista, os resultados são espantosos, embora já me tenha habituado a um certo grau de irreprodutibilidade dos resultados. Isso é especialmente evidente nos trabalhos realizados por chineses e indianos sem "auditoria" de terceiros na forma de professores americanos / europeus. É bom que o problema tenha sido reconhecido e pensado sobre a (s) solução (ões). Com muito tato, guardarei silêncio sobre a ciência russa em relação ao escândalo recente, embora muitos façam seu trabalho honestamente.
Em segundo lugar, o artigo ignora (ou melhor, não considera) o papel das métricas científicas e dos periódicos científicos revisados por pares no surgimento e no desenvolvimento do problema da irreprodutibilidade dos resultados da pesquisa. Em busca da velocidade e frequência das publicações (leia-se, aumento dos índices de citação), a qualidade cai drasticamente e não há tempo para verificação adicional dos resultados.
Como se costuma dizer, todos os personagens são fictícios, mas baseados em eventos reais. De alguma forma, um aluno teve a chance de revisar um artigo, porque nem todo professor tem tempo e energia para ler os artigos com atenção, então a opinião de 2-3-4 alunos e médicos é coletada, a partir da qual a revisão é formada. Foi feita uma revisão que apontou a irreprodutibilidade dos resultados de acordo com o método descrito no artigo. Isso foi claramente demonstrado ao professor. Mas para não prejudicar a relação com os “colegas” - afinal, eles conseguem em tudo - a revisão foi “corrigida”. E há 2 ou 3 desses artigos publicados.
Acontece que é um círculo vicioso. O cientista encaminha o artigo ao editor da revista, onde indica os revisores “desejados” e, principalmente, os “indesejados”, ou seja, deixando apenas aqueles que se manifestarem positivamente para a equipe de autores. Eles revisam o trabalho, mas não podem “cagar nos comentários” e tentar escolher o menor dos dois males - essa é uma lista de perguntas que precisam ser respondidas, e depois publicaremos o artigo.
Outro exemplo, de que falou o editor da Nature há apenas um mês, são os painéis solares de Grazel. Devido ao enorme interesse da comunidade científica pelo tema (afinal, ainda querem um artigo na Nature!), Os editores tiveram que criar um questionário especial, no qual é necessário indicar uma série de parâmetros, fornecer calibrações de equipamentos, certificados, etc., para confirmar que o método de medição de eficiência os painéis estão em conformidade com alguns princípios e padrões gerais.
E, em terceiro lugar, quando mais uma vez você ouvir falar de uma vacina milagrosa que conquista tudo e todos, uma nova história sobre Jobs de saia, novas baterias ou os perigos / benefícios dos OGM ou da radiação de smartphones, especialmente se foi promovida por escritores amarelos do jornalismo, então seja compreensivo e não tire conclusões precipitadas. Aguarde a confirmação dos resultados por outros grupos de cientistas, o acúmulo da matriz e as amostras de dados.
