Hi. So, this chap here,
Oi, então, esse cara aqui,
he thinks he can tell you the future.
acha que pode prever o futuro
His name is Nostradamus, although here the Sun have
Seu nome é Nostradamos, apesar do sol ter feito
made him look a little bit like Sean Connery. (Laughter)
ele parecer com o Sean Connery . (Risos)
And like most of you, I suspect, I don't really believe
E como a maioria de vocês, suspeito, não acredito realmente
that people can see into the future.
que pessoas podem prever o futuro.
I don't believe in precognition, and every now and then,
Não acredito em premonição e de vez em quando
you hear that somebody has been able to predict something that happened in the future,
ouvimos que alguém foi capaz de prever algo que aconteceria no futuro
and that's probably because it was a fluke, and we only
e provalvelmente foi puro acaso e apenas
hear about the flukes and about the freaks.
ouvimos sobre acasos e sobre os loucos.
We don't hear about all the times that people got stuff wrong.
Não sabemos de todas as vezes que as pessoas erraram.
Now we expect that to happen with silly stories
Esperamos que isso aconteça com histórias bobas
about precognition, but the problem is,
sobre premonição, mas o problema é
we have exactly the same problem in academia
temos o mesmo problema na academia
and in medicine, and in this environment, it costs lives.
e na medicina, e nesse meio isso custa vidas.
So firstly, thinking just about precognition, as it turns out,
Primeiro, pensando apenas na premonição, parece que
just last year a researcher called Daryl Bem conducted
no ano passado um pesquisador chamado Daryl Bem conduziu
a piece of research where he found evidence
uma pesquisa em que achou evidências
of precognitive powers in undergraduate students,
de poderes precognitivos em estudantes de graduação
and this was published in a peer-reviewed academic journal
e isso foi publicado em uma revista acadêmica revisada pelos pares
and most of the people who read this just said, "Okay, well,
e muitos dos que leram isso disseram: " ok, bem,
fair enough, but I think that's a fluke, that's a freak, because I know
justo, mas acho que é acaso, isso é uma loucura, porque eu sei
that if I did a study where I found no evidence
que se fissesse um estudo em que não achasse evidência
that undergraduate students had precognitive powers,
que estudantes de graduação tinham poderes precognitivos
it probably wouldn't get published in a journal.
provavelmente não seria publicado numa revista.
And in fact, we know that that's true, because
E de fato, sabemos que é verdade, porque
several different groups of research scientists tried
vários grupos diferentes de cientistas pesquisadores tentaram
to replicate the findings of this precognition study,
reproduzir os achados desse estudo precognitivo
and when they submitted it to the exact same journal,
e quando o submeteram a mesmíssima revista,
the journal said, "No, we're not interested in publishing
a revista disse: "Não, não estamos interessados em publicar
replication. We're not interested in your negative data."
cópias. Não estamos interessados nos seus dados negativos."
So this is already evidence of how, in the academic
Então, isso é evidência de como, na literatura acadêmica
literature, we will see a biased sample of the true picture
veremos uma amostra parcial do real cenário
of all of the scientific studies that have been conducted.
de todos estudos científicos que foram realizados.
But it doesn't just happen in the dry academic field of psychology.
Mas isso não acontece só no árido campo acadêmico da psicologia.
It also happens in, for example, cancer research.
Também acontece, por exemplo, com a pesquisa de câncer
So in March, 2012, just one month ago, some researchers
Assim, em março de 2012, há apenas um mês, alguns pesquisadores
reported in the journal Nature how they had tried
relataram na revista Nature como eles tentaram
to replicate 53 different basic science studies looking at
reproduzir 53 diferentes estudos cientificos básicos observando
potential treatment targets in cancer,
potenciais alvos para o tratamento de câncer,
and out of those 53 studies, they were only able
e dos 53 estudos, eles foram capazes apenas
to successfully replicate six.
de reproduzir seis com sucesso.
Forty-seven out of those 53 were unreplicable.
47 dos 53 não conseguiram reproduzir.
And they say in their discussion that this is very likely
E na discussão deles, eles dizem que provavelmente é
because freaks get published.
porque os loucos são publicados.
People will do lots and lots and lots of different studies,
As pessoas farão diferentes estudos,
and the occasions when it works they will publish,
e no caso de funcionar serão publicados,
and the ones where it doesn't work they won't.
e aqueles que não funcionarem, não serão.
And their first recommendation of how to fix this problem,
A primeira recomendação sobre como consertar esse problema,
because it is a problem, because it sends us all down blind alleys,
pois é um problema que nos coloca a todos em beco sem saída,
their first recommendation of how to fix this problem
a primeira recomendação deles para consertar esse problema
is to make it easier to publish negative results in science,
é tornar mais fácil a publicação de resultados negativos na ciência
and to change the incentives so that scientists are
e mudar os incentivos, para que os cientistas
encouraged to post more of their negative results in public.
sejam encorajados a postar mais seus resultados negativos.
But it doesn't just happen in the very dry world
Mas isso não acontece apenas no árido terreno
of preclinical basic science cancer research.
da pesquisa cientifica, básica e préclinica, do câncer.
It also happens in the very real, flesh and blood
Também acontece na medicina acadêmica verdadeira,
of academic medicine. So in 1980,
de carne e osso. Assim, em 1980
some researchers did a study on a drug called lorcainide,
alguns pesquisadores fizeram um estudo sobre uma droga uma chamada lorcainida,
and this was an anti-arrhythmic drug,
essa era uma droga contra arritimia,
a drug that suppresses abnormal heart rhythms,
uma droga que suprime ritmos cardiacos anormais,
and the idea was, after people have had a heart attack,
e a ideia era, depois que as pessoas tivessem um ataque cardíaco,
they're quite likely to have abnormal heart rhythms,
elas provavelmente teriam arritmia cardíaca,
so if we give them a drug that suppresses abnormal heart
assim se dermos a elas uma droga que os suprime
rhythms, this will increase the chances of them surviving.
isso irá aumentar a chances delas sobreviverem.
Early on its development, they did a very small trial,
Logo no começo do desenvolvimento, eles fizeram um pequeno teste,
just under a hundred patients.
com apenas 100 pacientes.
Fifty patients got lorcainide, and of those patients, 10 died.
50 usaram lorcainida e desses 10 morreram.
Another 50 patients got a dummy placebo sugar pill
Os outros 50 tomaram um placebo de açucar
with no active ingredient, and only one of them died.
com nenhum ingrediente ativo, e apenas 1 morreu.
So they rightly regarded this drug as a failure,
Assim, eles entenderam que a droga era um fracasso,
and its commercial development was stopped, and because
e seu desenvolvimento comercial foi interrompido, e por
its commercial development was stopped, this trial was never published.
isso o teste nunca foi publicado.
Unfortunately, over the course of the next five, 10 years,
Infelizmente, ao longo dos próximos 5, 10 anos
other companies had the same idea about drugs that would
outras empresas tiveram a mesma ideia que drogas
prevent arrhythmias in people who have had heart attacks.
podem prevenir arritimias naqueles que já tiveram um ataque cardíaco.
These drugs were brought to market. They were prescribed
Essas drogas foram comercializadas. Prescritas
very widely because heart attacks are a very common thing,
amplamente já que ataques cardíacos são muito comuns,
and it took so long for us to find out that these drugs
e levamos muito tempo para descobrir que essas drogas
also caused an increased rate of death
também aumentavam a taxa de mortalidade
that before we detected that safety signal,
e antes de detectarmos esse sinal de segurança,
over 100,000 people died unnecessarily in America
mais de 100.000 pessoas morreram desnecessariamente nos Estados Unidos
from the prescription of anti-arrhythmic drugs.
da prescrição de drogas contra arritimia.
Now actually, in 1993,
Bom, na verdade, em 1993,
the researchers who did that 1980 study, that early study,
os pesquisadores que fizeram o estudo em 1980, o primeiro deles
published a mea culpa, an apology to the scientific community,
publicaram uma mea culpa, uma descupa à comunidade científica,
in which they said, "When we carried out our study in 1980,
na qual diziam: "Quando fizemos nosso estudos nos anos 80
we thought that the increased death rate that occurred
pensávamos que a taxa crescente de mortalidade que ocorreu
in the lorcainide group was an effect of chance."
no grupo da lorcainida era um efeito do acaso."
The development of lorcainide was abandoned for commercial reasons,
O desenvolvimento da lorcainida foi abandonado por motivos comerciais,
and this study was never published;
e esse estudo nunca foi publicado;
it's now a good example of publication bias.
agora é um bom exemplo de uma publicação tendenciosa.
That's the technical term for the phenomenon where
Esse é o termo técnico para o fenômeno em que
unflattering data gets lost, gets unpublished, is left
informação desagradável se perde, não é publicada, é deixada
missing in action, and they say the results described here
pra trás, eles dizem que os resultados descritos aqui
"might have provided an early warning of trouble ahead."
"podiam ter dado um alerta incial dos problemas por vir"
Now these are stories from basic science.
Estas são histórias da ciência básica.
These are stories from 20, 30 years ago.
São histórias de 20, 30 anos atrás.
The academic publishing environment is very different now.
O meio de publicação acadêmica está muito diferente, hoje.
There are academic journals like "Trials," the open access journal,
Há revistas acadêmicas como "Testes" a revista de acesso livre,
which will publish any trial conducted in humans
que publica qualquer teste conduzido em humanos
regardless of whether it has a positive or a negative result.
independente se o resultado foi positivo ou negativo.
But this problem of negative results that go missing in action
Mas este problema de resultados negativos que são abandonados
is still very prevalent. In fact it's so prevalent
ainda é muito presente. Na verdade é tão presente
that it cuts to the core of evidence-based medicine.
que ele vai ao centro da medicina baseada em evidências.
So this is a drug called reboxetine, and this is a drug
Essa é uma droga chamada reboxetina, uma dessas que
that I myself have prescribed. It's an antidepressant.
eu mesmo já prescrevi. É um antidepressivo.
And I'm a very nerdy doctor, so I read all of the studies
E eu sou um médico muito nerd, então já li todos os estudos
that I could on this drug. I read the one study that was published
que pude sobre essa droga. Li o único que foi publicado
that showed that reboxetine was better than placebo,
que mostrava que reboxetina era melhor que placebo,
and I read the other three studies that were published
e li outros três que foram publicados que diziam que
that showed that reboxetine was just as good as any other antidepressant,
reboxetina era boa como qualquer outro antidepressivo,
and because this patient hadn't done well on those other antidepressants,
e porque esse paciente não tinha se dado bem com outros antidepressivos,
I thought, well, reboxetine is just as good. It's one to try.
Pensei, bom, reboxetina é bom como os outros. Vamos tentar.
But it turned out that I was misled. In fact,
Acontece que eu estava enganado. Na verdade,
seven trials were conducted comparing reboxetine
vários testes foram conduzidos comparando reboxetina
against a dummy placebo sugar pill. One of them
com um placebo de açucar. Um deles
was positive and that was published, but six of them
foi positivo e publicado, mas seis outros
were negative and they were left unpublished.
foram negativos e nunca publicados.
Three trials were published comparing reboxetine
Três testes publicados comparando reboxetina
against other antidepressants in which reboxetine
a outros antidepressivos, nos quais ela
was just as good, and they were published,
era tão boa quanto outros foram publicados,
but three times as many patients' worth of data was collected
mas outras três vezes o número de pacientes cuja informação foi positiva,
which showed that reboxetine was worse than
mostrou que a reboxetina era pior que qualquer
those other treatments, and those trials were not published.
desses outros tratamentos, e tais testes não foram publicados.
I felt misled.
Eu me senti enganado.
Now you might say, well, that's an extremely unusual example,
Agora, vocês podem pensar, bem, esse é um exemplo muito incomum,
and I wouldn't want to be guilty of the same kind of
e eu não gostaria de ser culpado por esse mesmo tipo de
cherry-picking and selective referencing
referenciação seletiva e falaciosa
that I'm accusing other people of.
da qual estou acusando outras pessoas.
But it turns out that this phenomenon of publication bias
Mas acontece que esse fenômeno de publicações tendenciosas
has actually been very, very well studied.
tem sido, na verdade, muito bem estudado.
So here is one example of how you approach it.
Bom, eis um bom exemplo de como abordá-lo.
The classic model is, you get a bunch of studies where
O modelo clássico é, você pega um monte de estudos em que
you know that they've been conducted and completed,
você sabe que eles foram realizados e completados
and then you go and see if they've been published anywhere
depois você verifica se eles foram publicados em algum lugar
in the academic literature. So this took all of the trials
na literatura acadêmica. Assim se pegou todos os testes
that had ever been conducted on antidepressants
que foram conduzidos sobre antidepressivos
that were approved over a 15-year period by the FDA.
que foram aprovados num período de 15 anos pela FDA.
They took all of the trials which were submitted to the FDA as part of the approval package.
Pegaram todos os testes que foram submetidos à FDA como parte do pacote aprovado.
So that's not all of the trials that were ever conducted on these drugs,
Assim, esses não são todos os testes que foram conduzidos sobre essas drogas,
because we can never know if we have those,
porque nunca saberemos se os temos,
but it is the ones that were conducted in order to get the marketing authorization.
mas são aqueles que foram realizados pra que se conseguisse a autorização de marketing.
And then they went to see if these trials had been published
Depois fomos ver se esses testes foram publicados
in the peer-reviewed academic literature. And this is what they found.
na literatura acadêmica revisada pelos pares. E isso foi o que eles acharam.
It was pretty much a 50-50 split. Half of these trials
Era mais ou menos 50-50. Metade desses testes
were positive, half of them were negative, in reality.
foram positivos, metade negativos, na verdade.
But when they went to look for these trials in the peer-reviewed academic literature,
Mas quando olharam esses testes na literatura acadêmica revista pelos pares,
what they found was a very different picture.
o que eles acharam foi um quadro diferente.
Only three of the negative trials were published,
Apenas três dos testes negativos foram publicados,
but all but one of the positive trials were published.
mas todos menos um dos positivos foi publicado.
Now if we just flick back and forth between those two,
Agora, se apenas reanalizarmos esses dois
you can see what a staggering difference there was
podemos ver uma espantosa diferença entre a realidade
between reality and what doctors, patients,
e o que os médicos, pacientes,
commissioners of health services, and academics
membros da comissão do serviço de saúde, e acadêmicos
were able to see in the peer-reviewed academic literature.
foram capazes de ver na literatura acadêmica revisada pelos pares.
We were misled, and this is a systematic flaw
Fomos enganados,essa é uma falha sistemática
in the core of medicine.
no centro da medicina.
In fact, there have been so many studies conducted on
Na verdade, houve tantos estudos realizados sobre
publication bias now, over a hundred, that they've been
publicações tendenciosas, mais de cem, que eles foram
collected in a systematic review, published in 2010,
recolhidos em uma revisão sistêmica, publicada em 2010,
that took every single study on publication bias
que analisou cada um dos estudos sobre publicações tendênciosas
that they could find.
que puderam achar.
Publication bias affects every field of medicine.
Publicações tendenciosas afetam cada área da medicina.
About half of all trials, on average, go missing in action,
Cerca de metade desses testes, em média, se perdem em combate
and we know that positive findings are around twice as likely
e sabemos que é duplamente mais provável que achados positivos
to be published as negative findings.
sejam publciados que os negativos.
This is a cancer at the core of evidence-based medicine.
Esse é um câncer no centro da medicina baseada em evidências.
If I flipped a coin 100 times but then
Se eu jogasse uma moeda 100 vezes
withheld the results from you from half of those tosses,
depois escondesse de vocês os resultados de metade das vezes
I could make it look as if I had a coin that always came up heads.
Poderia fazer parecer que eu tinha um moeda que sempre dá cara.
But that wouldn't mean that I had a two-headed coin.
Mas isso não significaria que eu tenho uma moeda com duas caras.
That would mean that I was a chancer
Isso significaria que eu era um espertinho
and you were an idiot for letting me get away with it. (Laughter)
e você um idiota por me deixar sair com esta. (Risos)
But this is exactly what we blindly tolerate
Mas isso é exatamente o que cegamente toleramos
in the whole of evidence-based medicine.
em toda a medicina baseada em evidências.
And to me, this is research misconduct.
E pra mim, esse é um erro da pesquisa.
If I conducted one study and I withheld
Se eu realizasse um estudo e escondesse
half of the data points from that one study,
metade da informação desse estudo,
you would rightly accuse me, essentially, of research fraud.
vocês acusariam-me, corretamente, essencialmente de pesquisa fraudulenta.
And yet, for some reason, if somebody conducts
E ainda, por algum motivo, se alguém realizar
10 studies but only publishes the five that give the result that they want,
10 estudos, mas só publicarem os 5 que possuem o resultado esperado,
we don't consider that to be research misconduct.
não consideramos que isso é erro de pesquisa.
And when that responsibility is diffused between
E quando essa responsabilidade é difundida por
a whole network of researchers, academics,
toda uma rede de pesquisdores, acadêmicos,
industry sponsors, journal editors, for some reason
patrocinadores industriais, editores de revistas, por algum motivo
we find it more acceptable,
achamos que é mais aceitável,
but the effect on patients is damning.
mas o efeito nos pacientes é devastador.
And this is happening right now, today.
E isso está acontecendo agora mesmo, hoje.
This is a drug called Tamiflu. Tamiflu is a drug
Essa é uma droga chamada Tamiflu. Tamiflu é
which governments around the world have spent billions
a droga na qual os governos de todo o mundo gastaram bilhões
and billions of dollars on stockpiling,
e bilhões de dólares no armazenamento,
and we've stockpiled Tamiflu in panic,
e estocamos pílulas de Tamiflu em pânico,
in the belief that it will reduce the rate of complications of influenza.
na crença de que iria reduzir a taxa de complicações da influenza.
Complications is a medical euphemism for pneumonia
Complicações é um eufemismo médico para pneumonia
and death. (Laughter)
e morte. (Risos)
Now when the Cochrane systematic reviewers
Agora, quando os revisores sistêmicos de Cochrane
were trying to collect together all of the data from all
tentavam juntar toda a informação sobre
of the trials that had ever been conducted on whether Tamiflu actually did this or not,
os testes que foram realizados acerca do fato do Tamiflu fazer isso ou não,
they found that several of those trials were unpublished.
eles acharam que muitos destes testes não foram publicados.
The results were unavailable to them.
Os resultados não estavam disponíveis para eles.
And when they started obtaining the writeups of those trials through various different means,
E eles começaram a obter as descrições destes testes por diversos meios,
through Freedom of Information Act requests, through
por meio de solicitações ao Ato de Informação Livre,
harassing various different organizations, what they found was inconsistent.
incomodando diferentes organizações, o que eles acharam foi inconsistente.
And when they tried to get a hold of the clinical study reports,
E quando tentaram compreender os relatórios dos estudos clínicos,
the 10,000-page long documents that have
o documento de 10.000 páginas que
the best possible rendition of the information,
tem a melhor interpretação possível da informação,
they were told they weren't allowed to have them.
lhes foi dito que não lhes era permitido tê-lo.
And if you want to read the full correspondence
E se quiserem ler a correspondência completa
and the excuses and the explanations given by the drug company,
e as desculpas e explicações dadas pela indústria farmaceutica,
you can see that written up in this week's edition
podem vê-la escrita na edição dessa semana
of PLOS Medicine.
da PLOS Medicina.
And the most staggering thing of all of this, to me,
A coisa mais surpreendente de tudo isso, pra mim,
is that not only is this a problem, not only do we recognize
é que isso não só é um problema, não apenas reconhecemos
that this is a problem, but we've had to suffer fake fixes.
que é um problema, mas temos que aguentar as falsas soluções.
We've had people pretend that this is a problem that's been fixed.
Temos pessoas que fingem que esse problema foi resolvido.
First of all, we had trials registers, and everybody said,
Primeiro de tudo, temos registros de testes, e todos disseram,
oh, it's okay. We'll get everyone to register their trials, they'll post the protocol,
ah, certo. Faremos todos registrarem seus testes, eles postaram o protocolo,
they'll say what they're going to do before they do it,
diram o que farão antes de fazer,
and then afterwards we'll be able to check and see if all the trials which
e depois seremos capazes de checar e verificar se os testes
have been conducted and completed have been published.
que foram realizados e completados foram publicados.
But people didn't bother to use those registers.
Mas as pessoas não se incomodaram em usar tais registros.
And so then the International Committee of Medical Journal Editors came along,
Daí, o Comitê Internacional de Editores de Revistas Médicas veio dizer
and they said, oh, well, we will hold the line.
ah, certo, nós faremos o filtro.
We won't publish any journals, we won't publish any trials,
Não publicaremos em nenhuma revista, nenhum teste
unless they've been registered before they began.
a não ser que ele tenha sido registrado antes de começar.
But they didn't hold the line. In 2008, a study was conducted
Mas eles não o fizeram. Em 2008, um estudo foi realizado
which showed that half of all of trials published by journals
que mostrava que metade dos estudos publicados pelas revistas
edited by members of the ICMJE
editados pelos membros da ICMJE
weren't properly registered, and a quarter of them weren't registered at all.
não foram devidamente registrados e um quarto deles não foram registrados de forma alguma.
And then finally, the FDA Amendment Act was passed
E finalmente, a Emenda da FDA foi aprovada
a couple of years ago saying that everybody who conducts
há alguns anos, dizendo que todos que realizarem
a trial must post the results of that trial within one year.
um teste devem postar os resultados dentro de um ano.
And in the BMJ, in the first edition of January, 2012,
E a primeira edição de Janeiro da BMJ em 2012,
you can see a study which looks to see if people kept
vocês podem ver um caso que verifica se as pessoas cumpriram
to that ruling, and it turns out that only one in five
essa regra, e acabou que apenas 1 de cada 5
have done so.
o fizeram.
This is a disaster.
Isso é um desastre.
We cannot know the true effects of the medicines
Não podemos saber o verdadeiro efeito dos medicamentos
that we prescribe if we do not have access
que prescrevemos se não tivermos acesso
to all of the information.
à toda informação.
And this is not a difficult problem to fix.
E isso não é um problema difícil de resolver.
We need to force people to publish all trials
Precisamos forçar as pessoas a publicar todos os testes
conducted in humans, including the older trials,
realizados em humanos, incluindo outros testes,
because the FDA Amendment Act only asks that you publish the trials conducted after 2008,
porque a Emenda da FDA apenas obriga a publicação dos testes realizados depois de 2008,
and I don't know what world it is in which we're only
e eu não sei que mundo é esse em que nós estamos
practicing medicine on the basis of trials that completed in the past two years.
praticando a medicina com base apenas em testes completados nos últimos 2 anos.
We need to publish all trials in humans,
Precisamos publicar todos os testes em humanos,
including the older trials, for all drugs in current use,
incluindo testes mais antigos para todas as drogas em uso
and you need to tell everyone you know
e vocês precisam dizer a todos que conhecem
that this is a problem and that it has not been fixed.
que isso é um problema que ainda não foi resolvido.
Thank you very much. (Applause)
Muito obrigado. (Aplausos)
(Applause)
(Aplausos)
Legenda Anterior
Pronúnciar Palavra
Traduzir Frase Atual
Pausar / Play
Próxima Legenda
Pronúnciar Frase
Dois Cliques para Salvar Palavra
Desativar Legenda / Ativar Legenda
