Ioannidis: A tudományos kutatások nagy része téved

2012. július 09. 07:30 - Zsolesz14

Bevezető megjegyzés: a plauzibilitás fogalma szinte végig jelen van ebben a bejegyzésben, így aki nincs kellőképpen tisztában ezzel az amúgy nem triviális fogalommal, az olvassa el útmutatásnak az előző két bejegyzést.)

Pár éve John Ioannidis kutató publikált pár tanulmányt, amelyek egyrészt azt állapították meg, hogy a legtöbb orvostudománnyal kapcsolatos publikációról az derül ki, hogy azok hamisak; másrészt pedig azt, hogy még ha igazak is, a hatékonyságuk akkor is túl van becsülve. Ezen tanulmányok megírásának célja az volt, hogy rámutasson a tudomány alapú orvoslás hibáira és hogy tökéletesítse azt. Ehelyett azonban kuruzslók és sarlatánok tömkelege használta és használja jelenleg is arra, hogy hasztalannak állítsa be a tudományt. Nagyon könnyű ugyanis félreértelmezni Ioannidis munkáit, az újságírók pedig sajnos gyakran nem a korrektségről híresek, így ők hozzájárultak a sok félreértés elterjedéséhez.

Az első dolog, ami ilyenkor eszünkbe kell jusson az az, hogy ettől nem lesznek hirtelen hatékonyak a kuruzslók gyógymódjai. Igen, olykor komoly gondok vannak a tudománnyal és azon belül a tudomány alapú orvoslással, de ettől nem lesz hirtelen hatékony a homeopátia, nem lesz átverés az ember okozta globális felmelegedés, nem okoznak rögtön autizmust a védőoltások stb.

Lássuk röviden mit is publikált Ioannidis! Azt csinálta, hogy áttekintett jó pár, kiemelkedő minőségű orvosi folyóiratban megjelent publikációt, majd megnézte, hogy mi történt ezekben a témakörökben 20 év múlva. Azt kívánta ellenőrizni, hogy mi történt ezekkel az eredményekkel. Sikerült őket reprodukálni és megerősíteni? Vagy a nagytöbbségüket azóta megcáfolták? Ez utóbbi lett a nyerő: azt találta, hogy igen nagy százalékukat megcáfolták. Ez elsőre elég egyértelműnek tűnik. Komoly baj van a tudománnyal, gondolhatnánk. De valóban ilyen egyszerű a helyzet? Tényleg meglepő ez az eredmény?

Ha megmutatjuk ezt a tanulmányt egy kutatónak (vagy akár egy tapasztaltabb szkeptikusnak) igen nagy esély van rá, hogy ezeken az eredményeken egyáltalán nem fog meglepődni. Az természetes ugyanis, hogy egy komoly klinikai kérdés megválaszolására irányuló első próbálkozások gyakran eltúlzott eredményeket hoznak. Mindig a jó minőségű bizonyítékok egészét kell nézni és az újabb kutatásokat is mindig ugyanolyan szkeptikusan kell fogadni, mint bármi mást.

Mindezek mellett természetesen igaz, hogy rendszeres hibák vannak az orvostudományos kutatásokkal. Nagyon sok vizsgálat gyenge konstrukciójú, vagy túl alacsony létszámú ahhoz, hogy határozott következtetést lehessen levonni belőle. A kutatók hajlamosabbak a pozitív eredményeket publikálni a negatívakkal szemben. Nagy a nyomás a tudósokon a publikálásra, ezért nem ritkán fordul elő az adatok manipulálása. És természetesen jelen van bőven az egyszerű csalás és hamisítás is. Mindezek ellenére hiba volna Ioannidis kutatásait abszolút bizonyítéknak tekinteni arra vonatkozóan, hogy nem a tudomány eszközei a legjobbak és legalkalmasabbak a világunk megismerésére és a betegségek leghatékonyabb módon történő gyógyítására.

Az előbb felsorolt torzító hatásokon kívül más dolgok is hozzájárultak ahhoz, hogy Ioannidis ezt az eredményt kapta kutatásai során. Véleményem szerint a világhálón található elemzések közül az Alex Tabbarok, a Steven Novella és az Orac féle a legmegbízhatóbb és legkorrektebb, így ezeket fogom röviden összefoglalni.

Alex Tabbarok először a statisztika szempontjából igyekszik megvizsgálni a dolgot. Nem nagyon akarok itt a részletekbe belemenni, a lényeg, hogy pusztán a statisztikai miatt sok pozitív eredményű kutatás hamis lesz. Ez az alkalmazott statisztikai módszerekből és abból következik, hogy a legtöbb új, tesztelendő hipotézis hamis. Alex Tabbarok azt hozza ki, hogy ha az új hipotézisek 80%-a hamis (ez egy jó becslés), akkor még ha a kutatások tökéletesen zajlanak is le (feltesszük, hogy előbb felsorolt torzító hatások egyike sincs jelen), akkor is a pozitív kutatások 25%-a hamis lesz.

Értelemszerűen a cél ennek a számnak a csökkentése kell legyen. Az egyik lehetőség (és ez garantáltan nem fog tetszeni az alternatív medicina híveinek) a hipotézisek plauzibilitásának figyelembe vétele. Tabbarok cikkében rámutat arra, hogy csökkenthetjük a hamis pozitív eredményt hozó kutatások számát, ha figyelembe vesszük az előzetes plauzibilitást, vagyis azt, hogy egy adott hipotézisről „mennyire valószínű”, hogy igaz. Ezt az előzetes plauzibilitást az alapvető tudományos ismereteink és a rendelkezésünkre álló adatok alapján lehet becsülni. Ez természetesen az orvostudomány területén belül nagyon bonyolult feladat. Az ember hihetetlenül komplex, emiatt pusztán elméleti alapon nagyon nehéz megjósolni, hogy egy adott gyógymód mennyire lesz hatékony. Vagyis a tudósok kénytelenek sok hipotézist megvizsgálni, amely nagyszámú hamis pozitív kutatási eredményhez vezet.

Novella szerint Tabbarok analíziséből egyenesen következik, hogy ha nem vesszük figyelembe a plauzibilitást, akkor a hamis pozitív eredmények száma növekedni fog. Pontosan ez az, ami az alternatív orvoslás világában zajlik. A legtöbb alternatív gyógymód (pl. homeopátia vagy energiagyógyászat) plauzibilitása gyakorlatilag nulla. Az alternatív világban pontosan azt látni, amit Tabbarok elemzése mutat: sok „háttérzajt” és sok hamis pozitív eredményt.

Tabbarok arra is rámutatott, hogy minél több kutató vizsgál egy adott kérdést, annál valószínűbb, hogy megjelenik egy pozitív kutatási eredményt. Ezt aztán ki lehet mazsolázni és hangoztatni, mint bizonyítékot; ez is az egyik kedvenc módszerük az alternatív orvoslás híveinek.

Ioannidis kutatásai tehát nem azt implikálják, hogy hagyjuk el a tudomány alapú orvoslást, hanem sokkal inkább azt, hogy vegyük figyelembe a plauzibilitást a szakirodalom kiértékelésekor és az új kutatási irányok felállításakor. A bizonyíték alapú orvoslás (EBM) nem veszi kellőképpen figyelembe a plauzibilitást. Sok kritikus gyakran hívja fel arra a figyelmet, hogy ez egy hiba, Ioannidis kutatásai pedig pont ezt támasztják alá. Az egyik legjobb módszer a kutatások során jelentkező hamis pozitív eredmények csökkentésére a vizsgált beavatkozás plauzibilitásának figyelembe vétele. Ettől persze az alternatív orvoslás hívei nagyon félnek, hiszen ők az igen csekély plauzibilitású gyógymódok világában élnek.

Tabbarok felsorol pár szempontot, amelyeket Ioannidis kutatásainak fényében mindenkinek ajánlatos figyelembe vennie, amikor a szakirodalmat tanulmányozza vagy egy új kutatás eredményeit vizsgálja. Ezek közül most felsorolok párat.

1. Amikor egy konkrét kutatást vizsgálunk, próbáljuk meg figyelembe venni a „háttérzajt”. Tartsuk szem előtt, hogy minél több hipotézist vizsgálnak és minél kevesebb energiát fektetnek hipotézisek kiválogatására, annál valószínűbb, hogy csak zajt látunk.
2. Minél több mintát (alanyt) vizsgáltak, annál jobb. (Ugyanakkor a nagyobb mintaszám nem oldja meg a megfigyeléses vizsgálatok körüli problémákat, ami azonban egy teljesen más típusú probléma.)
3. A kis hatásokkal (pl. alig jobb a kezelt csoport, mint a kontroll csoport) szemben legyünk különösen bizalmatlanok.
4. Különböző forrásokból tájékozódjunk, vizsgáljunk meg különböző típusú bizonyítékokat is.
5. A szakirodalmakat érdemes tanulmányozni, nem egyedülálló publikációkat.

Ezekhez még azt lehetne hozzátenni, hogy tüntessük el azt a kettős mércét, amit sokan a tudomány alapú és az alternatív gyógymódoknál használnak. Ha ugyanazokat a követelményeket jelöljük ki az utóbbira, mint az előbbire, akkor az alternatív világ puszta „háttérzajjá” válik.

A tudomány alapú orvosláson belül pedig Ioannidis üzenete egyértelműen az, hogy soha nem szabad egyetlen kutatás alapján döntést hozni. Mindig a teljes rendelkezésünkre álló tudományos bizonyítékokat kell nézni. Egy-egy kutatás produkálhat megkérdőjelezhető eredményeket, de a tudomány az idő folyamán előbb-utóbb ki fogja azt javítani. Ezzel pedig elérkeztünk az alapvető különbséghez a tudomány alapú és az alternatív orvoslás között: az előbbi megváltoztatja álláspontját az új bizonyítékok felbukkanása esetén. Az utóbbinál semmi ilyesmit nem tapasztalni. Mikor volt legutoljára az, hogy egy alternatív gyógymóddal felhagytak a praktizálói, mert a bizonyítékok azt mutatták, hogy az hatástalan?

Az alternatív medicina hívei gyakran gyanúsítják az orvostudomány híveit azzal, hogy szűk látókörűek, hogy nem hajlandóak új elképzeléseket (az ő elképzeléseiket) fontolóra venni. A valóságban azonban a helyzet pont fordított. Az alternatívok azok, akik sokkal beszűkültebben gondolkoznak. Ha Ioannidis eredményei helyesek, akkor igen sok komoly kutatást megcáfoltak már, ami azt jelenti, hogy a tudomány felhagyott a régen elfogadott elméletekkel és gyógymódokkal. Mi is következik ebből? Az, hogy a tudomány megváltoztatja álláspontját, ha új bizonyítékok jelennek meg, és ami fontosabb: felhagy azon gyógymódok alkalmazásával, melyekről az új bizonyítékok azt mondják, hogy azok hatástalanok, vagy kevésbé hatékonyak, mint az újak. Ez természetesen egy hosszú és komplikált folyamat. Az alternatív világban ezzel szemben a mai napig használnak olyan gyógymódokat is, mint például a homeopátia, amiről 200 évnyi tudományos bizonyíték mondja, hogy hatása nem mutat túl a placebón.

Amikor tehát a kuruzslók azzal próbálnak érvelni, hogy Ioannidis kutatásai azt mutatják, hogy a tudomány alapvetően hibás, akkor tartsuk szem előtt a bejegyzés elején elhangzottakat: Ioannidis munkái nem teszik igazzá az áltudósok állításait saját elméleteikkel kapcsolatban. Az ilyen és ehhez hasonló munkák léte különbözteti meg a tudomány- és bizonyíték alapú orvoslást az alternatívtól.

A tudósok és kutatók általában tisztában vannak a különböző kutatások korlátaival. Tudják, hogy szkeptikusan kell tekinteni a még nem reprodukált, új kutatási eredményekre. Tudják, hogy az eredmények akkor vállnak biztosabbá, ha azokat megfelelően reprodukálták és ha több típusú bizonyíték is ugyan afelé a közös eredmény felé konvergál. A laikusok és a nagyközönség viszont nem mindig van ezzel tisztában; ezzel kapcsolatosak a záró gondolatok.

A bejegyzés vége felé érkezve még arra a kérdésre kell válaszolni, hogy Ioannidis kutatásai mit implikálnak a társadalom és egy „átlagember” számára, aki szimplán csak tájékozódni akar a híradó vagy bármely internetes hírportál segítségével. Először is azt, hogy egy racionális egészségügyet a legjobb minőségű bizonyítékokra és a tudományos gondolkodásra kell alapozni. Másodszor pedig tetszőleges sajtóban olvasott tudományos kutatásokkal szemben is szkeptikusnak kell lenni. Sosem szabad egy tanulmány alapján eldönteni egy kérdést! Mindig a rendelkezésre álló bizonyítékok egészét kell nézni. A sajtó és média ezt gyakran figyelmen kívül hagyja és bármilyen új kutatás eredményét korszakalkotónak és szenzációsnak állítja be, jelentősen eltúlozva azokat a következtetéseket, amiket le lehetne amúgy vonni belőle. Gyakori az olyan beállítás is, mintha az új kutatás végleg lezárna egy egyébként nyitott kérdést. Pedig ha elolvasnánk az adott publikáció eredeti szövegét, akkor valószínűleg megtalálnánk benne az adott kutatás körüli bizonytalanságokat, nyitott kérdéseket és lehetséges hibáknak a forrásait. Ez a bizonytalanság azonban teljesen elvész a médiában, hiszen mennyivel jobb és kielégítőbb a bizonyosság. És persze jól tudjuk, hogy nem a korrektség számít, hanem a klikket és a nézők száma. Pontosan ezért van szükség Ioannidis és társai kutatásaira. (Amiket aztán a sajtó szintén félreértelmez...)