Vikipeedia

Replikatsioonikriis

Replikatsioonikriis viitab teadusmetodoloogilisele kriisile, mis seisneb erinevate teadusharude uuringutulemuste mittekorratavuses.[1][2]

Replikatsioon on üheks teaduse nurgakiviks – eksperimendi tulemuste kordamine originaaleksperimentaatorist sõltumata annab kinnitust tulemuste objektiivsusele.[3] Originaaluuringust erinev tulemus replikatsiooniuuringu(te)s viitab aga sellele, et kusagil on viga – kas tehti eksimus replikatsiooniuuringus või on originaaluuringus midagi valesti ning selle järeldused on eksitavad.

Ajakirjas Nature avaldatud replikatsioonikriisi ulatust uurivast küsitlusest selgub, et 1576 küsitletud teadlasest 70% on ebaõnnestunud teiste teadlaste eksperimendi kordamises ning 50% iseenda eksperimendi replikeerimisel[4]. Replikatsioonikriisi teaduses eitab 3% küsitlusele vastanud teadlastest, 7% ei oska vastata ning 38% ja 52% vastanutest arvab vastavalt, et teadust iseloomustab kerge või tõsine replikatsioonikriis.[4]

Replikatsiooni mõiste muuda

Teadusuuringu replikatsioon tähendab olemasoleva teadusuuringu tulemus(t)e kordamist tuginedes uutele andmetele, kuid järgides täpselt originaaluuringus kasutatud protseduure.[5] Antud kontekstis eristatakse replikatsioon reprodutseerimise mõistest, mis viitab uuringutulemuste kordamisele kasutades esialgse uuringu andmeid. Reprodutseerimise ja selle sarnaste mõistete selgemaks määratlemiseks on välja pakutud kolmene eristus: metoodite-, tulemuste- ja järelduslik reprodutseeritavus.[6] Meetodite reprodutseeritavus tähendab uuringu eksperimentaalsete ja/või komputatsiooniliste protseduuride täpset kordamist. Tulemuste reprodutseeritavuse all peetakse silmas seda, mille kohta traditsiooniliselt öeldakse replikatsioon ehk tulemuste kordamist samade meetodite rakendamisel uues uuringus. Järelduslik reprodutseeritavus osutab aga replikatsiooniuuringu või teistkordse analüüsi tulemustele tuginedes sarnaste ja sama tugevate järeldusteni jõudmisele.

Replikatsiooniprobleemid eri teadusharudes muuda

Psühholoogia muuda

2015. aastal avaldatud psühholoogiauuringute korratavust hindavast aruandest selgub, et ligikaudu 30–50% sajast 2008. aastal mõjukas teadusajakirjas avaldatud uuringutulemusest on replikeeritavad.[7] Vastuseks sellele artiklile avaldati teadusajakirjas Science kommentaar, milles väidetakse, et eelnevalt mainitud uuring sisaldab kolme statistilist viga ning andmeid õigesti analüüsides toetavad need seisukohta, mille kohaselt psühholoogiteaduse replikeeritavus on suhteliselt kõrge.[8] Gilberti ja teiste kommentaari on omakorda kritiseeritud[9],[10],[11] ja ühe vahekokkuvõttena väidetud, et replikatsiooniprojekti tulemusi võiks kokkuvõtlikult tõlgendada kui 40% uuringutest replikeerub, 30% ei replikeeru ning 30% puhul ei saa lõplikku järeldust teha.[12]

Teises ülevaate uuringus, tuginedes saja mõjuka psühholoogia teadusajakirja artiklite analüüsile aastast 1900, selgub, et kõikidest psühholoogiauuringutest 1,07% on replikatsiooniuuringud.[13]. Ühtlasi leiti antud ülevaates, et enamus replikatsioonide puhul õnnestus uuringutulemusi korrata ning et õnnestumise määr kasvas, kui kordajaks oli artikli originaalautor.[13]

Replikatsioonikriisi põhjused psühholoogias muuda

Küsitavad uurimispraktikad (QPRs) muuda

Üheks uuringutulemuste korratavust mõjutavaks allikaks peetakse mitteteaduslikke uurimispraktikaid nagu selektiivne tulemuste või andmete avalikustamine, valikuline andmekogumise peatamine (lähtudes soovitud statistilisest olulisusest), p-väärtuste ümardamine, statistiliselt mitte oluliste tulemuste mitteavaldamine, katse järgselt uuringu ümbermõtestamine või erindite eemaldamine andmeanalüüsi käigus.[14] Rohkem kui 2000 uurimistööga tegeleva psühholoogi vastustele tuginedes leiti 2012. aastal tehtud uuringus, et suurem osa teadlastest tunnistas vähemalt ühe eespool nimetatud praktika kasutamist.[14]

Madal statistiline võimsus muuda

John Ioannidis[15] on simulatsioonimudelitele tuginedes näidanud, et avaldatud teadustulemustest oodatust palju suurem osa on tõenäoliselt valepositiivsed. See tuleneb teadustulemuste usaldusväärsuse ülehindamisest, avastuste üldisest madalast baasmäärast, uurijate paindlikkusest andmete analüüsimisel ning madalast statistilisest võimsusest ehk tõenäosusest tuvastada statistiliselt oluline erinevus, kui see tõesti eksisteerib. Adekvaatseks statistiliseks võimsuseks peetakse üldiselt 0,80, mis tähendab, et 10 uuringu puhul, kus kõigis tõesti eksisteerib statistiliselt oluline erinevus, jääks see kahes uuringus tuvastamata.[16] Psühholoogiauuringute keskmiseks võimsuseks on hinnatud 0,40[17] Sarnases analüüsis neuroteaduse uuringute kohta leitakse, et neuroteaduse keskmine statistiline võimsus on ligikaudu 0,20.[18] See tähendab, et isegi kui tegelikult võiks kümnest psühholoogia või neuroteaduse uuringust kõigis leida statistiliselt olulise erinevuse, jääks see neist üle pooltes tuvastamata. Ühtlasi on madal võimsus indikaatoriks sellest, et uuringute valimid on liiga väikesed, ning negatiivsete uurimistulemuste süstemaatilisest mitteavaldamisest.[17]

P-häkkimine muuda
Hüpoteeside püstitamine tulemuste teada saamise järgselt (HARKing) muuda
Publitseerimiskalle muuda
Andmete fabritseerimine muuda
Näited ebaõnnestunud replikatsioonidest psühholoogias muuda

Ego kurnamise (ego depletion) teooria järgi on inimese tahtejõud piiratud ressurss, mis enesekontrolli rakendamisel (näiteks ahvatlusele mitte järgi andmisel) väheneb ja omab seeläbi mõju sooritusele.[19] Seda teooriat toetavaid eksperimente püüti korrata 2016. aastal 23 laborit hõlmanud replikatsiooniuuringus, mille valim moodustus 2141 inimesest ning mille tulemusel leiti, et ego kurnamise efekt on väga väike või nullilähedane.[20] Tulemus on seda hämmastavam, et 2010. aastal viidi läbi 83 uuringut hõlmav metaanalüüs, mille tulemusel leiti, et ego kurnamise efekt tõesti eksisteerib.[21] See vastuolu seab kahtluse alla ka metaanalüüside usaldusväärsuse – kuivõrd paljudes individuaalsetes uuringutes rakendatakse küsitavaid uurimispraktikaid, publitseerimine on kallutatud ja statistiline võimsus on väike, siis kanduvad kallutatud tulemused süstemaatiliselt üle ka metaanalüüsidesse.[22],[23]

Praimimisuuringute replikatsioonid

Vaata ka muuda

Viited muuda

  1. ↑ Pashler, H., & Wagenmakers, E. J. (2012). Editors’ introduction to the special section on replicability in psychological science: A crisis of confidence?. Perspectives on Psychological Science, 7(6), 528-530.
  2. ↑ Schooler, J. W. (2014). Metascience could rescue the ‘replication crisis’. Nature News, 515(7525), 9.
  3. ↑ The Economist,Trouble at the lab, retrieved 07.05.2018.https://www.economist.com/news/briefing/21588057-scientists-think-science-self-correcting-alarming-degree-it-not-trouble
  4. ↑ 4,0 4,1 Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature News, 533(7604), 452.
  5. ↑ "Social, Behavioral, and Economic Sciences Perspectives on Robust and Reliable Science" (PDF). US National Science Foundation.
  6. ↑ Goodman, S. N., Fanelli, D., & Ioannidis, J. P. (2016). What does research reproducibility mean?. Science translational medicine, 8(341), 341ps12-341ps12.
  7. ↑ Collaboration, Open Science (28. august 2015). "Estimating the reproducibility of psychological science". Science. 349 (6251): aac4716. DOI:10.1126/science.aac4716. ISSN 0036-8075. PMID 26315443.
  8. ↑ Gilbert, D. T., King, G., Pettigrew, S., & Wilson, T. D. (2016). Comment on "Estimating the reproducibility of psychological science". Science, 351(6277), 1037-1037.
  9. ↑ Sanjay, Srivastava. (2016). Evaluating a new critique of the reproducibility project. Retrieved 07.05.2018. https://thehardestscience.com/2016/03/03/evaluating-a-new-critique-of-the-reproducibility-project/
  10. ↑ Lakens, Daniel.(2016).The statistical conclusions in Gilbert et al (2016) are completely invalid. Retrieved 05.07.2018. http://daniellakens.blogspot.com.ee/2016/03/the-statistical-conclusions-in-gilbert.html
  11. ↑ Simonsohn, Uri.(2016). Evaluating Replications: 40% Full ≠ 60% Empty. Retrieved 05.07.2018. http://datacolada.org/archives/date/2016/03
  12. ↑ Hilgard, Joe (2016). A reading list for the Replicability Crisis. Retrieved 05.07.2018. https://crystalprisonzone.blogspot.com.ee/2016/03/a-reading-list-for-replicability-crisis.html
  13. ↑ 13,0 13,1 Makel, M. C., Plucker, J. A., & Hegarty, B. (2012). Replications in psychology research: How often do they really occur?. Perspectives on Psychological Science, 7(6), 537-542.
  14. ↑ 14,0 14,1 John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological science, 23(5), 524-532.
  15. ↑ Ioannidis, J. P. (2005). Why most published research findings are false. PLoS medicine, 2(8), e124.
  16. ↑ Cohen, J. (1992). A power primer. Psychological bulletin, 112(1), 155.
  17. ↑ 17,0 17,1 Bakker, M., van Dijk, A., & Wicherts, J. M. (2012). The rules of the game called psychological science. Perspectives on Psychological Science, 7(6), 543-554.
  18. ↑ Button, K. S., Ioannidis, J. P., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S., & Munafò, M. R. (2013). Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365.
  19. ↑ Baumeister R. F., Bratslavsky E., Muraven M., Tice D. M. (1998). Ego depletion: Is the active self a limited resource? Journal of Personality and Social Psychology, 74, 1252–1265. doi:10.1037/0022-3514.74.5.1252
  20. ↑ Hagger, M. S., Chatzisarantis, N. L. D., Alberts, H., Anggono, C. O., Batailler, C., Birt, A. R., . . . Zwienenberg, M. (2016). A multilab preregistered replication of the ego-depletion effect. Perspectives on Psychological Science, 11, 546–573.
  21. ↑ Hagger, M. S., Wood, C., Stiff, C., & Chatzisarantis, N. L. (2010). Ego depletion and the strength model of self-control: a meta-analysis. Psychological bulletin, 136(4), 495.
  22. ↑ Engber, Daniel. (2016). Everything Is Crumbling, Slate.Retrieved 05.07.2018. http://www.slate.com/articles/health_and_science/cover_story/2016/03/ego_depletion_an_influential_theory_in_psychology_may_have_just_been_debunked.html
  23. ↑ Van Elk, M., Matzke, D., Gronau, Q., Guang, M., Vandekerckhove, J., & Wagenmakers, E. J. (2015). Meta-analyses are no substitute for registered replications: A skeptical perspective on religious priming. Frontiers in psychology, 6, 1365.
Pärit leheküljelt "https://et.wikipedia.org/w/index.php?title=Replikatsioonikriis&oldid=5514108"