TY  - JOUR
AU  - Botvinik-Nezer, Rotem
AU  - Holzmeister, Felix
AU  - Camerer, Colin F.
AU  - Dreber, Anna
AU  - Huber, Juergen
AU  - Johannesson, Magnus
AU  - Kirchler, Michael
AU  - Iwanir, Roni
AU  - Mumford, Jeanette A.
AU  - Adcock, Alison
AU  - Avesani, Paolo
AU  - Baczkowski, Blazej
AU  - Bajracharya, Aahana
AU  - Bakst, Leah
AU  - Ball, Sheryl
AU  - Barilari, Marco
AU  - Bault, Nadège
AU  - Beaton, Derek
AU  - Beitner, Julia
AU  - Benoit, Roland
AU  - Berkers, Ruud
AU  - Bhanji, Jamil
AU  - Biswal, Bharat
AU  - Bobadilla-Suarez, Sebastian
AU  - Bortolini, Tiago
AU  - Bottenhorn, Katherine
AU  - Bowring, Alexander
AU  - Braem, Senne
AU  - Brooks, Hayley
AU  - Brudner, Emily
AU  - Calderon, Cristian
AU  - Camilleri, Julia
AU  - Castrellon, Jaime
AU  - Cecchetti, Luca
AU  - Cieslik, Edna
AU  - Cole, Zachary
AU  - Collignon, Olivier
AU  - Cox, Robert
AU  - Cunningham, William
AU  - Czoschke, Stefan
AU  - Dadi, Kamalaker
AU  - Davis, Charles
AU  - De Luca, Alberto
AU  - Delgado, Mauricio
AU  - Demetriou, Lysia
AU  - Dennison, Jeffrey
AU  - Di, Xin
AU  - Dickie, Erin
AU  - Dobryakova, Ekaterina
AU  - Donnat, Claire
AU  - Dukart, Juergen
AU  - Duncan, Niall W.
AU  - Durnez, Joke
AU  - Eed, Amr
AU  - Eickhoff, Simon
AU  - Erhart, Andrew
AU  - Fontanesi, Laura
AU  - Fricke, G. Matthew
AU  - Galvan, Adriana
AU  - Gau, Remi
AU  - Genon, Sarah
AU  - Glatard, Tristan
AU  - Glerean, Enrico
AU  - Goeman, Jelle
AU  - Golowin, Sergej
AU  - González-García, Carlos
AU  - Gorgolewski, Krzysztof
AU  - Grady, Cheryl
AU  - Green, Mikella
AU  - Guassi Moreira, João
AU  - Guest, Olivia
AU  - Hakimi, Shabnam
AU  - Hamilton, J. Paul
AU  - Hancock, Roeland
AU  - Handjaras, Giacomo
AU  - Harry, Bronson
AU  - Hawco, Colin
AU  - Herholz, Peer
AU  - Herman, Gabrielle
AU  - Heunis, Stephan
AU  - Hoffstaedter, Felix
AU  - Hogeveen, Jeremy
AU  - Holmes, Susan
AU  - Hu, Chuan-Peng
AU  - Huettel, Scott
AU  - Hughes, Matthew
AU  - Iacovella, Vittorio
AU  - Iordan, Alexandru
AU  - Isager, Peder
AU  - Isik, Ayse Ilkay
AU  - Jahn, Andrew
AU  - Johnson, Matthew
AU  - Johnstone, Tom
AU  - Joseph, Michael
AU  - Juliano, Anthony
AU  - Kable, Joseph
AU  - Kassinopoulos, Michalis
AU  - Koba, Cemal
AU  - Kong, Xiang-Zhen
AU  - Koscik, Timothy
AU  - Kucukboyaci, Nuri Erkut
AU  - Kuhl, Brice
AU  - Kupek, Sebastian
AU  - Laird, Angela
AU  - Lamm, Claus
AU  - Langner, Robert
AU  - Lauharatanahirun, Nina
AU  - Lee, Hongmi
AU  - Lee, Sangil
AU  - Leemans, Alexander
AU  - Leo, Andrea
AU  - Lesage, Elise
AU  - Li, Flora
AU  - Li, Monica
AU  - Lim, Phui Cheng
AU  - Lintz, Evan
AU  - Liphardt, Schuyler
AU  - Losecaat Vermeer, Annabel
AU  - Love, Bradley
AU  - Mack, Michael
AU  - Malpica, Norberto
AU  - Marins, Theo
AU  - Maumet, Camille
AU  - McDonald, Kelsey
AU  - McGuire, Joseph
AU  - Melero, Helena
AU  - Méndez Leal, Adriana
AU  - Meyer, Benjamin
AU  - Meyer, Kristin
AU  - Mihai, Paul
AU  - Mitsis, Georgios
AU  - Moll, Jorge
AU  - Nielson, Dylan
AU  - Nilsonne, Gustav
AU  - Notter, Michael
AU  - Olivetti, Emanuele
AU  - Onicas, Adrian
AU  - Papale, Paolo
AU  - Patil, Kaustubh
AU  - Peelle, Jonathan E.
AU  - Pérez, Alexandre
AU  - Pischedda, Doris
AU  - Poline, Jean-Baptiste
AU  - Prystauka, Yanina
AU  - Ray, Shruti
AU  - Reuter-Lorenz, Patricia
AU  - Reynolds, Richard
AU  - Ricciardi, Emiliano
AU  - Rieck, Jenny
AU  - Rodriguez-Thompson, Anais
AU  - Romyn, Anthony
AU  - Salo, Taylor
AU  - Samanez-Larkin, Gregory
AU  - Sanz-Morales, Emilio
AU  - Schlichting, Margaret
AU  - Schultz, Douglas
AU  - Shen, Qiang
AU  - Sheridan, Margaret
AU  - Shiguang, Fu
AU  - Silvers, Jennifer
AU  - Skagerlund, Kenny
AU  - Smith, Alec
AU  - Smith, David
AU  - Sokol-Hessner, Peter
AU  - Steinkamp, Simon
AU  - Tashjian, Sarah
AU  - Thirion, Bertrand
AU  - Thorp, John
AU  - Tinghög, Gustav
AU  - Tisdall, Loreen
AU  - Tompson, Steven
AU  - Toro-Serey, Claudio
AU  - Torre, Juan
AU  - Tozzi, Leonardo
AU  - Truong, Vuong
AU  - Turella, Luca
AU  - van’t Veer, Anna E.
AU  - Verguts, Tom
AU  - Vettel, Jean
AU  - Vijayarajah, Sagana
AU  - Vo, Khoi
AU  - Wall, Matthew
AU  - Weeda, Wouter D.
AU  - Weis, Susanne
AU  - White, David
AU  - Wisniewski, David
AU  - Xifra-Porxas, Alba
AU  - Yearling, Emily
AU  - Yoon, Sangsuk
AU  - Yuan, Rui
AU  - Yuen, Kenneth
AU  - Zhang, Lei
AU  - Zhang, Xu
AU  - Zosky, Joshua
AU  - Nichols, Thomas E.
AU  - Poldrack, Russell A.
AU  - Schonberg, Tom
TI  - Variability in the analysis of a single neuroimaging dataset by many teams
JO  - Nature 
VL  - 582
SN  - 0028-0836
CY  - London [u.a.]
PB  - Nature Publ. Group
M1  - FZJ-2020-02053
SP  - 84–88
PY  - 2020
AB  - Data analysis workflows in many scientific domains have become increasingly complex and flexible. To assess the impact of this flexibility on functional magnetic resonance imaging (fMRI) results, the same dataset was independently analyzed by 70 teams, testing nine ex-ante hypotheses. The flexibility of analytic approaches is exemplified by the fact that no two teams chose identical workflows to analyze the data. This flexibility resulted in sizeable variation in hypothesis test results, even for teams whose statistical maps were highly correlated at intermediate stages of their analysis pipeline. Variation in reported results was related to several aspects of analysis methodology. Importantly, meta-analytic approaches that aggregated information across teams yielded significant consensus in activated regions across teams. Furthermore, prediction markets of researchers in the field revealed an overestimation of the likelihood of significant findings, even by researchers with direct knowledge of the dataset. Our findings show that analytic flexibility can have substantial effects on scientific conclusions, and demonstrate factors related to variability in fMRI. The results emphasize the importance of validating and sharing complex analysis workflows, and demonstrate the need for multiple analyses of the same data. Potential approaches to mitigate issues related to analytical variability are discussed.
LB  - PUB:(DE-HGF)16
C6  - pmid:32483374
UR  - <Go to ISI:>//WOS:000535225300001
DO  - DOI:10.1038/s41586-020-2314-9
UR  - https://juser.fz-juelich.de/record/875461
ER  -