Ад вяршыні да ямы

З прабачэннямі за прывід.

Такім чынам, гэта адбылося.

Кароткая гісторыя: Браян Вансінк - прафесар Корнел. Яго праца трапіла пад пільную ўвагу з-за недакладнасці. Я зрабіў невялікі асабісты ўклад у гэтую ўвагу. Іншыя зрабілі значна больш. Выяўленыя неадпаведнасці ўключаюць сродкі і стандартныя адхіленні, якія не могуць існаваць, размеркаванне дадзеных, якія не могуць існаваць (альбо існуюць толькі ў смешных умовах), дзіўна паўтараныя памеры выбарак, самаплагіят, статыстычныя анамаліі, курапаткі, грушы і г.д.

Калі вы не зацікаўлены ў метаналогіі або судова-медыцынскай статыстыцы альбо не сочыце за мной на Twitter, вы, магчыма, нічога не чулі пра гэта.

Таму што, калі вам усё роўна, гэта сумна сумна. І ёсць нумары. Столькі лічбаў.

Тое, што мы да гэтага часу не ведалі, было выраблена каўбаса. Адкуль бяруцца гэтыя неадпаведнасці? Што яны ўяўляюць? Я не марную занадта шмат часу на падобныя пытанні, таму што - як я ўжо казаў - у мяне няма ні ордэра на ператрус, ні крыштальнага шара.

Зараз, да гэтай вясёлай кучы недакладнасцей і разгубленасцей, гэты артыкул можа дадаць нейкае разуменне працэсу даследавання, а не толькі вынікаў даследаванняў, з якімі мы ўжо разбіраліся.

У асноўным мы зараз бачым каўбасную фабрыку, і яна такая ж прыгожая, як і бош з перфараванай кішкі. Мы ведалі, што сасіскі былі дрэнныя, але зараз мы таксама можам сказаць, чаму. Менавіта таму, што ў мясе ёсць старыя коні і веласіпедныя шыны і летнія смецце Бангкока.

Пра гэта будзе сказана шмат, таму я прывяду тры моманты, да якіх іншыя людзі могуць не абысці.

(1) Пашкадуйце мяне добрага знаёмага звычайнага Goof

Адна цытата з гэтага артыкула, якая не атрымае такой жа ўвагі, як астатнія (напрыклад, "катаванне дадзеных", напрыклад ... гэта цытата, якая атрымае некалькі міль ад яе) - аспірант, які правёў час у лабараторыі Уэнсінка.

Гэта спелая і спагадлівая думка, але яна намякае на тое, што скрыгоча мне зубы - што ўвесь гэты ўзрушанасць у даследаваннях з'яўляецца сумным вынікам нейкага Ікарскага імкнення. "Проста спрабую дапамагчы, бос, сумленна. Мне вельмі шкада жахлівай літаніі напаўняльнікаў. Я раблю ўсё магчымае, каб дапамагчы людзям ".

Крута. Я ўпэўнены, што ты святы. Факт па-ранейшаму застаецца, калі вы робіце жудасныя даследаванні з найлепшай воляй у свеце, вы па-ранейшаму ўваходзіце ў праблему. Шмат у чым вы больш небяспечныя, чым поўны гад, які можа перакручваць працэс даследавання больш прамымі і менш сумленнымі спосабамі.

Чаму? Чаму такая праблема "дапамагчы", як гэта?

Гэта эгаістычна. Вы аддаеце перавагу сваім меркаванням над меркаваннямі кантраляваных назіранняў. Вы кажаце, што вы разумнейшыя за дадзеныя. І, зрэшты, лепш дыктаваць рэчаіснасць, чым іншыя людзі, якія прыносяць уласныя дадзеныя, якія ўважліва аналізуюцца з дапамогай плана даследаванняў, які не "б'е яго, пакуль ён не выбіваецца на крывавыя пні". Вы літаральна кажаце: "не важна, што мы знойдзем, я ведаю, што трэба людзям".

Гэта таксама эгаістычна, таму што публікацыя шмат жудасных даследаванняў звычайна адназначна добра для вашай кар'еры і адназначна дрэнная для навукі.

Ён манументальна недальнабачны. Я не магу цалкам акрэсліць тут, без сыходу з вар'яцтва, колькі добрых ідэй, якія падвяргаюцца старанна праведзеным эксперыментам, не змаглі спрацаваць у галіне харчавання, навукі аб харчаванні, дыетологіі і г.д. сем крокаў наперад-дваццаць шэсць крокаў назад, што з'яўляецца расчаравальным характарам амаль усіх паводніцкіх даследаванняў. Калі вы лічыце, што слізкі характар ​​усіх астатніх даследаванняў проста не датычыцца вас, ну вы масіўны асёл.

Гэта дазваляе вельмі цынічна ратавацца. Калі вы заўзятар на баку праведнікаў ("Я падтрымліваю дзяцей, якія ядуць агародніну! Я падтрымліваю прагулкі ў парку!"), Людзі значна больш шанцуюць на вас мякка, калі наступіць перамена фазы ў эксцэментальнай / вентыляцыйнай сістэме (* ) і ваша даследаванне знаходзіцца пад пільнай увагай.

Зроблена нездарма, гэта дзіўна цынічнае пазіцыянаванне. Навукоўцы спускаюцца як ураган катэгорыі 5, напоўнены нажамі, прыгатаваным у выніку даследаванняў лунатыкаў супраць вакцынацыі і карысных выкапняў. Тое самае ніколі не будзе справядлівым, калі вы напішаце дакумент пад назвай «Абдымкі, свежыя садавіна ці абдымкі і свежыя садавіна? Палепшыць жыццё дзяцей, таму што гэта прыемна ", альбо" Чатыры планы ўстаўляць гародніна ў кепскія ". Лепшыя намеры - гэта цудоўная ложак для кветак, які расце з-за непрыдатнасці да ўзнікнення сінапсаў, і зручны ўцёк у ручку, калі кветкі крычаць і ператвараюцца ў некратычны пыл.

(2) Апавяданні. Апавяданні ўсюды.

Так шмат разоў у гэтай гісторыі мы бачым ролю апавядання. Дзе добрая гісторыя? Што прадаецца? Што спадабаецца людзям? Што зробіць гэтую гісторыю больш зразумелай?

Мы абыходзім усё вакол гэтага пытання - якую ролю павінна адыграць добрая гісторыя ў зносінах навукі? Ці трэба? Ці можам мы ўзяць яго занадта далёка?

Мой адказ на гэта звычайна: звычайна ў нас не хапае матэрыялу, каб распавесці гісторыю. Добрыя даследчыя праграмы задаюць звязаныя, сканцэнтраваныя пытанні, пакуль у рэшце рэшт не з'явіцца інфармацыя, якую можна расказаць. У нашы дні, аднак, кожны набор дадзеных мае сваю дзівосную гісторыю. І ў сітуацыях, падобных да цяперашняга, можна стварыць старую добрую казку з папярэднім ужываннем некалькіх сотняў стратэгічна размешчаных удараў.

Калі вы хочаце расказаць гісторыі, цудоўна. Купіце Moleskine і раздражняе капялюш, сядзіце ў кафэ, гледзячы задуменна, пішыце вечары, атрымлівайце асалоду ад ежай Top Ramen і сачыце за JK Rowling у Twitter. Тысяча тысяч месцаў існуе ў свеце для апавядальнікаў. Знайдзіце адзін з іх і адстаўце мадэль рэгрэсіі з узроўнем духмянай карыцы.

(3) Вы не змаглі пры смактанні ... І гэта страшна

Калі я правяду навуковае даследаванне, якое запісвае 20 пераменных, а потым паведамляю толькі пра тры, якія "працавалі", каму-небудзь гэта вельмі цяжка даведацца.

Ніхто не праводзіць праверку маёй першапачатковай працы, ніхто не правярае. Звычайна ніхто не ўбачыць увесь мой нязменны набор дадзеных. Калі я размяшчаюся паміж даследчымі групамі, апрацоўваю свой уласны збор дадзеных і гэтак далей, тым лепш.

Ну, і калі мяне перыядычна пытаюць, ці дакладна мая справаздача аб даследаванні, я заўсёды магу проста сказаць. Ніякага цяжару доказу няма, альбо што-небудзь нават падобнае. Я магу проста сцвярджаць.

У выпадку ўзнікнення праблем я магу проста стварыць дадзеныя для трох цікавых зменных. 17 зменных, пра якія я не паведамляў, выносяць ззаду і расстрэльваюць.

Што характэрна ў гэтым выпадку: (A) журналіст меў прысутнасць розуму і ўпартасці, каб атрымаць рэальныя доказы пра дрэнную лабараторную практыку, што я ніколі не мог зрабіць і, магчыма, беспрэцэдэнтны, і (B) доказы страшных недакладнасцей у дадзеныя, якія папярэднічалі гэтаму.

У прынцыпе, карыстаючыся ўсімі дзівоснымі "творчымі" спосабамі здабычы даследаванняў, каб выглядаць добра, гэтыя людзі зрабілі гэта так дрэнна, што хтосьці заўважыў. Гэтыя дакументы літаральна праваліліся пры дрэннай даследчай практыцы. Памятаеце квантавую бульбу, дзе адначасова паведамлялася, што групавая пара мае 23, 25 ці 26 членаў? Якую машыну-клоўна вы едзеце, калі не можаце дадаць?

Гатовы да жахлівай часткі?

Што гэта азначае пра людзей, якія МОЖА дадаць?

Колькі даследчых груп займаецца чымсьці падобным, але дакладна паведамляюць пра згаданыя імі дадзеныя, каб зрабіць добрую гісторыю?

Ці ведаем мы, як іх знайсці? Ці можа іх знайсці чорны сцяг?

Адказу няма, мы не можам. Сумленныя даследаванні, пра якія паведамляецца, дакладна апускаюць масы лёду ніжэй гэтага бачнага наканечніка. Мы гэтага не бачым, мы можам толькі зрабіць выснову, што ён ёсць. Спосаб выпраўлення - гэта змяненне акадэмічнай абстаноўкі і практыкі публікацыі, а не выхад і расчэсванне больш апублікаваных дакументаў для гафаў і рэчаў.

Я толькі некалькі дзён таму сказаў, што ўся гэтая шкада бясконцая сага даследчай бяды, гэты Сілмарыён мільёнаў, усё яшчэ незразумела падтрымлівае здольнасць мяне здзівіць.

І вось мы зноў, і я здзіўлены.

(*) Калі дзярмо трапляе ў вентылятар. Ўжо позна. Патурайце мне.