Тэставанне гіпотэз

Просты і кароткі падручнік па тэставанні гіпотэз з выкарыстаннем Python

Выява з: http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

У гэтым блогу я прывяду кароткі падручнік па тэставанні гіпотэз з выкарыстаннем статыстычных метадаў у Python. Тэставанне гіпотэз - гэта частка навуковага метаду, з якім мы ўсе знаёмыя, пра што, напэўна, навучыліся ў раннія навучальныя гады. Аднак у статыстыцы шмат эксперыментаў робіцца на выбарцы папуляцыі.

"Вызначэнне таго, што выбарачны набор назіранняў кажа нам пра прапанаванае тлумачэнне, увогуле патрабуе ад нас зрабіць выснову, альбо, як мы яе называем статыстыкі, з прычыны нявызначанасці. Разважанне з нявызначанасцю з'яўляецца асновай статыстычнага высновы і, як правіла, ажыццяўляецца з выкарыстаннем метаду, званага тэставаннем значнасці гіпотэзы. -Вечары.

У якасці прыкладу для гэтага блога я буду выкарыстоўваць набор дадзеных Еўрапейскага футбола, знойдзены ў Kaggle, і правяду тэставанне гіпотэз. Набор дадзеных можна знайсці тут.

Крок 1

Зрабіце назіранне

Першы крок - назіранне за з'явамі. У гэтым выпадку будзе так: ці ёсць уздзеянне абарончай агрэсіі на сярэднія дазволеныя мэты?

Крок 2

Вывучыце даследаванні

Добрае мысленне ісці разумней, не складаней. Варта толькі даведацца, ці ёсць даследаванні, звязаныя з вашым назіраннем. Калі гэта так, гэта можа дапамагчы ў адказах на наша пытанне. Будучы ў курсе ўжо існуючых даследаванняў або эксперыментаў, мы дапаможам нам лепш структураваць эксперымент, а можа, нават адказаць на наша пытанне і не давядзецца праводзіць эксперымент у першую чаргу.

Крок 3

Сфармуйце нулявую гіпотэзу і альтэрнатыўную гіпотэзу

Альтэрнатыўнай гіпотэзай з'яўляецца наша адукаванае здагадка, а нулявая гіпотэза - усё наадварот. Калі ў альтэрнатыўнай гіпотэзе існуе значная сувязь паміж дзвюма пераменнымі, то з нулявой гіпотэзай няма значнай залежнасці.

Наша гіпотэза Нуля будзе наступнай: Няма статыстычных розніц у мэтах, дазволеных камандам з рэйтынгам агрэсіўнасці абароны, большым ці роўным 65 супраць каманд ніжэй за 65 гадоў.

Альтэрнатыўная гіпотэза: Існуе статыстычная розніца ў мэтах, дазволеных камандам з рэйтынгам абарончай агрэсіі больш за або роўна 65 супраць каманд ніжэй за 65 гадоў.

Крок 4

Вызначце, ці з'яўляецца наша гіпотэза аднабаковым тэстам або двухбаковым тэстам.

Аднабаковы тэст

"Калі вы выкарыстоўваеце ўзровень значнасці 0,05, аднабаковы тэст дазваляе ўсім альфа-тэстам праверыць статыстычную значнасць у адным цікавым кірунку". Прыкладам аднабаковага тэсту можа стаць "Футбольныя каманды з узроўнем агрэсіі ніжэй за 65 дазваляюць статыстычна значна больш галоў, чым каманды з рэйтынгам ніжэй 65".

Тэст з двума хвастамі

"Калі вы выкарыстоўваеце ўзровень значнасці 0,05, двухбаковы тэст дазваляе палову альфа праверыць статыстычную значнасць у адным кірунку, а палову альфа - праверыць статыстычную значнасць у іншым кірунку. Гэта азначае, што 0,025 знаходзіцца ў кожным хвасце статыстыкі тэсту. "

З дапамогай двухбаковага тэсту вы выпрабоўваеце статыстычную значнасць у абодвух напрамках. У нашым выпадку мы правяраем статыстычную значнасць у абодвух напрамках.

Крок 5

Усталюйце ўзровень парогавай значнасці (альфа)

(альфа-значэнне): межавы парог, пры якім мы добра адхіляем нулявую гіпотэзу. Значэнне альфа можа быць любым значэннем, якое мы ўсталёўваем ад 0 да 1. Аднак найбольш распаўсюджанае значэнне альфа ў навуцы - 0,05. Альфа, які пазначае 0,05, азначае, што мы ў парадку з адхіленнем нулявой гіпотэзы, хаця 5% і менш верагоднасць таго, што вынікі будуць абумоўлены выпадковасцю.

P-значэнне: разліковая верагоднасць траплення гэтых дадзеных у выпадковым парадку.

Калі мы вылічым p-значэнне, і яно складае 0,03, мы можам вытлумачыць гэта так: "Існуе 3% шанцаў, што вынікі, якія я бачу, на самой справе звязаныя з выпадковасцю або чыстай удачай".

Выява з Learn.co

Нашай мэтай з'яўляецца разлічыць р-значэнне і параўнаць яго з нашай альфай. Чым ніжэй альфа, тым больш жорсткі тэст.

Крок 6

Выканайце адбор пробаў

Тут мы маем наш набор дадзеных пад назвай футбол. Для нашага тэсту нам патрэбны толькі два слупкі ў нашым наборы дадзеных: team_def_aggr_rating і Goal_allowed. Мы будзем адфільтроўваць яго да гэтых двух слупкоў, а потым стварым два падмноства для каманд з рэйтынгам абарончай агрэсіі больш за 65 або для каманд з рэйтынгам абарончай агрэсіі ніжэй за 65.

Проста, каб скласці падказку для нашага тэсту гіпотэзы:

Уплыў абарончай агрэсіі на сярэднія дапушчаныя мэты. Нулявая гіпотэза: Няма статыстычнай розніцы ў мэтах, дазволеных камандам, якія маюць рэйтынг абарончай агрэсіі больш або роўны 65 супраць каманд ніжэй 65. Альтэрнатыўная гіпотэза: Існуе статыстычная розніца ў мэтах, дазволеная камандам, якія маюць больш высокі рэйтынг абароны ад агрэсіі больш за 65 у параўнанні з камандамі ніжэй 65. Двухбаковы альфа-тэст: 0,05

Цяпер у нас ёсць два спісы узораў, па якіх мы можам праводзіць статыстычныя тэсты. Перад гэтым крокам я буду ствараць два дыстрыбутывы, каб атрымаць візуальны характар.

Крок 7

Выканайце два ўзору Т-тэсту

Двухзоркавы тэст выкарыстоўваецца для вызначэння роўнасці двух сродкаў сукупнасці. Для гэтага мы будзем выкарыстоўваць модуль Python пад назвай statsmodels. Я не буду ўдавацца ў падрабязную інфармацыю аб статыстычных мадэлях, але вы можаце паглядзець тут дакументацыю.

Крок 8

Ацаніце і зрабіце выснову

Нагадаем, што альфа, якую мы ўсталявалі, была = 0,05. Як мы бачым з вынікаў тэсціравання, што значэнне р менш, чым наша альфа. Мы можам адхіліць нашу нулявую гіпотэзу і з 95% упэўненасцю прыняць нашу альтэрнатыўную гіпотэзу.

Дзякуй за чытанне! Для больш глыбокага тэставання гіпотэз, вы можаце праверыць гэты групавы праект на GitHub, у якім я ўдзельнічаў у тэставанні гіпотэз.

Рэсурсы:

Печы, Мацвей. "Статыстыка і" навуковы метад ", атрыманы з сайта YourStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

Уводзіны ў SAS. UCLA: Статыстычная кансалтынгавая група. з https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/ (доступ да мая 16, 2019).

Даведнік па інжынернай статыстыцы. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm