Bayes faktor

I statistikken brugen af ​​Bayes faktor er et alternativ til den klassiske Bayesian hypotese test statistisk. Bayesian sammenligning af modeller er en metode til valgmodeller baseret på Bayes faktorer.

Definition

Den bageste Sandsynligheden Pr af en model M opnåede data D leveres af Bayes teorem:

Nøgleordet data-afhængige Pr er en sandsynlighed, og sandsynligheden for, at de data, der produceres under antagelse af gyldigheden af ​​modellen M; sin vurdering er omdrejningspunktet for Bayesian sammenligning mellem forskellige modeller. Beviserne af modellen antager normalt rollen som en normaliserende konstant eller er den partition funktion af en anden slutning, nemlig slutning af parametrene i modellen M engang opnåede data D.

Betragt problemet med at vælge et af to statistiske modeller på basis af den observerede data D. sandsynligheden af ​​de to forskellige modeller M1 og M2, parameteriseret ved hjælp af vektorerne ifølge den parametriske model, og det er konstateret ved hjælp af Bayes faktoren K givet ved

hvor Pr kaldes marginale sandsynlighed for modellen.

Hvis stedet for Bayes faktor integral anvendes sandsynligheden svarende til den maksimale sandsynlighed estimat af parameteren for hver model, så testen bliver en klassisk test af likelihood ratio. I modsætning til likelihood ratio test, Bayesian sammenligning af modeller er ikke afhængig af noget bestemt sæt af parametre, fordi den integrerer alle de ovennævnte parametre i hver model. Også en fordel af brugen af ​​Bayes faktor er, at det omfatter automatisk, og gøres på en naturlig måde, en straf, hvis du indfører en model for struktureret. Det tager derfor under kontrol den mekanisme af overdreven tilpasning. For modeller, hvor eksplicit version af sandsynligheden ikke findes, eller for dyrt at bestemmes numerisk, for valget af modellen i et Bayesian ordning det kan bruges til at beregne omtrentlige Bayesian.

Andre metoder er:

  • behandle sammenligningen mellem modeller som et problem, der skal løses inden for rammerne af beslutningen om teori, beregning af den forventede værdi eller omkostningerne ved valg af hver model;
  • bruge den mindste besked længde.

Tolkning

En værdi af K 'større end en betyder, at modellen M1 bedre understøttet af data end modellen M2. Bemærk, at kontrollen test af hypotese klassiker opererer i en asymmetrisk form i forhold til to alternative hypoteser, men foretrækker en overvejelse af den alternative hypotese kun som bevis mod den første. Harold Jeffreys gav en skala fra sammenligning for fortolkningen af ​​K:.

Den anden kolonne fra vægten af ​​beviser tilsvarende udtryk i deciban; for klarhed, er de tilsvarende bit vises i tredje kolonne. Ifølge en variation af IJ Godt 1 deciban eller 1/3 af bits i vægten af ​​beviser det svarer omtrent til kapaciteten af ​​et menneske til at opfatte som rimeligt troværdig hypotese under dagligt.

Brugen af ​​Bayes faktorer eller klassiske hypotese test indgår i følgeslutning frem for opførelsen af ​​beslutninger i henhold til usikkerhed. Statistik frequenziste tegne en skarp skelnen mellem disse to teknikker som de klassiske hypotesetest er ikke konsekvent i Bayesian forstand. Bayesianske procedurer, herunder faktorer Bayes, er konsistente, så der er ingen grund til at tegne en sådan sondring. Den følgeslutning derefter revideret som et særligt tilfælde af opførelse af beslutningsprocessen under usikkerhed, hvor den resulterende handling er at returnere en værdi. At opbygge beslutninger, Bayesian statistisk poassono ansætte en Bayes faktor i kombination med en forudgående fordeling og et tab funktion at være forbundet med det forkerte valg. I en situation inferential tabsfunktion ville tage form af scoring regel. Anvendelsen af ​​en score funktion logaritmisk for eksempel fører til en forventet nytte, der antager formen af ​​Kullback-Leibler divergens.

Eksempel

Antag at vi har en stokastisk variabel, der producerer data betragtes som en succes eller en fiasko. Vi vil sammenligne modellen M1 fare, hvor sandsynligheden for succes er q = ½ med en anden model M2 hvor q er fuldstændig ukendt overvejer en forudgående fordeling for q-typen ensartet på. Antag, at vi udfører et udsnit af 200 værdier, og for at finde 115 succeser og 85 fiaskoer. Sandsynligheden kan beregnes på grundlag af binomialfordelingen:

Så vi har:

men

Så er forholdet 1,197 ..., som er klassificeringen ovenfor svarer at være "ikke signifikant", selv om det har en tendens meget lidt til M1.

Alt er forskellig fra den klassiske test af likelihood ratio, hvilket ville finde maximum likelihood estimat for q, dvs. / 200 = 0,575, og anvendes til at opnå en kvotienten af ​​0,1045 ..., således tendens mod M2. Alternativt kan "ombytningsforholdet« af Edwards af to enheder af sandsynligheden for frihedsgrad antyder, at det er at foretrække at, som og: det overskydende beløb i sandsynlighed kompenserer for den ukendte parameter i.

En hypotese test af frequenzista ville producere en mere dramatisk. Vi siger, at M1 kan afvises ved et konfidensniveau på 5%, så er sandsynligheden for at få 115 eller flere succeser fra en prøve på 200, hvis q = ½ er lig ... 00:02, eller svarende til 0,04 ... i en test to køer til at få en numerisk værdi større end eller lig med 115. Bemærk, at 115 er langt fra 100 mere end to gange standardafvigelsen.

Modellen M2 er mere kompleks end M1 som det har en fri parameter, der tillader ham at bedre model data.

En af grundene til Bayesiansk Statistik er blevet foreslået som en teoretisk begrundelse og en generalisering af Ockhams ragekniv er evnen af ​​Bayes faktor at holde højde for forskellen i kompleksitet mellem to modeller reducerer fejl af type I.

Forrige artikel Bem Cavalgar