Bayes Rules! Een prachtig Bayesiaans studieboek
De afgelopen weken heb ik in een aantal blogs over delen van Bayes Rules! An Introduction to Applied Bayesian Modeling (Johnson, Ott en Dogucu, 2022) hier geschreven. Wat mij betreft op dit moment wel het beste introductieboek op toegepaste Bayesiaanse statistiek. Nog één keer wil ik hier de aandacht op vestigen. Het boek bestaat uit vier delen. Het eerste deel biedt een onderbouwing van het Bayesiaanse perspectief. Johnson et all. leren je hoe je als Bayesiaan denkt vanuit de balans van de kennis die we al hebben (prior kennis) en de kennis die we in een studie opdoen (informatie van de data, likelihood). Hoe meer nieuwe kennis we hebben, hoe beter we de kennis kunnen verfijnen. Mensen die allereerst anders tegen zaken aankijken, kunnen op basis van nieuwe kennis naar elkaar toegroeien. Johnson et all. laten zien hoe we bestaande kennis kunnen uitdrukken en samenvatten, hoe we nieuwe kennis uitdrukken en we vervolgens een posterior model kunnen maken als.
\[\text{posterior} = \frac{\text{prior} \cdot \text{likelihood}}{\text{normalizing constant}} \propto \text{prior} \cdot \text{likelihood}\]
Oftewel meer technisch
\[f(\pi|y) = \frac{f(\pi)L(\pi|y)}{f(y)}
\propto f(\pi)L(\pi|y)\] Aan de hand van voorbeelden laten ze
zien hoe dit alles werkt. Verschillende priors leiden en verschillende
data leiden steeds tot verschillende posteriors. Steeds gaat het om
balanceren en verfijnen van de uitkomsten. Voor niet al te ingewikkelde
problemen zijn er enkele standaardmodellen te gebruiken (bv.
Beta-binomial, gamma-poisson en normal-normal) en ze laten zien hoe dat
werkt. Maar daar kom je al snel niet mee weg. Omdat het snel te
ingewikkeld wordt, moet je dat de uitkomsten schatten. Omdat je met de
computers in grote hoeveelheden kunt werken, kun je
waarschijnlijkheidsmodellen simuleren. Dat doe je met MCMC-technieken
waarmee in R of andere programma’s goed is te werken. Je
laat de computer het schattingswerk doen en jij diagnosticeert
vervolgens de kwaliteit van de uitkomsten. MCMC kun je met verschillende
technieken uitvoeren (Metropolis-Hastings, Gibbs sampling en Hamiltonian
Monte Carlo) en tegenwoordig is rstan het state of the
art-pakket. In het boek wordt onder de motorkap hiervan gekeken. De hele
Bayesiaanse techniek stelt je in staat om posterior schattingen te
maken, hypothesen te testen en te vergelijken en om voorspellingen te
doen. Hoofdstuk 8, waarmee het tweede deel afsluit en dat op schatten,
testen en voorspellen ingaat, is wat mij betreft een kernhoofdstuk van
het boek. De rest van het boek worden verschillende analyses
gepresenteerd en laten Johnson et all. zien hoe je dat kunt doen. Ze
beginnen met een simpele Bayesiaanse normale regressie met een
uitkomstmaat \(y\) en een predictor
\(x\), laten zien wat je aan wel weet
en wat je nog niet weet van de parameters die van belang zijn, wat het
onderzoek aan kennis oplevert en wat dit vervolgens aan posterior kennis
oplevert. Maar ook hoe je deze modellen evalueert en of het een eerlijk
en goed model is en wat de nauwkeurigheid ervan is. Aan het simpele
model kunnen makkelijk variabelen toegevoegd worden. Ook andere
voorbeelden van regressie (poisson en negatief binomiale regressie)
worden getoond. Met Bayesiaanse technieken kan ook worden
geclassificeerd en daarom worden uitgebreide voorbeelden van logistische
regressie en naïeve Bayesiaanse classificatie getoond. Het vierde deel
gaat, ten slotte, verder op regressie en classificatievoorbeelden in,
maar hier worden geclusterde voorbeelden getoond. Hierbij wordt het
midden gezocht tussen compleet gepoolde modellen (universeel model
waarbij geen rekening wordt gehouden met de groep waartoe je behoort) en
niet gepoolde modellen (waarbij alleen maar vanuit de groep wordt
gedacht). Normaal hierarchische regressie modellen zonder voorspellers,
met voorspellers, geclusterde logistische modellen en verdere
uitbreidingen worden getoond. Wat het boek zo mooi maakt, is dat ze met
een beperkt aantal pakketten (waaronder hun eigen
bayesrules met datasets en duidelijke visualisaties) werken
en steeds op een vergelijkbare wijze. Een heerlijk boek waar je heel
lang in kunt blijven hangen. > Goodbye, dear Alicia, Miles and Mine.
Ik heb me wat door het boek heen gewerkt, voel me hierdoor wat sterker
in deze vorm van analyse en hoop nog wat meer Bayesiaanse dingen te
doen. Jullie worden bedankt.
Johnson, A.A., Ott, M.Q. & `Dogucu, M. (2022). Bayes Rules! An Introduction to Applied Bayesian Modeling. Boca Raton: CRC Press.