Bootstrapping (statistika)
Bootstrapping je v matematické statistice jakýkoli test nebo metrika, která používá náhodný výběr s vracením a spadá do širší třídy metod resamplingu, jež samy spadají mezi metody Monte Carlo. Bootstrapping se používá především pro odhad přesnosti (intervaly spolehlivosti, chyby predikce atd.) výběrových statistik.[1][2] Tato technika umožňuje odhad distribuce téměř jakékoli výběrové statistiky pomocí metod náhodného výběru.[3]
Bootstrapping odhaduje distribuci výběrové statistiky a/nebo její vlastnosti (například její rozptyl) mnohonásobným opakováním výběru s vracením z aproximujícího rozdělení. Běžnou standardní volbou pro aproximující rozdělení je empirická distribuční funkce pozorovaných dat. V případě, kdy lze předpokládat, že pozorování v souboru jsou nezávislá a stejně rozdělená, lze to provést vytvořením řady výběrů s vracením z pozorovaného souboru dat (o stejném rozsahu jako pozorovaný soubor dat) .
Bootstrapping lze také použít pro testování hypotéz. Často se používá jako alternativa ke statistickým odhadům a testům založeným na předpokladu parametrického modelu, když je tento předpoklad pochybný anebo pokud je parametrický závěr nemožný nebo vyžaduje složité vzorce pro výpočet standardních chyb.
Bootstrapping publikoval Bradley Efron v článku „Bootstrap methods: another look at the jackknife“ (1979),[4][5] inspirovaným dřívějšími pracemi na metodě jackknife.[6][7][8] Vylepšené odhady rozptylu byly vyvinuty později.[9][10] Bayesovské rozšíření bylo publikováno v roce 1981.[11] Booststrap korigovaný na vychýlení a zrychlený (bias-corrected and accelerated, BCa) publikoval Efron v roce 1987 a algoritmus ABC v roce 1992.[12]
Myšlenka metody
[editovat | editovat zdroj]Základní myšlenkou bootstrappingu je, že inference o celé populaci na základě vybraných dat (výběr → populace) lze přibližně nahradit inferencemi o výběru z resamplovaných, tedy dat (opakovaně) vybíraných z původního výběru (resampling → výběr). Jelikož populace není známa, skutečná chyba statistik výběru oproti jejich populačním hodnotám není známa. V bootstrapových opakovaných výběrech však je „populace“ ve skutečnosti původní výběr, a ten je znám; proto je kvalita inference „pravého“ výběru z resamplovaných dat (resample → výběr) změřitelná.
Formálněji řečeno bootstrap pracuje tak, že považuje odvození skutečného rozdělení pravděpodobnosti J vzhledem k původním datům za analogické k odvození empirického rozdělení Ĵ vzhledem k resamplovaným datům. Přesnost závěrů týkajících se Ĵ založených na resamplovaných datech lze posoudit, protože známe J. Jestliže Ĵ rozumně aproximuje J, pak kvalita odhadů týkajících se J je podobná jako kvalita odhadů o Ĵ.
Jako příklad předpokládejme, že nás zajímá průměrná výška lidí na celém světě. Z praktických důvodů nemůžeme změřit všechny, takže místo toho vybereme pravděpodobnostním výběrem pouze malou část z nich a změříme tyto vybrané jedince. Předpokládejme, že výběr má rozsah N; to znamená, že měříme výšky N jedinců. Z tohoto jediného vzorku lze získat pouze jeden odhad průměru. Abychom mohli uvažovat o populaci, potřebujeme určitou představu o variabilitě průměru, který jsme vypočítali. (To se v tomto jednoduchém případě obvykle řeší výpočtem výběrové směrodatné odchylky podle známého vzorečku, avšak zde popišme, jak bychom postupovali metodou bootstrap; pro řadu složitějších statistik nebo méně standardních distribucí totiž žádné jednoduché vzorečky neexistují.) Nejjednodušší metoda bootstrapu vezme soubor změřených výšek a s použitím počítače z ní pomocí výběru s vracením vybere nový vzorek (nazývaný resamplingový nebo bootstrapový výběr), který má také velikost N (protože jde o výběr s vracením, mohou se v něm některé původní hodnoty opakovat vícekrát, zatímco jiné nejsou zastoupeny vůbec; např. můžeme z pětice původních čísel [1,2,3,4,5] získat [2,5,4,4,1]). Za předpokladu, že N je dostatečně velký, je prakticky nulová pravděpodobnost, že bootstrapový výběr bude totožný s původním „skutečným“ vzorkem. Tento proces se opakuje mnohokrát (obvykle 1000 nebo 10 000krát), a pro každý z těchto bootstrapových výběrů vypočítáme jeho průměr (každý takový průměr se nazývá bootstrapový odhad). Poté můžeme vytvořit histogram bootstrapových odhadů. Tento histogram poskytuje odhad tvaru distribuce odhadů střední hodnoty výšky lidí. Z něj můžeme vyčíst, jak stabilní odhad průměru původní populace je. Metodu zde popsanou pro průměr lze použít na téměř jakoukoli jinou statistiku nebo odhad.
Reference
[editovat | editovat zdroj]V tomto článku byl použit překlad textu z článku Bootstrapping (statistics) na anglické Wikipedii.
- ↑ EFRON, B.; TIBSHIRANI, R. An Introduction to the Bootstrap. Boca Raton, FL: Chapman & Hall/CRC, 1993. ISBN 0-412-04231-2.
- ↑ Second Thoughts on the Bootstrap – Bradley Efron, 2003
- ↑ Weisstein, Eric W. "Bootstrap Methods." From MathWorld--A Wolfram Web Resource. http://mathworld.wolfram.com/BootstrapMethods.html
- ↑ Notes for Earliest Known Uses of Some of the Words of Mathematics: Bootstrap (John Aldrich)
- ↑ Earliest Known Uses of Some of the Words of Mathematics (B) (Jeff Miller)
- ↑ Quenouille M (1949) Approximate tests of correlation in time-series. J Roy Statist Soc Ser B 11 68–84
- ↑ Tukey J (1958) Bias and confidence in not-quite large samples (abstract). Ann Math Statist 29 614
- ↑ Jaeckel L (1972) The infinitesimal jackknife. Memorandum MM72-1215-11, Bell Lab
- ↑ Bickel P, Freeman D (1981) Some asymptotic theory for the bootstrap. Ann Statist 9 1196–1217
- ↑ Singh K (1981) On the asymptotic accuracy of Efron’s bootstrap. Ann Statist 9 1187–1195
- ↑ Rubin D (1981). The Bayesian bootstrap. Ann Statist 9 130–134
- ↑ Diciccio T, Efron B (1992) More accurate confidence intervals in exponential families. Biometrika 79 231–245
