Snížení dimenzionality

Snížení dimenzionality (též redukce rozměru apod., anglicky dimensionality reduction) je transformace statistických dat z vysokorozměrného prostoru do nízkorozměrného prostoru tak, aby si nízkorozměrná reprezentace zachovala některé smysluplné vlastnosti původních dat. Práce ve vysokorozměrných prostorech totiž může být z mnoha důvodů nežádoucí; data jsou často řídká v důsledku prokletí dimenzionality, zabírají mnoho místa v paměti a analýza takových dat může být výpočetně příliš náročná. Redukce rozměrů je běžná v oborech, které se zabývají velkým množstvím pozorování a/nebo velkým počtem proměnných, jako je zpracování signálu, rozpoznávání řeči, neuroinformatika a bioinformatika.

V řadě případů se hledá rozměr cílového prostoru blízký intrinsické dimenzi dat, aby snížením dimezionality nedošlo ke ztrátě statisticky významné informace, ale výsledná dimenze přitom byla co nejnižší. Jindy je rozměr cílového prostoru určen praktickými hledisky; například pokud data chceme zobrazit bodovým grafem, budeme nejspíš promítat do dvojrozměrného prostoru. Snížení rozměru lze použít například pro redukci šumu, vizualizaci dat, shlukovou analýzu nebo jako mezikrok pro usnadnění jiných analýz.

Metody se běžně dělí na lineární a nelineární. Lineární přístupy lze dále rozdělit na výběr proměnných, kdy vhodně zvolené dimenze z dat vynecháme, a projektivní metody, konstruující nové proměnné jako lineární kombinace stávajících.

Vybrané metody

Výběr proměnných

Výběr proměnných je konceptuálně nejjednodušší lineární metoda redukce dimenzinality. Hledá vhodnou podmnožinu vstupních proměnných (rysů nebo atributů) pro zadaný úkol.

Analýza dat, jako je regrese nebo klasifikace, může v redukovaném prostoru vyjít lépe než v původním prostoru, a přitom se samotné proměnné nijak nemění, což usnadňuje interpretovatelnost.

Lineární projekce

Projekce (také nazývaná extrakce) transformuje data z vysokorozměrného prostoru do prostoru s menšími rozměry. Transformace dat může být lineární, jako u analýzy hlavních komponent (PCA), ale existuje také mnoho technik nelineárního snižování rozměru.

Základní lineární technika redukce dimenzionality, analýza hlavních komponent, provádí lineární projekci dat do prostoru nižších rozměrů tak, že maximalizuje rozptyl dat v nízkorozměrné reprezentaci. Ponachávají se pak vyextrahované dimenze odpovídající největším vlastním číslům kovarianční matice. Tyto dimenze zároveň mohou v některých případech pomoci data lépe interpretovat, protože určitým způsobem shrnují společnou informaci obsaženou v celé řadě proměných.

Pro nezáporná data může být vhodná další podobná metoda zvaná nezáporná faktorizace matice (non-negative matrix factorization, NMF). Ta rozkládá nezápornou datovou matici na součin dvou nezáporných matic o nižších rozměrech. Používá se zejména tam, kde existují pouze nezáporné signály, jako v astronomii a obecněji např. při odhadu chybějících dat během digitálního zpracování obrazu.

Nelineární metody

Analýza hlavních komponent může být použita i nelineárním způsobem pomocí vhodných projekčních jader (tzv. kernel trick). Tato technika je schopna konstruovat nelineární zobrazení, která maximalizují rozptyl v datech, a nazývá se anglicky kernel PCA.

Mezi nelineární techniky patří dále metoda Isomap, lokálně lineární embedding (LLE), Laplaceovská vlastní zobrazení (Laplacian eigenmaps) a metody založené na analýze tečného prostoru. Tyto techniky konstruují nízkorozměrnou reprezentaci dat pomocí nákladové funkce, která zachovává lokální vlastnosti dat.

V poslední době byly navrženy také techniky, které namísto definování projekčního jádra předem se snaží toto jádro naučit pomocí semidefinitního programování. Nejvýraznějším příkladem takové techniky je maximum variance unfolding (MVU). Jeho ústřední myšlenkou je zachovat párové vzdálenosti mezi nejbližšími sousedy a zároveň maximalizovat vzdálenosti mezi body, které nejsou nejbližšími sousedy.

Alternativní přístup k zachování vzdáleností minimalizuje rozdíly mezi vzdálenostmi ve vstupním a výstupním prostoru. Mezi důležité příklady takových technik patří klasické vícerozměrné škálování, které je identické s PCA; Isomap, která využívá geodetické vzdálenosti v datovém prostoru; difúzní projekce (diffusion maps) využívající tzv. difúzní vzdálenosti v datovém prostoru; t-SNE, které minimalizuje divergenci distribucí párů bodů; a analýza křivočarých komponent (curvilinear component analysis).

Ještě jiný nelineárních přístup k redukci rozměrů spočívá v použití autoenkodérů, speciálního druhu dopředných neuronových sítí se skrytou vrstvou v podobě jakéhosi úzkého hrdla. Dimenze tohoto úzkého hrdla určuje redukovanou dimenzi dat.

Reference

V tomto článku byl použit překlad textu z článku Dimensionality reduction na anglické Wikipedii.