SVD, pseudoinverse en PCA: SVD, pseudoinverse en PCA
SVD: Singulierewaardenontbinding
De singulierewaardenontbinding of singulierewaardendecompositie van een matrix, afgekort als SVD, wordt veel gebruikt in de statistiek (bijvoorbeeld in principale componenten analyse en in kleinste kwadraten methode voor data regressie), signaalverwerking (bijvoorbeeld om ruis in een signaal te reduceren) en in nog meer disciplines, zoals beeldbewerking en aanverwante gebieden. In deze theorie pagina bespreken we alleen wat de singulierewaardenontbinding is en wat het heeft te maken met eigenwaarden, maar niet hoe de SVD te berekenen. In praktijk doe je de berekeningen toch met numerieke software.
We bekijken een ()-matrix . Dan is een symmetrische matrix, en volgens de spectraalstelling voor symmetrische matrices, diagonaliseerbaar met reële eigenwaarden. Maar in dit geval geldt nog meer:
De eigenwaarden van zijn niet-negatief.
Je kunt dus vierkantswortels van de eigenwaarden nemen.
Stel dat een ()-matrix is. Dan zijn de singuliere waarden van de vierkantswortels van de eigenwaarden van .
Singuliere waarden wordt gewoonlijk aangeduid met en gerangschikt in dalende volgorde, d.w.z. .
De singuliere waarden van zijn dus: .
Voordat we de singulierewaardenontbinding kunnen formuleren moeten we het begrip orthogonale matrix definiëren.
Een reële vierkante matrix is orthogonaal dan en slechts dan als
De volgende eigenschappen van een matrix zijn equivalent:
- is orthogonaal.
- de rijen van hebben een lengte 1 en staan onderling loodrecht op elkaar ten opzichte van het standaard inproduct.
- de kolommen van hebben een lengte 1 en staan onderling loodrecht op elkaar ten opzichte van het standaard inproduct.
Nu kunnen we de singulierewaardenontbinding op de volgende manier te formuleren.
Singulierewaardenontbinding Stel dat een ()-matrix is met rang en met singuliere waarden en . Dan is er een orthogonale ()-matrix , een orthogonale ()-matrix en een ()-matrix met de singuliere waarden op de hoofddiagonaal in aflopende volgorde en verder nullen, zodat is uniek bepaald, maar de orthogonale matrices en niet.
Je kunt de ontbinding ook opschrijven met de eerste kolomvectoren van de matrix en de eerste kolomvectoren van de matrix . Dan: Als en/of dan geeft dit een compactere beschrijving van de singuliere waarden ontbinding.
We hebben ook de volgende meer compacte ontbinding: