Nichtparametrische Diskriminanzanalyse

Bearbeiter: J. Polzehl  

Kooperation: S. Klinke (Humboldt-Universität zu Berlin, SFB 373), H. Kauderer (Daimler Benz AG, Ulm)

Beschreibung der Forschungsarbeit: Die Diskriminanzanalyse (Klassifikation) befaßt sich mit der Zuordnung von Objekten zu einer endlichen Menge (Labels $\{y_i\}_{i=1,k}$) vorgegebener Populationen anhand beobachteter Merkmalsvektoren x. Die Beschreibung der Populationen erfolgt durch Wahrscheinlichkeitsräume $({\cal X, A}, {\bf P}_i)$;die unbekannten Verteilungen P_i werden in der Regel anhand von Trainingsstichproben mit bekanntem Populationslabel y geschätzt.

Das resultierende statistische Modell läßt sich in der Form

$$\begin{eqnarray*} y=f(x)+\epsilon\end{eqnarray*}$$

darstellen.

Konkrete Diskriminanzanalyseverfahren definieren sich über die Art der Schätzung von f. Klassische parametrische Modelle führen zu Einschränkungen in der Form der Entscheidungsgrenzen und damit in einer Reihe von Anwendungen zu deutlich inadäquaten Modellen.

Nichtparametrische Ansätze wie k-Nearest-Neighbour-Verfahren (k-NN), Classification und Regression Trees (CART) und Neural Networks (NN) ermöglichen eine wesentlich flexiblere, adäquate Modellierung. Aktuelle Weiterentwicklungen nichtparametrischer Klassifikationsverfahren kombinieren Eigenschaften dieser Verfahren und versuchen durch lokal-adaptive Modellierung eine optimale Rekonstruktion von f unter Vermeidung der sich aus dem ,,curse of dimensionality`` ergebenden Probleme. In die letzte Modellklasse ordnen sich auf univariaten Projektionen basierende Verfahren (CART, Projection Pursuit, NN) ein.

Charakteristisch für Klassifikationsprobleme ist eine gegenüber Regressionsmodellen veränderte Risikofunktion (0/1 Verlust statt L_p-Norm), (vgl. [2]). Daraus ergibt sich ein deutlich anderes optimales Bias-Varianz-Verhältnis in Diskriminanzanalysemodellen. Bisherige Untersuchungen zu k-NN und lokal-adaptiven Verfahren basieren meist auf der optimalen Rekonstruktion der Regressionsfunktion f.

Zielstellung des Projektes ist die Entwicklung lokaler Adaptations- und Projektionsverfahren ausgehend von dem für Klassifikationsprobleme charakteristischen ,,bias-variance trade-off``.

Viele Klassifikationsverfahren setzen quantitative Merkmale voraus. Im Rahmen einer durch die Daimler Benz AG geförderten Diplomarbeit werden Skalierungsverfahren auf ihre Eignung zur Transformation nominaler und ordinaler Merkmale im Kontext der Klassifikation untersucht.

Projektliteratur:

1.   J. POLZEHL, Projection pursuit discriminant analysis, Comput. Statistics Data Analysis, 20 (1995), pp. 141-157.
2.   J. H. FRIEDMAN, On bias, variance, 0/1-loss, and the curse-of-dimensionality, Technical Report, Dept. of Statistics, Stanford University, 1996.