Machine Learning with Gaussian Processes: Automated Model Search and Data Analysis

Berns, Fabian

doi:10.18445/20220628-111722-0

published

Machine Learning with Gaussian Processes : Automated Model Search and Data Analysis

English
German

Every decision making process in life has to account for the uncertainties coming with it. Thus, humans have developed the language of probabilities to account for these uncertainties, which enables to adequately model decisions regarding economic, political, technical and even personal matters. Still, state-of-the-art machine learning methods to support or even automate these decisions often lack in assessing their level of uncertainty. This lack in transparency is further aggravated by a common insufficiency in interpretable decisions. Probabilistic machine learning is a prominent approach to overcome these issues and is epitomized by methods such as Gaussian processes, which are investigated in this thesis. The latter provide interpretable decisions even for noisy data and actively account for the uncertainties of a particular task. In particular, the research presented in this thesis is two-fold. It focusses on (i) the efficient inference of Gaussian Process Models and (ii) their usage for probabilistic data representations fostering new algorithms for data analysis. In doing so, a unified framework of Gaussian Process Model inference as well as efficient algorithms implementing that framework for large-scale data are proposed. These algorithms are used as the foundation for a probabilistic representation of complex data, which enables analytical procedures for mining patterns, as well as classifying and clustering time series data.

Entscheidungsfindung bedeutet auch die damit verbundenen Unsicherheiten zu berücksichtigen. Deshalb haben Menschen die Sprache der Wahrscheinlichkeiten entwickelt, um mit Unsicherheiten adäquat umzugehen. Auf diese Weise werden Unsicherheiten in wirtschaftlichen, politischen, technischen und sogar persönlichen Entscheidungen angemessen abgebildet. Moderne Methoden des maschinellen Lernens, die diese Entscheidungen unterstützen oder sogar vollständig automatisieren, sind jedoch oft nicht in der Lage, den Grad der Unsicherheit ihrer Entscheidung zu bewerten. Dieser Mangel an Transparenz wird oftmals durch nicht-interpretierbare Entscheidungsfindung noch verschärft. Prominente Ansätze zur Überwindung dieser Probleme stellen Methoden probabilistischen maschinellen Lernens wie bspw. Gaußprozesse dar. Letztere werden in dieser Arbeit im speziellen untersucht. Sie liefern interpretierbare Entscheidungen auch bei verrauschten Daten und berücksichtigen aktiv die Unsicherheiten des jeweiligen Analyseszenarios. Die in dieser Arbeit vorgestellte Forschung verfolgt zwei übergeordnete Ziele: die effiziente Suche nach Gaußprozessmodellen sowie deren Verwendung für neue Datenanalyse-Algorithmen. Dazu werden zunächst eine einheitliche Formalisierung der Gaußprozessmodell-Suche sowie effiziente Algorithmen zur Implementierung dieser formalen Vorgaben für große Datenmengen vorgeschlagen. Diese Algorithmen bilden die Grundlage für probabilistische Repräsentationen komplexer Daten, welche analytische Verfahren zur Erkennung von Mustern, zur Klassifizierung und zum Clustering von Zeitreihendaten ermöglichen.