Google Summer of Code 2015: Improving mlr's hyperparameter and tuning system for efficient model selection

Grunddaten zu diesem Projekt

Beschreibung

mlr ist ein mächtiges R-Paket für den universellen Einsatz von maschinellen Lernverfahren innerhalb der statistischen OpenSource-Software R. Das Paket beinhaltet bereits ein ausgereiftes System für die Beschreibung der Parameter von "Machine Learning"-Methoden, basierend auf dem R-Paket ParamHelpers. Letzteres ist hilfreich für die Festlegung der Parameter der Lernverfahren, sowie für deren Tuning. Allerdings weist die derzeitige Implementierung innerhalb von mlr noch Potenzial für Verbesserungen auf. Mögliche Verbesserungspunkte sind: Die Voreinstellungen der Parameter kann bisher nur statische Werte annehmen. Die Berücksichtigung datenabhängiger Parameter würde das System wesentlich flexibilisieren. So könnte man z.B. bei einer SVM die Voreinstellung des Parameters "gamma" von der Anzahl der Variablen des zugrundeliegenden Datensatzes abhängig machen. Die Lernverfahren könnten angeben, ob ein Parameter Einfluss auf die Qualität des Verfahrens (z.B. auf dessen Laufzeit) oder ob der Parameter nur "technisch" relevant ist. Sofern Parameter nur Werte aus einem vorgegebenen Bereich annehmen können, sollten diese sogenannten "Box-Constraints" beim Tuning automatisch berücksichtigt werden. Bisher müssen diese vom Nutzer manuell angegeben werden. Die Parameter sollten angeben, ob es sinnvoller ist, deren Werte auf einer transformierten Skala zu tunen. So ist es z.B. wünschenswert, bei einer SVM die Parameter von "C" und "gamma" auf einer log2-Skala von -15 bis 15 zu optimieren.