This flashcard is just one of a free flashcard set. See all flashcards!

All main topics / Telematik / Computational Intelligence / Computational Intelligence VO (442.070 TUGraz 2014)

What does adaptive learning rate mean in the context of gradiant descent?

Bei einer adaptiven Lernrate wird die Lernrate leicht erhöht wenn sich der Wert der Kostenfunktion seit den letzten Parametern verringert hat.
Wenn der Wert der Kostenfunktion für die neuen Parameter höher ist als für die alten dann werden die neuen Parameter nicht übernommen und die Lernrate moderat verringert.

Tags:
Source: CI Teil 1 Lecture 3

New comment

Flashcard info:

Author: Sepp Samuel

Main topic: Telematik

Topic: Computational Intelligence

School / Univ.: TU Graz

Published: 02.07.2014

Deutsch English