loss landscape
loss landscape
Определение
Поверхность функции потерь в пространстве параметров модели. У LLM ландшафт сложен: содержит множество острых минимумов и седловых точек, что влияет на стабильность обучения и выбор гиперпараметров.
Поверхность функции потерь в пространстве параметров модели. У LLM ландшафт сложен: содержит множество острых минимумов и седловых точек, что влияет на стабильность обучения и выбор гиперпараметров.