English translation is not available yet. Showing Russian content.
loss landscape
loss landscape
Определение
Поверхность функции потерь в пространстве параметров модели. У LLM ландшафт сложен: содержит множество острых минимумов и седловых точек, что влияет на стабильность обучения и выбор гиперпараметров.