O(n) memory complexity
O(n) memory complexity
Определение
Линейная сложность памяти, достигаемая FlashAttention, что критично для обучения на длинных контекстах (например, 100k токенов).
Линейная сложность памяти, достигаемая FlashAttention, что критично для обучения на длинных контекстах (например, 100k токенов).