Infini-LLM

Определение

Infini-LLM — это архитектура больших языковых моделей, позволяющая обрабатывать последовательности произвольной (теоретически бесконечной) длины. Достигается за счёт механизма сжатия прошлых состояний механизма внимания в долговременную память, что обеспечивает линейную вычислительную сложность и постоянный объём памяти при увеличении контекста. Метод применим для задач, требующих анализа длинных документов, кодовых баз или диалоговых сессий.

Где встречается

• 980. Как сделать fine-tuning модели на 1 млн токенов контекста (например, для анализа)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление