Поиск

• wikiLong Context

  # Long Context ## Определение Режим работы моделей, требующий обработки входных последовательностей большой длины (например, более 50k токенов), что создаёт вызовы для…

• wikiLong Context RAG

  # Long Context RAG ## Определение Вариант RAG, предназначенный для работы с документами объёмом более 100k токенов. Требует специальных методов, таких как…

• wikiRULER

  # RULER ## Определение Бенчмарк для оценки long-context способностей модели, включающий задачи multi-needle, variable tracking и common word extraction. ## Где…

• wikiLong-context capability

  # Long-context capability ## Определение Способность модели эффективно использовать информацию из большого контекста. Тестируется с помощью специальных бенчмарков, таких как RULER…

• wikiLong context reasoning

  # Long context reasoning ## Определение Способность языковой модели выполнять рассуждения и извлекать выводы из большого объёма входного текста, что требует эффективной…

• wikiLongBench

  …Как вы тестируете long-context capability модели (бенчмарки RULER, Needle in a Haystack)|627. Как вы тестируете long-context capability…

• wikiring attention

  …Как вы тестируете long-context capability модели (бенчмарки RULER, Needle in a Haystack)|627. Как вы тестируете long-context capability…

• wikisparse attention

  …Что такое selective attention в контексте long context обработки|283. Что такое selective attention в контексте long context обработки]] - [[286…

• wikiYaRN

  …Как работают современные long-context LLM (GPT-4 1M, Claude 200k, Gemini 2M)|626. Как работают современные long-context LLM…

• wikiInfini-attention

  …Как работают современные long-context LLM (GPT-4 1M, Claude 200k, Gemini 2M)|626. Как работают современные long-context LLM…

• wikiLongNet

  …Что такое grouped-query attention (GQA) как компромисс для long context|641. Что такое grouped-query attention (GQA) как компромисс…

• wikiLlama-3-8B-128k

  # Llama-3-8B-128k ## Определение Модель с окном в 128k токенов, подходящая для long-context задач. ## Где встречается - [[879. Как…

• answerКак делать evaluation для long-context RAG (>100k токенов)?

  …Long-Context RAG **[[Вики/History\|Context]] [[Вики/History\|Context]] [[Вики/Long Context\|Long-Context]] [[Вики/RAG\|RAG]]** — это модификация классического…

• wikiweighted recall

  …Как делать evaluation для long-context RAG (100k токенов)|879. Как делать evaluation для long-context RAG (100k токенов)]] ## Навигация…

• wikiContext Coverage

  …Как делать evaluation для long-context RAG (100k токенов)|879. Как делать evaluation для long-context RAG (100k токенов)]] - [[276…

• wikicontext parallelism

  …Что такое memory-efficient attention для long context на 8x H100|650. Что такое memory-efficient attention для long context…

• wikiruntime tracing

  # runtime tracing ## Определение Запуск тестов для построения точного графа вызовов в динамических языках, используемый для анализа кода в long-context…

• wikiPosition Interpolation

  …Как вы тестируете long-context capability модели (бенчмарки RULER, Needle in a Haystack)|627. Как вы тестируете long-context capability…

• wikicontext utilization

  …Как вы делаете long context для code generation (модель должна видеть весь репозиторий)|647. Как вы делаете long context для…

• wikiLongformer

  …Как вы делаете long context для code generation (модель должна видеть весь репозиторий)|647. Как вы делаете long context для…

• wikihierarchical context

  …Как вы делаете long context для code generation (модель должна видеть весь репозиторий)|647. Как вы делаете long context для…

• wikiMulti-Query Attention

  …Как работают современные long-context LLM (GPT-4 1M, Claude 200k, Gemini 2M)|626. Как работают современные long-context LLM…

• wikicontext distillation

  …Как вы делаете long context для code generation (модель должна видеть весь репозиторий)|647. Как вы делаете long context для…

• wikiLongLoRA

  …Как вы тестируете long-context capability модели (бенчмарки RULER, Needle in a Haystack)|627. Как вы тестируете long-context capability…

• wikiGPT-4 Turbo

  …Как вы проектируете промпт для long context рассуждения (CoT, ToT, GoT)|636. Как вы проектируете промпт для long context рассуждения…

• wikiLost in the Middle

  …Как вы тестируете long-context capability модели (бенчмарки RULER, Needle in a Haystack)|627. Как вы тестируете long-context capability…

• wikiGrouped-Query Attention

  …Как работают современные long-context LLM (GPT-4 1M, Claude 200k, Gemini 2M)|626. Как работают современные long-context LLM…

• wikiRoPE

  …Как работают современные long-context LLM (GPT-4 1M, Claude 200k, Gemini 2M)|626. Как работают современные long-context LLM…

• wikiNeedle in a Haystack

  …Как вы тестируете long-context capability модели (бенчмарки RULER, Needle in a Haystack)|627. Как вы тестируете long-context capability…

• wikiVirtual contexts

  # Virtual contexts ## Определение Механизм, используемый в MemGPT для организации долговременной памяти агента: эпизодическая память хранится во внешнем хранилище, а семантическая…

• wikiState Space Model

  …Как работают современные long-context LLM (GPT-4 1M, Claude 200k, Gemini 2M)|626. Как работают современные long-context LLM…

• wikibAbI

  …Настроить recurrent memory для long context|57. Настроить recurrent memory для long context]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

• wikiCompressive Transformer

  …Настроить recurrent memory для long context|57. Настроить recurrent memory для long context]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

• wikiLinear attention

  …Как работают современные long-context LLM (GPT-4 1M, Claude 200k, Gemini 2M)|626. Как работают современные long-context LLM…

• wikikey cache

  …Что такое selective attention в контексте long context обработки|283. Что такое selective attention в контексте long context обработки]] ## Навигация…

• wikimemory bank

  …Что такое selective attention в контексте long context обработки|283. Что такое selective attention в контексте long context обработки]] ## Навигация…

• wikiIn-Context Learning

  …Что такое selective attention в контексте long context обработки|283. Что такое selective attention в контексте long context обработки]] - [[634…

• wikiMemory Networks

  …Настроить recurrent memory для long context|57. Настроить recurrent memory для long context]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

• wikiChunk Recall@k

  …Что такое hierarchical retrieval для long context RAG (когда контекст 100k)|645. Что такое hierarchical retrieval для long context RAG…

• wikiGriffin

  …Как работают современные long-context LLM (GPT-4 1M, Claude 200k, Gemini 2M)|626. Как работают современные long-context LLM…

• wikiOpenAIEmbeddings

  …Что такое hierarchical retrieval для long context RAG (когда контекст 100k)|645. Что такое hierarchical retrieval для long context RAG…

• answerКак вы тестируете long-context capability модели (бенчмарки: RULER, Needle in a Haystack)?

  …LongBench и другие бенчмарки [[Вики/LongBench\|LongBench]] — набор из 21 задачи на [[Вики/Long Context\|длинный контекст]] (QA, [[Вики/summarization…

• wikiimportance score

  …Что такое selective attention в контексте long context обработки|283. Что такое selective attention в контексте long context обработки]] ## Навигация…

• wikiMistral-7B-Instruct

  …Как делать evaluation для long-context RAG (100k токенов)|879. Как делать evaluation для long-context RAG (100k токенов)]] ## Навигация…

• wikiQuery embedding

  …Что такое hierarchical retrieval для long context RAG (когда контекст 100k)|645. Что такое hierarchical retrieval для long context RAG…

• wikifunctional correctness

  …Как вы делаете long context для code generation (модель должна видеть весь репозиторий)|647. Как вы делаете long context для…

• wikirolling cache

  …Как вы делаете long context для code generation (модель должна видеть весь репозиторий)|647. Как вы делаете long context для…

• wikiStripedHyena

  …Когда SSM-архитектуры (Mamba, StripedHyena) лучше трансформеров для long context|716. Когда SSM-архитектуры (Mamba, StripedHyena) лучше трансформеров для long…

• wikiadaptive sparse attention

  …Что такое selective attention в контексте long context обработки|283. Что такое selective attention в контексте long context обработки]] ## Навигация…

• wikiAider

  …Как вы делаете long context для code generation (модель должна видеть весь репозиторий)|647. Как вы делаете long context для…