Поиск
- wikisandwich technique
# sandwich technique ## Определение Метод размещения ключевой инструкции в начале system-промпта и в конце последнего user-сообщения для улучшения следования…
- wikiMemory-efficient inference
# Memory-efficient inference ## Определение Методы снижения потребления памяти при инференсе моделей, позволяющие запускать крупные модели на оборудовании с ограниченной памятью…
- wikideliberate decoding
# deliberate decoding ## Определение Technique in reasoning models where multiple rounds of planning are performed before generating the final output, improving…
- wikiTTPs
# TTPs ## Определение Тактики, техники и процедуры, описывающие поведение злоумышленников. Используются в фреймворках MITRE ATT&CK и MITRE ATLAS для классификации…
- wikiattention normalization
# attention normalization ## Определение Модификация softmax-функции, позволяющая выдавать нулевые веса для нерелевантных токенов (например, sparse softmax или ReLU attention), используется…
- wikiMITRE ATT&CK
# MITRE ATT&CK ## Определение MITRE ATT&CK — общепризнанная база знаний тактик, техник и процедур кибератак, используемых злоумышленниками. ## Где встречается - [[126…
- wikiAttention pruning
# Attention pruning ## Определение Техника удаления неважных токенов из механизма внимания или KV cache для снижения вычислительной нагрузки и потребления памяти…
- wikilogit lens
# logit lens ## Определение Метод проецирования промежуточных слоев нейросети на выходной словарь через unembedding для анализа формирования предсказаний. ## Где встречается - [[295…
- wiki5 почему
# 5 почему ## Определение Метод поиска корневой причины проблемы путём последовательного задавания вопроса «почему» до выявления первопричины. Используется в postmortem-анализе…
- wikiReward shaping
# Reward shaping ## Определение Метод модификации функции награды путем добавления промежуточных наград для облегчения обучения в многошаговых задачах. ## Где встречается - [[334…
- wikishadow model
# shadow model ## Определение Вспомогательная модель, обучаемая на известных данных для имитации поведения целевой модели. Используется в membership inference атаках для…
- wikiKV-cache reuse
# KV-cache reuse ## Определение Техника ускорения инференса, при которой кэш ключей и значений предыдущих шагов сохраняется и переиспользуется для общих…
- wikiStreamingLLM
# StreamingLLM ## Определение Техника для работы с бесконечным контекстом: сохраняет начальные якорные токены и последнее окно, а остальные отбрасывает для сжатия…
- wikirollback
# rollback ## Определение Механизм возврата к предыдущей стабильной версии модели, промпта или конфигурации при обнаружении проблем, часто автоматизированный. ## Где встречается - [[430…
- wikiattention sink
# attention sink ## Определение Феномен, при котором первые токены контекста получают непропорционально много внимания, что ухудшает качество на длинных контекстах и…
- wikisummarization
# summarization ## Определение Процесс сжатия больших документов или истории диалога в краткое резюме с помощью LLM. Используется для экономии контекстного окна…
- wikichunked prefill
# chunked prefill ## Определение разбивает длинные промпты на части, чередуя prefill и decode, уменьшает TTFT для длинных промптов ## Где встречается - [[205…
- wikitiling
# tiling ## Определение Техника разбиения данных на небольшие блоки, помещающиеся в быструю память (например, shared memory GPU), для повышения локальности данных…
- answerКак вы предотвращаете галлюцинации в production RAG системе?
…Цитирование источников (core technique) Ключевой приём заставить [[Вики/GPT-4o\|LLM]] явно указывать в ответе, из какого документа взята каждая…
- answerЧто такое MITRE ATLAS и как он связан с MITRE ATT&CK?
…MITRE ATT&CK и MITRE ATLAS [[Вики/MITRE ATT&CK\|MITRE ATT&CK]] ([[Вики/adversarial input\|Adversarial]] Tactics, Techniques, and…
- answerКак вы делаете synthetic data generation для редких классов в датасете?
…Методы синтетической генерации данных для редких классов ### 3.1 Традиционные подходы (без LLM) - SMOTE (Synthetic Minority Over-sampling Technique): создаёт…
- answerЧто такое SLI (Service Level Indicators) для AI системы и как их собирать?
…Augmented Generation.'], 'contexts': [['Retrieval-Augmented Generation (RAG) is a technique...']] }) scores = evaluate(data, metrics=['faithfulness', 'answer_relevancy']) print(scores) ``` [[Вики…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить inference-time scaling для модели reasoning
…iterative refinement techniques | ## 10. Чек-лист самопроверки - [ ] Я чётко понимаю разницу между train-time и test-time compute scaling. - [ ] Я…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить Guardrails на NeMo
…текущая задача) | | 201 | LLM output filtering | | 305 | PII masking techniques | | 412 | Toxicity classification models | | 567 | Jailbreak attack taxonomy | | 623 | Colang…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить архитектуры на reasoning задачах (Mamba vs Transformer vs RWKV vs Hyena)
…RNN + Transformer hybrid | | 301 | Comparison of language model architectures | | 405 | Reasoning benchmarks (GSM8K, MATH, BBH) | | 512 | Memory‑efficient inference techniques…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать simulation testing для AI-агента
…unittest.mock vs responses vs aioresponses | | 45 | Fault injection techniques для микросервисов | | 67 | Resilience patterns: retry, circuit breaker, fallback | | 89…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать prefix caching для system prompt
…722 | Memory management in transformer models | | 815 | Prompt compression techniques | | 901 | Benchmarking LLM serving systems | --- ## 10. Чек-лист самопроверки - [ ] Я…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать Evol-Instruct для instruction tuning
…134 | How to generate synthetic data using LLMs? | | 205 | Techniques for data augmentation in text classification | | 310 | Evaluation metrics for…
- wikiИндекс терминов
…probability]] - [[Вики/sandbox escape|sandbox escape]] - [[Вики/sandwich technique|sandwich technique]] - [[Вики/sanitizer|sanitizer]] - [[Вики/Sanitizing parsing|Sanitizing parsing]] - [[Вики…