Поиск

wikiattention pattern analysis
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] ## Навигация - [[00. Индекс терминов|Индекс…
wikilogit lens
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[800+ вопросов|800+ вопросов]] ## Навигация…
wikiunembedding
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[800+ вопросов|800+ вопросов]] ## Навигация…
wikiWeight tying
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[677. Как работает forward pass…
wikituned lens
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] ## Навигация - [[00. Индекс терминов|Индекс…
wikiActive Probing
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[800+ вопросов|800+ вопросов]] ## Навигация…
wikiActivation patching
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] ## Навигация - [[00. Индекс терминов|Индекс…
wikiEmbedding layer
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[677. Как работает forward pass…
wikiEarly exiting
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[63. Реализовать verifier-guided decoding…
wikiresidual stream
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[676. Что такое residual stream…
wikihidden representations
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[800+ вопросов|800+ вопросов]] - [[67…
wikiгаллюцинации
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[679. Что такое repetition penalty…
wikiLayerNorm
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[675. Как работает dropout и…
answerКак вы оцениваете качество генерации в RAG? Назовите 3 ключевые метрики.
…Интерпретация | Значение | Интерпретация | | --- | --- | | 0.95+ | Отлично (ответ точно по вопросу) | | 0.85-0.95 | Хорошо | | 0.70-0.85 | Средне…
answerКак вы оцениваете качество retrieval'а в RAG-системе?
…сколько из всех релевантных нашлось? | Значение | Интерпретация | | --- | --- | | 0.9+ | Отлично (нашли почти все релевантные) | | 0.7-0.9 | Хорошо | | <0…
wikilogits
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[677. Как работает forward pass…
wikiDistilGPT2
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[675. Как работает dropout и…
wikiSoftmax
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[675. Как работает dropout и…
answerКак вы измеряете quality RLHF модели вне стандартных бенчмарков (MT-Bench)?
…простая интерпретация, напрямую отражает улучшение [[Вики/safety alignment\|alignment]]. Недостатки: зависимость от выбора [[Вики/baseline\|baseline]] и набора промптов; требует…
answerЧто такое logit lens (интерпретация скрытых состояний)?
…Что такое logit lens (интерпретация скрытых состояний)? ## Краткий тезис [[Вики/logit lens\|Logit lens]] — это техника интерпретации внутренних представлений трансформеров…
answerЧто такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)?
…Что такое statistical power evaluation и как определять размер выборки для AB теста\|491]] | Reliability diagrams и их интерпретация | | [[492…
wikiTransformer
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[675. Как работает dropout и…
wikiLlama
…Что такое logit lens (интерпретация скрытых состояний)|674. Что такое logit lens (интерпретация скрытых состояний)]] - [[675. Как работает dropout и…
answerКак вы измеряете inter-rater reliability для human evaluation?
…расстояние = (разность рангов)^2 - Интервальные: (разность значений)^2 Интерпретация α ≥ 0.8 — хорошая [[Вики/reliability\|надёжность]], α ≥ 0.667 — минимально…
answerЧто такое reward correlation и как ее измерять?
…Формула ``` Accuracy = (количество правильно предсказанных пар) / (общее количество пар) ``` [[Вики/Thresholds\|Пороги]] | Accuracy | Интерпретация | |---|---| | >0.8 | Отлично | | 0.65–0…
answerКак вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)?
…contaminated.append((i, max_sim)) ``` [[Вики/Thresholds\|Пороги]] | Косинусная близость | Интерпретация | |---------------------|---------------| | > 0.98 | Почти идентичный смысл (contamination) | | 0.95–0…
answerКак вы анализируете embedding geometry для отладки retrieval качества?
…dists = pairwise_distances(centroids, metric='cosine') return np.mean(dists[np.triu_indices_from(dists, k=1)]) return 0 ``` Интерпретация…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать A/B тест для RAG
…size, доверительным интервалом, выводом о значимости различий. ### Этап 5: Интерпретация и формирование вывода (1 день) [[Вики/Действия\|Действия]] 1. Если…
answerКак работает perplexity и как ее интерпретировать? Связь с cross-entropy?
…Если cross-entropy = 0.69, то perplexity ≈ 2. | Cross-entropy (nat) | Perplexity | Интерпретация | |---------------------|------------|---------------| | 0.0 | 1.0 | Модель абсолютно уверена…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать user trust метрику
…Визуализация и интерпретация (1 час) Действия 1. Построить [[Вики/Dashboard\|дашборд]] с помощью [[Вики/plotly\|Plotly]] (или [[Вики/Streamlit\|Streamlit…
answerЧто такое IRT (Item Response Theory) и как она применяется к LLM эвалюации?
…0.8, 'model_B': -0.3} ``` ### 4.3 Интерпретация результатов - θ модели — её оценённая способность на единой шкале (обычно N…
answerЧто такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)?
…Сравнение метрик | Метрика | Что измеряет | Диапазон | Чувствительность | Интерпретация | |---------|--------------|----------|------------------|---------------| | [[Вики/Expected Calibration Error\|ECE]] | Среднее отклонение по бинам | [0, 1] | Количество…
answerКак вы оцениваете faithfulness RAG-ответа в production автоматически?
…Пороги и интерпретация | Значение faithfulness | Интерпретация | Действие | |----------------------|---------------|----------| | 0.95–1.0 | Отлично | Ничего не делать | | 0.85–0.95 | Хорошо…
answerКак вы тестируете long-context capability модели (бенчмарки: RULER, Needle in a Haystack)?
…для каждой комбинации длина × позиция. Обычно строят тепловую карту. Интерпретация - Идеальная [[Вики/model\|модель]] — зелёная карта ([[Вики/accuracy\|recall]] >95…
answerКак вы проверяете, что RLHF не сломал базовые способности модели?
…Пороги и интерпретация | Δ (относительное падение) | Интерпретация | Действие | |---------------------------|---------------|----------| | < 2% | Шум / допустимо | Продолжать обучение | | 2–5% | Умеренное ухудшение | Увеличить KL-штраф…
answerRWKV (RNN with Transformer attention): как комбинирует RNN и attention?
…Формула рекуррентности и её интерпретация Разберём [[Вики/рекуррентное обновление\|рекуррентное обновление]] подробнее. Пусть на шаге t мы имеем: - a_t…
answerКак вы проектируете бенчмарк для нового домена (медицина, юриспруденция)?
…Зачем нужен доменный [[Вики/benchmark\|бенчмарк]] - Общие [[Вики/Benchmarks\|бенчмарки]] не покрывают узкие сценарии (например, интерпретация медицинских анализов или статей…
answerКак вы измеряете объяснимость (explainability) агентских решений?
…среднее косинусное сходство между `attr(q)` и `attr(q')`. Интерпретация: - Score > 0.8 — высокая устойчивость, объяснения надёжны. - Score < 0.5…
answerКак комбинировать LLM с симуляторами физики (digital twins)?
…поля, графики, скаляры) [LLM Agent] ↓ (интерпретация, ответ на естественном языке) Пользователь ``` Ключевые компоненты - [[Вики/AI agents\|LLM Agent]] — [[Вики/LLM…
answerКак работает нормализация перед attention (pre-norm) vs после (post-norm)?
…Что такое logit lens (интерпретация скрытых состояний)\|674]] | Механизмы внимания (Multi-Head Attention) | | [[675. Как работает dropout и зачем он…
answerКак считать TCO (Total Cost of Ownership) для RAG/Agent системы?
…Важно сравнивать **Cost per Request (CPR)** и **Cost per Satisfied User (CPSU)**. | Метрика | Формула | Интерпретация | |---|---|---| | Cost per request | TCO / total…
answerЧто такое Path-level evaluation для Agentic RAG и чем оно лучше token-level?
…детальный разбор ### 6.1 Tool Accuracy (TA) - Формула: `TA = (число шагов с верным инструментом) / (общее число шагов)` - Интерпретация: Если TA…
answerКак измерять «коэффициент полезного делегирования» (сколько задач решено правильно)?
…Целевые пороги и интерпретация | Значение KPD | Интерпретация | |---|---| | > 0.95 | Отлично — система почти никогда не ошибается при делегировании | | 0.90 – 0…
answerПочему LLM-as-Judge может быть biased? Назовите 3 основных bias и как их детектировать.
…swap_inconsistencies += 1 bias_rate = swap_inconsistencies / n_trials return bias_rate ``` Интерпретация: - bias_rate < 0.1: [[Вики/Position bias…
answerКак вы отслеживаете data drift для распределения запросов к RAG?
…P и Q (например, через гистограммы или ядерное оценивание). - Интерпретация близка к 0 – распределения похожи, растёт – [[Вики/drift\|дрейф]]. ### 4…
answerКак вы проводите A/B тест метрик качества (не бизнес-метрик)?
…Основные метрики для A/B теста: | Метрика | Описание | Формула | Интерпретация | |---------|----------|---------|---------------| | [[Вики/Inter-annotator agreement\|Cohen's Kappa]] | Согласие между двумя…
answerКак вы оцениваете качество синтетических данных? (Self-consistency, LLM-as-Judge)
…discard() ``` ### Интерпретация порогов | Средний ROUGE-L | Качество | Действие | |-----------------|----------|----------| | > 0.9 | Отличное | Оставить | | 0.8 – 0.9 | Хорошее | Оставить | | 0.6…
answerЧто такое statistical power evaluation и как определять размер выборки?
…Как вы измеряете и исправляете bias в LLM-as-Judge (self-enhancement, position, verbosity)\|343]] | Доверительные интервалы и их интерпретация…
answerКак вы проверяете, что fine-tuned модель не сломала базовые способности?
…запуск полного бенчмарка в pipeline при каждом коммите модели. - Интерпретация дельты если метрики на кастомных задачах выросли на 20%, а…
answerКак работает dropout и зачем он нужен в LLM? (regularization)
…Что такое logit lens (интерпретация скрытых состояний)\|674]] - Следующий: [[676. Что такое residual stream и как он связан с информационным…