RUEN中文
…

Поиск

  • wikiIntra-list diversity

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] ## Навигация - [[00. Индекс терминов|Индекс…

  • wikiElaboration

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

  • wikiself-BLEU

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[331. Как вы измеряете quality…

  • wikiгибкость

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

  • wikiбеглость

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

  • wikiоригинальность

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

  • wikiSemantic distance

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[800+ вопросов|800+ вопросов]] - [[267…

  • wikiNovelty

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[690. Как вы измеряете diversity…

  • wikisilhouette score

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[690. Как вы измеряете diversity…

  • wikipresence penalty

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[679. Что такое repetition penalty…

  • answerКак вы оцениваете креативность LLM в production?

    …Креативность LLM в production Креативность [[Вики/LLM\|LLM]] — [[Вики/способность модели\|способность модели]] генерировать новые, разнообразные и полезные идеи, тексты…

  • wikifrequency penalty

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[293. Что такое Top-p…

  • answerЧто такое LiveIdeaBench и для чего он нужен?

    …Зачем оценивать креативность LLM? Традиционные [[Вики/Benchmarks\|бенчмарки]] ([[Вики/MMLU\|MMLU]], [[Вики/GSM8K\|GSM8K]], [[Вики/HumanEval\|HumanEval]]) измеряют intelligence — способность…

  • wikiDistinct-N

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[293. Что такое Top-p…

  • wikiBIG-bench

    # BIG-bench ## Определение Набор бенчмарков для оценки LLM, включающий задачи на креативность и проверку construct validity модели. ## Где встречается - [[172…

  • wikiK-means

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[177. Как вы измеряете дрейф…

  • wikiOpenAI API

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[188. Что такое «Schema-Activated…

  • wikiTop-p (nucleus) sampling

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[292. Как работает temperature sampling…

  • wikiscikit-learn

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[178. Чем отличается эвалюация LLM…

  • wikiStreamlit

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[178. Чем отличается эвалюация LLM…

  • wikiTemperature

    # Temperature ## Определение Гиперпараметр LLM, контролирующий случайность генерации: низкие значения (около 0) делают вывод детерминированным, высокие — увеличивают разнообразие и креативность ответов…

  • wikiпромпт агента

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[182. Что такое «схема» (schema…

  • wikiA/B testing

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[178. Чем отличается эвалюация LLM…

  • wikiAgentic RAG

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[174. Что такое «многошаговая когерентность…

  • wikiLLM-as-a-judge

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[176. Какие инструменты для агентской…

  • wikisentence-transformers

    …Как вы оцениваете креативность LLM в production|173. Как вы оцениваете креативность LLM в production]] - [[192. Как вы оцениваете качество…

  • answerЧто такое IRT (Item Response Theory) и как она применяется к LLM эвалюации?

    …Что такое LiveIdeaBench и для чего он нужен\|172]] | Как проводить человеческую эвалюацию LLM? | | [[173. Как вы оцениваете креативность LLM…

  • answerЧто такое «многошаговая когерентность» (coherence illusion) в cascading agent systems?

    …Как вы оцениваете креативность LLM в production\|173]] | Cascading agent systems: архитектура и риски | | [[175. Как детектировать «объяснительно-решенческую декомпозицию…

  • answerКак работает greedy decoding vs beam search vs sampling?

    …точностью, креативностью и вычислительной стоимостью, что критически важно для задач RAG и AI-агентов. --- ## 1. Термин: Декодирование в LLM [[Вики…

  • answerКогда DSPy *не* подходит? Назовите 3 сценария.

    …shot examples\|few-shot примеры]] могут только ограничить креативность [[Вики/LLM\|LLM]], заставляя её копировать стиль датасета. ### 4.3 Альтернативы…

  • answerЧто такое Top-p (nucleus) sampling и как он сочетается с temperature?

    …Что такое temperature в контексте LLM **[[Вики/Temperature\|Temperature]]** — гиперпараметр, контролирующий «креативность» генерации. Математически: [[Вики/logits\|логиты]] делятся на [[Вики…

  • answerАльтернативы LLM-as-Judge — назовите 3 и их ограничения?

    …зачем нужны альтернативы LLM-as-Judge **[[Вики/LLM-as-a-judge\|LLM-as-Judge]]** — подход, при котором [[Вики/LLM\|большая…

  • answerКак работает LLM fingerprinting (идентификация модели по ответам)?

    …Как работает LLM fingerprinting (идентификация модели по ответам)? ## Краткий тезис [[Вики/LLM fingerprinting\|LLM fingerprinting]] — это метод идентификации конкретной языковой…

  • answerНазовите 4 уровня языкового представления по Yang et al. (2026) и объясните разницу?

    …зачем нужны уровни языкового представления? Современные языковые модели ([[Вики/LLM\|LLM]]) работают преимущественно с [[Вики/natural language\|Natural Language]] (естественным…

  • answerКак вы обеспечиваете, чтобы ответы LLM были консистентными для одинаковых вопросов?

    …Как вы обеспечиваете, чтобы ответы LLM были консистентными для одинаковых вопросов? ## Краткий тезис [[Вики/consistency\|Консистентность]] ответов]] [[Вики/LLM\|LLM…

  • answerКак вы оцениваете качество после fine-tuning?

    …Незаменима для: - Критичных доменов (медицина, юриспруденция). - Оценки субъективных качеств ([[Вики/Helpfulness Harmlessness\|полезность]], креативность, тон). - Валидации [[Вики/LLM-as-a…

  • answerКак работает softmax и почему он вызывает проблемы с градиентами при больших logits?

    …меток; в генеративных моделях ([[Вики/GPT-4o\|LLM]]) [[Вики/Temperature\|temperature]] контролирует креативность. --- ## 6. Вычитание максимального logit (subtract max) Для…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить prompt regression suite

    …LLM\|Llama 3.2-1B-Instruct]]` через [[Вики/LLM\|Ollama]]). 2. Определите 3 версии системного промпта (базовая, с повышенной креативностью…

  • answerКак вы измеряете объяснимость (explainability) агентских решений?

    …Как вы оцениваете креативность LLM в production\|173]] | Какие методы интерпретируемости LLM вы знаете? | | [[174. Что такое «многошаговая когерентность» (coherence…

  • answerКак детектировать «объяснительно-решенческую декомпозицию»?

    …Как вы оцениваете креативность LLM в production\|173]] | Инструменты и вызовы | | [[174. Что такое «многошаговая когерентность» (coherence illusion) в cascading…

  • answerЧто такое reward hacking в RLHF и как его детектировать?

    …Что такое Positional bias в LLM-as-Judge и как его исправить\|493]] | Оценка качества alignment (human evaluation, benchmarks) | | [[494…

  • indexИндекс разборов

    …Как вы оцениваете креативность LLM в production\|173. Как вы оцениваете креативность LLM в production?]] - [[174. Что такое «многошаговая когерентность…

  • indexОглавление

    …Как вы оцениваете креативность LLM в production\|173. Как вы оцениваете креативность LLM в production?]] - [[Вопросы/Ответы/174. Что такое…

  • indexПРАКТИЧЕСКИЙ ЧЕКЛИСТ: СТАFF+ AI SYSTEMS ENGINEERING

    …теория) | | 171 | IRT | Pet 236 | | 172 | LiveIdeaBench | — (теория) | | 173 | Креативность LLM | — (теория) | | 174 | Coherence illusion | Q 153, D 122 | | 175…

  • question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)

    …Показал, что творческие способности LLM плохо коррелируют с общей intelligence . **173. Как вы оцениваете креативность LLM в production?** > *Ответ:* > - **Fluency…