Поиск

• wikiEfficiency

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[786. Что такое «golden dataset…

• wikibranch efficiency

  # branch efficiency ## Определение Branch efficiency — метрика в Nsight Compute, показывающая долю инструкций CUDA, выполненных без расхождения потоков (warp divergence). Высокая…

• wikiSample Efficiency

  # Sample Efficiency ## Определение Способность алгоритма обучаться на ограниченном количестве данных; PPO эффективнее ReST в этом аспекте. ## Где встречается - [[334. Как…

• wikiPath Efficiency

  # Path Efficiency ## Определение Метрика path-level оценки, измеряющая отношение минимально необходимого числа шагов к фактическому числу шагов, выполненных агентом. Показывает…

• wikiefficiency_gap

  # efficiency_gap ## Определение Метрика, показывающая отклонение эффективности аукциона от оптимального распределения (обычно менее 5% считается успехом). ## Где встречается - [[125. Реализовать…

• wikidata efficiency

  # data efficiency ## Определение Способность алгоритма достигать высокой точности при меньшем количестве размеченных данных. ## Где встречается - [[275. Реализовать active learning loop…

• wikiPlan Efficiency

  # Plan Efficiency ## Определение Метрика, измеряющая количество шагов или время выполнения плана, отражающая его оптимальность. ## Где встречается - [[142. Как вы проектируете…

• wikiDelegation Efficiency

  # Delegation Efficiency ## Определение Доля задач, решённых с первого раза без повторных эскалаций; целевое значение обычно >85%. ## Где встречается - [[771. Как…

• wikiToken efficiency

  # Token efficiency ## Определение Метрика, измеряющая среднее количество токенов, потребляемых на один шаг работы агента; используется для оптимизации использования контекста и…

• wikiValid Efficiency Score

  # Valid Efficiency Score ## Определение Метрика, оценивающая корректность и производительность SQL-запроса, учитывая как точность, так и эффективность выполнения. ## Где встречается…

• wikiPareto frontier

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[800+ вопросов|800+ вопросов]] - [[68…

• wikiverbosity

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiArtificial Analysis

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

• answerЧто такое agent evaluation метрика: successful task completion rate vs step efficiency?

  …Step Efficiency **[[Вики/Efficiency\|Step efficiency]]** — количество шагов (шаг = один [[Вики/LLM call\|вызов LLM]] или инструмента), которое [[Вики/agent…

• wikiArize

  …Что такое agent evaluation метрика successful task completion rate vs step efficiency|578. Что такое agent evaluation метрика successful task…

• wikiFlopCountAnalysis

  …Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency|300. Как вы сравниваете две LLM архитектуры не…

• wikiSubtask Completion

  …Что такое agent evaluation метрика successful task completion rate vs step efficiency|578. Что такое agent evaluation метрика successful task…

• wikiCost Analysis

  …Что такое agent evaluation метрика successful task completion rate vs step efficiency|578. Что такое agent evaluation метрика successful task…

• wikiOpenRouter

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiPyTorch Profiler

  …Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency|300. Как вы сравниваете две LLM архитектуры не…

• wikicost per 1M tokens

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[Практика|Практика]] - [[71. Рассчитать cost…

• answerКак оценивать multi-step agents (не только final answer)?

  …Efficiency (эффективность) Количество ресурсов, затраченных агентом на выполнение задачи. ### Основные метрики | Метрика | Описание | Единица | |---------|----------|---------| | [[Вики/Efficiency\|Step count]] | Число действий…

• wikiHybrid architecture

  …Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency|300. Как вы сравниваете две LLM архитектуры не…

• wikipeeking

  …Что такое agent evaluation метрика successful task completion rate vs step efficiency|578. Что такое agent evaluation метрика successful task…

• wikiSuccessful task completion rate

  …Что такое agent evaluation метрика successful task completion rate vs step efficiency|578. Что такое agent evaluation метрика successful task…

• wikiSelective scan

  …Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency|300. Как вы сравниваете две LLM архитектуры не…

• answerКак вы сравниваете две LLM архитектуры не по accuracy, а по efficiency?

  …Efficiency (эффективность) в контексте LLM [[Вики/Efficiency\|Efficiency]] — это отношение полезного результата (качество генерации) к затраченным ресурсам (время, энергия, [[Вики…

• wikiOpenAI Batch API

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[152. Реализовать test generation для…

• wikiTool Call Accuracy

  …Что такое agent evaluation метрика successful task completion rate vs step efficiency|578. Что такое agent evaluation метрика successful task…

• wikimemory footprint

  …Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency|300. Как вы сравниваете две LLM архитектуры не…

• wikiTPOT

  …Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency|300. Как вы сравниваете две LLM архитектуры не…

• wikiComposite score

  …Что такое agent evaluation метрика successful task completion rate vs step efficiency|578. Что такое agent evaluation метрика successful task…

• answerЧто такое pipeline parallelism и проблема pipeline bubbles?

  …при фиксированном P увеличивая M (число микробатчей), мы приближаем [[Вики/Efficiency\|эффективность]] к 1. При M = 1 [[Вики/Efficiency\|эффективность…

• answerЧто такое warp divergence в CUDA и как он влияет на attention?

  …Как измерять warp divergence Инструменты: - [[Вики/ncu\|NVIDIA Nsight Compute]] — показывает [[Вики/branch efficiency\|branch efficiency]] ([[Вики/stake\|доля]] инструкций…

• wikiHuman evaluation

  …Что такое agent evaluation метрика successful task completion rate vs step efficiency|578. Что такое agent evaluation метрика successful task…

• wikiHumanEval

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[Практика|Практика]] - [[128. Измерить KPD…

• wikicost per request

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[803. Как делать canary deployment…

• wikiproduction ML system

  …Требует учёта cost-efficiency, масштабируемости и надёжности. ## Где встречается - [[143. Сравнить reserved vs spot vs on-demand|143. Сравнить reserved…

• wikiFLOPs

  …Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency|300. Как вы сравниваете две LLM архитектуры не…

• wikicost reduction

  # cost reduction ## Определение Процесс и метрика снижения затрат на эксплуатацию LLM-системы. Достигается через оптимизацию (например, prompt caching, spot-инстансы…

• wikiTCO

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[784. Как строить финансовую модель…

• wikistructured output format

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[101. Реализовать Agent Loop с…

• wikiMemory Bandwidth

  …Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency|300. Как вы сравниваете две LLM архитектуры не…

• wikihelm

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[799. Как интегрировать тестирование агентов…

• wikiAWS Cost and Usage Report

  …Используется для анализа cost-efficiency и оптимизации расходов. ## Где встречается - [[76. Настроить reserved instances для постоянной нагрузки|76. Настроить reserved…

• wikiTTFT

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[847. Как сравнивать quantization методы…

• answerКак вы оцениваете cost-effectiveness LLM-пайплайна?

  …Как вы оцениваете cost-effectiveness LLM-пайплайна? ## Краткий тезис [[Вики/Efficiency\|Cost-effectiveness]] ([[Вики/Efficiency\|экономическая эффективность]]) LLM-пайплайна — это…

• wikiuser satisfaction

  …Что такое agent evaluation метрика successful task completion rate vs step efficiency|578. Что такое agent evaluation метрика successful task…

• wikiself-hosted

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[784. Как строить финансовую модель…

• wikitiktoken

  …Как сравнивать cost efficiency разных LLM провайдеров|783. Как сравнивать cost efficiency разных LLM провайдеров]] - [[805. Что такое «prompt linting…