Поиск

• wikitrajectory optimization

  # trajectory optimization ## Определение Оптимизация последовательности действий агента для повышения эффективности, сокращения длины и стоимости выполнения задачи. ## Где встречается - [[895. Как…

• wikiградиентная оптимизация

  # градиентная оптимизация ## Определение Метод белого ящика для генерации adversarial примеров (например, текста) путём оптимизации через градиенты модели, чтобы эмбеддинг стал…

• wikiоптимизация промптов

  # оптимизация промптов ## Определение Автоматический подбор промптов и few-shot примеров для улучшения качества ответов LLM, ключевая задача фреймворка DSPy. ## Где…

• wikigraph optimization

  # graph optimization ## Определение Набор техник (fusion, constant folding, layout optimization, memory pattern), применяемых к вычислительному графу модели для уменьшения времени…

• wikiMulti-Task Optimization

  # Multi-Task Optimization ## Определение Одновременная оптимизация нескольких шагов цепочки в DSPy, направленная на улучшение общей метрики. Требует валидации, чтобы избежать…

• wikibenchmark chasing

  # benchmark chasing ## Определение Оптимизация модели под конкретный бенчмарк, а не под реальную задачу; опасна переобучением и неэффективностью в production. ## Где…

• wikiEvalAI

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikiAutomatic Prompt Engineering

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikisize penalty

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikiDSPy Evaluate

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikiWilcoxon signed-rank test

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikipaired t-test

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikiHold-out validation

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikifirst-order optimization

  # first-order optimization ## Определение Метод оптимизации, использующий градиенты (производные первого порядка) для поиска минимума функции. В контексте LLM применяется для…

• wikistatistical power

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikiGoodhart's law

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikiauto-tuning

  # auto-tuning ## Определение Автоматическая оптимизация параметров выполнения (например, kernel) под конкретное аппаратное обеспечение для повышения эффективности инференса. ## Где встречается - [[800…

• wikiweight optimization

  # weight optimization ## Определение Подбор коэффициента w для баланса между векторным и BM25 поиском в гибридном поиске. Используется для настройки вклада…

• wikiadaptive compute

  # adaptive compute ## Определение Оптимизация времени инференса за счёт динамического распределения вычислительных ресурсов в зависимости от сложности запроса. ## Где встречается - [[68…

• wikiNCCL_MAX_NCHANNELS

  # NCCL_MAX_NCHANNELS ## Определение Переменная окружения для ограничения числа каналов NCCL, оптимизация загрузки. ## Где встречается - [[9. Профилировать network congestion на…

• wikiParticle Swarm Optimization

  # Particle Swarm Optimization ## Определение Метод роевого интеллекта, моделирующий социальное поведение частиц для поиска оптимального решения в пространстве параметров. ## Где встречается…

• wikiКэширование запросов

  # Кэширование запросов ## Определение Pre-retrieval оптимизация, при которой результаты повторяющихся запросов сохраняются в кэше для сокращения времени ответа RAG-системы…

• wikiCross-Validation

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikibatch search

  # batch search ## Определение Оптимизация поиска, объединяющая несколько запросов в один или выполняющая их параллельно, чтобы сократить количество шагов и ускорить…

• wikiIO-awareness

  # IO-awareness ## Определение Принцип работы алгоритмов, таких как FlashAttention, при котором оптимизация производится с учётом операций ввода-вывода между уровнями…

• wikibunched kernel launches

  # bunched kernel launches ## Определение Оптимизация NCCL, объединяющая запуски ядер для уменьшения накладных расходов. Улучшает производительность на много-GPU системах. ## Где…

• wikiRAG pipeline

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikiCost optimisation

  # Cost optimisation ## Определение Автоматические рекомендации по изменению типов инстансов для снижения затрат на облачные ресурсы. ## Где встречается - [[756. Как выглядит…

• wikiadversarial examples

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikiHardware acceleration

  # Hardware acceleration ## Определение Оптимизация модели для уменьшения latency. ## Где встречается - [[509. Как вы сравниваете две модели, если у них разная…

• wikiFixed shapes

  # Fixed shapes ## Определение Оптимизация инференса, при которой длина последовательности и размер батча фиксированы, что позволяет эффективно использовать TensorRT-LLM и…

• wikiMemory Pattern

  # Memory Pattern ## Определение Оптимизация переиспользования буферов для промежуточных результатов, снижающая пиковое потребление памяти при инференсе. Применяется в компиляторах типа ONNX…

• wikioveroptimization

  # overoptimization ## Определение Явление, при котором дальнейшая оптимизация proxy reward приводит к ухудшению истинной целевой функции (true objective), часто из-за…

• wikiLoop unrolling

  # Loop unrolling ## Определение Оптимизация компилятора, при которой цикл с известным числом итераций разворачивается в последовательность операций, уменьшая накладные расходы на…

• answerКак вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику?

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику? ## Краткий тезис DSPy-оптимизация настраивает…

• wikiFlashDecoding

  # FlashDecoding ## Определение Оптимизация для инференса LLM, которая ускоряет чтение/запись KV cache и частично скрывает задержки памяти при генерации одного…

• wikiCommon subexpression elimination

  # Common subexpression elimination ## Определение Оптимизация компилятора, при которой результат повторяющегося выражения сохраняется и переиспользуется, что ускоряет вычисления, особенно в LLM…

• wikiFlash Decoding

  # Flash Decoding ## Определение Оптимизация decode-этапа инференса LLM через параллельную обработку запросов в batch, что снижает задержку генерации токенов. ## Где…

• wikibatch write

  # batch write ## Определение Оптимизация записи данных путём накопления операций в буфере с периодическим fsync (или использованием pipeline) для увеличения пропускной…

• wikiShape specialization

  # Shape specialization ## Определение Оптимизация компиляции LLM-моделей, при которой фиксируются размеры тензоров на этапе компиляции. Это позволяет генерировать более эффективный…

• answerОбъясните концепцию «программируемых промптов» (DSPy programs). Как это связано с MIPRO?

  …context = self.retrieve(question).passages return self.generate(context=context, question=question) # Компиляция (оптимизация) rag = SimpleRAG() compiled_rag = dspy.Compiler…

• wikihyperparameter search

  # hyperparameter search ## Определение Процесс автоматического подбора оптимальных гиперпараметров с использованием методов grid, random или bayesian. ## Где встречается - [[103. Какие оптимизаторы…

• wikikernel

  …LLM-инференс использует kernels для операций attention, matmul и других; оптимизация включает fusion и auto-tuning под конкретное железо. ## Где…

• wikiglobal memory

  # global memory ## Определение Медленная память GPU, доступная всем потокам; оптимизация LLM требует минимизации обращений к ней. Также может обозначать общую…

• wikidead code elimination

  # dead code elimination ## Определение Оптимизация графа вычислений, удаляющая операции, результаты которых не влияют на выход модели. Снижает накладные расходы на…

• wikizero-order search

  # zero-order search ## Определение Перебор дискретных вариантов (промптов, ветвей) без использования градиентов, альтернатива first-order оптимизации. ## Где встречается - [[153. Что…

• wikiconstant folding

  # constant folding ## Определение Оптимизация, при которой константные выражения вычисляются заранее, уменьшая runtime-нагрузку. ## Где встречается - [[320. Что такое ONNX Runtime…

• wikiBootstrapFewShot

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikiстатистическая значимость

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…

• wikit-test

  …Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику|106. Как вы валидируете, что…