Поиск
- wikiEvaluator
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiLogger
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiChi-squared test
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiDashboard
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiMann–Whitney U
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiprompt
# prompt ## Определение Инструкция или запрос, подаваемые модели LLM для генерации ответа. Включает системные промпты, инструкции и контекст. ## Где встречается - [[800…
- wikiTruLens
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiParquet
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiMIPRO
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiClickHouse
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiShadow mode
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiBootstrapFewShot
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiстатистическая значимость
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikit-test
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikitiktoken
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiContext relevance
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiDSPy
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiRouter
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiPrompt engineering
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- answerКогда DSPy *не* подходит? Назовите 3 сценария.
…В этих случаях традиционный [[Вики/промпт агента\|промпт-инжиниринг]] или другие подходы ([[Вики/SFT\|fine-tuning]], [[Вики/rule-based системы…
- wikiDeepEval
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikicost per request
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- answerЧто такое DSPy и какую проблему он решает, которую не решают LangChain или LlamaIndex?
…Промпт-инжиниринг и его ограничения [[Вики/промпт агента\|Промпт-инжиниринг]] — это искусство составления текстовых инструкций для [[Вики/LLM\|LLM]], чтобы…
- answerОбъясните концепцию «программируемых промптов» (DSPy programs). Как это связано с MIPRO?
…Как DSPy отличается от традиционного промпт-инжиниринга | Аспект | Традиционный промпт-инжиниринг | DSPy programs | |--------|--------------------------------|---------------| | Фокус | Ручное написание текста промпта | Определение логики…
- wikiMLflow
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikicanary deployment
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikidata drift
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiLangSmith
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- answerКак вы бенчмарките DSPy против ручного промпт-инжиниринга в production?
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production? ## Краткий тезис Основной подход — **[[Вики/Shadow mode\|shadow mode]] ([[Вики…
- wikiPrometheus
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiRAGAS
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- answerКак вы измеряете и исправляете bias в LLM-as-Judge (self-enhancement, position, verbosity)?
…оценить обе перестановки и усреднить результат. - [[Вики/промпт агента\|Промпт-инжиниринг]]: явно указать «не обращай внимания на порядок». - [[Вики/multiple…
- wikiFaithfulness
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiA/B testing
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiVLLM
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiGrafana
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiLLM
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiLLM-as-a-judge
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikiLatency
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- wikifallback model
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production|109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в…
- answerКакое будущее у DSPy? Вытеснит ли он LangChain в 2026-2027?
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production\|109]] | DSPy: модули, сигнатуры, программа | | [[112. Как вы извлекаете логические…
- answerЧто такое «схема» (schema) в контексте LLM и как она связана с языковым представлением?
…Понимание этой связи — [[Вики/Key\|ключ]] к эффективному промпт-инжинирингу и построению Agentic RAG-систем. --- ## 1. Термин: Схема (schema) в…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать synthetic eval для агента
…Связанные вопросы из базы знаний | Вопрос | Тема | |--------|------| | #13 | Синтетическая генерация данных | | #27 | Оценка качества RAG (eval sets) | | #45 | Пайплайны промпт…
- answerКак спроектировать агента, который может самоисправляться (self-correction)?
…промпт-инжиниринг, fine-tuning, внешние инструменты [[Вики/промпт агента\|Промпт-инжиниринг]] — самый простой способ. Пример промпта критика: ``` Ты — критик. Проверь…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать Tree of Thoughts
…Связанные вопросы из базы знаний | Вопрос | Тема | |--------|------| | 15 | Промпт-инжиниринг: базовые техники (zero-shot, few-shot) | | 42 | Chain-of-Thought…
- answerЧто такое Assertions в DSPy и зачем они нужны?
…Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production\|109]] - [[Вики/Qdrant\|Индекс]]: [[00. Индекс разборов]]
- wikiпромпт агента
# промпт агента ## Определение Системная инструкция, задающая поведение LLM-агента. Включает описание роли, правил и ограничений. Оптимизируется для повышения точности и…
- answerКак вы планируете масштабирование команды вокруг LLM-системы?
…4]], [[Вики/Claude 3\|Claude 3]]) необходимость в сложном промпт-инжиниринге снижается. Но в критических доменах (медицина, юриспруденция) эта [[Вики…
- answerКак вы делаете agent с human values alignment (Constitutional AI для агентов)?
…дообучает политику агента ([[Вики/GPT-4o\|LLM]] + [[Вики/prompt\|промпт-инжиниринг]]) предпочитать действия с высоким [[Вики/Reward\|reward]]. Важный нюанс…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сгенерировать synthetic датасет для RAG
…генерация вопросов по тексту | | 266 | (Текущая задача) | | 305 | Использование langchain для чанкинга документов | | 412 | Промпт‑инжиниринг для синтетической генерации | | 520…