Поиск

wikiСтруктурированные промпты
# Структурированные промпты ## Определение Промпты с чётким разделением инструкций и пользовательского ввода (например, с помощью разделителей). Повышают эффективность prompt caching и…
wikiтестовые промпты
# тестовые промпты ## Определение Набор промптов, ответы на которые уникальны для каждой модели, используемый для идентификации модели (fingerprinting). ## Где встречается - [[619…
wikiпромпты
# промпты ## Определение Текстовые инструкции для LLM, управляющие её поведением. Версионируются отдельно от кода и оптимизируются через A/B-тестирование. ## Где…
wikiPromptLayer
…Как тестировать промпты (prompt regression testing)|797. Как тестировать промпты (prompt regression testing)]] - [[802. Что такое «prompt as code» (промпты…
wikiPrompt Regression Testing
…Как тестировать промпты (prompt regression testing)|797. Как тестировать промпты (prompt regression testing)]] - [[798. Как тестировать промпты на регрессии (prompt…
wikiпрограммируемые промпты
# программируемые промпты ## Определение Концепция DSPy, позволяющая описывать задачу декларативно с помощью сигнатур вместо ручного написания промптов. Упрощает оптимизацию и версионирование…
answerКак вы управляете разными версиями промптов в production?
…Это позволяет итерировать [[Вики/промпты\|промпты]] без простоев и регрессий в ответах. --- ## 1. Почему промпты нужно версионировать отдельно от кода…
wikiprompt versioning
…Что такое «prompt as code» (промпты в Git, code review)|802. Что такое «prompt as code» (промпты в Git, code…
wikiFewShotChatMessagePromptTemplate
…Как вы проектируете промпты, которые работают с разными моделями|94. Как вы проектируете промпты, которые работают с разными моделями]] ## Навигация…
wikiAdversarial prompts
# Adversarial prompts ## Определение Специально сконструированные промпты, вызывающие характерные ошибки модели; используются для fingerprinting или проведения атак. ## Где встречается - [[619. Как…
wikiChatPromptTemplate
…Как вы проектируете промпты, которые работают с разными моделями|94. Как вы проектируете промпты, которые работают с разными моделями]] ## Навигация…
wikiRefusal testing
…Как тестировать промпты на регрессии (prompt regression suite)|798. Как тестировать промпты на регрессии (prompt regression suite)]] ## Навигация - [[00. Индекс…
wikiLangSmith Hub
…Что такое «prompt as code» (промпты в Git, code review)|802. Что такое «prompt as code» (промпты в Git, code…
wikiGradient-based prompts
# Gradient-based prompts ## Определение Промпты, найденные с помощью градиентной оптимизации; часто нечитаемы для человека, но эффективны для jailbreak. ## Где встречается…
wikino-answer scenarios
…Как тестировать промпты (prompt regression testing)|797. Как тестировать промпты (prompt regression testing)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
wikicitation check
…Как тестировать промпты на регрессии (prompt regression suite)|798. Как тестировать промпты на регрессии (prompt regression suite)]] - [[800+ вопросов|800…
wikiformat constraints
…Как тестировать промпты на регрессии (prompt regression suite)|798. Как тестировать промпты на регрессии (prompt regression suite)]] - [[800+ вопросов|800…
wikiManual
# Manual ## Определение Промпты, созданные вручную экспертами, например, для red teaming или в качестве категориального признака в RAG. ## Где встречается - [[345…
wikiLLM-generated
# LLM-generated ## Определение Промпты или атаки, автоматически созданные другой LLM, например, для red teaming и оценки устойчивости к jailbreak. ## Где…
wikiPromptfoo
…Как тестировать промпты на регрессии (prompt regression suite)|798. Как тестировать промпты на регрессии (prompt regression suite)]] - [[162. Настроить prompt…
wikialert
…Как тестировать промпты (prompt regression testing)|797. Как тестировать промпты (prompt regression testing)]] - [[800+ вопросов|800+ вопросов]] - [[111. Настроить drift…
answerЧто такое DSPy в контексте агентов?
…Вместо ручного написания промптов [[Вики/DSPy\|DSPy]] автоматически генерирует, тестирует и оптимизирует [[Вики/промпты\|промпты]] и [[Вики/Few-shot examples…
wikiLiteLLM
…Как вы проектируете промпты, которые работают с разными моделями|94. Как вы проектируете промпты, которые работают с разными моделями]] - [[883…
wikiinstruction format
…Как вы проектируете промпты, которые работают с разными моделями|94. Как вы проектируете промпты, которые работают с разными моделями]] - [[800…
wikiManual Review
…Как тестировать промпты (prompt regression testing)|797. Как тестировать промпты (prompt regression testing)]] - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00. Индекс…
wikiPromptTemplate
…Как вы проектируете промпты, которые работают с разными моделями|94. Как вы проектируете промпты, которые работают с разными моделями]] - [[529…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить prompt as code
…Создайте директорию `prompts/`, внутри — поддиректории по назначению: ``` prompts/ ├── assistants/ # системные промпты ассистентов ├── agents/ # промпты для agent loop ├── evaluation/ # промпты для…
wikiConsistency checks
…Как тестировать промпты на регрессии (prompt regression suite)|798. Как тестировать промпты на регрессии (prompt regression suite)]] - [[855. Как проектировать…
answerОбъясните концепцию «программируемых промптов» (DSPy programs). Как это связано с MIPRO?
…Программируемые промпты (DSPy programs) [[Вики/программируемые промпты\|Программируемые промпты]] — это подход, при котором сложный [[Вики/Workflow\|рабочий процесс]] с [[Вики…
answerКак вы версионируете агента целиком (prompts, tools, memory schema, orchestration graph)?
…Подходы к версионированию каждого компонента ### 3.1 Код и промпты — Git [[Вики/Code\|Код]] агента и текстовые [[Вики/промпты\|промпты…
answerЧто такое DSPy и какую проблему он решает, которую не решают LangChain или LlamaIndex?
…Сравнение DSPy и LangChain | Критерий | LangChain | DSPy | |----------|-----------|------| | Философия | Оркестрация компонентов | Оптимизация промптов | | [[Вики/промпты\|Промпты]] | Ручные шаблоны (PromptTemplate) | Автоматически генерируются…
answerКак вы храните историю изменений промптов (prompt lineage)?
…каждый промпт в своём файле Самый простой способ — хранить [[Вики/промпты\|промпты]] как текстовые файлы в Git-репозитории. Рекомендуемая структура…
answerКак вы проектируете промпты, которые работают с разными моделями?
…Простые, чёткие [[Вики/промпты\|промпты]] без излишних деталей работают везде; сложные конструкции и платформенные фичи ([[Вики/OpenAI Functions\|tool use…
wikiedge cases
…Как тестировать промпты на регрессии (prompt regression suite)|798. Как тестировать промпты на регрессии (prompt regression suite)]] - [[880. Как проектировать…
wikiсигнатуры
# сигнатуры ## Определение Описание входов и выходов модулей в DSPy, заменяющее явные промпты. ## Где встречается - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00…
answerКак вы интегрируете DSPy с RAG-пайплайном? Приведите пример сигнатуры.
…Ключевая идея: [[Вики/DSPy\|DSPy]] позволяет не писать [[Вики/промпты\|промпты]] вручную, а декларативно описывать задачу, после чего фреймворк сам…
wikiprompt
…Включает системные промпты, инструкции и контекст. ## Где встречается - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс…
wikiagent versioning
# agent versioning ## Определение Процесс управления версиями агента целиком, включая промпты, инструменты, схему памяти и граф оркестрации. ## Где встречается - [[800+ вопросов…
wikiPrompt Security
# Prompt Security ## Определение Библиотека для автоматической генерации атак и проверки защиты от инъекций в промпты. ## Где встречается - [[67. Что такое…
wikifirst-class objects
# first-class objects ## Определение Концепция, при которой промпты рассматриваются как самостоятельные объекты с версионированием, метаданными и управлением жизненным циклом. Позволяет…
wikiTemplate injection prevention
# Template injection prevention ## Определение Меры защиты от внедрения вредоносного кода в промпты через шаблоны, включающие валидацию входных данных и экранирование…
wikiрегистрация промптов
…Что такое «prompt as code» (промпты в Git, code review)|802. Что такое «prompt as code» (промпты в Git, code…
wikiGenerative attack
# Generative attack ## Определение Тип атаки на LLM, при котором одна модель генерирует вредоносные промпты для эксплуатации уязвимостей другой LLM. Применяется…
wikicontext window
…Как вы проектируете промпты, которые работают с разными моделями|94. Как вы проектируете промпты, которые работают с разными моделями]] - [[115…
wikireflection
…Что такое «prompt as code» (промпты в Git, code review)|802. Что такое «prompt as code» (промпты в Git, code…
wikiDeepEval
…Как тестировать промпты на регрессии (prompt regression suite)|798. Как тестировать промпты на регрессии (prompt regression suite)]] - [[799. Как интегрировать…
wikiHand-crafted jailbreaks
# Hand-crafted jailbreaks ## Определение Вручную написанные промпты, которые манипулируют моделью, чтобы она нарушила свои правила безопасности. ## Где встречается - [[127. Как…
wikiadversarial probing
# adversarial probing ## Определение Создание специальных промптов для провоцирования нежелательного поведения модели с целью оценки её безопасности и обнаружения уязвимостей. ## Где…
answerКак вы проводите red teaming LLM-приложения? Назовите 3 техники.
…Hand-crafted jailbreaks (ручные атаки) **[[Вики/Hand-crafted jailbreaks\|Hand-crafted jailbreaks]]** — это вручную написанные [[Вики/промпты\|промпты]], которые манипулируют…
wikichain
# chain ## Определение Последовательность шагов в LangChain, объединяющая промпты, вызовы LLM и парсинг результатов. Используется для оркестрации многошаговых задач. ## Где встречается…