Prompt engineering

Определение

Методология проектирования структуры и содержания промпта для получения желаемого поведения модели, включающая ручную настройку и шаблоны.

Где встречается

• 16. Как вы оцениваете качество генерации в RAG. Назовите 3 ключевые метрики.
• 21. Когда вы выбираете fine-tuning вместо RAG, а когда — наоборот
• 38. Как вы fine-tune модель для функции вызов внешнего API
• 50. Как вы ограничиваете бесконечный цикл агента
• 59. n8n, Make, Zapier — как вы интегрируете их с LLM
• 71. Как вы тестируете RAG-систему на новых документах без реальных пользователей
• 101. Что такое DSPy и какую проблему он решает, которую не решают LangChain или LlamaIndex
• 105. Когда DSPy не подходит Назовите 3 сценария.
• 107. Объясните концепцию «программируемых промптов» (DSPy programs). Как это связано с MIPRO
• 109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production
• 140. Как вы проверяете, что новая версия модели не сломала старые кейсы
• 141. В чем разница между Naive RAG, Adaptive RAG и Agentic RAG
• 149. Как спроектировать агента, который может самоисправляться (self-correction)
• 182. Что такое «схема» (schema) в контексте LLM и как она связана с языковым представлением
• 265. Как вы проектируете data lineage для RAG (от документа к ответу)
• 296. Как работает извлечение знаний (knowledge editing) из LLM без переобучения
• 341. Как вы проектируете бенчмарк для нового домена (медицина, юриспруденция)
• 343. Как вы измеряете и исправляете bias в LLM-as-Judge (self-enhancement, position, verbosity)
• 390. Как вы проектируем on-call ротацию для AI сервиса
• 486. Почему LLM-as-Judge может быть biased Назовите 3 основных bias и как их детектировать.
• 493. Что такое Positional bias в LLM-as-Judge и как его исправить
• 501. Что такое Path-level evaluation для Agentic RAG и чем оно лучше token-level
• 502. Как вы AB тестируете две версии промпта в production
• 508. Как вы оцениваете faithfulness без ground truth (если нет правильного ответа)
• 517. Как вы проектируете feature store для ML фичей, используемых LLM
• 536. Как работает CLIP (Contrastive Language-Image Pre-training) внутренне
• 544. Как вы строите real-time voice agent с latency 500ms
• 556. Как вы делаете extraction таблиц из PDF для RAG
• 567. Что такое plannerexecutor architecture для агентов и когда она нужна
• 573. Как вы предотвращаете tool overuse (когда агент вызывает API даже когда не нужно)
• 580. Как вы делаем agent with theory of mind (понимание намерений пользователя)
• 582. Как работает agent self-improvement через self-reflection on failures
• 587. Как работает agent with external tool verification (проверка результатов API)
• 596. Как работает model stealing attack (экстракция модели через API)
• 616. Как работает rainbow teaming (комбинация red + blue + purple teaming для LLM)
• 621. Как вы защищаете LLM от prompt injection через изображения (VL-модели)
• 682. Как вы оцениваете качество синтетических данных (Self-consistency, LLM-as-Judge)
• 683. Что такое data augmentation для LLM (back-translation, paraphrasing, masking)
• 687. Как вы делаете synthetic eval (генерация тестовых вопросов по документам)
• 690. Как вы измеряете diversity синтетического датасета

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление