Prompt engineering
Prompt engineering
Определение
Методология проектирования структуры и содержания промпта для получения желаемого поведения модели, включающая ручную настройку и шаблоны.
Где встречается
- 16. Как вы оцениваете качество генерации в RAG. Назовите 3 ключевые метрики.
- 21. Когда вы выбираете fine-tuning вместо RAG, а когда — наоборот
- 38. Как вы fine-tune модель для функции вызов внешнего API
- 50. Как вы ограничиваете бесконечный цикл агента
- 59. n8n, Make, Zapier — как вы интегрируете их с LLM
- 71. Как вы тестируете RAG-систему на новых документах без реальных пользователей
- 101. Что такое DSPy и какую проблему он решает, которую не решают LangChain или LlamaIndex
- 105. Когда DSPy не подходит Назовите 3 сценария.
- 107. Объясните концепцию «программируемых промптов» (DSPy programs). Как это связано с MIPRO
- 109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production
- 140. Как вы проверяете, что новая версия модели не сломала старые кейсы
- 141. В чем разница между Naive RAG, Adaptive RAG и Agentic RAG
- 149. Как спроектировать агента, который может самоисправляться (self-correction)
- 182. Что такое «схема» (schema) в контексте LLM и как она связана с языковым представлением
- 265. Как вы проектируете data lineage для RAG (от документа к ответу)
- 296. Как работает извлечение знаний (knowledge editing) из LLM без переобучения
- 341. Как вы проектируете бенчмарк для нового домена (медицина, юриспруденция)
- 343. Как вы измеряете и исправляете bias в LLM-as-Judge (self-enhancement, position, verbosity)
- 390. Как вы проектируем on-call ротацию для AI сервиса
- 486. Почему LLM-as-Judge может быть biased Назовите 3 основных bias и как их детектировать.
- 493. Что такое Positional bias в LLM-as-Judge и как его исправить
- 501. Что такое Path-level evaluation для Agentic RAG и чем оно лучше token-level
- 502. Как вы AB тестируете две версии промпта в production
- 508. Как вы оцениваете faithfulness без ground truth (если нет правильного ответа)
- 517. Как вы проектируете feature store для ML фичей, используемых LLM
- 536. Как работает CLIP (Contrastive Language-Image Pre-training) внутренне
- 544. Как вы строите real-time voice agent с latency 500ms
- 556. Как вы делаете extraction таблиц из PDF для RAG
- 567. Что такое plannerexecutor architecture для агентов и когда она нужна
- 573. Как вы предотвращаете tool overuse (когда агент вызывает API даже когда не нужно)
- 580. Как вы делаем agent with theory of mind (понимание намерений пользователя)
- 582. Как работает agent self-improvement через self-reflection on failures
- 587. Как работает agent with external tool verification (проверка результатов API)
- 596. Как работает model stealing attack (экстракция модели через API)
- 616. Как работает rainbow teaming (комбинация red + blue + purple teaming для LLM)
- 621. Как вы защищаете LLM от prompt injection через изображения (VL-модели)
- 682. Как вы оцениваете качество синтетических данных (Self-consistency, LLM-as-Judge)
- 683. Что такое data augmentation для LLM (back-translation, paraphrasing, masking)
- 687. Как вы делаете synthetic eval (генерация тестовых вопросов по документам)
- 690. Как вы измеряете diversity синтетического датасета