Поиск
- wikiuser engagement
# user engagement ## Определение Метрика, отражающая степень взаимодействия пользователя с системой; часто используется как показатель успешности дизайна и качества UX. ## Где…
- wikiIncentive design
# Incentive design ## Определение Проектирование системы стимулов и штрафов для предотвращения сговора агентов в децентрализованных системах. ## Где встречается - [[800+ вопросов|800…
- wikiWireframe
# Wireframe ## Определение Схематичное представление интерфейса, используемое на этапе проектирования для определения структуры и расположения элементов без детальной проработки дизайна. ## Где…
- wikiAdaptive design
# Adaptive design ## Определение Требование к интерфейсу корректно отображаться на мобильных и десктопных экранах, адаптируя макет под размер экрана. ## Где встречается…
- wikiS5
# S5 ## Определение Упрощённая версия S4 с улучшенным дизайном, обеспечивающая более эффективное вычисление и обучение. ## Где встречается - [[713. Как работает Mamba…
- wikid'Aspremont–Gérard-Varet mechanism
# d'Aspremont–Gérard-Varet mechanism ## Определение Механизм из теории дизайна механизмов для мультиагентных систем, альтернатива VCG, обеспечивающая бюджетную сбалансированность, но…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать partial failure UI
…Создать документацию по компоненту (для разработчиков и дизайнеров): как использовать, когда показать, какие сообщения. Ожидаемый результат этапа Финальный [[Вики/Prototype…
- wikiOverreliance
…Защита включает UX-дизайн с предупреждениями и confidence score. ## Где встречается - [[121. Назовите OWASP Top 10 для LLM (2025) и…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить A/B тестирование агентов
…Задокументировать дизайн эксперимента в markdown: - Гипотеза, метрика, размер выборки, длительность, критерий остановки (не останавливать раньше срока, если нет очевидного вреда…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать uncertainty UI
…Ключевой результат Рабочий [[Вики/Prototype\|прототип]] / дизайн-документ [[Вики/uncertainty UI\|uncertainty UI]], протестированный на 5–7 пользователях, с измеренным…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать progressive disclosure для ответов AI-ассистента
…описание дизайна, результаты A/B-теста, рекомендации. **Дополнительно (по желанию):** - Figma-файл с интерактивным прототипом. - Видеодемонстрация работы компонента. --- ## 7. Возможные…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать user trust метрику
…Ожидаемый результат этапа Документ дизайна метрики с формулой, весами и обоснованием. --- ### Этап 2: Генерация / сбор событий (1 час) Действия 1…
- answerКакие паттерны multi-agent систем вы знаете?
…Пример:** [[Вики/generation\|Генерация]] архитектуры кода: - Архитектор (верхний уровень) → дизайнер компонентов → реализатор методов. - Каждый уровень делегирует и контролирует нижестоящий. Плюсы…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Создать blameless postmortem культуру
…Исследование и дизайн шаблона (1.5 часа) Действия 1. Изучите принципы [[Вики/Blameless culture\|blameless culture]]: прочитайте главу из книги…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать onboarding для агента
…и список из 4–5 демо-сценариев --- ### Этап 2: Дизайн онбординг-сценария (3 дня) Действия 1. Разработать структуру онбординга - **Шаг…
- wikiпромпт агента
# промпт агента ## Определение Системная инструкция, задающая поведение LLM-агента. Включает описание роли, правил и ограничений. Оптимизируется для повышения точности и…
- answerКак вы A/B тестируете две версии промпта в production?
…версия]] значимо лучше (или хуже) по ключевым метрикам». --- ## 2. Дизайн A/B эксперимента: разделение трафика Основа A/B теста — [[Вики…
- wikiFlashAttention
# FlashAttention ## Определение Memory-efficient механизм внимания с IO-aware дизайном, использующий tiling, recomputation и kernel fusion для снижения сложности по…
- answerКак вы планируете масштабирование команды вокруг LLM-системы?
…FastAPI, Kubernetes, Redis, PostgreSQL | | [[Вики/Prompt Engineer\|Prompt Engineer]] | Дизайн промптов, few-shot подбор, тестирование на adversarial запросы, версионирование промптов…
- answerКакие 3 книги/курса вы рекомендуете по production LLM?
…Designing Machine Learning Systems (Chip Huyen) — база по [[Вики/MLOps\|MLOps]] и дизайну систем, **"Build a [[Вики/LLM\|Large Language…
- answerЧто такое LiveIdeaBench и для чего он нужен?
…Составление планов действий в нестандартных ситуациях. - Создание контента (маркетинг, дизайн, сценарии). - [[Вики/retrieval\|Поиск]] неочевидных связей между документами. Без оценки…
- answerКак вы делаете A/B тестирование двух моделей в production?
…пользователей, динамику контекста и обратную [[Вики/edge\|связь]]. ## 2. Дизайн эксперимента: стабильная рандомизация [[Вики/рандомизация\|Рандомизация]] должна быть стабильной: один…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать A/B тест для RAG
…Ожидаемый результат - Файл `ab_test_report.pdf` с описанием дизайна, результатов статистических тестов и выводами. - Репозиторий с кодом: `router.py…
- answerЧто такое AI for materials science (GNoME, MatterGen) и как это отличается от text LLM?
…Применение в реальных задачах - Открытие новых электролитов для батарей: [[Вики/GNoME\|GNoME]] предсказала стабильные литий-ионные проводники. - Дизайн катализаторов: [[Вики…
- answerЧто такое agent state management (состояние агента между вызовами)?
…Как вы делаете agent robustness к missing API (когда инструмент временно недоступен)\|585]] | Архитектура AI-агента (общий дизайн agentic RAG…
- answerЧто такое «Schema-Activated In-Context Learning» (SA-ICL)?
…Ограничения и вызовы SA-ICL - Дизайн [[Вики/template circuits\|схемы]]: требует экспертных знаний. Плохая [[Вики/cognitive schema\|схема]] = плохой результат…
- answerКакие ограничения у language representation design?
…как агент выбирает действия | | [[199\|199]] | Как тестировать агентные системы | | [[200\|200]] | Промпт-дизайн для агентов | | [[45\|45]] | Ограничения LLM…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: РЕАЛИЗОВАТЬ HIERARCHICAL COORDINATION (SUPERVISOR → 3 WORKER)
…Связанные вопросы из базы знаний | Вопрос | Тема | |--------|------| | 12 | Основы multi-agent систем | | 45 | Проектирование иерархической архитектуры | | 78 | Промпт-дизайн для…
- answerЧто такое Prompt Injection и как вы защищаетесь?
…тестируете агентов (сложно из-за стохастичности)\|45]] | AI-агенты: дизайн агента с учётом принципа минимальных привилегий | | [[68. Как вы шифруете…
- answerКак LLM применяются для protein folding (AlphaFold 3, ESM3)? Архитектура и отличия?
…Применения и ограничения ### Применения - Дизайн лекарств: предсказание структуры белков-мишеней и генерация ингибиторов. - Инженерия ферментов: создание новых катализаторов с заданными…
- answerНазовите OWASP Top 10 для LLM (2025) и 3 самых критичных риска?
…только после подтверждения человеком. | | [[Вики/Overreliance\|Overreliance]] | Чёткий UX-дизайн с предупреждениями, вывод confidence score, возможность указать на ошибку. | | [[Вики…
- answerКак вы сравниваете разные компиляторы (TensorRT, IREE, XLA) для вашей модели?
…поддержка множества бэкендов (не только NVIDIA). - Современный дизайн: [[Вики/MLIR\|MLIR]] позволяет проводить оптимизации на разных уровнях абстракции. - [[Вики/Compositionality…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать Bloom filter для retrieval
…Документировать дизайн в виде краткой спецификации. Ожидаемый результат этапа Документ с параметрами [[Вики/Bloom filter\|Bloom filter]] (m, k, [[Вики…
- answerКак проектировать аукцион для allocation вычислительных ресурсов между агентами?
…Ключевые дизайнерские решения: тип аукциона ([[Вики/First-price auction\|first-price]] vs [[Вики/Second-price auction\|second-price]]), механизм стимулирования…
- answerКак вы оцениваете, сколько синтетических данных нужно для fine-tuning (power analysis)?
…Power analysis (анализ мощности) в контексте fine-tuning **[[Вики/power analysis\|Power analysis]]** — это статистический метод, заимствованный из экспериментального дизайна…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать rollback delegation
…Ключевой результат Функциональный [[Вики/Prototype\|прототип]] (или детальный дизайн + [[Вики/Code\|код]]), в котором при имитации [[Вики/ошибки\|ошибки]] агента…
- answerКак работает RLHF (Reinforcement Learning from Human Feedback) технически?
…Это решается KL-регуляризацией и тщательным дизайном RM. ### 7.2 Сложность сбора данных Человеческие аннотации дороги и субъективны. Разные аннотаторы…
- answerКак вы измеряете стоимость (токены) агентской системы?
…LangSmith — зачем и как используете\|52]] | Дизайн multi-agent систем (распределение нагрузки) | | [[56. Как вы делаете агента отказоустойчивым (graceful degradation…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить property-based testing для LLM-агента
…Определение свойств и дизайн стратегий (1.5 часа) Действия 1. Сформулировать три проверяемых свойства - **[[Вики/consistency\|Consistency]] (C):** Для одного…
- answerЧто такое Positional bias в LLM-as-Judge и как его исправить?
…корреляцию «позиция 1 = хороший ответ». - [[Вики/промпт агента\|Промпт-дизайн]] Формулировка инструкции может неявно подталкивать к выбору первого ответа (например…
- answerКак вы комбинируете текстовый и визуальный поиск (early fusion vs late fusion)?
…Практические соображения Когда выбирать Early Fusion - Запросы регулярно содержат как текст, так и изображения (например, “похожий дизайн, но с синим…
- answerLangChain vs LlamaIndex vs Haystack — что выберете и почему?
…QPS\|запросов в секунду]] с `[[Вики/AsyncPipeline\|AsyncPipeline]]`. - Компонентный дизайн каждый [[Вики/node\|узел]] — класс с `run()` методом, легко наследовать…
- answerКак выглядит process operational excellence в Harness Engineering (ORR, Operational Reviews)?
…Что проверяется на [[Вики/Operational Readiness Review\|ORR]] - Архитектура — соответствует ли дизайн требованиям по надёжности ([[Вики/reliability\|reliability]]), отказоустойчивости ([[Вики…
- answerКак вы проектируете API для внешних систем, использующих вашу LLM?
…model сервинг (роутинг запросов) | Эти вопросы дополняют друг друга: дизайн API → безопасность → мониторинг → кэширование → эксперименты с моделями. Вместе они формируют…
- answerЧто такое skill libraries для агентов и как их создавать?
…Design (дизайн): [[Вики/UI\|интерфейс]], [[Вики/Auction\|согласование]] с командой. 3. Implement (реализация): [[Вики/Code\|код]], [[Вики/tests\|тесты]] (unit…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Агент с A/B тестированием
…p-value, alpha) | | 42 | A/B-тестирование в продакшене: дизайн экспериментов | | 87 | Выбор статистического критерия для разных типов данных | | 112…
- answerЧто такое idempotency в контексте LLM API и зачем она нужна?
…Idempotency (идемпотентность) [[Вики/idempotency key\|Idempotency]] — фундаментальное понятие в распределённых системах и API-дизайне. Операция называется идемпотентной, если её многократное…
- indexПРАКТИЧЕСКИЙ ЧЕКЛИСТ: СТАFF+ AI SYSTEMS ENGINEERING
…Архитектура и дизайн (81-100) | Вопрос | Тема | Практические задачи (#) | |--------|------|------------------------| | 81 | 1000 одновременных пользователей | Dist 191-205, Pet 224 | | 82 | Real…
- question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)
…АРХИТЕКТУРА И ДИЗАЙН (20 вопросов) --- **81. Как бы вы спроектировали систему для 1000 одновременных пользователей чат-бота с RAG?** **Структура…