Поиск

practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать partial failure UI
…или чистые стили. - Адаптивный дизайн (мобильный/десктоп). - [[Вики/JSON\|JSON]] от бэкенда ([[Вики/API\|API]] из этапа 2) или [[Вики…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить A/B тестирование агентов
…пункты дизайна. ### Этап 2: Подготовка инфраструктуры (4–6 часов) Действия 1. Развернуть две версии агента - Docker‑контейнеры с API (FastAPI…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать uncertainty UI
…Hugging Face Transformers / OpenAI API (logprobs) | Генерация ответов с оценками уверенности | | Прототип UI | Figma (дизайн) + React / Vue (интерактив) | Создание макетов…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать user trust метрику
…запуск ├── TRUST_METRIC_DESIGN.md # дизайн метрики ├── src/ │ ├── event_collector.py # сбор событий (API или парсер) │ ├── trust_score.py # расчёт…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать progressive disclosure для ответов AI-ассистента
…описание дизайна, результаты A/B-теста, рекомендации. **Дополнительно (по желанию):** - Figma-файл с интерактивным прототипом. - Видеодемонстрация работы компонента. --- ## 7. Возможные…
wikiпромпт агента
…Как вы обрабатываете ошибки агента (action не сработал, API вернул ошибку)|60. Как вы обрабатываете ошибки агента (action не сработал…
answerКак вы планируете масштабирование команды вокруг LLM-системы?
…Вы пишете [[Вики/промпты\|промпты]], разворачиваете [[Вики/LLM\|LLM]], строите [[Вики/API\|API]], ставите метрики. Экономия ресурсов оправдана: продукт ещё…
answerКакие паттерны multi-agent систем вы знаете?
…Инструменты - Python, LangGraph (или CrewAI) - OpenAI API (GPT-4) - Простой поиск по CSV-файлу отзывов (имитация базы) **Шаги:** 1. Определить…
answerКак вы проектируете API для внешних систем, использующих вашу LLM?
…дизайн API → безопасность → мониторинг → кэширование → эксперименты с моделями. Вместе они формируют полную картину промышленного LLM-сервиса. --- ## Навигация (Obsidian) - Предыдущий: [[89…
answerЧто такое idempotency в контексте LLM API и зачем она нужна?
…Idempotency (идемпотентность) [[Вики/idempotency key\|Idempotency]] — фундаментальное понятие в распределённых системах и API-дизайне. Операция называется идемпотентной, если её многократное…
answerКакие 3 книги/курса вы рекомендуете по production LLM?
…Designing Machine Learning Systems (Chip Huyen) — база по [[Вики/MLOps\|MLOps]] и дизайну систем, **"Build a [[Вики/LLM\|Large Language…
answerКак вы измеряете стоимость (токены) агентской системы?
…вызов API погоды... Результат: +5°C" input_tokens = count_tokens(system_prompt + user_query) output_tokens = count_tokens(completion) cost…
answerЧто такое agent state management (состояние агента между вызовами)?
…Как вы делаете agent robustness к missing API (когда инструмент временно недоступен)\|585]] | Архитектура AI-агента (общий дизайн agentic RAG…
answerЧто такое skill libraries для агентов и как их создавать?
…разработчик, знающий [[Вики/SQL\|Python]] и [[Вики/API\|API]], пишет [[Вики/skill\|skill]], а [[Вики/Prompt Engineer\|инженер промптов]] учит…
answerLangChain vs LlamaIndex vs Haystack — что выберете и почему?
…Недостатки - [[Вики/API\|API]] часто меняется, особенно в версии 0.3 → 0.4. - Много «магии» (скрытые имплементации). - [[Вики/AI agents…
answerЧто такое Prompt Injection и как вы защищаетесь?
…Минимальные привилегии (Principle of Least Privilege) Для агентов ([[Вики/GPT-4o\|LLM]], вызывающих инструменты — [[Вики/API\|API]], базы данных, файлы…
answerКак вы делаете A/B тестирование двух моделей в production?
…Написать [[Вики/Gateway\|API-шлюз]] с хэшированием [[Вики/user_id\|user_id]] (использовать заголовок `X-User-Id`). 3. Настроить сбор…
answerНазовите OWASP Top 10 для LLM (2025) и 3 самых критичных риска?
…предобученные модели, библиотеки, внешние плагины. | | LLM06 | [[Вики/Sensitive Info Disclosure\|Sensitive Information Disclosure]] | Раскрытие конфиденциальных данных (персональная информация, ключи API…
answerКак вы A/B тестируете две версии промпта в production?
…агент может делать несколько шагов (поиск, вызов API). Промпт влияет на количество шагов, успешность выполнения задачи. Метрики: task success rate…
answerКак выглядит process operational excellence в Harness Engineering (ORR, Operational Reviews)?
…Что проверяется на [[Вики/Operational Readiness Review\|ORR]] - Архитектура — соответствует ли дизайн требованиям по надёжности ([[Вики/reliability\|reliability]]), отказоустойчивости ([[Вики…
answerКак LLM применяются для protein folding (AlphaFold 3, ESM3)? Архитектура и отличия?
…Применения и ограничения ### Применения - Дизайн лекарств: предсказание структуры белков-мишеней и генерация ингибиторов. - Инженерия ферментов: создание новых катализаторов с заданными…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить property-based testing для LLM-агента
…проверять только числа/даты regex | | Токсичные запросы могут быть заблокированы цензурой API (moderation) | Добавить `@assume(not api_blocked(response))` или…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Агент с A/B тестированием
…Для симуляции (если нет реального [[Вики/API\|API]]) можно использовать задержку и [[Вики/fallback model\|возврат]] фиктивного ответа. 4. **Написать…
answerКакие ограничения у language representation design?
…Зачем это нужно [[Вики/LLM\|LLM]] не умеет напрямую вызывать [[Вики/API\|API]] — ей нужно текстовое описание того, что и…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: РЕАЛИЗОВАТЬ HIERARCHICAL COORDINATION (SUPERVISOR → 3 WORKER)
…Связанные вопросы из базы знаний | Вопрос | Тема | |--------|------| | 12 | Основы multi-agent систем | | 45 | Проектирование иерархической архитектуры | | 78 | Промпт-дизайн для…
answerЧто такое Positional bias в LLM-as-Judge и как его исправить?
…Причины возникновения - Архитектурные Модели с [[Вики/Causal attention\|causal attention]] ([[Вики/OpenAI API\|GPT]], [[Вики/Transformer\|LLaMA]]) обрабатывают [[Вики/токены…
answerЧто такое AI for materials science (GNoME, MatterGen) и как это отличается от text LLM?
…subset из [[Вики/Materials Project\|Materials Project]] (можно через [[Вики/API\|API]]) **Шаги**: 1. Загрузить 1000 структур (CIF-файлы) и…
answerЧто такое LiveIdeaBench и для чего он нужен?
…Например, [[Вики/LLM\|GPT-4]] может превосходить [[Вики/Claude API\|Claude]] по логике, но уступать по оригинальности. - Разброс между измерениями…
answerКак вы оцениваете, сколько синтетических данных нужно для fine-tuning (power analysis)?
…Power analysis (анализ мощности) в контексте fine-tuning **[[Вики/power analysis\|Power analysis]]** — это статистический метод, заимствованный из экспериментального дизайна…
answerЧто такое «Schema-Activated In-Context Learning» (SA-ICL)?
…Ограничения и вызовы SA-ICL - Дизайн [[Вики/template circuits\|схемы]]: требует экспертных знаний. Плохая [[Вики/cognitive schema\|схема]] = плохой результат…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать Bloom filter для retrieval
…Документировать дизайн в виде краткой спецификации. Ожидаемый результат этапа Документ с параметрами [[Вики/Bloom filter\|Bloom filter]] (m, k, [[Вики…
answerКак проектировать аукцион для allocation вычислительных ресурсов между агентами?
…Ключевые дизайнерские решения: тип аукциона ([[Вики/First-price auction\|first-price]] vs [[Вики/Second-price auction\|second-price]]), механизм стимулирования…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать rollback delegation
…Ключевой результат Функциональный [[Вики/Prototype\|прототип]] (или детальный дизайн + [[Вики/Code\|код]]), в котором при имитации [[Вики/ошибки\|ошибки]] агента…
answerКак работает RLHF (Reinforcement Learning from Human Feedback) технически?
…Это решается KL-регуляризацией и тщательным дизайном RM. ### 7.2 Сложность сбора данных Человеческие аннотации дороги и субъективны. Разные аннотаторы…
indexПРАКТИЧЕСКИЙ ЧЕКЛИСТ: СТАFF+ AI SYSTEMS ENGINEERING
…Переключение провайдеров | C 137, Dist 197, Pet 249 | | 90 | API дизайн | P 161, Pet 250 | | 91 | Semantic caching | Pet 225…
question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)
…взять текст, замаскировать места, где можно вызвать API. > > 2. Вызвать API, вставить результат в текст. > > 3. Обучить модель предсказывать API…