Поиск

wikiCPU-GPU synchronization
# CPU-GPU synchronization ## Определение Точки синхронизации между CPU и GPU, которые могут вызывать простои устройств при неправильном управлении асинхронностью. ## Где…
answerЧто такое «actor model» для агентов (Akka, Orleans)?
…Отправка сообщения — единственный способ взаимодействия. - [[Вики/asyncio\|Асинхронность]] — отправитель не ждёт ответа, а продолжает работу. Ответ приходит как отдельное сообщение…
answerКак вы оптимизируете embedding генерацию для большого количества документов?
…Используйте `asyncio.Semaphore` для ограничения параллелизма. ### Когда не нужна асинхронность? - Если модель развёрнута локально на GPU — лучше использовать batch inference…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать circuit breaker на вызовы агента
…запросов (фиксированный буфер), а не временное окно — проще с асинхронностью. | | **Неверное определение доли ошибок при малом числе запросов** | Ввести `min…
answerКак работает asynchronous execution на Hopper (copy engine vs compute)?
…Всё последовательно → [[Вики/GPU\|GPU]] простаивает во время копирования. **С асинхронностью ([[Вики/Chunk overlap\|overlap]])**: ```cpp cudaStream_t computeStream, h2dStream…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать actor model для агентов
…Написать тест на [[Вики/asyncio\|асинхронность]]: отправить 10 сообщений, измерить общее время. Обработка каждого должна занимать ~0.1 сек (симулировать…
wikiasyncio
# asyncio ## Определение Библиотека Python для написания конкурентного кода с использованием синтаксиса async/await. Позволяет эффективно выполнять операции ввода-вывода, такие…
answerКак работает FlashAttention-3 технически? Чем отличается от FA2?
…Использует новые аппаратные [[Вики/Capability\|возможности]], [[Вики/asyncio\|асинхронность]] и [[Вики/FP8\|FP8]]. --- ## 2. Аппаратная база: архитектура Hopper (H100) Architecture…
answerLangChain vs LlamaIndex vs Haystack — что выберете и почему?
…минимальные зависимости, строгая типизация, [[Вики/asyncio\|асинхронность]]. - Сильные стороны - [[Вики/пайплайн автоматического тестирования\|Pipeline]] как [[Вики/Node Graph\|граф узлов…
answerКак вы загружаете 1000 документов в RAG максимально эффективно?
…Как вы уменьшаете latency RAG-системы (время ответа)\|7]] | Оптимизация latency (асинхронность, батчинг) | | [[9. Как вы обновляете документы в существующей…
answerКак вы переносите агента из прототипа в production (MLOps)?
…CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000"] ``` Почему FastAPI — асинхронность, автоматическая документация (Swagger), поддержка Pydantic для…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать leader election для агентов (алгоритм Bully)
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Язык программирования | Python 3.10+ | Основной язык реализации | | Асинхронность | asyncio | Параллельное выполнение агентов, таймеры | | Связь…
answerЧто такое TMA (Tensor Memory Accelerator) в H100 и как он ускоряет FlashAttention-3?
…Сравнение с предыдущими поколениями | Параметр | A100 (Ampere) | H100 (Hopper) | |----------|---------------|----------------| | Механизм копирования | LD/ST через CUDA cores | TMA (аппаратный) | | Асинхронность | Только…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать synthetic eval для агента
…vLLM + Llama 3.1 8B) | Синтез запросов и траекторий | | Асинхронность | `asyncio`, `aiohttp` | Параллельная генерация для скорости | | Структуры данных | `pydantic` (v2…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить conflict resolution между агентами
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Язык программирования | Python 3.11+ | Основной язык разработки | | Асинхронность | asyncio, await | Конкурентное выполнение агентов | | Потоки…
answerКак вы реализуете память агента (Memory) на разных уровнях?
…Например: - Факт 1: «Пользователь купил книгу по Python». - Факт 2: «Пользователь спросил про асинхронность». - Синтез: «Пользователь изучает продвинутый Python». ### 7…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настройка negotiation между агентами на аукционе ресурсов с counter-offers
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Язык программирования | Python 3.10+ | Основная реализация | | Асинхронность | `asyncio` | Параллельная работа агентов и аукциониста | | Генерация…
answerЧто такое «agentic mesh» (сеть взаимодействующих агентов) и как вы его дебажите?
…знают адресов друг друга, общаются через брокер. - [[Вики/asyncio\|Асинхронность]]: сообщения передаются через очереди, [[Вики/AI agents\|агенты]] могут отвечать…
answerКак проектировать graceful degradation при отказе LLM API?
…если провайдер вернул ошибку >3 раз подряд — временно исключать из [[Вики/цепочки\|цепочки]]. - [[Вики/asyncio\|Асинхронность]]: [[Вики/Query\|запросы]] к…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить человеческий фактор
…Передача событий статусов и задач между эмулятором и эскалатором | | Асинхронность | asyncio (в Python) | Неблокирующая обработка событий | | Тестирование | pytest + moto (если…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать streaming с SSE в FastAPI для меж-агентной коммуникации
…Events (SSE) | Однонаправленный поток событий от сервера к клиенту | | Асинхронность | asyncio, async generators | Эффективная обработка многих соединений и генерация потоков…
answerЧто такое «message bus» для агентов (Kafka, NATS, Redis PubSub)?
…группы потребителей]] ([[Вики/Consumer Groups\|consumer groups]]). - [[Вики/asyncio\|Асинхронность]] — отправитель не блокируется, может продолжать работу. - [[Вики/robustness\|Отказоустойчивость]] — если…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Написать тесты для меж-агентской коммуникации
…branch coverage | | Валидация сообщений | pydantic v2 | Проверка формата сообщений | | Асинхронность | asyncio | Эмуляция реальной асинхронной шины | | Линтер/форматтер | ruff | Поддержание стандарта…
answerЧто такое agent communication protocol (формат сообщений между агентами)?
…Вики/gRPC\|gRPC]]), протокол для агентов предполагает **[[Вики/asyncio\|асинхронность]]**, наличие контекста [[Вики/session\|сессии]] и **возможность длинных цепочек взаимодействий…
answerКак тестировать delegation paths (интеграционное тестирование multi-agent)?
…Почему тестирование delegation paths — это сложно? | Фактор | Описание | Последствие для тестирования | |--------|----------|-------------------------------| | [[Вики/asyncio\|Асинхронность]] | Агенты могут работать параллельно, тайм-ауты…
answerКак вы проектируете Kafka топологии для RAG ingestion?
…Вики/embedding\|эмбеддинги]]) на независимые шаги. - Обеспечить **[[Вики/asyncio\|асинхронность]]** и буферизацию при пиковых нагрузках. - Гарантировать **[[Вики/robustness\|отказоустойчивость]]** и…
answerКак вы делаете load testing для LLM endpoint? Какие метрики ключевые?
…ресурсов, особенно при больших моделях (7B, 13B, 70B параметров). - Асинхронность и батчинг — сервер может обрабатывать запросы батчами (batch inference), что…
answerКак вы обеспечиваете «человека в петле» (HITL) для критических действий агента?
…Гибкость, автоматизация | Неудобно для человека | | Email | Подтверждение по почте | Асинхронность | Задержки, спам-фильтры | Рекомендация для агентов, работающих в реальном времени…
answerКак работает agent handover (передача задачи другому агенту)?
…Latency]] (handover добавляет задержку) | Оптимизировать state transfer (бинарные протоколы, асинхронность, кэширование) | --- ## 7. Пример из реальной архитектуры: Handover в системе "AI…
answerКак проектировать request-response vs fire-and-forget для агентов?
…скорость, streaming, codegen | Сложнее в настройке | | RabbitMQ / Kafka (RPC) | Асинхронность, надёжность | Нужен брокер, latency выше | --- ## 3. Fire-and-forget (отправил…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить write-through cache
…для существующих данных — lazy-loading при GET. | | [[Вики/asyncio\|Асинхронность]] — забыл `await` в кэше | Все вызовы Redis должны быть `await…
answerКак работает sequence parallelism в контексте LLM?
…PP же добавляет асинхронность и уменьшает пиковую память. ## 7. Современные альтернативы и улучшения | Метод | Описание | Преимущества перед SP | |--------|----------|-----------------------| | **Flash Attention…
answerКак вы обнаруживаете многошаговые jailbreak-атаки (через 10-20 сообщений)?
…активны одновременно, можно объединять их в батч. - [[Вики/asyncio\|Асинхронность]] Детектор может работать асинхронно, не блокируя ответ LLM (но тогда…
answerКакие инструменты для Delegation Engineering существуют (Airflow для агентов)?
…задач (Task Queues) | Celery, Redis Queue, RabbitMQ + workers | Простая асинхронность, низкая latency, small tasks | | Встроенный handoff в агентных фреймворках | LangGraph…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать A/B тестирование промптов
…самую дешёвую модель (gpt-4o-mini), уменьшить max_tokens. | | Асинхронность — долгий последовательный прогон | Добавить `asyncio` с `asyncio.gather`, но следить…
answerЧто такое LangGraph и зачем он нужен?
…паттернов) | Средняя (ориентир на роли) | | Порог входа | Средний | Высокий (асинхронность) | Низкий | | Production readiness | Высокая (LangSmith, мониторинг) | Средняя | Средняя | Когда выбирать…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Рассчитать cost per 1M tokens для разных моделей
…accelerate` + `bitsandbytes` (4-bit) или `vLLM` | Запуск Llama-3 | | Асинхронность | `asyncio`, `aiohttp`, `tenacity` (retry) | Параллельные запросы, устойчивость | | Токенизация | `tiktoken` (для…
question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)
…уменьшаем размер эмбеддингов с FP32 до FP16/INT8 4. **Асинхронность:** asyncio для параллельных запросов 5. **Кэширование эмбеддингов** для дублирующихся чанков…