Поиск

wikistress test
# stress test ## Определение Нагрузочное тестирование системы, например отправка 1000 сообщений для проверки производительности и выявления узких мест. ## Где встречается - [[190…
wikiLoad testing
# Load testing ## Определение Нагрузочное тестирование LLM endpoint для оценки производительности, латентности и стабильности под реальной нагрузкой. Часто выполняется с помощью…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить Bloom filter для retrieval
…Нагрузочное тестирование и оптимизация (1 час) [[Вики/Действия\|Действия]] 1. Написать скрипт для `locust`: ```python from locust import HttpUser, task…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить sharding для petabyte embeddings
…Нагрузочное тестирование и замер latency (1,5 часа) Действия 1. Разработать нагрузочный скрипт на locust - каждое виртуальное пользователь отправляет запрос…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить rate limiting на сообщения между агентами
…Нагрузочное тестирование (40 минут) Действия 1. Написать скрипт нагрузки (или использовать [[Вики/Locust\|locust]]) для AgentA: - Отправлять сообщения с постоянной…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить load shedding при перегрузке в multi-tenant агентной системе
…Нагрузочное тестирование с k6/Locust (1-1.5 часа) [[Вики/Действия\|Действия]] 1. [[Вики/Установить и настроить k6\|Установить и…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с кэшированием ответов
…Нагрузочное тестирование и замеры (1 час) [[Вики/Действия\|Действия]] 1. Подготовьте тестовый набор: 10 уникальных вопросов, каждый повторить 5 раз…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Полный production агент
…Провести нагрузочное тестирование — с помощью `locust` или `vegeta` отправить 50 запросов к Coordinator агенту, замерить p95 latency и процент ошибок…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить auto-scaling для vLLM
…Нагрузочное тестирование и проверка масштабирования (1 час) Действия 1. Написать скрипт генерации нагрузки `load_gen.py`: ```python import requests import…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить high-cardinality metrics в VictoriaMetrics
…Нагрузочное тестирование и проверка (30 мин) [[Вики/Действия\|Действия]] 1. Установить `vegeta` (или `hey`). 2. Направить нагрузку на `test-exporter…
answerКак вы делаете load testing для LLM endpoint? Какие метрики ключевые?
…Как вы делаете load testing для LLM endpoint? Какие метрики ключевые? ## Краткий тезис [[Вики/Load testing\|Нагрузочное тестирование]] ([[Вики/Load…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить логирование в ClickHouse
…Нагрузочное тестирование – 1 млн логов/сек (90 минут) Действия 1. Написать скрипт `load_test.py`, который: - Использует `[[Вики/multiprocessing\|multiprocessing…
answerКак интегрировать тестирование агентов в CI/CD?
…Throughput]] – сколько запросов в минуту выдерживает. [[Вики/Load testing\|Нагрузочное тестирование]] запускаем на dedicated окружении ([[Вики/staging environment\|staging]]) с…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить backpressure в ingestion
…queue.full()` или `put_nowait()` | | Тестирование | `pytest` + `pytest-asyncio` | Юнит-тесты + тест переполнения | | Нагрузочное тестирование | `locust` (или `httpx` + `asyncio.gather…
answerКак вы переносите агента из прототипа в production (MLOps)?
…Провести нагрузочное тестирование с k6 (100 одновременных запросов) и убедиться, что latency не превышает 2 сек. Ожидаемый результат Готовый репозиторий…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить auto-scaling с учётом cost
…Запустить нагрузочное тестирование - Использовать `locust` или `k6` для симуляции смешанной нагрузки (70% online, 30% batch). - Длительность: 4–6 часов (включая…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать SLO для RAG
…Детальное измерение latency по компонентам | | Генерация нагрузки | Locust / k6 | Нагрузочное тестирование | | Оценка faithfulness | RAGAS / DeepEval / эвристика BERTScore | Метрика качества ответа…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать structured logging для LLM
…Kibana (встроена в ES) | Дашборды и ad-hoc поиск | | Нагрузочное тестирование | Locust / k6 / скрипт `concurrent.futures` | Симуляция трафика | | Мониторинг скорости…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать compaction в векторной БД
…Запустить [[Вики/Load testing\|нагрузочное тестирование]] ```python import time import numpy as np latencies = [] start_time = time.time() while time…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать canary deployment агента с автооткатом
…и Istio API | Изменение весов трафика, проверка метрик, автооткат | | Нагрузочное тестирование | Locust / простой Python threading | Симуляция пользовательского трафика | ## 4. Этапы…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать escalation system (AI → Human при low confidence)
…число эскалаций, доля сессий, latency | | Хранилище логов | PostgreSQL / ClickHouse | История сессий и решений оператора | | Тестирование | pytest + locust | Нагрузочное тестирование порога…
answerКак вы делаете load testing для LLM endpoint? Какие метрики ключевые?
…Как вы делаете load testing для LLM endpoint? Какие метрики ключевые? ## Краткий тезис [[Вики/Load testing\|Нагрузочное тестирование]] ([[Вики/Load…
answerЧто такое «canary testing» для агентов (10% трафика на новую версию)?
…Запустите нагрузочное тестирование (например, locust) с искусственным ухудшением v2 (добавьте случайные ошибки). Убедитесь, что откат срабатывает. Ожидаемый результат: вы получите…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить continuous batching в vLLM и измерить прирост пропускной способности
…модель | | Генерация запросов | Python (random, datasets) | Подготовка тестовых данных | | Нагрузочное тестирование | Python asyncio + aiohttp / vllm.entrypoints.openai.benchmark | Отправка параллельных…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать compression сообщений
…Grafana | Визуализация объёма трафика в реальном времени | | Тестирование | pytest + locust | Нагрузочное тестирование и проверка корректности | | Версионирование | Git | Хранение кода и…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать cache stampede защиту с singleflight
…производительности | | 8 | Unit-тестирование асинхронного кода (pytest-asyncio) | | 9 | Работа с Docker (локальный Redis) | | 10 | Нагрузочное тестирование (Locust, wrk) | ## 10…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить templating (Jinja2) для переменных {context} и {question}
…что делать, если не хватает переменной | | 689 | Нагрузочное тестирование шаблонов: производительность рендеринга | | 777 | Переход от f‑строк к Jinja2: миграция…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить conflict resolution между агентами
…preemption, rollback | | 748 | Граф ожидания и поиск циклов (DFS, раскраска) | | 812 | Нагрузочное тестирование мультиагентных систем | | 895 | Логирование конкурентных событий с…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Semantic cache для RAG
…сначала cache, потом retrieval | | Мониторинг | Prometheus + Grafana (опционально) | Запись hit/miss и задержек | | Тестирование | pytest + locust | Unit-тесты и нагрузочное…
answerКак вы деплоите policy (RLHF модель) в production с online feedback loop?
…Запустите нагрузочное тестирование (locust) и проверьте работу rollback. Ожидаемый результат Работающий сервис, который безопасно деплоит новую policy, собирает фидбек и…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать streaming с SSE в FastAPI для меж-агентной коммуникации
…соединения в asyncio | | 378 | FastAPI StreamingResponse с SSE | | 442 | Нагрузочное тестирование стриминговых endpoint’ов | | 519 | Очереди и буферизация в асинхронных…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать cache warming
…redis | | 519 | Анализ логов для определения популярных запросов | | 621 | Нагрузочное тестирование с wrk/bombardier | | 735 | Генерация синтетического трафика для тестов…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать canary analysis с авто-роллбэком для AI-сервиса
…конфигурация webhook | | 618 | A/B тестирование моделей в production | | 734 | Нагрузочное тестирование AI-сервисов (locust, hey) | | 819 | Интеграция Grafana с…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить monitoring delegation
…latency, токены, успешность | | 49 | Нагрузочное тестирование: генерация сценариев | | 50 | Инциденты: реагирование на деградацию сервиса | ## 10. Чек-лист самопроверки - [ ] Я определил…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать sharded cache на 10+ нод
…timeit` | Замеры latency и throughput | | Тестирование | `pytest`, `locust` (опционально) | Юнит-тесты и нагрузочное тестирование | | Хранение данных | In-memory dict (для…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить capacity planning для GPU кластера
…Prophet, statsmodels ARIMA) + scikit-learn | Построение модели предсказания утилизации | | Нагрузочное тестирование | Locust, shell-скрипты | Генерация синтетической нагрузки | | Инференс-сервер | Triton…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Создать blameless postmortem template
…Почему нагрузочное тестирование не выявило? → Сценарий теста не включал долгие сессии. 5. Почему не было алерта на утечку? → Метрика `memory…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Написать RDMA-читалку для KV cache
…Проведите нагрузочное тестирование — 100 последовательных запросов, замерьте latency каждого. Ожидаемый результат этапа Рабочая связка сервер-клиент с проверкой корректности и…
answerКак вы определяете SLO и SLA для LLM сервиса?
…Провести нагрузочное тестирование (например, locust) и проверить, как часто нарушаются SLO. Ожидаемый результат Работающий дашборд с SLI и статусом SLO…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать WAL для векторной БД
…Провести [[Вики/Load testing\|нагрузочное тестирование]] - Запустить скрипт, который непрерывно добавляет векторы (100 [[Вики/opssec\|ops/sec]]). - Через 30 секунд…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать retry storm mitigation (exponential backoff + jitter)
…написать вручную) | | Нагрузочное тестирование | locust или простой скрипт с asyncio | Имитация нагрузки и проверка storm | | Логирование | logging (Python) | Фиксация retry…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить cost tracking в production
…Проведите [[Вики/Load testing\|нагрузочное тестирование]] ([[Вики/Locust\|Locust]]): 50 [[Вики/concurrent users\|concurrent users]], 10 минут. Убедитесь, что метрики…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить health checks для LLM
…Контейнеризация | Docker | Упаковка сервиса | | Оркестрация | kind / minikube | Локальный Kubernetes | | Нагрузочное тестирование | curl, hey, wrk | Проверка стабильности | | Мониторинг (опционально) | kubectl, k9s…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать topology-aware scheduling для K8s device plugin с учётом NVSwitch доменов
…4. [[Вики/stress test\|Нагрузочное тестирование]] Запустите несколько pod’ов (2-3) с разными запросами на количество GPU. Убедитесь, что…
answerКак вы сравниваете две модели, если у них разная latency (быстрая неточная vs медленная точная)?
…Провести нагрузочное тестирование (например, с помощью locust) и проверить SLO. 6. Сравнить результаты и написать отчёт. Ожидаемый результат Вы получите…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить Redis cluster с LFU eviction
…через INFO? | | 408 | Docker Compose для Redis cluster | | 555 | Нагрузочное тестирование Redis (redis-benchmark vs custom) | | 620 | Что такое Zipf…
answerКак вы проектируете graceful shutdown для LLM serving pod в Kubernetes?
…под, проверьте, что запрос завершился успешно. - [[Вики/stress test\|Нагрузочное тестирование]] во время стресс-теста удалите под и проверьте, что…
answerКак вы профилируете GPU utilization для LLM serving (nsys, ncu, nvprof)?
…LLaMA-2-7B) с vLLM на одной GPU, запустите нагрузочное тестирование с помощью `wrk` или `locust`, одновременно профилируя GPU с…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Развернуть vLLM на 8 GPU с Tensor Parallelism и замерить throughput
…между 8 GPU | | Бенчмаркинг | `benchmark_throughput.py` + `vllm serve` | Нагрузочное тестирование | | Мониторинг | nvidia-smi, `vllm metrics` (опционально Prometheus) | Использование GPU…
answerКак вы делаете backfill эмбеддингов при смене embedding модели?
…Вики/Backfill\|backfill]] (можно параллельно запустить [[Вики/Load testing\|нагрузочное тестирование]] с `[[Вики/Locust\|locust]]`). Ожидаемый результат Сервис ни разу…