Task queue

Определение

Архитектурный паттерн, при котором задачи (например, индексация или запросы к LLM) помещаются в очередь (RabbitMQ, Kafka, Celery) и асинхронно обрабатываются воркерами. Это предотвращает блокировку основного потока и обеспечивает горизонтальное масштабирование.

Где встречается

• 7. Как вы уменьшаете latency RAG-системы (время ответа)
• 65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление