батчинг embeddings

Определение

Техника группировки нескольких документов (чанков) в один запрос к модели эмбеддингов для увеличения пропускной способности и снижения накладных расходов на вызовы API.

Где встречается

• 269. Как вы обрабатываете streaming данные для real-time RAG
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление