Kong
Kong
Определение
Популярный API Gateway с плагинами для rate limiting, аутентификации и маршрутизации. Используется как прокси для LLM-сервисов.
Где встречается
- 90. Как вы проектируете API для внешних систем, использующих вашу LLM
- 829. Что такое rate limiting на уровне API Gateway для LLM
- 20. Настроить sharding для petabyte embeddings
- 164. Настроить canary deployment промптов
- 195. Реализовать blue-green deployment для RAG
- 217. Реализовать streaming с SSE