Поиск

• wikiLLM endpoint

  # LLM endpoint ## Определение API-интерфейс для взаимодействия с языковой моделью, подверженный rate limit и ценообразованию. Ключевой компонент для интеграции LLM…

• wikiGateway

  # Gateway ## Определение API-шлюз, выступающий единой точкой входа для запросов к системе RAG и LLM, обеспечивающий валидацию, маршрутизацию, rate limiting…

• wikiLLM API

  # LLM API ## Определение Интерфейс для программного вызова большой языковой модели с ограничениями по скорости и требованиями к надёжности (circuit breaker…

• wikiAPI key

  …Как вы проектируете API для внешних систем, использующих вашу LLM|90. Как вы проектируете API для внешних систем, использующих вашу…

• wikiAWS Secrets Manager

  # AWS Secrets Manager ## Определение Облачный сервис для управления секретами, такими как API-ключи LLM. Синхронизируется с Kubernetes через External Secrets…

• answerКак работает agent with external tool verification (проверка результатов API)?

  …Часто это отдельный [[Вики/LLM call\|LLM-вызов]] с меньшим контекстом и чётким промптом. --- ## 2. Зачем нужна верификация результатов API…

• wikiStripe API

  …Что такое idempotency в контексте LLM API и зачем она нужна|406. Что такое idempotency в контексте LLM API и…

• wikiOpenAI Batch API

  # OpenAI Batch API ## Определение API OpenAI для пакетной обработки запросов со скидкой до 50%, не подходит для real-time задач…

• wikiKong

  # Kong ## Определение Популярный API Gateway с плагинами для rate limiting, аутентификации и маршрутизации. Используется как прокси для LLM-сервисов. ## Где…

• wikiAnthropic Claude API

  …Что такое idempotency в контексте LLM API и зачем она нужна|406. Что такое idempotency в контексте LLM API и…

• wikiKubernetes Secret

  …Как вы управляете секретами (API keys для LLM) в Kubernetes|255. Как вы управляете секретами (API keys для LLM) в…

• wikipay-per-token

  # pay-per-token ## Определение Модель ценообразования LLM API, где стоимость запроса зависит от количества обработанных токенов ввода и вывода. Обеспечивает…

• wikiEventSource API

  …Как вы проектируете API для внешних систем, использующих вашу LLM|90. Как вы проектируете API для внешних систем, использующих вашу…

• wikiExternal Secrets Operator

  …Как вы управляете секретами (API keys для LLM) в Kubernetes|255. Как вы управляете секретами (API keys для LLM) в…

• wikiAPI costs

  # API costs ## Определение Затраты на токены при вызове коммерческих LLM, основной компонент операционных расходов в инференсе. ## Где встречается - [[139. Как…

• wikipybreaker

  # pybreaker ## Определение Библиотека Python для реализации паттерна Circuit Breaker, предназначенная для защиты сервисов от каскадных сбоев при вызовах LLM API…

• wikiTensorRT Plugin API

  …API для добавления кастомных слоёв и операций в оптимизированный инференсный движок TensorRT, расширяющее его функциональность. ## Где встречается - [[318. TensorRT-LLM…

• answerКак вы защищаете агента от tool injection (вредоносный API ответ)?

  …передаём весь ответ LLM response = call_api(url) llm_output = llm.invoke(f"Ответ API: {response}. Ответь пользователю.") ``` Безопасный подход…

• wikiServing API

  # Serving API ## Определение gRPC или REST эндпоинт для выдачи признаков (фичей) по запросу с низкой задержкой в реальном времени. ## Где…

• wikiAPI

  # API ## Определение Интерфейс программирования приложений, используемый для вызова сервисов, включая LLM и внешние инструменты. ## Где встречается - [[60. Как вы обрабатываете…

• wikirate limiting

  # rate limiting ## Определение Механизм контроля частоты запросов к API (например, LLM провайдеров) для предотвращения превышения квот и защиты от перегрузок…

• wikiCustom Metrics API

  …API Kubernetes, используемое HPA для получения кастомных метрик (GPU utilization, queue length). ## Где встречается - [[192. Настроить autoscaling для LLM сервера…

• wikiReloader

  …Как вы управляете секретами (API keys для LLM) в Kubernetes|255. Как вы управляете секретами (API keys для LLM) в…

• answerЧто такое «аутсорсинг» задачи другому LLM (с другим API, другой ценой)?

  …В AI-агентах это означает: - Отправка запроса через [[Вики/API\|API]] другого сервиса ([[Вики/LLM endpoint\|OpenAI]], [[Вики/Claude API…

• wikiSealed Secrets

  …Как вы управляете секретами (API keys для LLM) в Kubernetes|255. Как вы управляете секретами (API keys для LLM) в…

• wikiIRSA

  …Как вы управляете секретами (API keys для LLM) в Kubernetes|255. Как вы управляете секретами (API keys для LLM) в…

• answerКак работает Toolformer (обучение агента использованию инструментов)?

  …Вики/API\|API]], подставляя реальные ответы от инструмента и дообучаясь предсказывать эти API-токены. В результате [[Вики/LLM\|LLM]] становится…

• wikiOpenAI API

  # OpenAI API ## Определение API для доступа к моделям OpenAI, используется для вызова LLM в RAG-пайплайнах, агентах и других приложениях…

• wikiMock API

  # Mock API ## Определение Имитация внешнего API с предопределёнными ответами, позволяющая тестировать агента без реальных вызовов. ## Где встречается - [[788. Что такое…

• wikiDDoS

  …Что такое rate limiting на уровне API Gateway для LLM|829. Что такое rate limiting на уровне API Gateway для…

• wikicircuit breaker

  …Как проектировать graceful degradation при отказе LLM API|832. Как проектировать graceful degradation при отказе LLM API]] - [[835. Как проектировать…

• wikitenacity

  …Что такое circuit breaker и как он применяется к LLM API вызовам|237. Что такое circuit breaker и как он…

• wikiOpenWeatherMap API

  # OpenWeatherMap API ## Определение Внешний API для получения текущих погодных данных и прогнозов. Часто используется в пет-проектах как источник оперативной…

• answerКак моделировать экономику агентов с ограниченными бюджетами на API вызовы?

  …В контексте API-вызовов ресурсами являются: - [[Вики/токены\|Токены]] (входные/выходные [[Вики/токены\|токены]] [[Вики/LLM\|LLM]]) - Деньги ([[Вики/Inference…

• wikiChatGPT API

  …курсе Building Systems with the ChatGPT API для создания production-систем на основе LLM. ## Где встречается - [[800+ вопросов|800+ вопросов…

• wikicaching

  …Что такое idempotency в контексте LLM API и зачем она нужна|239. Что такое idempotency в контексте LLM API и…

• wiki5xx

  …Что такое idempotency в контексте LLM API и зачем она нужна|239. Что такое idempotency в контексте LLM API и…

• wikiexponential backoff

  …Что такое idempotency в контексте LLM API и зачем она нужна|239. Что такое idempotency в контексте LLM API и…

• wikiOpenAI Moderation API

  # OpenAI Moderation API ## Определение API для проверки промптов на вредоносность, альтернатива локальным моделям, встроенная фильтрация от OpenAI. ## Где встречается - [[616…

• wikiOAuth

  …Как вы проектируете API для внешних систем, использующих вашу LLM|90. Как вы проектируете API для внешних систем, использующих вашу…

• wikiNginx

  …Как вы проектируете multi-region active-active для LLM API|247. Как вы проектируете multi-region active-active для LLM…

• wikiusage

  # usage ## Определение Поле в ответе API, содержащее количество потраченных токенов (входных и выходных) для мониторинга затрат и использования LLM. ## Где…

• wikiPubSub

  …Как вы проектируете multi-region active-active для LLM API|247. Как вы проектируете multi-region active-active для LLM…

• wikiRedis Enterprise CRDB

  …Как вы проектируете multi-region active-active для LLM API|247. Как вы проектируете multi-region active-active для LLM…

• wikiVault

  …Как вы управляете секретами (API keys для LLM) в Kubernetes|255. Как вы управляете секретами (API keys для LLM) в…

• wikiClusterSecretStore

  # ClusterSecretStore ## Определение Ресурс для централизованного хранения секретов на уровне кластера, используемый с External Secrets Operator для управления API-ключами LLM…

• wikijitter

  …Что такое idempotency в контексте LLM API и зачем она нужна|239. Что такое idempotency в контексте LLM API и…

• wikiaiobreaker

  # aiobreaker ## Определение Асинхронная реализация паттерна Circuit Breaker для Python, используемая для предотвращения повторных вызовов отказавших LLM API. ## Где встречается - [[237…

• wikiCAS

  # CAS ## Определение Оптимистичный механизм блокировки, используемый в LLM API для обеспечения идемпотентности и безопасного конкурентного доступа. ## Где встречается - [[239. Что…

• wikiClaude API

  …Что такое «аутсорсинг» задачи другому LLM (с другим API, другой ценой)|772. Что такое «аутсорсинг» задачи другому LLM (с другим…