RUEN中文
…

Поиск

  • wikiэмулятор LLM-сервиса

    # эмулятор LLM-сервиса ## Определение Тестовый сервис на FastAPI, имитирующий запросы к LLM для отладки cost tracking. ## Где встречается - [[132. Настроить…

  • wikiavailability

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[532…

  • wikiToil reduction

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] ## Навигация…

  • wikiLLMProvider

    # LLMProvider ## Определение Абстрактный интерфейс или внешний сервис (OpenAI, Anthropic, локальные модели через vLLM), предоставляющий API для вызова языковых моделей и…

  • wikiSRE

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[756…

  • wikiSLO

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[382…

  • wikiproxy API

    # proxy API ## Определение Архитектура, при которой сервис выступает прокси к целевой LLM (например, JaaS). ## Где встречается - [[618. Что такое jailbreak…

  • wikiprometheus_client

    …Используется для мониторинга LLM-сервисов. ## Где встречается - [[381. Как вы определяете SLO и SLA для LLM сервиса|381. Как вы…

  • answerКак вы определяете SLO и SLA для LLM сервиса?

    …Почему SLO/SLA критичны для LLM-сервиса LLM-сервисы имеют особенности, отличающие их от традиционных веб-сервисов: - [[Вики/Stochasticity\|Стохастичность…

  • wikipostmortem

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[390…

  • wikiSLI

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[383…

  • wikiZapier

    # Zapier ## Определение Сервис интеграции веб-приложений, позволяющий создавать автоматизированные цепочки действий без кода. В контексте LLM используется для связывания моделей…

  • wikiКаскад моделей

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] ## Навигация…

  • wikierror budget

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[383…

  • wikiGPU time

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[800…

  • answerКак вы делаете distributed tracing для цепочки: user → gateway → RAG → LLM → user?

    …Для [[Вики/цепочки\|цепочки]] user → [[Вики/Gateway\|gateway]] → [[Вики/гибридный поиск\|RAG]] → [[Вики/LLM\|LLM]] → user мы инструментируем каждый сервис…

  • wikiPromptInject

    …при тестировании безопасности LLM. ## Где встречается - [[618. Что такое jailbreak as a service (коммерческие jailbreak сервисы) и как защититься|618…

  • wikitoken manipulation

    …jailbreak-атаках на LLM. ## Где встречается - [[618. Что такое jailbreak as a service (коммерческие jailbreak сервисы) и как защититься|618…

  • wikiSLA

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[390…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить RED metrics для LLM

    …Настроены alerts. ### Этап 5: (Опционально) Интеграция с существующим LLM сервисом (1-2 часа) Если есть доступ к реальному LLM сервису…

  • wikiPagerDuty

    # PagerDuty ## Определение Сервис оповещения и управления инцидентами, автоматически уведомляющий дежурных инженеров при критических событиях (например, рост DLQ). ## Где встречается - [[240…

  • wikin-grams

    …Что такое data exfiltration через LLM (утечка данных через ответы)]] - [[618. Что такое jailbreak as a service (коммерческие jailbreak сервисы…

  • answerЗачем нужен embedding-as-a-service и когда вы его используете?

    …сервис | | Частое обновление модели (еженедельно/ежемесячно) | Да, EaaS | A/B тестирование новой модели эмбеддингов | | Нагрузка на эмбеддинги растёт быстрее LLM…

  • wikiSuccessful task completion rate

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[383…

  • wikiCounter

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[24…

  • wikiGuardrails AI

    …blue + purple teaming для LLM)]] - [[618. Что такое jailbreak as a service (коммерческие jailbreak сервисы) и как защититься|618. Что…

  • wikiGauge

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[26…

  • answerКак вы проектируете on-call ротацию для AI сервиса?

    …Для AI-сервисов важно учитывать специфику: [[Вики/Failure mode\|падение качества]] ответов, [[Вики/drift\|дрейф]] данных, сбои LLM-провайдеров, поэтому…

  • wikiAlertmanager

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[385…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать structured logging для LLM

    …Цель задачи Научиться проектировать и внедрять [[Вики/structured logging\|structured logging]] (структурированное логирование) для сервиса, использующего большие языковые модели (LLM…

  • wikiwatermarking

    …Как работает model watermarking для LLM (идентификация модели-источника)]] - [[618. Что такое jailbreak as a service (коммерческие jailbreak сервисы) и…

  • wikiMake

    # Make ## Определение Облачный сервис для визуального создания сценариев автоматизации, поддерживающий вызов LLM через HTTP-модули. ## Где встречается - [[59. n8n, Make…

  • wikipull-based

    …Рекомендуется для LLM-сервисов. ## Где встречается - [[24. Настроить RED metrics для LLM|24. Настроить RED metrics для LLM]] ## Навигация - [[00…

  • wikiAnswer quality

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[382…

  • answerЧто такое circuit breaker и как он применяется к LLM API вызовам?

    …return call_llm_api(prompt) except Exception: # fallback: кэш или другой провайдер return get_from_cache(prompt) or "Сервис временно…

  • wikiinitialDelaySeconds

    …сервиса. ## Где встречается - [[800+ вопросов|800+ вопросов]] - [[202. Настроить health checks для LLM|202. Настроить health checks для LLM]] ## Навигация…

  • wikiHistogram

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[24…

  • wikiuser_tenure

    # user_tenure ## Определение Признак, отражающий длительность использования сервиса пользователем, часто применяемый в feature store для LLM. ## Где встречается - [[800+ вопросов…

  • wikiReal-time ingestion

    …Как вы определяете SLO и SLA для LLM сервиса|381. Как вы определяете SLO и SLA для LLM сервиса]] - [[544…

  • answerЧто такое jailbreak as a service (коммерческие jailbreak сервисы) и как защититься?

    …в ряде юрисдикций (EU AI Act, US Executive Order) компании обязаны предотвращать вредоносное использование LLM. - Регулирование JaaS: продажа jailbreak-сервисов…

  • wikiArtificial Analysis

    # Artificial Analysis ## Определение Сервис, агрегирующий цены, задержку и качество моделей от разных провайдеров для сравнения. ## Где встречается - [[783. Как сравнивать…

  • wikiSpot Fleet

    …Сервис AWS, позволяющий управлять разнородными spot-инстансами для отказоустойчивого и экономичного деплоя. ## Где встречается - [[251. Как вы деплоите LLM на…

  • wikirolling restart

    …инстансов сервиса по одному, обеспечивающая отсутствие downtime. ## Где встречается - [[452. Как вы управляете memory fragmentation при длительном раннинге LLM сервера…

  • wikiRoleBinding

    …сервисному аккаунту (ServiceAccount) для управления доступом к ресурсам. ## Где встречается - [[422. Как вы управляете секретами (API keys для LLM) в…

  • wikiмикросервис

    # микросервис ## Определение Архитектурный стиль, при котором приложение строится как набор небольших, независимо развертываемых сервисов, каждый из которых отвечает за свою…

  • wikiGreat Expectations

    …Что такое data contract между сервисами в RAG пайплайне|532. Что такое data contract между сервисами в RAG пайплайне]] - [[852…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать canary analysis с авто-роллбэком для AI-сервиса

    …Цель задачи Получить практический навык настройки канареечного (canary) развёртывания для инференс-сервиса на основе LLM или другого AI-модуля. Необходимо…

  • wikiExternal Authorization

    # External Authorization ## Определение Фильтр Envoy, делегирующий авторизацию внешнему сервису; применяется для логирования и мониторинга запросов к LLM в sidecar-паттерне…

  • wikiRED metrics

    # RED metrics ## Определение Метрики для мониторинга production-сервисов на LLM: Rate (частота запросов), Errors (количество ошибок), Duration (задержка). Позволяют оценить…

  • answerЧто такое sidecar pattern для LLM observability и как его реализовать?

    …Архитектура sidecar для LLM observability Типичная схема: ``` ┌─────────────────────────────────────┐ │ Pod │ │ ┌──────────────┐ ┌──────────────┐ │ │ │ LLM-сервис │ │ Sidecar │ │ │ │ (Flask/Fast) │ │ (Envoy) │ │ │ │ port 8080 │ │ port 8081 │ │ │ └──────┬───────┘ └──────┬───────┘ │ │ │ │ │ │ │ localhost:8081…