Поиск

wikiTool integration
# Tool integration ## Определение Процесс подключения внешних функций или API к агенту, позволяющий ему выполнять действия за пределами LLM. ## Где встречается…
wikiIntegration test for prompt chain
# Integration test for prompt chain ## Определение Интеграционный тест, проверяющий корректность конечного ответа при вызове цепочки промптов. ## Где встречается - [[806. Как…
wikineurosymbolic integration
# neurosymbolic integration ## Определение Архитектура, объединяющая нейронные сети и символьные методы для совместной обработки информации. Позволяет сочетать обучаемость нейросетей с интерпретируемостью…
wikiIntegration testing
# Integration testing ## Определение Метод проверки совместной работы компонентов системы (агентов, инструментов) с использованием моков или реальных вызовов для выявления ошибок…
wikiCI
# CI ## Определение Continuous Integration — практика автоматической сборки и тестирования при каждом изменении кода, а также доверительный интервал в статистике. ## Где…
wikiCoordination score
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA|170. Что такое GIM (Grounded Integration Measure) и…
wikiOperation coverage
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA|170. Что такое GIM (Grounded Integration Measure) и…
wikiaudience calibration
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA|170. Что такое GIM (Grounded Integration Measure) и…
wikiepistemic vigilance
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA|170. Что такое GIM (Grounded Integration Measure) и…
wikiconstraint satisfaction
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA|170. Что такое GIM (Grounded Integration Measure) и…
wikitracking state
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA|170. Что такое GIM (Grounded Integration Measure) и…
wikiCI/CD
# CI/CD ## Определение Continuous Integration/Continuous Deployment — пайплайн автоматической сборки, тестирования и развертывания моделей и сервисов. ## Где встречается - [[62. Какие…
wikiPass@k
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA|170. Что такое GIM (Grounded Integration Measure) и…
wikiИнтеграция
# Интеграция ## Определение Процесс подключения внешних API (Slack, Gmail, Calendar) к агентам для выполнения действий, обеспечивающий взаимодействие LLM с внешним миром…
wikiPlan-and-Solve
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA|170. Что такое GIM (Grounded Integration Measure) и…
wikiCI validation
# CI validation ## Определение Процесс автоматической проверки data contracts в CI/CD пайплайне для обеспечения совместимости схем данных. ## Где встречается - [[532…
wikiGitLab CI
# GitLab CI ## Определение Система CI/CD от GitLab для автоматизации тестирования, сборки и деплоя ML-пайплайнов и приложений. ## Где встречается…
answerКак вы организуете CI/CD для RAG-пайплайна?
…Integration retrieval tests run: | python tests/integration/test_retrieval.py \ --eval-dataset eval/questions.json \ --top-k 5 \ --threshold-recall…
answerКак интегрировать тестирование агентов в CI/CD?
…парсеры, валидаторы, расчёты | pytest, unittest | | [[Вики/Integration testing\|Integration tests]] (интеграционные) | Взаимодействие агента с внешними API (с моками) | pytest + responses…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить алерты на p99 latency spike
…Зарегистрируйтесь на PagerDuty, создайте сервис: - Services → Add Service → Integration type: Prometheus. - Скопируйте [[Вики/Integration Key\|Integration Key]] (вида `abc123def456`). 2…
answerЧто вы видите следующим горизонтом после language representation?
…Neurosymbolic integration (плавный переход между neural и symbolic) **[[Вики/neurosymbolic integration\|Neurosymbolic integration]]** — это архитектура, где [[Вики/neural network\|нейросеть…
wikiпайплайн автоматического тестирования
# пайплайн автоматического тестирования ## Определение CI/CD-пайплайн, автоматизирующий запуск тестов (включая регрессионные) на Golden Dataset для проверки качества агента или…
answerЧто такое GIM (Grounded Integration Measure) и чем он отличается от GPQA?
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA? ## Краткий тезис **GIM (Grounded Integration Measure)** — бенчмарк 2026…
answerКак тестировать delegation paths (интеграционное тестирование multi-agent)?
…Run integration tests (delegation paths) → 6. Run fault injection suite → 7. Collect coverage → 8. Откат, если падения критичны ``` В шаге…
wikiLangChain
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA|170. Что такое GIM (Grounded Integration Measure) и…
wikiAgentic RAG
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA|170. Что такое GIM (Grounded Integration Measure) и…
wikiReAct Agent
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA|170. Что такое GIM (Grounded Integration Measure) и…
wikiGitHub Actions
# GitHub Actions ## Определение Система CI/CD от GitHub для автоматического запуска тестов, сборки и деплоя моделей и пайплайнов при пушах…
answerЧто такое «simulation testing» (тестирование в симулированной среде)?
…периодически запускать [[Вики/Integration testing\|интеграционные тесты]] против реального окружения ([[Вики/smoke tests\|smoke tests]]). - Сложность поддержки — при изменении [[Вики…
wikiLLM-as-a-judge
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA|170. Что такое GIM (Grounded Integration Measure) и…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать cache invalidation
…вызов invalidate_caches assert redis_client.keys("doc:1:*") == [] ``` 2. **Написать [[Вики/Integration testing\|интеграционные тесты]] (реальный [[Вики/Kafka\|Redis…
answerКак вы переносите агента из прототипа в production (MLOps)?
…CI/CD пайплайн (Continuous Integration / Continuous Deployment) CI/CD гарантирует, что каждое изменение (промпта, кода, инструмента) проходит тесты и автоматически…
answerЧто такое «многошаговая когерентность» (coherence illusion) в cascading agent systems?
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA\|170]] | RAG-агенты: проектирование и отладка | | [[171. Что…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить AdmissionController для проверки прав агента перед вызовом tool
…assert controller.check("admin", "unknown_tool") == False def test_integration_via_http(): response = client.post("/check", json={"agent_role": "guest…
answerЧто такое IRT (Item Response Theory) и как она применяется к LLM эвалюации?
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA\|170]] | Что такое эвалюация LLM и какие бывают…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Написать тесты для меж-агентской коммуникации
…Тестирование | pytest 8.x, pytest-asyncio | Запуск unit- и integration-тестов | | Моки | unittest.mock / pytest-mock | Замена внешних зависимостей (брокер…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать алертинг по faithfulness
…pagerduty pagerduty_configs: - routing_key: "YOUR_PAGERDUTY_INTEGRATION_KEY" route: receiver: pagerduty ``` - **Для эмуляции (HTTP webhook)**: ```yaml receivers: - name: webhook…
answerКак вы измеряете объяснимость (explainability) агентских решений?
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA\|170]] | Как вы обеспечиваете трассировку решений агента? | | [[171…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать rollback delegation
…Тестирование | `pytest`, `pytest-asyncio` (если async) | Unit-тесты и integration-тесты | | Имитация сбоев | `unittest.mock`, ручные exception | Внезапные ошибки в…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить эскалацию человеку через Slack при низком confidence агента
…Ожидаемый результат - Файл/артефакт - `agent.py` – основной класс агента с логикой эскалации. - `slack_integration.py` – функции отправки сообщений и обработки…
answerКак тестировать инструменты агента (tool testing изолированно)?
…Основные аспекты: [[Вики/Unit testing\|unit-тесты]] валидации аргументов по [[Вики/JSON schema\|JSON Schema]], [[Вики/Integration testing\|интеграционные тесты…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Агент с внешними API (Slack, Gmail, Calendar)
…Инициализировать [[Вики/Poetry\|Poetry]]: `[[Вики/Poetry\|poetry]] new agent_integrations` или `[[Вики/Poetry\|poetry]] init`. 3. Установить зависимости: ```bash poetry…
answerЧто такое «схема» (schema) в контексте LLM и как она связана с языковым представлением?
…Давайте подумаем шаг за шагом» | Пошаговое рассуждение | | [[Вики/Tool integration\|Tool use]] | «Используй инструмент поиска, чтобы найти...» | Вызов функции (в…
answerЧто такое «chaos testing» для агента (внезапно API вернул ошибку)?
…Как тестировать агента\|795]] | Методология тестирования AI-агентов (unit, integration, e2e) | | [[797 - Что такое graceful degradation\|797]] | Стратегии понижения качества…
answerЧто такое Recurrent Depth в контексте LLM и зачем это нужно?
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA\|170]] | Что такое Self-RAG и как он…
answerКак проектировать fallback-цепи (агент А → агент Б → человек)?
…ошибки\|ошибки]] срабатывает нужный [[Вики/fallback model\|fallback]]. - [[Вики/Integration testing\|Интеграционные тесты]] имитировать реальные [[Вики/Query\|запросы]], проверять, что…
answerКакие failure modes уникальны для multi-agent систем (vs single agent)?
…Вики/Unit testing\|Unit-тесты]] для каждого агента изолированно. - Integration-тесты с mock-агентами, симулирующими failure modes. - [[Вики/fault injection…
answerЧто такое LiveIdeaBench и для чего он нужен?
…Что такое GIM (Grounded Integration Measure) и чем он отличается от GPQA\|170]] | Что такое Agentic RAG и чем отличается…
answerЧто вы сделаете в первую неделю на новой работе Senior AI Engineer?
…retrieval pipeline\|retrieval pipeline]], [[Вики/LLM\|LLM]] [[Вики/Интеграция\|integration]], [[Вики/мониторинг в production\|мониторинг]]. ### 2.1 Карта архитектуры - Нарисуйте…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать dead letter queue для сообщений
…py │ └── models.py ├── tests/ │ ├── test_retry_logic.py │ └── test_integration.py └── requirements.txt ``` Файл `dlq_manager.py` содержит класс `DLQManager…