Поиск
- wikiLLM pipeline
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] - [[800+ вопросов|800+ вопросов]] - [[248…
- wikiпайплайн
…Как вы обрабатываете corrupted или empty документы в ingestion пайплайне]] - [[305. Как вы профилируете GPU utilization для LLM serving (nsys…
- wikiStorage costs
# Storage costs ## Определение Расходы, связанные с хранением данных (векторных индексов, кэша, логов), которые влияют на общую стоимость эксплуатации LLM-пайплайна…
- wikiper-feature cost breakdown
# per-feature cost breakdown ## Определение Разбивка затрат на выполнение каждого компонента LLM-пайплайна, например, retrieval, генерация, постобработка, для оценки cost…
- wikiVector indexes
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] ## Навигация - [[00. Индекс терминов|Индекс…
- wikiClaude 3 Haiku
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] ## Навигация - [[00. Индекс терминов|Индекс…
- wikigRPC RESOURCE_EXHAUSTED
…Что такое end-to-end backpressure в LLM пайплайне и как его реализовать|429. Что такое end-to-end backpressure…
- wikiCost per good answer
# Cost per good answer ## Определение Метрика cost-effectiveness LLM-пайплайна: отношение общих затрат на LLM к количеству ответов с faithfulness…
- wikiSLO
…Как вы оцениваете cost-effectiveness LLM-пайплайна|504. Как вы оцениваете cost-effectiveness LLM-пайплайна]] - [[532. Что такое data contract…
- wikiGreat Expectations
…Как реализовать onlineoffline feature consistency для LLM]] - [[861. Как проектировать data contracts для RAG пайплайна|861. Как проектировать data contracts…
- wikiPrompt compression
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] - [[219. Что такое prompt caching…
- wikiAPI costs
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] ## Навигация - [[00. Индекс терминов|Индекс…
- wikiLatency costs
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] ## Навигация - [[00. Индекс терминов|Индекс…
- wikiexact match caching
…Как вы оцениваете cost-effectiveness LLM-пайплайна|504. Как вы оцениваете cost-effectiveness LLM-пайплайна]] ## Навигация - [[00. Индекс терминов|Индекс…
- wikiLatency p50/p95
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] ## Навигация - [[00. Индекс терминов|Индекс…
- wikiData pipeline
# Data pipeline ## Определение Пайплайн обработки данных для RAG, включающий этапы сбора, очистки, обновления и подачи в базу знаний. ## Где встречается…
- wikiHuman evaluation costs
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] ## Навигация - [[00. Индекс терминов|Индекс…
- wikidynamic context
…Как вы оцениваете cost-effectiveness LLM-пайплайна|504. Как вы оцениваете cost-effectiveness LLM-пайплайна]] ## Навигация - [[00. Индекс терминов|Индекс…
- wikiPagerDuty
…queue для failed LLM инференс запросов]] - [[273. Как вы обрабатываете corrupted или empty документы в ingestion пайплайне|273. Как вы…
- wikiCompute costs
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] ## Навигация - [[00. Индекс терминов|Индекс…
- wikiSelective Context
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] - [[800+ вопросов|800+ вопросов]] ## Навигация…
- wikiBoundedSemaphore
…Что такое end-to-end backpressure в LLM пайплайне и как его реализовать|429. Что такое end-to-end backpressure…
- wikiSelf-hosted models
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] - [[800+ вопросов|800+ вопросов]] ## Навигация…
- wikiDead Letter Queue
…Как вы делаете асинхронную обработку long-running (30s) LLM задач]] - [[256. Как вы проектируете ETL пайплайн для 1M документовдень в…
- wikiQoS
…Что такое end-to-end backpressure в LLM пайплайне и как его реализовать|429. Что такое end-to-end backpressure…
- wikiLLMLingua
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] - [[219. Что такое prompt caching…
- answerКак вы оцениваете cost-effectiveness LLM-пайплайна?
…Как вы оцениваете cost-effectiveness LLM-пайплайна? ## Краткий тезис [[Вики/Efficiency\|Cost-effectiveness]] LLM-пайплайна — это отношение полученного качества ([[Вики…
- wikiNLI model
…Как вы организуете CICD для RAG-пайплайна|69. Как вы организуете CICD для RAG-пайплайна]] - [[133. Альтернативы LLM-as-Judge…
- wikiconfluent_kafka
…Как вы обрабатываете corrupted или empty документы в ingestion пайплайне]] - [[407. Как вы проектируете dead letter queue для failed LLM…
- wikiKafka
…Как вы делаете асинхронную обработку long-running (30s) LLM задач]] - [[256. Как вы проектируете ETL пайплайн для 1M документовдень в…
- wikiProtobuf
…Что такое data contract между сервисами в RAG пайплайне|532. Что такое data contract между сервисами в RAG пайплайне]] - [[816…
- wikiHTTP 429
…Как вы проектируете backpressure в LLM serving системе]] - [[429. Что такое end-to-end backpressure в LLM пайплайне и как…
- answerКак вы проверяете, что новая версия модели не сломала старые кейсы?
…Как вы оцениваете cost-effectiveness LLM-пайплайна\|139]] | Как вы оцениваете качество ответов LLM? | | [[141. В чем разница между Naive…
- wikiEfficiency
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] - [[165. Как тест-тайм компьютинг…
- wikiAWS SQS
…Как вы деплоите LLM на spot instances в облаке]] - [[528. Как вы обрабатываете corrupted или empty документы в ingestion пайплайне…
- wikiServer-Sent Events
…Что такое end-to-end backpressure в LLM пайплайне и как его реализовать|429. Что такое end-to-end backpressure…
- wikiOpenAI Embeddings
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] - [[738. Назовите 12+ слоёв эталонной…
- wikibounded queue
…Как вы проектируете backpressure в LLM serving системе]] - [[429. Что такое end-to-end backpressure в LLM пайплайне и как…
- wikiMinIO
…Как вы обрабатываете corrupted или empty документы в ingestion пайплайне]] - [[418. Как вы деплоите LLM на spot instances в облаке…
- wikitrade-off
…Как вы оцениваете cost-effectiveness LLM-пайплайна|504. Как вы оцениваете cost-effectiveness LLM-пайплайна]] - [[800+ вопросов|800+ вопросов]] - [[13…
- wikiAgentic chunking
…LLM-агент принимает решение о границах разделения для повышения качества последующего поиска. ## Где встречается - [[256. Как вы проектируете ETL пайплайн…
- wikiGrafana
…Как вы оцениваете cost-effectiveness LLM-пайплайна|139. Как вы оцениваете cost-effectiveness LLM-пайплайна]] - [[205. Как вы деплоите LLM…
- wikiAirflow
…ETL пайплайн для 1M документовдень в RAG систему]] - [[262. Как вы проектируете feature store для ML фичей, используемых LLM|262…
- wikiGPT-3.5
…Как вы оцениваете cost-effectiveness LLM-пайплайна|504. Как вы оцениваете cost-effectiveness LLM-пайплайна]] - [[697. Как вы масштабируете синтетическую…
- answerКак вы интегрируете DSPy с RAG-пайплайном? Приведите пример сигнатуры.
…Мульти-шаговый RAG Можно построить [[Вики/пайплайн\|пайплайн]], где [[Вики/GPT-4o\|LLM]] сама решает, какие [[Вики/Query\|запросы]] делать…
- wikiavailability
…Как вы определяете SLO и SLA для LLM сервиса]] - [[532. Что такое data contract между сервисами в RAG пайплайне|532…
- wikiWeaviate
…Как вы оцениваете cost-effectiveness LLM-пайплайна|504. Как вы оцениваете cost-effectiveness LLM-пайплайна]] - [[521. Как вы делаете incremental…
- wikidspy.ProgramOfThought
…Как вы интегрируете DSPy с RAG-пайплайном Приведите пример сигнатуры.|104. Как вы интегрируете DSPy с RAG-пайплайном Приведите пример…
- wikiOllama
# Ollama ## Определение Инструмент для запуска локальных LLM, упрощающий развертывание и интеграцию моделей в пет-проектах. ## Где встречается - [[11. Что такое…
- wikiSlack
…Как вы обрабатываете corrupted или empty документы в ingestion пайплайне]] - [[846. Как дебажить memory fragmentation в LLM сервере|846. Как…