Поиск

• wikiEvolutionary algorithms

  # Evolutionary algorithms ## Определение Метод черного ящика для генерации adversarial example: поиск шума эволюционным путём. ## Где встречается - [[324. Что такое TVM…

• wikiPC algorithm

  # PC algorithm ## Определение Алгоритм обучения направленного ациклического графа (DAG) из наблюдательных данных, основанный на проверках условной независимости. Используется для выявления…

• wikiGES algorithm

  # GES algorithm ## Определение Алгоритм обучения направленных ациклических графов (DAG) на основе жадного поиска эквивалентности. Используется для выявления причинно-следственных связей…

• wikiBully algorithm

  # Bully algorithm ## Определение Алгоритм выбора лидера в распределённых системах, где агент с наибольшим идентификатором становится лидером после отправки сообщений ELECTION…

• wikiRing

  # Ring ## Определение Алгоритм кольцевой редукции (Ring AllReduce), используемый в NCCL для эффективной коммуникации между GPU, особенно для больших сообщений. ## Где…

• wikiTree

  # Tree ## Определение Древовидный алгоритм редукции (AllReduce) в NCCL, эффективный для малых сообщений. ## Где встречается - [[800+ вопросов|800+ вопросов]] - [[1. Развернуть…

• wikiадаптивные алгоритмы

  # адаптивные алгоритмы ## Определение Алгоритмы, динамически подстраивающие параметры compaction под текущую нагрузку для оптимизации производительности хранилища. ## Где встречается - [[16. Реализовать compaction…

• wikialgbw

  # algbw ## Определение Алгоритмическая пропускная способность, измеряемая в бенчмарках (например, all_reduce_perf), включающая накладные расходы коммуникации. ## Где встречается - [[1. Развернуть…

• wikiA2C

  # A2C ## Определение Actor-Critic метод обучения с подкреплением, использующий параллельный сбор данных для стабилизации градиентов. ## Где встречается - [[334. Как вы…

• wikiA3C

  # A3C ## Определение Асинхронная версия A2C, где несколько агентов независимо взаимодействуют со средой и обновляют общую модель. ## Где встречается - [[334. Как…

• wikiMirostat

  # Mirostat ## Определение Метод динамического регулирования параметров top-p или top-k для контроля перплексии при генерации текста. ## Где встречается - [[293…

• wikiDQN

  # DQN ## Определение Value-based алгоритм обучения с подкреплением для дискретных действий, использующий глубокую нейронную сеть для аппроксимации Q-функции. ## Где…

• wikiRaft

  # Raft ## Определение Протокол консенсуса для распределённых систем с явными выборами лидера. Используется в etcd для обеспечения строгой консистентности. Применяется для…

• wikiIO-aware

  # IO-aware ## Определение Принцип оптимизации алгоритма, учитывающий количество обращений к памяти (HBM) и обмен данными между SRAM и HBM, а…

• wikiREINFORCE

  # REINFORCE ## Определение Базовый алгоритм градиента политики для обучения с подкреплением, используемый для дискретных токенов, например в VSD для обновления draft…

• wikiSelective scan

  # Selective scan ## Определение Ключевая операция в State Space Models (Mamba), делающая параметры A, B, C зависимыми от входных данных, что…

• wikiMonte Carlo Tree Search

  # Monte Carlo Tree Search ## Определение Monte Carlo Tree Search (MCTS) — алгоритм поиска по дереву, состоящий из четырёх шагов: Selection, Expansion…

• wikiDiskANN

  # DiskANN ## Определение Алгоритм приближённого поиска ближайших соседей (ANN), хранящий векторы на диске (NVMe) и индексы в памяти, позволяющий работать с…

• wikiLambdaMART

  # LambdaMART ## Определение LambdaMART — алгоритм обучения ранжированию, комбинирующий LambdaRank и градиентный бустинг (MART), оптимизирующий NDCG; широко применяется для reranking в RAG…

• wikileaky bucket

  # leaky bucket ## Определение Алгоритм rate limiting, в котором запросы помещаются в очередь фиксированной ёмкости и обрабатываются с постоянной скоростью, сглаживая…

• wikianswer_exact_match

  # answer_exact_match ## Определение Метрика, измеряющая долю случаев, когда сгенерированный ответ полностью совпадает с эталонным. ## Где встречается - [[25. Как вы…

• wikiOnline softmax

  # Online softmax ## Определение Алгоритм вычисления softmax по блокам без хранения всей матрицы S, использует running max и сумму экспонент для…

• wikiNCCL

  # NCCL ## Определение Библиотека NVIDIA для коллективных коммуникаций между GPU, критичная для multi-GPU инференса и обучения. ## Где встречается - [[307. Как…

• wikiBM25

  # BM25 ## Определение Классический алгоритм ранжирования по ключевым словам, использующий вероятностную модель для оценки релевантности. Часто применяется в гибридном поиске (векторный…

• wikitokenizer

  # tokenizer ## Определение Компонент, преобразующий текст в последовательность токенов (субсловных единиц) для обработки LLM. Влияет на количество токенов, FLOPs и стоимость…

• wikiexponential backoff

  # exponential backoff ## Определение Стратегия повторных попыток с увеличивающейся задержкой (например, начальная задержка 1с, множитель 2, максимальная 16с), используемая для обработки…

• wikiSliding window chunking

  # Sliding window chunking ## Определение Техника разбиения текста на перекрывающиеся фрагменты для сохранения контекста на границах. Используется в RAG для улучшения…

• answerКак работает adversarial example для embedding моделей (атака на retrieval)?

  …Используются [[Вики/Evolutionary algorithms\|эволюционные алгоритмы]] или замены на основе языковых моделей. ### 4.1. Эволюционные алгоритмы - Genetic algorithm: популяция вариантов…

• wikitoken bucket

  # token bucket ## Определение Алгоритм ограничения скорости запросов (rate limiting), позволяющий кратковременные всплески трафика за счёт накопления токенов в «ведре»; часто…

• wikiPlanner

  # Planner ## Определение Компонент, который генерирует план действий (например, в архитектуре агента) или управляет очередью запросов (например, scheduler в vLLM). ## Где…

• wikiProximal Policy Optimization

  # Proximal Policy Optimization ## Определение Алгоритм обучения с подкреплением с клиппингом, используемый в RLHF для стабильного обучения. ## Где встречается - [[36. Что…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать leader election для агентов (алгоритм Bully)

  …Критерии приемки (Definition of Done) - [ ] [[Вики/Code\|Код]] агента реализует [[Вики/Bully algorithm\|алгоритм Bully]] с сообщениями ELECTION, OK, [[Вики…

• wikibias

  # bias ## Определение Систематическое отклонение в оценках или предсказаниях модели, которое может усиливаться при обучении на синтетических данных или через RLHF…

• answerКак вы защищаете multi-agent систему от вредоносного агента?

  …datetime.datetime.utcnow() + datetime.timedelta(hours=1) } return jwt.encode(payload, secret, algorithm="HS256") def verify_token(token, secret): try…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить производительность NCCL ring и tree алгоритмов на разном масштабе GPU

  …Сохранить финальную таблицу результатов в CSV: `ncc_algorithm_crossover.csv`. 3. Написать краткое заключение (1–2 абзаца): при каком масштабе…

• wikiFlashAttention

  # FlashAttention ## Определение Memory-efficient механизм внимания с IO-aware дизайном, использующий tiling, recomputation и kernel fusion для снижения сложности по…

• answerКакие книги или ресурсы вы рекомендуете по Harness Engineering?

  …Рекомендация прочитать первую главу (Background), [[Вики/Partition\|раздел]] 4 ([[Вики/Partial Harnessing\|Partial Harness]] Algorithm) и Appendix B (Experimental Setup…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать data locality scheduler

  …201 | Network topologies and latency models | | 315 | Task scheduling algorithms (FIFO, fairness, capacity) | | 409 | Locality‑aware scheduling in MapReduce | | 522…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить hot shard detection

  …Cluster slot migration commands | | 745 | Designing a custom rebalancing algorithm | | 819 | Grafana dashboards for cache metrics | | 891 | Capacity planning for…

• answerЧто такое TVM (Apache TVM) и зачем он нужен для AI инференса?

  …используется [[Вики/XGBoost\|XGBoost]] или [[Вики/Evolutionary algorithms\|эволюционные алгоритмы]] для предсказания лучших конфигураций. [[Вики/AutoScheduler\|AutoScheduler]] ([[Вики/AutoScheduler\|Ansor…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать selective scan (Mamba)

  …stability of exp() in long sequences | | 734 | Parallel scan algorithms (prefix sum) | | 845 | Gradient computation for linear recurrence | --- ## 10. Чек…

• answerКак вы защищаете RAG-систему от утечки данных между клиентами (multi-tenant isolation)?

  …payload = jwt.decode(token, SECRET_KEY, algorithms=["HS256"]) return payload["tenant_id"] # Проверка при сохранении документа @app.post("/documents") def…

• answerЧто такое EAGLE-3 и чем он отличается от стандартного speculative decoding?

  …3 — это третий этап эволюции семейства методов EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency), которые относятся к feature-aware…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить correlation между метриками (граф зависимостей retrieval latency → LLM latency)

  …Использовать библиотеку `[[Вики/causalnex\|causalnex]]` для автоматического обучения [[Вики/DAG orchestration\|DAG]] из данных ([[Вики/PC algorithm\|алгоритм PC]] или…

• answerЧто такое Tool System в Harness (defineTool, registry, JSON schema validation, rate limiting)?

  …Как реализовано в [[Вики/Harness Engineering\|Harness]] Чаще всего используется токен-ба́кет ([[Вики/token bucket\|token bucket algorithm]]): - Каждому инструменту…

• wikiИндекс терминов

  …insert|bulk insert]] - [[Вики/bulkhead|bulkhead]] - [[Вики/Bully algorithm|Bully algorithm]] - [[Вики/Bulyan|Bulyan]] - [[Вики/bunched kernel launches|bunched kernel…

• indexПРАКТИЧЕСКИЙ ЧЕКЛИСТ: СТАFF+ AI SYSTEMS ENGINEERING

  …conditions| |294|Реализовать leader election для агентов|Raft/Bully algorithm|При падении лидера — перевыбор| |295|Настроить coordination metrics|Количество коллабораций…