Practice tasks

300 assignments

• 1. Развернуть NCCL бенчмарк на 2-8 GPU
• 2. Написать RDMA-читалку для KV cache
• 3. Профилировать NUMA влияние на latency
• 4. Настроить GPU Direct RDMA
• 5. Сравнить производительность NCCL ring и tree алгоритмов на разном масштабе GPU
• 6. Настроить NVLink topology для 8× GPU
• 7. Написать pinned memory аллокатор
• 8. Настроить InfiniBand partition keys
• 9. Профилировать network congestion на 64 GPU
• 10. Реализовать topology-aware scheduling для K8s device plugin с учётом NVSwitch до
• 11. Конвертировать датасет из JSONL в Parquet
• 12. Настроить mmap для embeddings
• 13. Сравнить S3 vs EBS для checkpoint'ов 70B
• 14. Реализовать WAL для векторной БД
• 15. Настроить tiered storage (hot/warm/cold)
• 16. Реализовать compaction в векторной БД
• 17. Настроить S3 consistency для RAG
• 18. Сравнить распределенные FS (Lustre, BeeGFS, JuiceFS)
• 19. Реализовать data locality scheduler
• 20. Настроить sharding для petabyte embeddings
• 21. Интегрировать OpenTelemetry в RAG
• 22. Настроить high-cardinality metrics в VictoriaMetrics
• 23. Реализовать distributed tracing для агента с пропагацией trace_id через все tool
• 24. Настроить RED metrics для LLM
• 25. Спроектировать structured logging для LLM
• 26. Реализовать SLO для faithfulness
• 27. Настройка tail latency amplification мониторинга (p99/p50)
• 28. Создать runbook для инцидентов
• 29. Реализовать автоматический postmortem
• 30. Настроить correlation между метриками (граф зависимостей retrieval latency → LLM
• 31. Реализовать семантический кэш
• 32. Настроить Redis cluster с LFU eviction
• 33. Реализовать write-through cache для RAG
• 34. Настроить Bloom filter для retrieval
• 35. Реализовать cache stampede защиту с singleflight
• 36. Настроить Redis с persistent storage (AOF + RDB)
• 37. Реализовать sharded cache на 10+ нод
• 38. Настроить TTL для semantic cache
• 39. Реализовать cache warming
• 40. Настроить hot shard detection
• 41. Реализовать BM25 с нуля
• 42. Настроить hybrid search с весами и оптимизировать w
• 43. Реализовать RRF (Reciprocal Rank Fusion)
• 44. Настроить query expansion с LLM и BM25
• 45. Реализовать learning-to-rank с LambdaMART
• 46. Настроить cross-encoder reranking
• 47. Реализовать query drift детекцию
• 48. Настроить click models для implicit feedback
• 49. Реализовать dense retrieval failure detection с fallback на BM25
• 50. Настроить contextual retrieval (Anthropic стиль)
• 51. Развернуть Mamba-2 локально и сравнить perplexity с Llama-3-8B на длинном контек
• 52. Настроить RWKV для инференса
• 53. Реализовать selective scan (Mamba)
• 54. Сравнить Hyena vs FlashAttention на 128k
• 55. Настроить Mixture of Experts (Mixtral)
• 56. Реализовать diffusion LLM (PLANNER)
• 57. Настроить recurrent memory для long context
• 58. Реализовать latent reasoning (COCONUT)
• 59. Сравнить архитектуры на reasoning задачах (Mamba vs Transformer vs RWKV vs Hyena
• 60. Настроить гибридную архитектуру Mamba + Attention для улучшения качества языково
• 61. Реализовать Tree of Thoughts
• 62. Настроить MCTS для математических задач
• 63. Реализовать verifier-guided decoding
• 64. Настроить self-consistency для CoT
• 65. Реализовать process reward model (PRM)
• 66. Настроить search-based inference (AlphaSearch)
• 67. Реализовать latent reasoning (∇-Reasoner)
• 68. Настроить inference-time scaling для модели reasoning
• 69. Реализовать deliberate decoding
• 70. Сравнить CoT vs ToT vs MCTS на своем домене
• 71. Рассчитать cost per 1M tokens для разных моделей
• 72. Настроить capacity planning для GPU кластера
• 73. Сравнить spot vs on-demand для batch inference
• 74. Настроить auto-scaling для vLLM
• 75. Рассчитать ROI для fine-tuning vs few-shot
• 76. Настроить reserved instances для постоянной нагрузки
• 77. Реализовать cost-aware routing
• 78. Рассчитать TCO для self‑hosted vs API
• 79. Настроить token economics для агентов
• 80. Реализовать cost attribution per feature
• 81. Спроектировать uncertainty UI
• 82. Реализовать human‑in‑the‑loop для критических действий
• 83. Спроектировать progressive disclosure для ответов AI-ассистента
• 84. Реализовать conversational repair (disambiguation) в ассистенте
• 85. Спроектировать escalation system (AI → Human при low confidence)
• 86. Реализовать user feedback loop (лайк/дизлайк + free text)
• 87. Спроектировать partial failure UI
• 88. Реализовать hallucination indicator (индикатор галлюцинаций)
• 89. Спроектировать onboarding для агента
• 90. Реализовать user trust метрику
• 91. Написать postmortem для retrieval degradation
• 92. Профилировать GPU utilization падение
• 93. Настроить алерты на p99 latency spike
• 94. Реализовать failure injection для MoE router
• 95. Написать runbook для synthetic data collapse
• 96. Профилировать негативные эффекты reranker
• 97. Настроить retrieval quality dashboard
• 98. Реализовать chaos testing для агента
• 99. Написать postmortem для cache stampede
• 100. Создать blameless postmortem культуру
• 101. Реализовать Agent Loop с нуля
• 102. Настроить Guardrails на NeMo
• 103. Интегрировать OpenTelemetry в агента
• 104. Реализовать Session Management с TTL
• 105. Настроить Memory (in-memory + vector)
• 106. Реализовать Tool System с JSON Schema
• 107. Настроить AdmissionController для проверки прав агента перед вызовом tool
• 108. Реализация partial harnessing для AI-агента
• 109. Настроить cost tracking для агента
• 110. Реализовать quality gates для агента
• 111. Настроить drift detection для агента
• 112. Реализовать component registry
• 113. Собрать agentic mesh из 3 агентов
• 114. Настроить playground для тестирования агента
• 115. Написать runbook для агента
• 116. Реализовать иерархическое делегирование
• 117. Настроить эскалацию человеку через Slack при низком confidence агента
• 118. Реализовать fallback-цепь (Агент А → Агент Б → человек)
• 119. Измерить cost делегирования
• 120. Реализовать delegation by exception
• 121. Настроить load balancing между агентами
• 122. Протестировать delegation paths
• 123. Реализовать rollback delegation
• 124. Настроить SLA между агентами
• 125. Реализовать market-based делегирование
• 126. Настроить человеческий фактор
• 127. Реализовать роутер запросов между Groq и GPT-4 с делегированием по сложности
• 128. Измерить KPD (коэффициент полезного делегирования)
• 129. Настроить monitoring delegation
• 130. Написать postmortem для неудачного делегирования
• 131. Рассчитать TCO RAG-системы на 1 год
• 132. Настроить cost tracking в production
• 133. Реализовать cost-aware routing на основе классификатора сложности (BERT)
• 134. Настроить token budget для агента
• 135. Рассчитать ROI от fine-tuning
• 136. Настроить auto-scaling с учётом cost
• 137. Сравнить cost efficiency провайдеров LLM (GPT-4 vs Claude vs Llama-3 self-hosted
• 138. Реализовать semantic cache для LLM
• 139. Настроить cost attribution per feature
• 140. Рассчитать break-even point продукта
• 141. Настроить budgeting для команд
• 142. Реализовать cost-aware caching для дорогих ответов GPT-4
• 143. Сравнить reserved vs spot vs on-demand для ML-инфраструктуры
• 144. Настроить anomaly detection по cost
• 145. Сделать финансовую модель LLM-продукта
• 146. Реализовать golden dataset для агента
• 147. Настроить property-based testing для LLM-агента
• 148. Реализовать simulation testing для AI-агента
• 149. Настроить regression test suite для AI-агента
• 150. Реализовать canary deployment агента с автооткатом
• 151. Настроить trajectory coverage для агентов
• 152. Реализовать test generation для агента
• 153. Настроить chaos testing для AI-агента
• 154. Протестировать multi-turn диалоги
• 155. Реализовать tool testing изолированно
• 156. Настроить prompt regression suite
• 157. Интегрировать тестирование в CI/CD
• 158. Реализовать fuzzing для агента
• 159. Настроить A/B тестирование агентов
• 160. Написать test plan для агента
• 161. Развернуть Prompt Registry
• 162. Настроить prompt as code
• 163. Реализовать A/B тестирование промптов
• 164. Настроить canary deployment промптов
• 165. Реализовать prompt linting
• 166. Настроить prompt observability
• 167. Реализовать dependency management промптов
• 168. Настроить templating (Jinja2) для переменных {context} и {question}
• 169. Реализовать автоматический rollback промпта при падении faithfulness
• 170. Настроить version tagging для промптов (latest, stable, canary)
• 171. Реализовать prompt diff
• 172. Настроить regression testing промптов
• 173. Реализовать prompt lifecycle
• 174. Настроить prompt caching
• 175. Написать документацию промпта
• 176. Развернуть message bus (NATS/Kafka)
• 177. Реализовать протокол A2A с discovery и capability negotiation
• 178. Настроить exactly-once delivery
• 179. Реализовать actor model для агентов
• 180. Настроить rate limiting на сообщения между агентами
• 181. Реализовать dead letter queue для сообщений
• 182. Настроить schema evolution для меж-агентной коммуникации
• 183. Реализовать circuit breaker на вызовы агента
• 184. Настроить distributed tracing
• 185. Реализация паттернов request-response и fire-and-forget для меж-агентской коммун
• 186. Настроить message schema registry
• 187. Реализовать handshake при соединении агентов
• 188. Настроить monitoring сообщений в системе inter-agent communication
• 189. Реализовать compression сообщений
• 190. Написать тесты для меж-агентской коммуникации
• 191. Развернуть vLLM на 8 GPU с Tensor Parallelism и замерить throughput
• 192. Настроить autoscaling для LLM сервера
• 193. Реализовать circuit breaker для LLM API
• 194. Настроить distributed tracing через OpenTelemetry
• 195. Реализовать blue-green deployment для RAG
• 196. Настроить backpressure в ingestion
• 197. Реализовать graceful degradation при отказе vector DB
• 198. Настроить multi-region active-passive для inter-agent communication
• 199. Реализовать distributed lock для обновления памяти с использованием Redis Redloc
• 200. Настроить load shedding при перегрузке в multi-tenant агентной системе
• 201. Реализовать canary analysis с авто-роллбэком для AI-сервиса
• 202. Настроить health checks для LLM
• 203. Реализовать retry storm mitigation (exponential backoff + jitter)
• 204. Настроить distributed DLQ для failed инференса
• 205. Настроить GPU scheduling для multi-tenant
• 206. Развернуть vLLM против TGI и сравнить throughput
• 207. Настроить continuous batching в vLLM и измерить прирост пропускной способности
• 208. Реализовать speculative decoding с draft моделью
• 209. Настройка AWQ квантизации для LLM
• 210. Сравнить GPTQ vs AWQ на reasoning задачах
• 211. Реализовать prefix caching для system prompt
• 212. Настроить chunked prefill для long context (32k токенов, TTFT -60%)
• 213. Настроить CUDA graphs для коротких запросов
• 214. Реализовать FP8 инференс на H100
• 215. Настроить expert parallelism для Mixtral
• 216. Профилировать memory fragmentation на GPU
• 217. Реализовать streaming с SSE в FastAPI для меж-агентной коммуникации
• 218. Настроить prompt caching (Anthropic style)
• 219. Сравнить inference schedulers (FCFS vs Priority)
• 220. Настроить wave decoding для коротких ответов
• 221. RAG на 100 PDF
• 222. Агент для email
• 223. Fine-tune LoRA для стиля
• 224. vLLM кластер на 4 GPU
• 225. Semantic cache для RAG
• 226. Multi-agent для планирования
• 227. RAG с гибридным поиском (Qdrant + BM25 + RRF)
• 228. Агент с памятью через векторную БД
• 229. Fine-tune embedding под домен
• 230. RAG с DSPy оптимизацией
• 231. Agentic RAG с саморефлексией
• 232. RAG с кэшированием ответов
• 233. Агент с human-in-the-loop — эскалация человеку при low confidence
• 234. RAG с мультимодальными документами
• 235. LoRA для function calling
• 236. RAG с оценкой faithfulness и дашбордом Grafana
• 237. Агент с cost tracking
• 238. RAG с incremental update (CDC из PostgreSQL → Kafka → Qdrant)
• 239. Multi-tenant RAG с изоляцией данных
• 240. Агент с tree search (MCTS) для математической задачи
• 241. RAG с HyDE (Hypothetical Document Embeddings)
• 242. Агент с delegated tools (Supervisor → 2 специализированных агента)
• 243. RAG с cross-encoder reranking
• 244. Fine-tune QLoRA на 1 GPU
• 245. RAG с semantic chunking (кластеризация эмбеддингов предложений)
• 246. Агент с наблюдаемостью (OpenTelemetry)
• 247. RAG с distributed tracing
• 248. Агент с A/B тестированием
• 249. RAG с cost-aware routing
• 250. Полный production агент
• 251. Настроить дашборд в Grafana для LLM
• 252. Реализовать алертинг по faithfulness
• 253. Настроить логирование в ClickHouse
• 254. Реализовать SLO для RAG
• 255. Настроить correlation метрик (граф зависимостей retrieval → generation latency)
• 256. Настроить LFU eviction в Redis
• 257. Реализовать cache invalidation
• 258. Настроить write-through cache
• 259. Реализовать Bloom filter для retrieval
• 260. Настроить TTL для semantic cache
• 261. Написать runbook для retrieval degradation
• 262. Настроить дашборд для failures
• 263. Реализовать автоматический postmortem
• 264. Настроить health checks для всех компонентов
• 265. Создать blameless postmortem template
• 266. Сгенерировать synthetic датасет для RAG
• 267. Реализовать Evol-Instruct для instruction tuning
• 268. Настроить back-translation для аугментации
• 269. Реализовать hard negative mining для retrieval
• 270. Настроить RLAIF для генерации предпочтений
• 271. Реализовать synthetic eval для агента
• 272. Настройка data augmentation для кода (переименование переменных, перестановка фу
• 273. Реализовать curriculum learning
• 274. Настроить self-training с псевдо-метками
• 275. Реализовать active learning loop
• 276. Настроить RAGAS evaluation pipeline с автоматическим запуском при каждом PR
• 277. Реализовать LLM-as-Judge с калибровкой
• 278. Создать benchmark для retrieval
• 279. Настроить adversarial evaluation для RAG
• 280. Реализовать A/B тест для RAG
• 281. Настройка мониторинга дрейфа метрик faithfulness и recall
• 282. Реализовать evaluation для long context (Needle in a Haystack на 32k, 64k, 128k)
• 283. Создать benchmark для агентов
• 284. Настроить pairwise evaluation для моделей
• 285. Реализовать synthetic benchmark генератор
• 286. РЕАЛИЗОВАТЬ HIERARCHICAL COORDINATION (SUPERVISOR → 3 WORKER)
• 287. Настроить peer-to-peer коммуникацию агентов
• 288. Реализовать consensus механизм для агентов (Weighted Voting)
• 289. Настройка negotiation между агентами на аукционе ресурсов с counter-offers
• 290. Реализовать swarm coordination (10 агентов, без центрального контроля)
• 291. Настройка orchestration с помощью Temporal для 5 агентов с компенсацией
• 292. Реализовать distributed task queue для агентов
• 293. Настроить conflict resolution между агентами
• 294. Реализовать leader election для агентов (алгоритм Bully)
• 295. Настроить coordination metrics для мультиагентной системы
• 296. RAG с векторной БД на CPU (Chroma/Qdrant)
• 297. Агент с внешними API (Slack, Gmail, Calendar)
• 298. Fine-tune embedding для юридического домена
• 299. RAG с мультиязычным поиском (русский/английский/китайский)
• 300. Полная платформа для оценки RAG