实践任务
共 300 个任务
- 1. Развернуть NCCL бенчмарк на 2-8 GPU
- 2. Написать RDMA-читалку для KV cache
- 3. Профилировать NUMA влияние на latency
- 4. Настроить GPU Direct RDMA
- 5. Сравнить производительность NCCL ring и tree алгоритмов на разном масштабе GPU
- 6. Настроить NVLink topology для 8× GPU
- 7. Написать pinned memory аллокатор
- 8. Настроить InfiniBand partition keys
- 9. Профилировать network congestion на 64 GPU
- 10. Реализовать topology-aware scheduling для K8s device plugin с учётом NVSwitch до
- 11. Конвертировать датасет из JSONL в Parquet
- 12. Настроить mmap для embeddings
- 13. Сравнить S3 vs EBS для checkpoint'ов 70B
- 14. Реализовать WAL для векторной БД
- 15. Настроить tiered storage (hot/warm/cold)
- 16. Реализовать compaction в векторной БД
- 17. Настроить S3 consistency для RAG
- 18. Сравнить распределенные FS (Lustre, BeeGFS, JuiceFS)
- 19. Реализовать data locality scheduler
- 20. Настроить sharding для petabyte embeddings
- 21. Интегрировать OpenTelemetry в RAG
- 22. Настроить high-cardinality metrics в VictoriaMetrics
- 23. Реализовать distributed tracing для агента с пропагацией trace_id через все tool
- 24. Настроить RED metrics для LLM
- 25. Спроектировать structured logging для LLM
- 26. Реализовать SLO для faithfulness
- 27. Настройка tail latency amplification мониторинга (p99/p50)
- 28. Создать runbook для инцидентов
- 29. Реализовать автоматический postmortem
- 30. Настроить correlation между метриками (граф зависимостей retrieval latency → LLM
- 31. Реализовать семантический кэш
- 32. Настроить Redis cluster с LFU eviction
- 33. Реализовать write-through cache для RAG
- 34. Настроить Bloom filter для retrieval
- 35. Реализовать cache stampede защиту с singleflight
- 36. Настроить Redis с persistent storage (AOF + RDB)
- 37. Реализовать sharded cache на 10+ нод
- 38. Настроить TTL для semantic cache
- 39. Реализовать cache warming
- 40. Настроить hot shard detection
- 41. Реализовать BM25 с нуля
- 42. Настроить hybrid search с весами и оптимизировать w
- 43. Реализовать RRF (Reciprocal Rank Fusion)
- 44. Настроить query expansion с LLM и BM25
- 45. Реализовать learning-to-rank с LambdaMART
- 46. Настроить cross-encoder reranking
- 47. Реализовать query drift детекцию
- 48. Настроить click models для implicit feedback
- 49. Реализовать dense retrieval failure detection с fallback на BM25
- 50. Настроить contextual retrieval (Anthropic стиль)
- 51. Развернуть Mamba-2 локально и сравнить perplexity с Llama-3-8B на длинном контек
- 52. Настроить RWKV для инференса
- 53. Реализовать selective scan (Mamba)
- 54. Сравнить Hyena vs FlashAttention на 128k
- 55. Настроить Mixture of Experts (Mixtral)
- 56. Реализовать diffusion LLM (PLANNER)
- 57. Настроить recurrent memory для long context
- 58. Реализовать latent reasoning (COCONUT)
- 59. Сравнить архитектуры на reasoning задачах (Mamba vs Transformer vs RWKV vs Hyena
- 60. Настроить гибридную архитектуру Mamba + Attention для улучшения качества языково
- 61. Реализовать Tree of Thoughts
- 62. Настроить MCTS для математических задач
- 63. Реализовать verifier-guided decoding
- 64. Настроить self-consistency для CoT
- 65. Реализовать process reward model (PRM)
- 66. Настроить search-based inference (AlphaSearch)
- 67. Реализовать latent reasoning (∇-Reasoner)
- 68. Настроить inference-time scaling для модели reasoning
- 69. Реализовать deliberate decoding
- 70. Сравнить CoT vs ToT vs MCTS на своем домене
- 71. Рассчитать cost per 1M tokens для разных моделей
- 72. Настроить capacity planning для GPU кластера
- 73. Сравнить spot vs on-demand для batch inference
- 74. Настроить auto-scaling для vLLM
- 75. Рассчитать ROI для fine-tuning vs few-shot
- 76. Настроить reserved instances для постоянной нагрузки
- 77. Реализовать cost-aware routing
- 78. Рассчитать TCO для self‑hosted vs API
- 79. Настроить token economics для агентов
- 80. Реализовать cost attribution per feature
- 81. Спроектировать uncertainty UI
- 82. Реализовать human‑in‑the‑loop для критических действий
- 83. Спроектировать progressive disclosure для ответов AI-ассистента
- 84. Реализовать conversational repair (disambiguation) в ассистенте
- 85. Спроектировать escalation system (AI → Human при low confidence)
- 86. Реализовать user feedback loop (лайк/дизлайк + free text)
- 87. Спроектировать partial failure UI
- 88. Реализовать hallucination indicator (индикатор галлюцинаций)
- 89. Спроектировать onboarding для агента
- 90. Реализовать user trust метрику
- 91. Написать postmortem для retrieval degradation
- 92. Профилировать GPU utilization падение
- 93. Настроить алерты на p99 latency spike
- 94. Реализовать failure injection для MoE router
- 95. Написать runbook для synthetic data collapse
- 96. Профилировать негативные эффекты reranker
- 97. Настроить retrieval quality dashboard
- 98. Реализовать chaos testing для агента
- 99. Написать postmortem для cache stampede
- 100. Создать blameless postmortem культуру
- 101. Реализовать Agent Loop с нуля
- 102. Настроить Guardrails на NeMo
- 103. Интегрировать OpenTelemetry в агента
- 104. Реализовать Session Management с TTL
- 105. Настроить Memory (in-memory + vector)
- 106. Реализовать Tool System с JSON Schema
- 107. Настроить AdmissionController для проверки прав агента перед вызовом tool
- 108. Реализация partial harnessing для AI-агента
- 109. Настроить cost tracking для агента
- 110. Реализовать quality gates для агента
- 111. Настроить drift detection для агента
- 112. Реализовать component registry
- 113. Собрать agentic mesh из 3 агентов
- 114. Настроить playground для тестирования агента
- 115. Написать runbook для агента
- 116. Реализовать иерархическое делегирование
- 117. Настроить эскалацию человеку через Slack при низком confidence агента
- 118. Реализовать fallback-цепь (Агент А → Агент Б → человек)
- 119. Измерить cost делегирования
- 120. Реализовать delegation by exception
- 121. Настроить load balancing между агентами
- 122. Протестировать delegation paths
- 123. Реализовать rollback delegation
- 124. Настроить SLA между агентами
- 125. Реализовать market-based делегирование
- 126. Настроить человеческий фактор
- 127. Реализовать роутер запросов между Groq и GPT-4 с делегированием по сложности
- 128. Измерить KPD (коэффициент полезного делегирования)
- 129. Настроить monitoring delegation
- 130. Написать postmortem для неудачного делегирования
- 131. Рассчитать TCO RAG-системы на 1 год
- 132. Настроить cost tracking в production
- 133. Реализовать cost-aware routing на основе классификатора сложности (BERT)
- 134. Настроить token budget для агента
- 135. Рассчитать ROI от fine-tuning
- 136. Настроить auto-scaling с учётом cost
- 137. Сравнить cost efficiency провайдеров LLM (GPT-4 vs Claude vs Llama-3 self-hosted
- 138. Реализовать semantic cache для LLM
- 139. Настроить cost attribution per feature
- 140. Рассчитать break-even point продукта
- 141. Настроить budgeting для команд
- 142. Реализовать cost-aware caching для дорогих ответов GPT-4
- 143. Сравнить reserved vs spot vs on-demand для ML-инфраструктуры
- 144. Настроить anomaly detection по cost
- 145. Сделать финансовую модель LLM-продукта
- 146. Реализовать golden dataset для агента
- 147. Настроить property-based testing для LLM-агента
- 148. Реализовать simulation testing для AI-агента
- 149. Настроить regression test suite для AI-агента
- 150. Реализовать canary deployment агента с автооткатом
- 151. Настроить trajectory coverage для агентов
- 152. Реализовать test generation для агента
- 153. Настроить chaos testing для AI-агента
- 154. Протестировать multi-turn диалоги
- 155. Реализовать tool testing изолированно
- 156. Настроить prompt regression suite
- 157. Интегрировать тестирование в CI/CD
- 158. Реализовать fuzzing для агента
- 159. Настроить A/B тестирование агентов
- 160. Написать test plan для агента
- 161. Развернуть Prompt Registry
- 162. Настроить prompt as code
- 163. Реализовать A/B тестирование промптов
- 164. Настроить canary deployment промптов
- 165. Реализовать prompt linting
- 166. Настроить prompt observability
- 167. Реализовать dependency management промптов
- 168. Настроить templating (Jinja2) для переменных {context} и {question}
- 169. Реализовать автоматический rollback промпта при падении faithfulness
- 170. Настроить version tagging для промптов (latest, stable, canary)
- 171. Реализовать prompt diff
- 172. Настроить regression testing промптов
- 173. Реализовать prompt lifecycle
- 174. Настроить prompt caching
- 175. Написать документацию промпта
- 176. Развернуть message bus (NATS/Kafka)
- 177. Реализовать протокол A2A с discovery и capability negotiation
- 178. Настроить exactly-once delivery
- 179. Реализовать actor model для агентов
- 180. Настроить rate limiting на сообщения между агентами
- 181. Реализовать dead letter queue для сообщений
- 182. Настроить schema evolution для меж-агентной коммуникации
- 183. Реализовать circuit breaker на вызовы агента
- 184. Настроить distributed tracing
- 185. Реализация паттернов request-response и fire-and-forget для меж-агентской коммун
- 186. Настроить message schema registry
- 187. Реализовать handshake при соединении агентов
- 188. Настроить monitoring сообщений в системе inter-agent communication
- 189. Реализовать compression сообщений
- 190. Написать тесты для меж-агентской коммуникации
- 191. Развернуть vLLM на 8 GPU с Tensor Parallelism и замерить throughput
- 192. Настроить autoscaling для LLM сервера
- 193. Реализовать circuit breaker для LLM API
- 194. Настроить distributed tracing через OpenTelemetry
- 195. Реализовать blue-green deployment для RAG
- 196. Настроить backpressure в ingestion
- 197. Реализовать graceful degradation при отказе vector DB
- 198. Настроить multi-region active-passive для inter-agent communication
- 199. Реализовать distributed lock для обновления памяти с использованием Redis Redloc
- 200. Настроить load shedding при перегрузке в multi-tenant агентной системе
- 201. Реализовать canary analysis с авто-роллбэком для AI-сервиса
- 202. Настроить health checks для LLM
- 203. Реализовать retry storm mitigation (exponential backoff + jitter)
- 204. Настроить distributed DLQ для failed инференса
- 205. Настроить GPU scheduling для multi-tenant
- 206. Развернуть vLLM против TGI и сравнить throughput
- 207. Настроить continuous batching в vLLM и измерить прирост пропускной способности
- 208. Реализовать speculative decoding с draft моделью
- 209. Настройка AWQ квантизации для LLM
- 210. Сравнить GPTQ vs AWQ на reasoning задачах
- 211. Реализовать prefix caching для system prompt
- 212. Настроить chunked prefill для long context (32k токенов, TTFT -60%)
- 213. Настроить CUDA graphs для коротких запросов
- 214. Реализовать FP8 инференс на H100
- 215. Настроить expert parallelism для Mixtral
- 216. Профилировать memory fragmentation на GPU
- 217. Реализовать streaming с SSE в FastAPI для меж-агентной коммуникации
- 218. Настроить prompt caching (Anthropic style)
- 219. Сравнить inference schedulers (FCFS vs Priority)
- 220. Настроить wave decoding для коротких ответов
- 221. RAG на 100 PDF
- 222. Агент для email
- 223. Fine-tune LoRA для стиля
- 224. vLLM кластер на 4 GPU
- 225. Semantic cache для RAG
- 226. Multi-agent для планирования
- 227. RAG с гибридным поиском (Qdrant + BM25 + RRF)
- 228. Агент с памятью через векторную БД
- 229. Fine-tune embedding под домен
- 230. RAG с DSPy оптимизацией
- 231. Agentic RAG с саморефлексией
- 232. RAG с кэшированием ответов
- 233. Агент с human-in-the-loop — эскалация человеку при low confidence
- 234. RAG с мультимодальными документами
- 235. LoRA для function calling
- 236. RAG с оценкой faithfulness и дашбордом Grafana
- 237. Агент с cost tracking
- 238. RAG с incremental update (CDC из PostgreSQL → Kafka → Qdrant)
- 239. Multi-tenant RAG с изоляцией данных
- 240. Агент с tree search (MCTS) для математической задачи
- 241. RAG с HyDE (Hypothetical Document Embeddings)
- 242. Агент с delegated tools (Supervisor → 2 специализированных агента)
- 243. RAG с cross-encoder reranking
- 244. Fine-tune QLoRA на 1 GPU
- 245. RAG с semantic chunking (кластеризация эмбеддингов предложений)
- 246. Агент с наблюдаемостью (OpenTelemetry)
- 247. RAG с distributed tracing
- 248. Агент с A/B тестированием
- 249. RAG с cost-aware routing
- 250. Полный production агент
- 251. Настроить дашборд в Grafana для LLM
- 252. Реализовать алертинг по faithfulness
- 253. Настроить логирование в ClickHouse
- 254. Реализовать SLO для RAG
- 255. Настроить correlation метрик (граф зависимостей retrieval → generation latency)
- 256. Настроить LFU eviction в Redis
- 257. Реализовать cache invalidation
- 258. Настроить write-through cache
- 259. Реализовать Bloom filter для retrieval
- 260. Настроить TTL для semantic cache
- 261. Написать runbook для retrieval degradation
- 262. Настроить дашборд для failures
- 263. Реализовать автоматический postmortem
- 264. Настроить health checks для всех компонентов
- 265. Создать blameless postmortem template
- 266. Сгенерировать synthetic датасет для RAG
- 267. Реализовать Evol-Instruct для instruction tuning
- 268. Настроить back-translation для аугментации
- 269. Реализовать hard negative mining для retrieval
- 270. Настроить RLAIF для генерации предпочтений
- 271. Реализовать synthetic eval для агента
- 272. Настройка data augmentation для кода (переименование переменных, перестановка фу
- 273. Реализовать curriculum learning
- 274. Настроить self-training с псевдо-метками
- 275. Реализовать active learning loop
- 276. Настроить RAGAS evaluation pipeline с автоматическим запуском при каждом PR
- 277. Реализовать LLM-as-Judge с калибровкой
- 278. Создать benchmark для retrieval
- 279. Настроить adversarial evaluation для RAG
- 280. Реализовать A/B тест для RAG
- 281. Настройка мониторинга дрейфа метрик faithfulness и recall
- 282. Реализовать evaluation для long context (Needle in a Haystack на 32k, 64k, 128k)
- 283. Создать benchmark для агентов
- 284. Настроить pairwise evaluation для моделей
- 285. Реализовать synthetic benchmark генератор
- 286. РЕАЛИЗОВАТЬ HIERARCHICAL COORDINATION (SUPERVISOR → 3 WORKER)
- 287. Настроить peer-to-peer коммуникацию агентов
- 288. Реализовать consensus механизм для агентов (Weighted Voting)
- 289. Настройка negotiation между агентами на аукционе ресурсов с counter-offers
- 290. Реализовать swarm coordination (10 агентов, без центрального контроля)
- 291. Настройка orchestration с помощью Temporal для 5 агентов с компенсацией
- 292. Реализовать distributed task queue для агентов
- 293. Настроить conflict resolution между агентами
- 294. Реализовать leader election для агентов (алгоритм Bully)
- 295. Настроить coordination metrics для мультиагентной системы
- 296. RAG с векторной БД на CPU (Chroma/Qdrant)
- 297. Агент с внешними API (Slack, Gmail, Calendar)
- 298. Fine-tune embedding для юридического домена
- 299. RAG с мультиязычным поиском (русский/английский/китайский)
- 300. Полная платформа для оценки RAG