Поиск

wikiDePlot
# DePlot ## Определение Модель Google, преобразующая графики и диаграммы в табличное представление. Применяется для парсинга сложных PDF с таблицами и графиками…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить LFU eviction в Redis
…Анализ и документирование результатов (20 минут) [[Вики/Действия\|Действия]] 1. [[Вики/Постройте дополнительные графики\|Постройте дополнительные графики]]: - количество evicted_keys…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить inference schedulers (FCFS vs Priority)
…Построить графики - CDF latency для каждого scheduler (два графика: один для high, один для low). - Boxplot сравнительный (FCFS vs Priority…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить RWKV для инференса
…Ожидаемый результат этапа Графики `latency_vs_length.png`, `speedup_over_gpt2.png` и финальная таблица с выводами. ### Этап 5: Формирование…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить Hyena vs FlashAttention на 128k
…Time, [[Вики/Hyena\|Hyena]] Mem, [[Вики/Hyena\|Hyena]] Time) - Графики (вставлены как изображения) - Выводы: при L < 16k разница незначительна; при…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Профилировать негативные эффекты reranker
…numpy, scikit‑learn) | NDCG, MRR, Recall | | Визуализация | Matplotlib + Seaborn | Графики зависимости метрик от конфигураций | | Управление экспериментом | Shell‑скрипт или Python…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать data locality scheduler
…2. [[Вики/Построить графики\|Построить графики]]: - Boxplot сравнения трафика для random vs data locality. - Cumulative traffic over tasks. - Распределение загрузки…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать evaluation для long context (Needle in a Haystack на 32k, 64k, 128k)
…Постройте графики: - Recall vs position_ratio для каждой длины контекста (3 линии на одном графике). - График зависимости recall от длины…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать автоматический postmortem
…Сводка, [[Вики/timeline\|Временная шкала]], Затронутые сервисы, **Метрики (графики)**, **Ключевые [[Вики/logs\|логи]] (ERROR)**, **[[Вики/traces\|Трейсы]] (slow/error)**, **[[Вики…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить архитектуры на reasoning задачах (Mamba vs Transformer vs RWKV vs Hyena)
…Построить графики: - `[[Вики/accuracy\|accuracy]]` по датасетам (группированная столбчатая диаграмма). - [[Вики/Latency\|latency]] vs [[Вики/accuracy\|accuracy]] (scatter plot). - [[Вики…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Развернуть vLLM против TGI и сравнить throughput
…Построить графики в Jupyter Notebook: - Boxplot latency (общая) - Throughput (токенов/сек) для каждого сервера - Зависимость latency от размера батча (если…
wikipdfplumber
…скоростью и точностью при работе со сложными макетами (таблицы, графики). ## Где встречается - [[82. Как бы вы спроектировали систему для реального…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать retry storm mitigation (exponential backoff + jitter)
…Ожидаемый результат этапа Реализация [[Вики/full jitter\|full jitter]] с демонстрацией снижения пиковых нагрузок на [[Вики/logs\|логи]] и графики…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать swarm coordination (10 агентов, без центрального контроля)
…Постройте графики с помощью matplotlib: - График сходимости ресурсов (сколько процентов собрано к моменту t); - График энтропии распределения; - Гистограмму расстояний между…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить cost efficiency провайдеров LLM (GPT-4 vs Claude vs Llama-3 self-hosted)
…Построить графики - Scatter plot: качество vs стоимость, размер точки = latency - Bar chart: cost per quality unit по категориям 4. Провести…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить sharding для petabyte embeddings
…Увеличить параллелизм от 10 до 500 пользователей, снять графики p50, p95, p99. 3. **Проверить влияния количества векторов на latency:** - загрузить…
answerЧем мультимодальный RAG отличается от «OCR + текстовый RAG»? Почему второго недостаточно?
…В контексте документов это означает, что система индексирует не только текст, но и визуальные элементы ([[Вики/template circuits\|схемы]], графики…
answerКак комбинировать LLM с симуляторами физики (digital twins)?
…поля, графики, скаляры) [LLM Agent] ↓ (интерпретация, ответ на естественном языке) Пользователь ``` Ключевые компоненты - [[Вики/AI agents\|LLM Agent]] — [[Вики/LLM…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить load shedding при перегрузке в multi-tenant агентной системе
…Документация]] `README.md` с описанием и результатами тестирования. - [[Вики/Графикилоги\|Графики/логи]] (опционально) PNG с результатами k6 или PDF. Содержание…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать market-based делегирование
…Построить графики - [[Вики/task allocation\|Распределение задач]] по агентам (bar chart) - Cumulative [[Вики/cost\|cost]] по времени (line) - [[Вики/quality…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать RRF (Reciprocal Rank Fusion)
…Сохранить графики в `output/` (создать папку `output`). Формат PNG. Ожидаемый результат этапа Графики и текстовый анализ в модуле или отдельном…
answerКак вы парсите сложные PDF с таблицами и графиками (не просто текст)?
…два режима (Lattice и Stream) | Требует текстовый PDF, не обрабатывает графики | | [[Вики/Tabula\|Tabula]] | Java-утилита / Python wrapper | Хорош для…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Написать postmortem для cache stampede
…CSV) | | Базовые метрики "до" инцидента (за 2 недели) | Prometheus, графики за предшествующий период | **Если нет реального инцидента — симулируем:** 1. Разверните…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать curriculum learning
…numpy | Загрузка и предобработка датасетов, сортировка | | Визуализация | matplotlib, seaborn | Графики сходимости, loss/accuracy | | Эксперименты | Jupyter Notebook / Python script | Воспроизводимость | | Управление…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить распределенные FS (Lustre, BeeGFS, JuiceFS)
…Содержание отчёта - Введение (цель, контекст) - Методология (описание кластера, параметры бенчмарков) - Результаты (таблицы, графики) - Анализ (сравнение по критериям) - Рекомендация (выбор оптимальной…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Профилировать network congestion на 64 GPU
…Ожидаемый результат этапа - Графики: утилизация каждого порта (время vs packets/sec), heatmap по узлам. - Карта топологии с горячими точками (highlighted…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить производительность NCCL ring и tree алгоритмов на разном масштабе GPU
…Для масштабов 16, 32, 64 использовать открытые данные из бенчмарков NVIDIA (например, графики из [[Вики/NCCL\|NCCL]] user guide) или…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить reserved vs spot vs on-demand для ML-инфраструктуры
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Анализ данных | Python 3.11+, pandas, numpy | Обработка логов, статистика, симуляция | | Визуализация | matplotlib, seaborn | Графики…
answerКак вы измеряете и оптимизируете TTFT (Time To First Token) и TPOT (Time Per Output Token)?
…Построить графики зависимости TTFT и TPOT от длины промпта. 6. Сделать выводы: какая модель быстрее, какие оптимизации эффективны. Ожидаемый результат…
answerКак работает OCR для RAG? Недостатки и когда его недостаточно?
…отсутствие семантического понимания [[Вики/Tesseract OCR\|OCR]] не способен установить логические связи между текстом и окружающими элементами: - Диаграммы и графики…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить chaos testing для AI-агента
…README.md]]) со структурой: - Цель - Описание эксперимента - Результаты (таблицы, графики) - Выводы: при каких условиях [[Вики/agent\|агент]] деградирует приемлемо, а…
answerКак вы делаете load testing для LLM endpoint? Какие метрики ключевые?
…Анализ результатов - Построить графики latency vs throughput. - Найти точку насыщения (saturation point), после которой latency резко растёт. - Проверить, не превышены…
answerЧто такое loss landscape LLM и как оно влияет на обучение (sharp vs flat minima)?
…Сгенерируйте два случайных направления (нормализованных) и постройте контурные графики для обеих обученных моделей. 5. Вычислите метрику sharpness: среднее изменение loss…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить Mixture of Experts (Mixtral)
…4. **Сохранить все графики в PNG (300 dpi).** [[Вики/Ожидаемый результат этапа\|Ожидаемый результат этапа]] Две визуализации в файлах `heatmap…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить self-training с псевдо-метками
…Приложить [[Вики/Code\|код]] и графики. 3. Указать выводы и возможные улучшения (например, изменение порога по итерациям, использвание [[Вики/consistency…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать failure injection для MoE router
…Построить графики - [[Вики/degradation\|Degradation]] vs number of failed experts (можно расширить до 3,4) - Изменение энтропии маршрутизации (чем больше…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Создать benchmark для retrieval
…dvc` (опционально) | Версии данных и кода | | Визуализация | `matplotlib`, `seaborn` | Графики распределения длин запросов / документов | ## 4. Этапы выполнения ### Этап 1: Подготовка…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить continuous batching в vLLM и измерить прирост пропускной способности
…3. [[Вики/Постройте графики\|Постройте графики]] (опционально): throughput vs `max-num-batched-tokens`, latency vs throughput. 4. [[Вики/Сделайте выводы…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать diffusion LLM (PLANNER)
…Ожидаемый результат этапа Таблица ускорения, графики, сгенерированные примеры. Ускорение 2x на short ответах — подтверждено. --- ## 5. Критерии приемки (Definition of Done…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить pairwise evaluation для моделей
…Сохранить все графики в PNG, таблицы в CSV. Ожидаемый результат этапа Отчёт (Jupyter Notebook или PDF) с графиками, таблицами, выводами…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать speculative decoding с draft моделью
…голый speculative / Medusa) | Ускорение генерации | | Бенчмаркинг | `time.perf_counter`, `tqdm` | Замер времени и скорости | | Визуализация | `matplotlib`, `pandas` | Графики speedup, сравнение…
answerВ чем разница между prefill и decode stage в LLM инференсе?
…Постройте графики зависимости TTFT от длины промпта и TPOT от номера шага (или общей длины генерации). 5. Проведите эксперимент с…
answerКак дебажить memory fragmentation в LLM сервере?
…Запустите сначала с дефолтным аллокатором, запишите графики `allocated/reserved` и `time per step`. 4. Запустите повторно с `os.environ['PYTORCH…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать Bloom filter для retrieval
…memory_profiler` | Измерение времени и памяти | | Визуализация | `matplotlib` (опционально) | Графики зависимости false positive rate | | Контроль версий | Git + GitHub | Хранение кода…
answerКак вы определяете SLO и SLA для LLM сервиса?
…например, GPT-4), запись результатов в Prometheus. - Дашборды — Grafana: графики p50/p95/p99 latency, availability, faithfulness, error budget consumption. - [[Вики…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить RED metrics для LLM
…Симулировать сбой – временно ввести `time.sleep(10)` на эндпоинте, убедиться, что latency взлетает, графики показывают аномалию. 3. Проверить работу alerting…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить capacity planning для GPU кластера
…Ожидаемый результат этапа CSV-файл с историей utilization за 7 дней, графики в Jupyter Notebook, выводы о типичных пиках и…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить canary deployment промптов
…Вики/Dashboard\|дашборд]] в [[Вики/Grafana\|Grafana]] (экспортировать JSON): графики [[Вики/Latency\|latency]], [[Вики/quality score\|quality score]] по версиям…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить A/B тестирование агентов
…гипотеза, дизайн, выборка, результаты теста, графики (boxplot, trend), выводы и рекомендации. Ожидаемый результат этапа Отчёт «A/B Test Results Agent…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать latent reasoning (∇-Reasoner)
…Ожидаемый результат этапа Отчёт о найденных edge cases, графики, математическая нотация в README. --- ## 5. Критерии приемки (Definition of Done) - [ ] Реализован…