ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Написать runbook для synthetic data collapse

1. Цель задачи

Научиться системно обнаруживать и устранять явление «коллапса синтетических данных» (synthetic data collapse) — деградации модели, вызванной переобучением на однотипных или зашумлённых синтетических данных. В результате выполнения задачи будет создан runbook (регламент действий), позволяющий дежурному инженеру выявить инцидент, провести диагностику и применить фикс менее чем за 1 час.

Ключевой результат Документ runbook, который позволяет команде вернуть качество модели к baseline за ≤60 минут после подтверждения инцидента.

2. Исходные данные

Перед началом необходимо иметь:

Если нет реального инструмента — симулируем:

1. Возьмите небольшую предобученную модель (например, DistilBERT) и датасет для классификации (IMDb, AG News).
2. Обучите модель на настоящих данных → зафиксируйте baseline метрики (accuracy, F1, entropy предсказаний).
3. Сгенерируйте синтетические данные через LLM (например, gpt-3.5-turbo): 5-10 тыс. примеров, повторяя одни и те же шаблоны ответов.
4. Донаучите модель на смеси real + synthetic (80% synthetic) → начнётся коллапс: точность на валидации упадёт на ≥10%, диверсификация предсказаний (количество уникальных классов/токенов) снизится.
5. Зафиксируйте момент коллапса и логи обучения.

3. Технологический стек

4. Этапы выполнения

Этап 1: Настройка бейзлайна и мониторинга (1 час)

Действия

1. Подготовьте датасет и модель-классификатор (или другую задачу). Обучите baseline только на реальных данных. Зафиксируйте метрики:

   • accuracy, F1-score, precision, recall;
   • средняя энтропия предсказаний (np.mean(softmax(logits) * log(softmax(logits))));
   • количество уникальных предсказанных классов (для многоклассовой задачи).

2. Настройте логирование в MLflow: каждые 10 шагов сохраняйте loss и вышеуказанные метрики.

3. Реализуйте простой скрипт мониторинга, который каждые 5 минут проверяет текущие метрики модели на фиксированном валидационном наборе и сравнивает с baseline.

   # Пример проверки коллапса
   def check_collapse(current_metrics, baseline_metrics, thresholds):
       alerts = []
       for metric, thresh in thresholds.items():
           diff = (baseline_metrics[metric] - current_metrics[metric]) / baseline_metrics[metric]
           if diff > thresh:
               alerts.append(f"{metric}: deviation {diff:.2%}")
       return alerts
   

4. Зафиксируйте baseline в файле baseline_metrics.json.

Ожидаемый результат этапа Работающий пайплайн логирования, baseline метрики, скрипт оповещения о коллапсе.

Этап 2: Симуляция коллапса синтетических данных (30–60 минут)

Действия

1. Запустите генерацию синтетических данных с низким разнообразием:
   • использовать один и тот же prompt с небольшими вариациями;
   • ограничить число уникальных шаблонов до 5–10.
2. Обучите модель на смеси: 20% real + 80% synthetic (2–3 эпохи).
3. Наблюдайте падение метрик на валидации (accuracy может упасть на 10–20%). Зафиксируйте момент, когда скрипт из этапа 1 сработал.
4. Сохраните логи обучения и итоговую модель.

Ожидаемый результат этапа Подтверждённый инцидент коллапса с зафиксированными метриками и логами.

Этап 3: Диагностика коллапса (1 час)

Действия

1. Анализ распределения предсказаний

   • Сравните гистограммы предсказанных классов до и после коллапса.
   • Вычислите self-BLEU (средний BLEU между парами сгенерированных ответов) — если он > 0.9, это признак коллапса.

2. Анализ эмбеддингов

   • Возьмите скрытые представления (например, из последнего слоя до softmax) для валидационного набора.
   • Используйте PCA/t-SNE для визуализации; коллапс проявляется как кластеризация в одну точку.

3. Проверка потери (loss):

   • Убедитесь, что loss на синтетических данных стал значительно ниже, чем на реальных (модель «заучивает» шум).

4. Сравнение с предыдущими циклами

   • Используйте MLflow API, чтобы вытащить метрики из предыдущих запусков.

   import mlflow
   client = mlflow.tracking.MlflowClient()
   runs = client.search_runs(experiment_ids=["1"], order_by=["start_time DESC"])
   

5. Формулировка root cause «Низкое разнообразие синтетических данных → переобучение на несколько шаблонов → потеря обобщающей способности».

Ожидаемый результат этапа Чётко задокументированная причина коллапса с графиками и числовыми доказательствами.

Этап 4: Разработка и применение фикса (45–60 минут)

Действия

1. Выберите метод исправления

   • A) Откат к последней стабильной версии модели (если есть чекпоинт до коллапса) — самый быстрый (5 мин).
   • B) Повторное обучение с регуляризацией:
     • Увеличить коэффициент ℓ2-регуляризации (weight decay) в 2–3 раза.
     • Добавить Early Stopping на основе метрик на реальной валидации.
   • C) Коррекция данных:
     • Удалить синтетические примеры с низким разнообразием (self-BLEU > 0.9).
     • Добавить больше реальных данных или синтетики с высокой вариативностью (temperature > 1.0).

2. Примените фикс на staging

   • Запустите обучение с новыми параметрами.
   • Убедитесь, что метрики вернулись к baseline (±5%).

3. Примените фикс на production (если модель уже задеплоена):

   • Откатите модель до чекпоинта до коллапса (если возможно).
   • Или используйте A/B тестирование: 10% трафика на исправленную модель, 90% на старую.

4. Зафиксируйте время восстановления и итоговые метрики.

Ожидаемый результат этапа Модель работает с качеством, близким к baseline, инцидент устранён менее чем за 1 час от момента обнаружения.

Этап 5: Написание runbook (1–1,5 часа)

Действия

1. Создайте файл runbook_synthetic_data_collapse.md с обязательными разделами:

   # Runbook: Synthetic Data Collapse
   
   ## 1. Признаки инцидента
   - Accuracy/F1 упали более чем на X% за последние N часов.
   - Self-BLEU > 0.9 на валидации.
   - Количество уникальных предсказанных классов снизилось в 2+ раза.
   
   ## 2. Первичные действия (< 10 минут)
   - Проверить дашборд: метрики vs baseline.
   - Проверить, не было ли выкатки нового пайплайна генерации синтетики.
   - ...
   
   ## 3. Диагностика (10–30 минут)
   - Сравнить распределения (скрипт `diagnose_collapse.py`).
   - Проверить self-BLEU: `python compute_self_bleu.py --data synthetic_batch.jsonl`.
   - ...
   
   ## 4. Фикс (15–30 минут)
   - Вариант A: откат модели (rollback).
   - Вариант B: переобучение с регуляризацией (команды в Makefile).
   - ...
   
   ## 5. Верификация (5–10 минут)
   - Запустить валидационный тест.
   - Сравнить с baseline.
   
   ## 6. Пост-инцидент
   - Записать postmortem.
   - Обновить пороги мониторинга, если необходимо.
   

2. Добавьте готовые команды и скрипты, которые можно скопировать.

3. Сохраните runbook в репозитории проекта (например, docs/runbooks/).

Ожидаемый результат этапа Полный runbook, пригодный к использованию дежурным инженером.

5. Критерии приемки (Definition of Done)

• Runbook содержит все разделы из этапа 5 (признаки, диагностика, фикс, верификация).
• В runbook указаны конкретные команды и скрипты для выполнения.
• Runbook позволяет обнаружить коллапс по метрикам за <5 минут.
• Runbook предлагает минимум 2 альтернативных фикса (откат, переобучение).
• Фикс занимает ≤60 минут от момента обнаружения до восстановления метрик.
• Runbook протестирован на симулированном инциденте (этап 2) и дал положительный результат.
• Все используемые скрипты (diagnose_collapse.py, check_baseline.py) версионированы и лежат в /scripts репозитория.
• Метрики baseline зафиксированы и доступны для сравнения.

6. Ожидаемый результат

Основной артефакт файл runbook_synthetic_data_collapse.md, содержащий:

• Чек-лист признаков коллапса.
• Пошаговый план диагностики с готовыми командами.
• Два варианта фикса с временными оценками.
• Процедура верификации.

Дополнительные результаты

• Скрипты diagnose_collapse.py, compute_self_bleu.py, check_alerts.py.
• Файл baseline_metrics.json.
• Запись в MLflow эксперимента с симуляцией (для документации).

7. Возможные сложности и их решение

8. Бюджет времени (оценка)

Примечание для первого раза Если вы впервые работаете с коллапсом синтетических данных, заложите дополнительно 1–2 часа на отладку симуляции и метрик. Рекомендуется выполнять задачу в паре (парное программирование).

9. Связанные вопросы из базы знаний

10. Чек-лист самопроверки

• Я создал и обучил baseline модель, зафиксировал метрики в baseline_metrics.json.
• Я симулировал коллапс синтетических данных и зафиксировал падение метрик.
• Я написал скрипты для диагностики (self-BLEU, entropy, визуализация распределений).
• Я проверил, что фикс (откат или переобучение) восстанавливает метрики до baseline за ≤60 мин.
• Я оформил runbook в соответствии с описанным шаблоном, включая команды и временные метки.
• Я убедился, что runbook можно использовать «с листа» — все скрипты лежат рядом, команды копируются.
• Я закоммитил runbook и все скрипты в Git-репозиторий.