ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить back-translation для аугментации

1. Цель задачи

Разработать и выполнить пайплайн back-translation для аугментации текстовых данных на английском языке: исходный текст переводится на русский, затем обратно на английский. Основная цель — получить семантически эквивалентные варианты исходных предложений, пригодные для расширения обучающего набора NLP-модели. Ключевой результат аугментированный датасет, для которого BLEU-метрика между исходными и итоговыми предложениями составляет не менее 0.85, что подтверждает сохранение смысла.

2. Исходные данные

Если нет реального инструмента — симулируем:

1. Используем библиотеку transformers для загрузки моделей прямо из репозитория Hugging Face (не требует скачивания файлов вручную).
2. При отсутствии GPU явно устанавливаем torch в CPU-режиме и снижаем размер пакета (batch_size=1–4).
3. Для тестирования пайплайна достаточно 20–50 предложений; финальный прогон можно сделать на 100+.

3. Технологический стек

4. Этапы выполнения

Этап 1: Подготовка окружения и данных (20 минут)

Действия

1. Создать виртуальное окружение Python и установить зависимости:

   pip install transformers torch sacrebleu pandas sentence-transformers
   

2. Загрузить исходный датасет. Если взять news-commentary-v15.en — выполнить:

   import urllib.request
   url = "https://data.statmt.org/wmt16/translation-task/dev.tgz"  # пример
   # распаковать и взять файл dev/news-commentary-v15.en
   # или скачать CSV с 200 предложениями из открытого источника
   

3. Отфильтровать предложения длиной от 3 до 30 слов (убрать слишком короткие/длинные, чтобы избежать проблем с MT).
4. Сохранить отфильтрованные предложения в data/original_en.csv (колонка text).

Ожидаемый результат этапа

• Файл data/original_en.csv с 100+ предложениями.
• Ноутбук или скрипт 01_prepare_data.py.

Этап 2: Реализация пайплайна back-translation (30 минут)

Действия

1. Загрузить две MT-модели с помощью pipeline:

   from transformers import pipeline
   en2ru = pipeline("translation", model="Helsinki-NLP/opus-mt-en-ru", device=-1)
   ru2en = pipeline("translation", model="Helsinki-NLP/opus-mt-ru-en", device=-1)
   

   (параметр device=0 для GPU, device=-1 для CPU)
2. Написать функцию back_translate(text: str) -> str:
   • Перевести текст на русский: ru_text = en2ru(text)[0]['translation_text']
   • Перевести обратно на английский: en_text = ru2en(ru_text)[0]['translation_text']
3. Обработать исключения (текст может содержать символы, вызывающие ошибки токенизации — добавить try/except).
4. Применить функцию ко всем предложениям из data/original_en.csv, сохранить исходный и аугментированный текст в новый DataFrame.
5. Сохранить результат в data/augmented_en.csv с колонками original, augmented.

Ожидаемый результат этапа

• Рабочий скрипт 02_back_translation.py или ячейки ноутбука.
• Файл data/augmented_en.csv.

Этап 3: Оценка сохранения смысла по BLEU (15 минут)

Действия

1. Для каждой пары (original, augmented) вычислить BLEU с помощью sacrebleu:

   import sacrebleu
   bleu = sacrebleu.sentence_bleu(ref, hyp, smooth='exp')  # ref — оригинал, hyp — аугментированный
   

2. Рассчитать средний BLEU по всем парам, а также минимальный и максимальный.
3. Отобрать пары со значением BLEU < 0.85 — они не удовлетворяют критерию и должны быть помечены для ручного анализа.
4. Построить гистограмму распределения BLEU-оценок (в ноутбуке).

Ожидаемый результат этапа

• Средний BLEU (целевое >0.85).
• Список пар с низким BLEU (<0.85) сохранён в data/low_bleu_pairs.csv.

Этап 4: Анализ и доработка (20 минут)

Действия

1. Выявить причины низкого BLEU: проверить наличие имен собственных, числовых данных, идиом, неразрешённой лексики.
2. Для улучшения качества:
   • Использовать более качественные MT-модели (например, facebook/wmt19-en-ru).
   • Добавить постобработку: удаление лишних пробелов, исправление регистра.
   • Если BLEU не достигает 0.85 после замены модели — зафиксировать это и задокументировать компромисс.
3. Повторить Этап 2–3 с улучшенной моделью (опционально).
4. Записать финальный датасет data/final_augmented_en.csv, содержащий только пары с BLEU≥0.85 (или все, с флагом valid).

Ожидаемый результат этапа

• Финальный датасет с колонками original, augmented, bleu_score, valid.
• Краткий отчёт (10–15 строк) о проблемах и решениях.

Этап 5: Документирование и воспроизводимость (15 минут)

Действия

1. Написать README.md с описанием пайплайна, командой для запуска, требованиями.
2. Создать requirements.txt (заморозить версии: pip freeze > requirements.txt).
3. Проверить, что весь код запускается в чистом окружении заново (python 02_back_translation.py).

Ожидаемый результат этапа

• Репозиторий (папка) с файлами: README.md, requirements.txt, 01_prepare_data.py, 02_back_translation.py, data/.

5. Критерии приемки (Definition of Done)

• Пайплайн полностью автоматизирован: от загрузки данных до генерации аугментированного датасета.
• Средний BLEU между исходными и аугментированными предложениями ≥ 0.85.
• В датасете присутствует не менее 80% предложений с BLEU ≥ 0.85 (если 100% недостижимо — задокументировано).
• Все скрипты не вызывают ошибок при последовательном запуске (чистое окружение).
• Дополнительно измерено косинусное сходство (через sentence-transformers) — среднее ≥ 0.90 (рекомендация, не жёсткий критерий).
• README содержит инструкцию по использованию, пример вызова, описание метрик.
• Код отформатирован (black/isort), переменные названы осмысленно.

6. Ожидаемый результат

Основной артефакт

• Папка back_translation_project/ с файлами:
  • requirements.txt
  • 01_prepare_data.py
  • 02_back_translation.py
  • data/original_en.csv
  • data/final_augmented_en.csv
  • README.md

Содержимое final_augmented_en.csv

Опциональные дополнительные результаты

• Ноутбук .ipynb с визуализациями (гистограмма BLEU, примеры худших пар).

7. Возможные сложности и их решение

8. Бюджет времени (оценка)

Примечание для первого раза закладывайте +20 минут на установку зависимостей и загрузку моделей (особенно если нет предварительно скачанных). На CPU время выполнения этапа 2 может увеличиться до 30–40 минут (для 200 предложений), что учтено в запасе.

9. Связанные вопросы из базы знаний

10. Чек-лист самопроверки

• Я проверил(а), что пайплайн запускается в чистом окружении и выдаёт результат без ошибок.
• Средний BLEU по всем парам ≥ 0.85; я проверил(а) это численно.
• Я сохранил(а) финальный датасет в CSV с необходимыми колонками.
• README содержит команду для первого запуска (pip install -r requirements.txt && python 02_back_translation.py).
• Я задокументировал(а) любые компромиссы (например, понижение порога BLEU), если они есть.