ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать evaluation для long context (Needle in a Haystack на 32k, 64k, 128k)

1. Цель задачи

Разработать воспроизводимый пайплайн для оценки способности LLM извлекать релевантную информацию из длинного контекста (тест «Needle in a Haystack»). Пайплайн должен генерировать тестовые наборы с разными длинами контекста (32k, 64k, 128k токенов), прогонять их через выбранную модель и вычислять метрику Recall (доля успешных извлечений «иголки»). Ключевой результат Recall > 0.95 на длине контекста 64k токенов.

2. Исходные данные

Если нет реального инструмента — симулируем:

1. Установите библиотеки: pip install numpy pandas matplotlib tiktoken transformers openai jupyter
2. Создайте синтетический haystack: повторяйте случайное предложение (например, «The quick brown fox jumps over the lazy dog.») пока длина в токенах не достигнет нужного значения.
3. Для симуляции модели напишите функцию-заглушку predict(context, question), которая с заданной вероятностью (например, 0.95 для 64k) возвращает истинное содержание иголки, а иначе — пустую строку. Это позволит отладить пайплайн без затрат API.
4. Если есть доступ к любой LLM с контекстом 4k–8k, адаптируйте тест для этих длин (например, 1k, 2k, 4k) для проверки корректности логики.

3. Технологический стек

4. Этапы выполнения

Этап 1: Подготовка окружения и токенизация (оценка времени — 2 часа)

Действия

1. Установите все зависимости: pip install numpy pandas matplotlib tiktoken scikit-learn openai jupyter
2. Получите и сохраните в переменные окружения API ключи (если используете коммерческую модель).
3. Выберите модель и загрузите её токенизатор. Для OpenAI: tiktoken.encoding_for_model("gpt-4-turbo"). Для локальной: transformers.AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf").
4. Напишите вспомогательную функцию tokenize(text, model) → список token id и num_tokens.
5. Проверьте, что токенизатор работает: закодируйте строку из 1000 символов, убедитесь в правильности подсчёта.
6. Напишите функцию truncate_to_tokens(text, max_tokens), которая обрезает текст до первого max_tokens токенов (если исходный длиннее).

Ожидаемый результат этапа Загруженный токенизатор, работающие функции tokenize и truncate_to_tokens.

Этап 2: Генератор тестовых данных (оценка времени — 3 часа)

Действия

1. Определите структуру теста:
   • haystack — длинный текст (стог сена).
   • needle — уникальное предложение длиной 10–15 слов, содержащее факт (например, «The Eiffel Tower is located in Paris, France.»).
   • question — вопрос, ответом на который является needle (например, «Where is the Eiffel Tower located?»).
   • true_answer — часть needle, содержащая ответ (например, «Paris, France»).
2. Напишите функцию generate_haystack(length_in_tokens, source="synthetic"):
   • Если synthetic: возьмите заранее заготовленное предложение-заполнитель (например, «The quick brown fox jumps over the lazy dog. ») и повторяйте его, пока длина в токенах не превысит length_in_tokens. Обрежьте до точного количества токенов.
   • Если source="real": загрузите случайную книгу из датасета PG-19 (через datasets), обрежьте до нужного числа токенов.
3. Напишите функцию insert_needle(haystack, needle, position_ratio):
   • position_ratio ∈ [0,1] — доля длины контекста, где будет вставлена иголка (0.0 – начало, 1.0 – конец).
   • Переведите haystack в строку (если это токены — декодируйте), найдите индекс символа, соответствующий желаемой позиции (считая, что отношение длин пропорционально отношению токенов). Вставьте needle в найденную позицию.
4. Сгенерируйте тестовые сценарии:
   • Для каждой длины контекста: 32k, 64k, 128k.
   • Для каждой длины выберите 10 равномерно распределённых позиций (0.0, 0.1, ..., 0.9, 1.0). Для надёжности можно повторить каждый сценарий 3 раза (разные random seed).
   • Всего: 3 длины × 10 позиций × 3 повторения = 90 тестов.
5. Сохраните сценарии в JSON-файл (список словарей: {length, position_ratio, haystack_text, needle, question, true_answer}). Убедитесь, что после вставки текст остаётся в пределах заданной длины токенов (или незначительно превышает).

Ожидаемый результат этапа Файл needle_test_cases.json с 90 тестовыми примерами.

Этап 3: Реализация evaluation пайплайна (оценка времени — 2 часа)

Действия

1. Напишите функцию ask_model(context, question, model_name):
   • Для OpenAI: используйте openai.ChatCompletion.create(model=..., messages=[{"role": "user", "content": f"{context}\n\n{question}"}]).
   • Для симуляции: используйте написанную ранее заглушку с вероятностным ответом.
   • Обработайте ошибки API (retry с экспоненциальной задержкой).
   • Возвращайте сырой ответ модели (строку).
2. Напишите функцию extract_answer(model_response, true_answer):
   • Простейший вариант: проверьте, содержится ли true_answer в model_response (case-insensitive, после удаления знаков препинания). Если да → ответ правильный.
   • Для более точной оценки можно использовать LLM-as-judge (например, отдельный промпт), но в рамках задачи достаточно substring-check.
3. Для каждого теста из сгенерированного файла:
   • Вызовите ask_model.
   • Вызовите extract_answer.
   • Запишите результат (True/False) в список.
4. Вычислите Recall для каждой длины контекста: количество True / общее количество тестов на этой длине.
5. Выведите результаты в консоль и сохраните в CSV (колонки: length, position_ratio, iteration, predicted, correct).

Ожидаемый результат этапа Выполненный прогон, файл results.csv.

Этап 4: Анализ и визуализация (оценка времени — 2 часа)

Действия

1. Загрузите results.csv в pandas DataFrame.
2. Рассчитайте средний recall по каждой длине и каждой позиции.
3. Постройте графики:
   • Recall vs position_ratio для каждой длины контекста (3 линии на одном графике).
   • График зависимости recall от длины контекста (среднее по всем позициям).
4. Добавьте на график пороговую линию Recall = 0.95.
5. Сгенерируйте отчёт в виде Jupyter Notebook с пояснениями и графиками.

Ожидаемый результат этапа Ноутбук long_context_eval_report.ipynb с визуализациями и выводами.

Этап 5: Оптимизация и повторение (оценка времени — 3 часа)

Действия

1. Если Recall на 64k < 0.95:
   • Проверьте влияние позиции иголки (возможно, падение на середине/конце).
   • Протестируйте разные варианты промпта (добавьте инструкцию «Answer concisely based solely on the provided text»).
   • Попробуйте другую модель (например, более свежую) или увеличьте число тестов.
2. Если необходимо, адаптируйте генерацию haystack под реальные данные (длинные PDF-документы) и повторите тест.
3. Зафиксируйте окончательные параметры и результаты. Оформите выводы в отчёт.

Ожидаемый результат этапа Финальная версия ноутбука с итоговым Recall > 0.95 на 64k (или объяснение, почему не удалось достичь).

5. Критерии приемки (Definition of Done)

• Создан воспроизводимый генератор тестовых данных (JSON-файл).
• Реализован пайплайн инференса модели с обработкой ошибок.
• Вычислен Recall для длин 32k, 64k, 128k.
• Полученное значение Recall на 64k строго больше 0.95 (доверительный интервал 95%).
• Построены графики Recall vs Position и Recall vs Length.
• Все артефакты (код, данные, отчёт) находятся в единой директории и готовы к передаче.
• Для симуляции представлена заглушка, позволяющая локально отладить пайплайн.
• Документация (README) описывает шаги воспроизведения.

6. Ожидаемый результат

Основной артефакт long_context_eval_report.ipynb — Jupyter Notebook, содержащий:

• Весь код генерации тестов, запуска модели, вычисления метрик.
• Результаты в виде таблицы и графиков.
• Вывод о достижении/недостижении порога Recall.

Дополнительные артефакты

• needle_test_cases.json — 90 тестов.
• results.csv — сырые результаты.
• config.yaml — параметры эксперимента (длины контекста, количество позиций, модель).
• README.md — инструкция по запуску.

7. Возможные сложности и их решение

8. Бюджет времени (оценка)

Примечание для первого раза Если вы впервые работаете с API моделей или токенизацией, заложите дополнительно 4–6 часов на отладку. Симуляция на заглушке (этап 3) поможет сократить время.

9. Связанные вопросы из базы знаний

10. Чек-лист самопроверки

• Я проверил, что генерация данных корректно вставляет needle в заданную позицию (визуально проверил несколько примеров).
• Я убедился, что токенизация и обрезка текста работают без ошибок (длина в токенах совпадает с ожидаемой).
• Я выполнил пробный запуск пайплайна на симулированной модели и получил ожидаемые значения Recall (например, >0.95 для 64k).
• Я запустил evaluation на реальной модели хотя бы для одной длины (32k) и сравнил результаты с симуляцией.
• Я построил графики и убедился, что Recall не падает критически на позициях в середине/конце контекста.
• Я задокументировал все шаги в README и подготовил итоговый ноутбук.