ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Рассчитать ROI от fine-tuning

1. Цель задачи

Научиться количественно оценивать экономическую эффективность fine-tuning языковой модели. Вы сравниваете стоимость инференса]] до и после fine-tuning, рассчитываете затраты на сам процесс дообучения (вычислительные ресурсы, сбор и разметка данных]], хостинг модели) и выводите порог окупаемости в месяцах. Результат — аналитическая записка для команды и менеджмента, обосновывающая (или опровергающая) целесообразность fine-tuning.

Ключевой результат Порог окупаемости fine-tuning (в месяцах) при заданном объёме production-трафика.

2. Исходные данные

Если нет реальных цифр — симулируем:

1. Стоимость базовой модели Используем публичные цены OpenAI GPT‑4o mini ($0.150 / 1M input, $0.600 / 1M output) или GPT‑4o ($2.5 / $10).
2. Трафик Задаём 50 000 запросов/месяц, средний промпт = 512 токенов input, ответ = 128 токенов output.
3. Fine-tuning Берём гипотетическую fine-tuned LLaMA‑3‑8B, хостим на 1×A100 (80GB), цена $1.5/час.
4. Затраты на GPUs для FT 10 часов на 4×A100 ($6/час за инстанс) = $60.
5. Разметка данных 2000 примеров, 50 часов асессора по $30/час = $1500.
6. Self-hosted инференс после FT 1×A100 = $1.5/час, 720 часов/месяц = $1080 (те же 50k запросов, throughput ~70 запросов/час на 8B модель).

3. Технологический стек

4. Этапы выполнения

Этап 1: Сбор базовых метрик инференса до fine-tuning (1 час)

Действия

1. Определите среднюю стоимость одного запроса базовой модели.

   • Выберите модель (например, GPT‑4o mini). Зафиксируйте цены: input = $0.150/1M, output = $0.600/1M токенов.
   • Используя tiktoken, посчитайте среднее количество токенов input и output на реальной выборке логов. Если логов нет — используйте симулированные значения (512 in, 128 out).
   • Расход на один запрос: (512/1e6)*0.15 + (128/1e6)*0.60 = $0.0000768 + $0.0000768 = $0.0001536.

2. Оцените месячный трафик

   • Например, 50 000 запросов/месяц.
   • Месячная стоимость инференса (базовая): 50 000 * $0.0001536 = $7.68.

3. Запишите данные в таблицу (pandas DataFrame).

import pandas as pd

data = {
    'model': ['baseline (GPT-4o mini)'],
    'input_cost_per_1M': [0.15],
    'output_cost_per_1M': [0.60],
    'avg_input_tokens': [512],
    'avg_output_tokens': [128],
    'requests_per_month': [50000],
    'cost_per_request': [0.0001536],
    'monthly_inference_cost': [7.68]
}
df = pd.DataFrame(data)

Ожидаемый результат этапа Таблица с базовой стоимостью инференса.

Этап 2: Расчёт затрат на fine-tuning (2 часа)

Действия

1. Вычислительные затраты (GPU).

   • Уточните тип и количество GPU, время обучения.
   • Пример: 4×A100 (80GB) × 10 часов, стоимость $1.5/GPU/час (без наценки).
   • Итого: 4 * 1.5 * 10 = $60.
   • Если используете облачный сервис с готовыми инстансами — укажите точную цену (AWS p4d.24xlarge ~ $32.77/час, 8 A100).

2. Затраты на данные

   • Сбор данных: 0 часов (предполагается готовый датасет).
   • Разметка: 2000 примеров, 50 часов асессора, $30/час = $1500.

3. Дополнительные расходы

   • Хранение модели (S3, хранилище) – пренебрежимо мало ($1/мес).
   • Экспериментальные прогоны (validation) – добавим 0.5 часа GPU.

4. Суммарные затраты на FT $60 + $1500 = $1560.

Ожидаемый результат этапа Фиксированная стоимость этапа fine-tuning.

Этап 3: Стоимость инференса после fine-tuning (1.5 часа)

Действия

1. Выберите способ хостинга fine-tuned модели

   • Self-hosted на 1×A100 ($1.5/час).
   • или Managed API (Anthropic, OpenAI fine-tuned – цена обычно та же, что и base, но иногда дешевле за счёт меньшего размера).
   • Для self-hosted рассчитайте throughput: LLaMA‑3‑8B на A100 может обрабатывать ~5000 токенов/сек (input+output). Сколько запросов в час при среднем 640 токенов? 5000/640 ≈ 7.8 запросов/сек = 28 080 запросов/час. Это избыточно для 50k/мес (~69 req/h). Значит, один A100 покрывает трафик с запасом.

2. Месячная стоимость self-hosted инференса

   • 1 A100 × $1.5/ч × 720 ч = $1080.
   • Реально модель будет загружена ~10% времени, поэтому можно использовать spot instance или serverless. Но для консервативной оценки берём $1080.

3. Если используете API fine-tuned (например, OpenAI fine-tuning):

   • Цена инференса fine-tuned модели часто равна базовой (e.g., $0.150/$0.600). В таком случае экономия нулевая, и ROI отрицательный.
   • В нашем сценарии self-hosted даёт снижение затрат.

4. Рассчитайте экономию в месяц

   • Экономия = cost_baseline - cost_ft.
   • $7.68 - $1080 = -$1072.32 → отрицательная экономия (FT дороже).

   Если же baseline был GPT‑4o ($5/1M in + $15/1M out), стоимость одного запроса: (512/1e6)*5 + (128/1e6)*15 = $0.00256 + $0.00192 = $0.00448. Месяц: 50000*0.00448 = $224. Сравнить с self-hosted $1080 — всё равно хуже.
   Пример с экономией: заменить дорогую API на маленькую fine-tuned модель (например, fine-tuned LLaMA‑3B, хостинг на T4 $0.35/ч → $252/мес). Экономия $224 - $252 = -$28 — тоже невыгодно.

   Для положительного ROI нужно, чтобы fine-tuned модель была значительно дешевле базовой (например, замена GPT‑4 на fine-tuned Mistral‑7B на spot A100). Давайте скорректируем сценарий:

   • Базовая: GPT‑4, 500 000 запросов/мес (а не 50k), price per request = $0.00448, monthly = $2 240.
   • FT: fine-tuned Mistral‑7B на spot A100 ($0.5/ч), 720 ч = $360. Экономия = $1 880/мес.
   • Затраты на FT: $1 560. ROI = (1880-1560)/1560 = 0.205 (20.5% за месяц). Порог окупаемости = 1560/1880 = 0.83 месяца (~25 дней).

Ожидаемый результат этапа Месячная стоимость инференса после fine-tuning и ежемесячная экономия.

Этап 4: Расчёт ROI и порога окупаемости (1 час)

Действия

1. Построить модель в Python

monthly_requests = 500_000
baseline_monthly_cost = 2240   # GPT-4
ft_monthly_cost = 360          # self-hosted Mistral-7B
ft_investment = 1560           # GPU + data

monthly_savings = baseline_monthly_cost - ft_monthly_cost
roi_monthly = monthly_savings / ft_investment
payback_months = ft_investment / monthly_savings

print(f"Ежемесячная экономия: ${monthly_savings:.2f}")
print(f"ROI за первый месяц: {roi_monthly*100:.1f}%")
print(f"Порог окупаемости: {payback_months:.2f} месяцев")

2. Построить график точки безубыточности (cumulative savings vs investment).

3. Учесть временную стоимость денег (опционально) — использовать дисконтирование: NPV = Σ(C_t/(1+r)^t) - I0, но для простоты достаточно простого срока окупаемости.

Ожидаемый результат этапа Численные метрики ROI, график, интерпретация.

Этап 5: Оформление отчёта (1 час)

Действия

1. Собрать все расчёты в Jupyter Notebook с текстовыми пояснениями.
2. Подготовить 1-страничный Executive Summary в виде Markdown с таблицами.
3. Добавить раздел чувствительности (sensitivity analysis): как изменится порог окупаемости при изменении трафика или стоимости GPU.

Ожидаемый результат этапа Файл roi_analysis.ipynb и краткий отчёт FT_ROI_report.md.

5. Критерии приемки (Definition of Done)

• Собраны или обоснованы все исходные данные (цены, трафик, ресурсы).
• Выполнен расчёт стоимости инференса до fine-tuning (1 запрос / месяц).
• Выполнен расчёт затрат на fine-tuning (GPU, данные, прочее).
• Выполнен расчёт стоимости инференса после fine-tuning.
• Вычислена ежемесячная экономия, ROI, порог окупаемости в месяцах.
• Построен график cumulative savings / payback.
• Проведён анализ чувствительности хотя бы по одному параметру (например, трафик).
• Итоговый отчёт в формате .ipynb или .md содержит все расчёты и выводы.
• Файлы с данными (если используют CSV) приложены или сгенерированы.
• Корректно обработаны случаи, когда fine-tuning не окупается (ROI < 0) — выводы о нецелесообразности.

6. Ожидаемый результат

• Основной артефакт Jupyter Notebook roi_analysis.ipynb или Python-скрипт с таблицами и графиками.
• Содержание
  • Таблица с параметрами и промежуточными вычислениями (pandas DataFrame).
  • Формулы ROI и payback.
  • График точки безубыточности (накопленная экономия vs инвестиции).
  • Вывод: порог окупаемости (например, 0.8 месяца) и рекомендация «FT оправдан при текущем трафике» или «не оправдан».
• Дополнительные результаты (опционально):
  • Анализ чувствительности (изменение количества запросов на ±50%).
  • Одностраничный Executive Summary в формате PDF/Markdown.

7. Возможные сложности и их решение

8. Бюджет времени (оценка)

Примечание: При первом выполнении (отсутствие опыта) время может увеличиться до 8-10 часов. Рекомендуется выделить 2 полных рабочих дня.

9. Связанные вопросы из базы знаний

10. Чек-лист самопроверки

• Я чётко определил базовую модель и её ценообразование (source verified).
• Я обосновал все допущения (трафик, длина токенов, время FT) и указал источники.
• Я рассчитал затраты на fine-tuning, включая данные, вычислительные ресурсы и хостинг.
• Я сравнил стоимость инференса до и после FT на одинаковом трафике.
• Я вычислил ROI и порог окупаемости, корректно использовав формулу.
• Я построил график точки безубыточности и интерпретировал его.
• Я провёл анализ чувствительности хотя бы по одному параметру (например, изменение трафика).
• В моём отчёте есть вывод: «Fine-tuning окупается за X месяцев» или «Fine-tuning нецелесообразен».
• Я оформил результат в виде .ipynb или .md с пояснениями.