T5-small
aliases: [""] tags: [wiki, термин, general]
T5-small
Определение
T5-small — это одна из версий модели T5 (Text-to-Text Transfer Transformer), разработанной Google. Она содержит около 60 миллионов параметров и представляет собой компактную версию, оптимизированную для задач преобразования текста. Благодаря единому текстовому формату, T5-small может быть донастроена (fine-tuned) на различные NLP-задачи, такие как перевод, суммаризация или ответы на вопросы. При fine-tuning этой модели может возникать явление катастрофического забывания (catastrophic forgetting), для предотвращения которого применяются методы вроде EWC, replay и LoRA.