Поиск

• wikirare classes

  # rare classes ## Определение Классы в датасете с малым количеством примеров, что приводит к дисбалансу и ухудшению обобщения модели; для них…

• answerКак вы делаете synthetic data generation для редких классов в датасете?

  …архитектура, где агент принимает решения о поиске и генерации) редкие классы могут соответствовать: - Узкоспециализированным доменным запросам. - «Длинному хвосту» (long tail…

• answerЧто такое «test coverage» для агента (покрытие траекторий, а не кода)?

  …Для LLM-агента этот подход не работает. | Аспект | Code coverage | Trajectory / State coverage | |--------|---------------|-----------------------------| | Объект измерения | Код (функции, классы) | Поведение агента…

• answerКак работает кросс-энтропия (cross-entropy loss) для LLM обучения?

  …Это улучшает [[Вики/generalization\|обобщение]] и калибровку вероятностей. ### 6.3 Взвешенная кросс-энтропия Если классы несбалансированы ([[Вики/Rare Tokens\|редкие…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Написать тесты для меж-агентской коммуникации

  …ниже) | | Агенты-заглушки (sender / receiver), реализующие базовый интерфейс | Написать самостоятельно или взять готовый шаблон | | Исходный код модуля `agent_comm` (классы…

• answerЧто такое multi-query attention (MQA) и grouped-query attention (GQA) и зачем они?

  …Напишите классы: - `MultiHeadAttention` — по умолчанию (num_kv_heads = num_heads) - `MultiQueryAttention` — num_kv_heads = 1 - `GroupedQueryAttention` — num_kv_heads = 4…

• answerКак вы измеряете diversity синтетического датасета?

  …cluster diversity\|Inter-cluster diversity]] — различие между классами (чтобы классы были разделимы). Метрики: среднее [[Вики/Intra-cluster Distance\|внутрикластерное расстояние…