Поиск

wikiHyena Operator
# Hyena Operator ## Определение Основная операция в архитектуре Hyena, комбинирующая свертки и поэлементное умножение для замены attention. ## Где встречается - [[715. Hyena…
wikiExponential decay initialization
…Hyena как заменить attention на свертки, сохранив качество|715. Hyena как заменить attention на свертки, сохранив качество]] ## Навигация - [[00. Индекс…
wikiFFT
…Hyena как заменить attention на свертки, сохранив качество|715. Hyena как заменить attention на свертки, сохранив качество]] - [[800+ вопросов|800…
wikiLong Range Arena
…Hyena как заменить attention на свертки, сохранив качество|715. Hyena как заменить attention на свертки, сохранив качество]] ## Навигация - [[00. Индекс…
wikiSCROLLS
…Hyena как заменить attention на свертки, сохранив качество|715. Hyena как заменить attention на свертки, сохранив качество]] ## Навигация - [[00. Индекс…
wikilong convolutional filters
…Hyena как заменить attention на свертки, сохранив качество|715. Hyena как заменить attention на свертки, сохранив качество]] - [[800+ вопросов|800…
wikiHyena
…Hyena как заменить attention на свертки, сохранив качество|715. Hyena как заменить attention на свертки, сохранив качество]] - [[Практика|Практика]] - [[800…
wikiresidual connections
…Hyena как заменить attention на свертки, сохранив качество|715. Hyena как заменить attention на свертки, сохранив качество]] - [[800+ вопросов|800…
wikigating
…Hyena как заменить attention на свертки, сохранив качество|715. Hyena как заменить attention на свертки, сохранив качество]] - [[716. Когда SSM…
wikiState Space Model
…Hyena как заменить attention на свертки, сохранив качество|715. Hyena как заменить attention на свертки, сохранив качество]] - [[716. Когда SSM…
wikiLinear attention
…Hyena как заменить attention на свертки, сохранив качество|715. Hyena как заменить attention на свертки, сохранив качество]] - [[59. Сравнить архитектуры…
wikiLayerNorm
…Hyena как заменить attention на свертки, сохранив качество|715. Hyena как заменить attention на свертки, сохранив качество]] - [[800+ вопросов|800…
wikimixed precision training
…Hyena как заменить attention на свертки, сохранив качество|715. Hyena как заменить attention на свертки, сохранив качество]] - [[800+ вопросов|800…
answerHyena: как заменить attention на свертки, сохранив качество?
…как заменить attention на свертки, сохранив качество? ## Краткий тезис Hyena — это архитектура, заменяющая механизм attention в трансформерах на long convolutional…
answerRWKV (RNN with Transformer attention): как комбинирует RNN и attention?
…Hyena как заменить attention на свертки, сохранив качество\|715]] | State Space Models (Mamba) и их отличие от RWKV | | [[716. Когда…
answerКогда SSM-архитектуры (Mamba, StripedHyena) лучше трансформеров для long context?
…Hyena как заменить attention на свертки, сохранив качество\|715]] | Что такое State Space Models (SSM) и как они работают? | | [[717…
answerЧто такое LLM для symbolic regression (AI Feynman) и как это работает?
…Hyena как заменить attention на свертки, сохранив качество\|715]] | Что такое fine-tuning и когда он нужен? | --- ## Навигация (Obsidian) - Предыдущий…
answerКак работает speculative execution на GPU для LLM (branch prediction)?
…Hyena как заменить attention на свертки, сохранив качество\|715]] | Как работает continuous batching для LLM? | | [[720. Что такое mechanism design…
answerКак работает Mamba (State Space Model) и чем она лучше трансформера?
…Hyena как заменить attention на свертки, сохранив качество\|715]] | Сравнение архитектур для агентов: трансформер vs SSM | | [[720. Что такое mechanism…
answerЧто такое Test-Time Training (TTT) слои и как они работают?
…Hyena как заменить attention на свертки, сохранив качество\|715]] | Что такое State Space Models (SSM) и как они работают? | | [[716…
answerКак предотвращать collusion (сговор) между агентами в децентрализованной системе?
…Hyena как заменить attention на свертки, сохранив качество\|715]] | Какие существуют методы обнаружения аномалий в поведении агентов? | | [[718. Что такое…
answerЧто такое Cooperative Groups в CUDA и как использовать для attention?
…Hyena как заменить attention на свертки, сохранив качество\|715]] | Multi-Query Attention и Grouped-Query Attention | | [[720. Что такое mechanism…
answerКак вы сравниваете разные компиляторы (TensorRT, IREE, XLA) для вашей модели?
…разработки и CI/CD. | | **Поддерживаемые операции (ops)** | Набор операций (свертки, нормализации, attention), которые компилятор умеет оптимизировать. | Если модель использует редкую…
answerКак проектировать аукцион для allocation вычислительных ресурсов между агентами?
…Hyena как заменить attention на свертки, сохранив качество\|715]] | Как проектировать multi-agent coordination? | | [[712. Что такое Cooperative Groups в…
answerЧто такое mechanism design для multi-agent systems и как применить к LLM-агентам?
…Hyena как заменить attention на свертки, сохранив качество\|715]] | Какие протоколы коммуникации используются в multi-agent LLM? | --- ## Навигация (Obsidian) - Предыдущий…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить Hyena vs FlashAttention на 128k
…оператор свертки и субквадратичное внимание | | 114 | Сравнение архитектур внимания по памяти | | 115 | Профилирование GPU памяти в PyTorch | | 121 | Выбор head…
answerБенчмаркинг LLM на AMD MI300X vs H100: различия в архитектуре и оптимизации?
…Hyena как заменить attention на свертки, сохранив качество\|715]] | Профилирование и бенчмаркинг LLM | | [[720. Что такое mechanism design для multi…
answerКак работает Tensor Core microarchitecture (WGMMA, MMA инструкции) в H100?
…Hyena как заменить attention на свертки, сохранив качество\|715]] | Оптимизация batch size и sequence length | --- ## Навигация (Obsidian) - Предыдущий: [[704. Что…
indexИндекс разборов
…Hyena как заменить attention на свертки, сохранив качество\|715. Hyena: как заменить attention на свертки, сохранив качество?]] - [[716. Когда SSM…
indexОглавление
…Hyena как заменить attention на свертки, сохранив качество\|715. Hyena: как заменить attention на свертки, сохранив качество?]] - [[Вопросы/Ответы/716…
question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)
…как заменить attention на свертки, сохранив качество?** > _Ответ:_ Hyena использует long convolutional filters вместо attention. Свертки в 3 этапа: > > 1…