Knowledge Portal

aivaro.ru

  • Contents
  • Questions
  • Practice
  • Wiki
  • Tests
  • Search
✈Telegram @AetSeidhe
RUEN中文
…
Contents/Wiki/signal

English translation is not available yet. Showing Russian content.

signal

signal

Определение

Сигнал — значения активаций и градиентов, передаваемые между слоями нейросети.

Где встречается

  • 665. Как работает инициализация весов в LLM (Xavier, Kaiming, почему важна)

Навигация

  • Индекс терминов
  • Индекс разборов
  • Оглавление

Теги

wikiтерминarchitectureinference

Ссылки

  • Как работает инициализация весов в LLM (Xavier, Kaiming, почему важна)?

Обратные ссылки (44)

  • Hyena: как заменить attention на свертки, сохранив качество?
  • Индекс терминов
  • Как бы вы добавили "отмену" (cancellation) для длительных LLM операций?
  • Как вы делаете active learning loop для улучшения retrieval?
  • Как вы деплоите LLM на spot instances в облаке?
  • Как вы детектируете и фиксите attention sinks в длинных контекстах?
  • Как вы защищаете RAG от data poisoning через неявные инструкции (subtle injections)?
  • Как вы защищаете multi-agent систему от вредоносного агента?
  • Как вы избегаете переобучения при fine-tuning на маленьком датасете?
  • Как вы мониторите дрейф данных (data drift) для RAG?
  • Как вы проверяете, что RLHF не сломал базовые способности модели?
  • Как вы проектируете dead letter queue для failed LLM инференс запросов?
  • Как вы проектируете graceful shutdown для LLM serving pod в Kubernetes?
  • Как вы проектируете агента, который может работать непрерывно (24/7) без дрейфа поведения?
  • Как делать feature engineering для RAG (кроме текста)?
  • Как делать sandboxing для agent tools (изоляция выполнения)?
  • Как детектировать reward hacking в RLHF?
  • Как обрабатывать schema drift в данных для RAG?
  • Как проектировать SLA между агентом-менеджером и агентами-исполнителями?
  • Как работает AudioLM и MusicGen для генерации аудио?
  • Как работает KL penalty в RLHF и как подобрать коэффициент?
  • Как работает RLHF (Reinforcement Learning from Human Feedback) технически?
  • Как работает agent self-improvement через self-reflection on failures?
  • Как работает membership inference через logits (разница в вероятностях)?
  • Как работает process reward model (PRM) vs outcome reward model (ORM)?
  • Как работает инициализация весов в LLM (Xavier, Kaiming, почему важна)?
  • Какие инструменты для Delegation Engineering существуют (Airflow для агентов)?
  • Когда SSM-архитектуры (Mamba, StripedHyena) лучше трансформеров для long context?
  • Почему в формуле attention нужно делить на √d_k? Что будет без масштабирования?
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить click models для implicit feedback
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать user trust метрику
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Собрать agentic mesh из 3 агентов
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать partial failure UI
  • Что такое Layout-Aware Chunking и как он связан с мультимодальностью?
  • Что такое RLAIF (RL from AI Feedback) и как он масштабируется?
  • Что такое end-to-end backpressure в LLM пайплайне и как его реализовать?
  • Что такое residual connections и зачем они нужны в трансформере?
  • Что такое reward hacking в RLHF и как его детектировать?
  • Что такое synthetic eval collapse и как его предотвратить?
  • Что такое vanishing / exploding gradients в трансформерах и как их предотвратить?
  • Что такое weak supervision для разметки данных для fine-tuning и как его применить?
  • Что такое «cost per good answer» и как его измерять?
  • Что такое «dead letter queue» для сообщений агентов?
  • Что такое «shaping schema through language representation»?