speculative execution
speculative execution
Определение
Техника процессоров (CPU), при которой предсказывается исход условного перехода и начинается выполнение одной из веток до проверки условия. На GPU для LLM неэффективна из-за отсутствия сложного branch prediction.