cudaMallocAsync
cudaMallocAsync
Определение
Асинхронный аллокатор CUDA (доступен с версии 11.4), который автоматически дефрагментирует память и позволяет выделять до 99% видеопамяти. Снижает фрагментацию и улучшает производительность долгоживущих процессов.
Где встречается
- 452. Как вы управляете memory fragmentation при длительном раннинге LLM сервера
- 846. Как дебажить memory fragmentation в LLM сервере
- 800+ вопросов