GPU
GPU
Определение
Графический процессор, используемый для ускорения обучения и инференса нейросетей. Ключевой аппаратный ресурс для LLM, поддерживает форматы FP16, BF16, FP8 и тензорный параллелизм.
Где встречается
- 78. Какие LLM для русского языка вы используете
- 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
- 372. Как вы строите двухступенчатый ретривал (fast ANN + slow cross-encoder) в RAG
- 542. Как вы парсите сложные PDF с таблицами и графиками (не просто текст)
- 546. Как вы индексируете видео-контент в RAG-системе
- Практика
- 800+ вопросов
- 75. Рассчитать ROI для fine-tuning
- 143. Сравнить reserved vs spot vs on-demand
- 206. Развернуть vLLM vs TGI, сравнить throughput
- 219. Сравнить inference schedulers (FCFS vs Priority)
- 238. RAG с incremental update