La nueva biblioteca de software de código abierto de NVIDIA duplicará la velocidad de inferencia de modelos LLM
TensorRT-LLM también admitirá otras GPU de Nvidia, incluidas A100, L4, L40, L40S y el próximo Grace Hopper Superchip
Noticias - Nvidia Nemo