vLLM és un marc de programari de codi obert per a la inferència i el servei de models de llenguatge grans i models multimodals relacionats. Originalment desenvolupat al Sky Computing Lab de la Universitat de Califòrnia, Berkeley, el projecte se centra en PagedAttention, un mètode de gestió de memòria per a memòries cau de valor clau per transformadors, i admet funcions com ara processament per lots continus, inferència distribuïda, quantificació i API compatibles amb OpenAI.
Història El vLLM va ser introduït el 2023 per investigadors afiliats al Sky Computing Lab de la UC Berkeley. Les seves idees principals es van descriure a l'article del 2023 *Efficient Memory Management for Large Language Model Serving with PagedAttention*, que presentava el sistema com un motor de servei d'alt rendiment i memòria eficient per a models de llenguatge grans.
Segons un responsable del manteniment del projecte, la "v" de vLLM originalment es referia a "virtual", inspirada en la memòria virtual.
La pàgina del projecte PyTorch indica que la Universitat de Califòrnia, Berkeley, va contribuir amb vLLM a la Fundació Linux el juliol de 2024. El 2025, la Fundació PyTorch va anunciar que vLLM s'havia convertit en un projecte allotjat per la Fundació.
El gener de 2026, TechCrunch va informar que els creadors de vLLM havien llançat la startup Inferact per comercialitzar el projecte, recaptant 150 milions de dòlars en finançament inicial.
Arquitectura Segons el seu article del 2023, vLLM va ser dissenyat per millorar l'eficiència del servei de models de llenguatge grans reduint el malbaratament de memòria a la memòria cau clau-valor utilitzada durant la inferència del transformador. L'article va presentar PagedAttention, un algoritme inspirat en la memòria virtual i les tècniques de paginació dels sistemes operatius, i va descriure vLLM com un ús de la gestió de memòria a nivell de bloc i la planificació de sol·licituds per augmentar el rendiment mantenint una latència similar.
La documentació i el repositori del projecte descriuen la compatibilitat amb el processament per lots continu, l'ompliment previ per fragments, la descodificació especulativa, l'emmagatzematge en memòria cau de prefixos, la quantització i múltiples formes d'inferència distribuïda. PyTorch ha descrit vLLM com un motor d'inferència i servei d'alt rendiment i memòria eficient que admet una gamma de backends de maquinari, incloent-hi GPU NVIDIA i AMD, TPU de Google, AWS Trainium i processadors Intel.
Referències
Categoria:Algorismes Categoria:Intel·ligència artificial