Red Hat kondigt vandaag Red Hat AI Inference Server aan. Deze nieuwe oplossing binnen Red Hat AI laat bedrijven generatieve AI sneller, goedkoper en flexibeler draaien, ongeacht het AI-model, de hardware of de cloudomgeving. De tool is gebouwd op de vLLM-communitytechnologie (“virtualized Large Language Model inference”) van UC Berkeley en wordt versterkt met compressie en optimalisatie via Neural Magic. Het nieuws werd bekendgemaakt tijdens de jaarlijkse Red Hat Summit, dit jaar in Boston.
Red Hat Inference Server kan zelfstandig draaien of geïntegreerd worden in Red Hat Enterprise Linux AI (RHEL AI) en Red Hat OpenShift AI. Organisaties kunnen zo AI veel vlotter en betrouwbaarder in productie inzetten.
Inference wordt de motor van AI
Inference is het moment waarop een AI-model antwoord geeft op een vraag. Die fase vergt echter veel rekenkracht. Als AI-oplossingen schalen, kan inference snel traag, duur en foutgevoelig worden. Daarom is een krachtige, efficiënte inference-server essentieel.
Red Hat AI Inference Server pakt dat aan met een krachtige, open oplossing met ingebouwde compressie en optimalisatie, zodat inference zelfs met zware modellen en op verschillende infrastructuren snel verloopt.
vLLM als fundament
De basis van Red Hat AI Inference Server is het vLLM-project: een snelgroeiende communitytool van UC Berkeley voor krachtige inference, met brede modelondersteuning en geavanceerde functies zoals multi-GPU support en grote contextverwerking.
vLLM wordt vandaag al gebruikt voor toonaangevende modellen als Llama, Mistral, DeepSeek, Phi, Llama Nemotron en Gemma – en groeit uit tot dé standaard voor inference.
Red Hat AI Inference Server combineert het beste van vLLM en Red Hat:
- Slimme compressie: verkleint modellen zonder nauwkeurigheid te verliezen, met minder hardwaregebruik als resultaat.
- Geoptimaliseerde modelkeuze: een Red Hat-modelrepository op Hugging Face met gevalideerde modellen voor directe inzet.
- Red Hat-ondersteuning: enterprise support en ervaring met open source-projecten in productie.
- Brede inzetbaarheid: werkt ook op andere Linux- en Kubernetes-platformen dan die van Red Hat, in lijn met het 3rd Party Support-beleid.
Eén platform voor elke AI-toepassing
Red Hat wil inference democratiseren: elk model, op iedere accelerator en op welke cloud dan ook. Géén beperkingen of keuzestress, wél vrijheid en schaalbaarheid. Zoals Red Hat vroeger Linux openbrak voor het bedrijfsleven, wil het nu inference standaardiseren voor AI. Met vLLM en llm-d als hoekstenen van een open ecosysteem wil Red Hat bedrijven klaarstomen voor het AI-tijdperk – op een flexibele, schaalbare wijze en zonder onnodige kosten.
“Inference is het hart van generatieve AI. Het moet snel én betaalbaar zijn. Met Red Hat AI Inference Server bieden we een open platform dat elk model ondersteunt, op elke accelerator, in elke omgeving”, zegt Joe Fernandes, VP & GM, AI Business Unit bij Red Hat.
Samenwerking met Google Cloud
Tijdens Red Hat Summit kondigden Red Hat en Google Cloud een samenwerking aan om de ingebruikname van AI-agents te versnellen door middel van:
- De lancering van het llm-d open source-project, met Google als medeoprichter.
- Ondersteuning voor vLLM op Google Cloud TPU’s en GPU-gebaseerde virtuele machines om AI-inference te verbeteren.
- Directe Day 1-ondersteuning voor vLLM binnen Gemma 3-modeldistributies.
- Ondersteuning voor Red Hat AI Inference Server op Google Cloud.
- Het stimuleren van vooruitstrevende ontwikkeling van AI-agents, waarbij Red Hat bijdraagt aan de community van Googles Agent2Agent (A2A)-protocol.