ZML presenta LLMD: un server di inferenza per modelli di linguaggio su chip eterogenei
In Breve
- Cos'è ZML/LLMD?
- ZML/LLMD è un server di inferenza lanciato da ZML per eseguire modelli di linguaggio su vari chip.
- Qual è l'obiettivo di ZML con LLMD?
- L'obiettivo è offrire maggiore efficienza e flessibilità alle aziende nell'uso di chip eterogenei.
- Chi ha finanziato ZML?
- ZML ha raccolto 20 milioni di dollari da investitori tra cui 20VC e Kima Ventures.
La startup francese ZML ha recentemente lanciato ZML/LLMD, un innovativo server di inferenza progettato per eseguire una vasta gamma di modelli open source di linguaggio su diversi chip, tra cui Nvidia, AMD, Google TPU, Apple Metal e Intel Arc. Questo prodotto, distribuito gratuitamente al lancio ma non open source, si propone di superare i vincoli software e architetturali che spesso costringono le aziende a rimanere legate a singoli fornitori.
L’obiettivo principale di ZML è quello di fornire a imprese e operatori cloud la possibilità di utilizzare mix di chip, anche quelli meno costosi o più efficienti dal punto di vista energetico, per ottenere significativi guadagni di efficienza e facilitare la diffusione dell’intelligenza artificiale. Come ha dichiarato il fondatore Steeve Morin: «L’idea è restituire alle persone il potere di creare il proprio sistema e ottenere reali guadagni di efficienza che permettano la diffusione dell’IA».
ZML ha inoltre manifestato l’intenzione di collaborare con nuovi produttori di chip, molti dei quali europei. Tra i nomi citati ci sono Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA. Morin ha sottolineato che l’azienda sta lavorando su soluzioni innovative non ancora sviluppate altrove, affermando: «Siamo arrivati al punto in cui stiamo co-progettando il silicio».
Il lancio di LLMD avviene in un contesto di mercato altamente competitivo, dove operatori come Baseten, Inferact e RadixArk, insieme a progetti open source come vLLM e SGLang, offrono funzionalità simili. Nonostante ciò, ZML mantiene rapporti con Nvidia, garantendo così un accesso privilegiato a tecnologie avanzate.
Con sede a Parigi e un team di circa 20 persone, ZML ha recentemente raccolto 20 milioni di dollari da investitori noti, tra cui 20VC, >commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe e Puzzle Ventures. Morin, che in precedenza ha ricoperto il ruolo di VP of Engineering di Zenly, acquisita da Snapchat nel 2017, ha spiegato che il rilascio gratuito di LLMD serve a misurare l’utilizzo prima di decidere eventuali politiche commerciali. «Preferisco misurare e poi generare ricavi dove è più efficace, senza ostacolare stupidamente la crescita perché sono stato troppo avido fin dall’inizio» ha aggiunto.
Tra i sostenitori presenti nel capitale figurano anche nomi illustri come Solomon Hykes, Clément Delangue, Julien Chaumond e Yann LeCun, a conferma dell’interesse crescente verso l’ecosistema europeo. Morin ha infine sottolineato che non avrebbe potuto realizzare ZML se non fosse stato per il supporto ricevuto a Parigi.
