Liquid AI stellt LFM2.5-DSpark vor und beschleunigt Modelle um bis das 3,2-Fache
Liquid AI veröffentlicht die Entwurfsmodell-Reihe LFM2.5-DSpark, die die Inferenzgeschwindigkeit um bis zu das 3,2-Fache erhöht, ohne Abstriche bei der Qualität zu machen.
Liquid AI hat LFM2.5-DSpark angekündigt, eine Reihe von „Drafter“-Modellen (Entwurfsmodellen) für den Einsatz mit Speculative Decoding. Damit soll die Verarbeitungs- und Inferenzgeschwindigkeit von KI-Modellen der LFM2.5-Familie gesteigert werden, während die Qualität der Ergebnisse erhalten bleibt.
Den Angaben zufolge kann LFM2.5-DSpark die Inferenzgeschwindigkeit um das bis zu 3,2-Fache (konkret das 3,18-Fache) steigern. Dies unterstützt sowohl Hochleistungs-GPUs für Rechenzentren (wie die H100) als auch mobile Geräte wie MacBooks.
Bei der Markteinführung hat der Entwickler gleichzeitig drei Versionen veröffentlicht, die auf die Hauptmodelle der Familie abgestimmt sind: LFM2.5-1.2B-Instruct, LFM2.5-2.6B und LFM2.5-8B-A1B. Darüber hinaus ist das Tool so konzipiert, dass es sich nahtlos in gängige Frameworks für die Ausführung großer Sprachmodelle wie SGLang und llama.cpp integrieren lässt.
Ermöglicht Entwicklern und Anwendern eine deutlich schnellere Ausführung der LFM2.5-Modellfamilie sowohl auf High-End-Hardware als auch auf Standardgeräten, wodurch Zeit und Kosten bei der KI-Verarbeitung reduziert werden.