ทันเอไอ

Liquid AI, LFM2.5-DSpark 공개… 모델 속도 최대 3.2배 향상

Liquid AI가 품질 저하 없이 추론 속도를 최대 3.2배 높여주는 드래프트 모델군 LFM2.5-DSpark를 출시했습니다.

Liquid AI가 결과물의 품질을 유지하면서 AI 모델의 추론 및 처리 속도를 극대화하기 위해 Speculative Decoding(추측 디코딩) 기법에 사용하는 'Drafter'(드래프트) 모델군인 LFM2.5-DSpark를 발표했다.

공개된 정보에 따르면 LFM2.5-DSpark는 추론 속도를 최대 약 3.2배(정확히는 3.18배)까지 향상시킬 수 있으며, H100 같은 데이터센터용 고성능 GPU부터 MacBook 같은 휴대용 기기까지 폭넓게 지원한다.

이번 출시에서는 LFM2.5 제품군의 메인 모델을 지원하기 위해 LFM2.5-1.2B-Instruct, LFM2.5-2.6B, LFM2.5-8B-A1B 등 3개 모델이 함께 공개되었다. 또한, SGLang 및 llama.cpp 등 대규모 언어 모델 실행을 위한 인기 프레임워크와도 원활하게 연동되도록 설계되었다.