Colibrì написан на языке C. При работе с GLM-5.2 он хранит часть данных в оперативной памяти, а остальные считывает с SSD по мере необходимости. После квантования модель занимает около 429 ГБ, поэтому полностью загрузить ее в 25 ГБ ОЗУ невозможно.
GLM-5.2 использует архитектуру Mixture of Experts (MoE, «смесь экспертов»). Из 744 млрд параметров при генерации одного токена задействуются около 40 млрд. Colibrì оставляет постоянно необходимые компоненты в оперативной памяти, а остальные подгружает с накопителя.
На компьютере разработчика скорость генерации составляла 0,05–0,1 токена в секунду. Ответ длиной 100 токенов при такой производительности формируется примерно за 17–33 минуты.
На видеокартах Nvidia Colibrì работает через CUDA. В испытаниях на сервере с шестью GeForce RTX 5090, двумя процессорами Intel Xeon Silver 4510 и 251 ГБ оперативной памяти скорость генерации GLM-5.2 достигла 9–9,2 токена в секунду. Для этого теста данные разместили в памяти, чтобы не считывать их постоянно с SSD.
Для сравнения, в первоначальном испытании без видеокарты использовались 12-ядерный процессор и SSD со скоростью чтения около 1 ГБ/с. На накопителе потребовались сотни гигабайт свободного места.
В релизе Colibrì 2.1.0 от 31 октября появилась поддержка Mistral-Large-4 с 1 трлн параметров. Обновление также позволяет загружать файлы GGUF без повторного квантования. Разработчик доработал CUDA и Vulkan и изменил интерфейс чата.
Исходный код Colibrì опубликован под лицензией Apache 2.0. Движок работает в Windows, Linux и macOS.
Ранее ICT-Online.ru сообщал, что MTS AI выпустила открытую языковую модель Cotype Nano, которую можно запускать на ноутбуках, настольных компьютерах и смартфонах.