«Диасофт» автоматизирует полный цикл работы с ML-моделями

 Компании финансового и промышленного секторов активно внедряют технологии машинного обучения для повышения эффективности бизнес-процессов и создания новых цифровых сервисов. Однако масштабирование ML-проектов зачастую сопровождается отсутствием единого подхода к управлению экспериментами, сложностями воспроизводимости результатов, высокими операционными рисками и значительными затратами на вывод моделей в промышленную эксплуатацию.

Для решения этих задач специалисты «Диасофт» разработали продукт «Управление жизненным циклом машинного обучения», который обеспечивает централизованное управление всеми этапами работы с ML-моделями в едином технологическом контуре организации.

В числе ключевых возможностей продукта:

• Централизованное управление экспериментами с сохранением параметров, метрик, программного кода и артефактов для полной воспроизводимости результатов.
• Ведение реестра моделей с поддержкой версионирования и разметка данных моделей на различных стадиях жизненного цикла.
• Автоматизация развертывания моделей в различных средах – локальной инфраструктуре, облаке или on-premise-контурах.
• Мониторинг работы моделей, логирование предсказаний и контроль дрейфа данных для поддержания стабильности и качества результатов.
• Интеграция с популярными ML-фреймворками, включая PyTorch, TensorFlow и Scikit-learn, а также работа с проектами в формате контейнеров.
• Предоставление бизнес-пользователям доступа к прогнозным моделям через чат-бот без необходимости работы с API и программным кодом.

«Важно консолидировать в едином контуре заказчика как эксперименты, так и модели, развернутые в реальных рабочих средах. В отличие от разрозненных инструментов, наш продукт обеспечивает сквозную автоматизацию. Ключевое преимущество продукта – готовая отечественная альтернатива зарубежным решениям, которая обеспечивает независимость от иностранных лицензий, соответствует требованиям информационной безопасности и снижает операционные затраты на внедрение технологий машинного обучения», – отмечает Илья Шуйков, руководитель продукта «Фабрика данных» компании «Диасофт».

Продукт использует Kubeflow Pipelines (KFP) для автоматизации полного цикла работы с моделями машинного обучения – от подготовки данных и обучения до развертывания в Kubernetes. Для промышленного инференса применяется KServe, который автоматически публикует модели из реестра как масштабируемые REST-сервисы с поддержкой GPU, canary- и blue-green-развертываний и автоматического восстановления после сбоев. В состав продукта также входят хранилище признаков (Feature Store) на базе Valkey и Apache Iceberg, единая аутентификация через Digital Q.Security (SSO/OIDC), а также Trainer Operator для запуска и управления распределенным обучением моделей в кластере Kubernetes.

Продукт может выступать в качестве отечественной альтернативы MLflow и другим зарубежным платформам управления жизненным циклом моделей машинного обучения.

С помощью продукта «Управление жизненным циклом машинного обучения» можно как создавать новые ML-сервисы, так и централизованно управлять существующим ландшафтом ML-моделей в крупных организациях.