Руководитель направления Data Science в Ramax Александр Борисов об опыте реализации LLM-проектов

Внедрение технологий ИИ в бизнес-процессы обычно происходит тогда, когда становится понятен их бизнес-эффект, т.е. затраты на внедрение заметно меньше достигнутого снижения операционных затрат. Большие возможности LLM связываются с легкостью и скоростью проведения пилотов для измерения бизнес-эффекта в конкретной компании и бизнес-процессе, однако масштабирование решения может вызвать дополнительные расходы – например, связанные с обеспечением безопасности, интеграцией в существующий ИТ-ландшафт и развитием ИТ-инфраструктуры.

В нашей компании имеется опыт реализации RAG-систем для интеллектуального поиска по внутренним базам знаний, автоматического создания документации с помощью LLM, ускорения процессов управления данными (Data Governance) в части наполнения и поддержки бизнес-глоссария на базе микро-LLM, дообученных на предметной области.

Другой пример – реализация сервиса на основе интеллектуального чат-бота для внутренней поддержки сотрудников, реализующего общение пользователей на естественном языке, классификацию обращений по типу, RAG-поиск по базе знаний, извлечение необходимого контекста и данных для формирования запросов в ServiceDesk-систему, которые решаются сотрудниками поддержки. Фактически, такая система позволяет значительно разгрузить от рутины сотрудников первой линии поддержки, оставляя им только наиболее сложные и творческие задачи. Это и является основным эффектом от применения LLM на данном этапе развития технологии.

Руководитель направления Data Science в Ramax Александр Борисов

Фото: Ramax