Райтек ML-классификатор

На входе: текст обращения.

На выходе: класс обращения.

Решение может отправить запрос в нужную систему заказчика, чтобы сотрудник увидел результаты автоматической классификации в нужном интерфейсе.

Обращения можно классифицировать, например, по:

• Типу (инцидент, вопрос, запрос помощи);
• Приоритету (низкий, средний, высокий);
• Срочности (не срочно, срочно);
• Продукту/сервису (принтер, 1С, пропуск, командировка, зарплата, другое);
• Наличию негатива (есть, нет).

Бизнес-задачи

• Направлять обращение оператору, который специализируется на подобных обращениях;
• Дообогащать обращения дополнительными свойствами (например, «Наличие негатива» (есть/нет)) для создания отчётов, быстрого поиска через фильтры и отображения информации в BI-дашбордах;
• Оповещать руководителя/контролёра при появлении важного обращения с определёнными свойствами (например, «Наличие негатива»: «Есть» и «Продукт/сервис»: «Оплата услуг компании»).

Пример использования ML-классификатора в виде чат-бота Telegram

Функции

1. Автоматическая классификация входящего обращения. На входе текст, на выходе название класса и вероятность (уверенность модели в собственном ответе). Пример:

Обращение: 
Не могу распечатать страницу

Результат:
Класс: Принтеры
Вероятность: 0,95

2. Классификация по нескольким параметрам одновременно (например, приоритету, срочности, продукту/сервису, наличию негатива).
3. Возможность подключить систему по API к любой системе заказчика (например, сервис-деску, тикет-системе, чат-платформе).

Выгоды

• Ускорение классификации обращений (⇒ ускорение обработки обращений).
• Уменьшение числа ошибок при классификации (по сравнению с ручной).
• Автоматическая маршрутизация обращений в зависимости от их параметров (например, от продукта/сервиса, приоритета).
• Ускорение маршрутизации обращений (⇒ ускорение обработки обращений).
• Мгновенные уведомления о важных обращениях (например, при наличии негатива или информации о критическом инциденте).

Технология

Классический ML (машинное обучение).

Требования к инфраструктуре

• Сервер;
• Система, принимающая входящие обращения (например, сервис-деск, тикет-система, чат-платформа);
• Система, принимающая входящие обращения, должна иметь возможность отправить http-запрос во внешнюю систему (вебхук) или иметь API для предоставления данных по http-запросу из внешней системы;
• Система, принимающая результаты классификации для отображения в интерфейсе или маршрутизации обращения или уведомления человека о важных обращениях (например, при наличии негатива или информации о критическом инциденте).

Минимальные системные требования

• Архитектура amd64 (64-bit Intel/AMD);
• 8 vCPU 2 ГГц;
• 12 ГБ RAM + 1 ГБ на каждый параметр классификации;
• 512 ГБ SSD + 1 ГБ на каждый параметр классификации;
• Linux (Ubuntu 24 LTS и новее).

Преимущества нашего решения

• Работает в контуре заказчика (on-prem), запросы не отправляются через интернет третьим лицам;
• Есть возможность интеграции с внутренними системами заказчика (должны иметь API);
• Классифицирует обращение за 0,3 сек (один параметр классификации);
• Не нужна GPU (графическая карта).

Кейс

Заказчик: Торговый дом (оборудование и материалы).2000 входящих обращений в мес, 5 операторов на первой линии, Битрикс24.

Задачи:

• Ускорить классификацию входящих обращений;

• Снизить трудозатраты на классификацию.

Подводные камни:

• Некачественные данные для обучения ML-модели;

• Процесс обучения ML-модели требователен к ресурсам сервера (необходима GPU).

Эффекты от внедрения: 

• Длительность классификации входящего обращения уменьшилась с 2 минут до 0,6 сек (2 параметра классификации, на каждый по 0,3 сек);

• Трудозатраты на классификацию обращений снизились на 90% (до: 100% обращений классифицировалось вручную, после: 0% вручную и 100% автоматически, 90% верных из 100%, 10% неверных отправляется на ручную классификацию, итого 10% вручную).

Точность (доля верных ответов) классификатора: 

• По параметру «Тип обращения»: 91%;

• По параметру «Продукт/сервис обращения»: 83%.

Длительность внедрения: 1 мес.

Демо-стенд

Вариант 1. Классификатор входящих обращений для службы поддержки по ИТ-системам.

Можно задавать вопросы по 1С, ЭДО, МФУ, Битрикс.24, периферийным устройствам компьютера.

Демо-стенд: https://t.me/demo_classification_bot

Вариант 2. Классификатор входящих обращений для вашей службы поддержки.

Подготовим персональный демо-стенд.

Что требуется от вас для подготовки персонального демо-стенда:

1. Подготовить набор данных для обучения автоматического классификатора.

Формат: файл .csv или .xls/.xlsx.

Требования к набору данных: скачать.

Пример набора данных: скачать.

2. Для каждого параметра классификации указать:

• Нужно ли присваивать обращению класс «Другое», если поступит обращение, которое не подходит ни под один из классов;

• Если да, то укажите название такого класса (например, «Другое», «Прочее») или укажите, какой класс в наборе данных несёт смысл «Другое».

Цена

По запросу.

Сопроводительная документация

• Руководство по развёртыванию;

• Руководство пользователя;

• Руководство администратора;

• Минимальные системные требования к конфигурации сервера для запуска ПО.

---

FAQ (Часто задаваемые вопросы)

Вопрос 1. Что такое модель, обучение, дообучение?

Модель (если быть более точным - ML-модель или нейросеть) - это главный компонент классификатора. Именно модель выполняет классификацию обращений. Для этого модель нужно обучить.

Чтобы обучить модель, заказчик передаёт нам набор обращений, проклассифицированных вручную.

Пример обращения: При входе в 1С возникает ошибка.

Класс: Инцидент.

Мы обучаем модель на основе полученного набора обращений. После этого модель может классифицировать новые обращения.

Доля правильных классификаций обычно равна 85-90%. Для сравнения: человек в среднем правильно классифицирует 80-85% обращений.

Среди новых обращений с высокой вероятностью попадутся такие, которые будут неверно проклассифицированы моделью.

Основная причина ошибок — такие обращения сильно не похожи на все обращения, которые «видела» модель во время обучения.

Откуда берётся эта непохожесть:

• Человек слишком непонятно сформулировал обращение;

• Появилось обращение совершенно нового характера (например, инцидент, который возник впервые).

Чтобы научить модель правильно классифицировать такие непохожие обращения — и тем самым снизить число ошибок — производится новый этап обучения модели. Такой этап называется дообучением.

У заказчика есть 2 варианта действий: 

     1. Собрать новые обращения, которые были неверно проклассифицированы моделью;

     2. Собрать все новые обращения.

Если заказчик выбирает первый вариант, то далее классифицирует обращения вручную. Это не требует много времени, так как неверно проклассифицированы всего 10-15% обращений.

Если заказчик выбирает второй вариант, то далее проверяет результат автоматической классификации для всех новых обращений и исправляет найденные ошибки. Это тоже не требует много времени, так как проверять уже проклассифицированное проще, чем выполнять классификацию с нуля.

Далее заказчик передаёт нам эти обращения (только что проклассифицированные вручную). Мы дообучаем модель на их основе.

Вопрос 2. Что такое параметр классификации?

Параметр классификации — это некоторое свойство обращения. 

Примеры параметров классификации:

• Тип (возможные значения: инцидент, вопрос, запрос помощи);

• Приоритет (низкий, средний, высокий);

• Срочность (не срочно, срочно);

• Продукт/сервис (принтер, 1С, пропуск, командировка, зарплата, другое);

• Наличие негатива (есть, нет).

Для каждого обращения можно выбрать наиболее подходящее значение из набора возможных значений в рамках конкретного параметра классификации. Например:

Обращение: При входе в 1С возникает ошибка.

Параметр классификации: Тип

Значение: Инцидент

Может потребоваться классифицировать каждое обращение одновременно по 2 и более параметрам. Такое возможно, например:

Обращение: При входе в 1С возникает ошибка.

Параметр классификации: Тип

Значение: Инцидент

Параметр классификации: Приоритет

Значение: Высокий

Заказчик самостоятельно определяет, какие должны быть параметры классификации и наборы значений для них. Эту информацию он передаёт нам для обучения модели.

Вопрос 3. Сколько может быть параметров классификации?

Когда заказчик передаёт нам набор обращений, проклассифицированных вручную (чтобы мы обучили модель на их основе), он дополнительно сообщает, какие должны быть параметры классификации и наборы значений для них.

Чем больше параметров классификации, тем дольше длится обучение модели. Наши серверные и временны́́е ресурсы ограничены. Поэтому количество параметров тоже ограничено.

В стоимость лицензии входит 3 параметра. Если заказчику требуется 4 и выше - необходимо приобрести дополнительную услугу «Добавление нового параметра классификации (включая обучение)». Количество единиц услуги равно количеству параметров свыше 3.

Например, если заказчику требуется классификация по 5 параметрам. 3 параметра включены в стоимость лицензии (за них не нужно отдельно платить) и 2 параметра придётся докупить. Для этого нужно приобрести 2 единицы услуги «Добавление нового параметра классификации (включая обучение)».

Вопрос 4. Как вы сможете дообучить модель, если она расположена в закрытом контуре заказчика (on-prem) и у вас нет к нему доступа?