Как внедрить нейросеть в службу поддержки и научить ее отвечать лучше сотрудников

Рассказывает
Ольга Любимова

Timeweb — российский хостинг-провайдер. Клиенты компании размещают и хранят данные в сети, обращаются за услугами виртуального хостинга или, например, покупки доменов. Другими словами, в поддержку может написать и молодая мама в декрете, решившая запустить свой сайт по продаже детской одежды, и продвинутый разработчик, который поддерживает сотни ресурсов.

Ещё один участник этой группы — Timeweb Cloud — помогает бизнесу и разработчикам создавать ИТ-инфраструктуру в разных регионах мира. Клиентам доступно множество сервисов — облачные и выделенные серверы, Kubernetes, управляемые базы данных и др. С их помощью можно развернуть и небольшой онлайн-магазин, и целую экосистему приложений.

Далеко не все клиенты обеих компаний понимают разницу между облачными и выделенными серверами, а главное, какие из них им подойдут, поэтому нагрузка на первую линии поддержки Timeweb всегда большая. Несмотря на то, что продукт технически сложный, своей ценностью ребята видят клиентоориентированность и человечный подход. Поэтому они стремятся к тому, чтобы вся коммуникация, включая ответы сотрудников поддержки, была понятна любому клиенту.

Кто делал проект?

 

Качественный подход

Работу над качеством ответов клиентам вести начали с разных сторон. Первым делом чуть больше года назад в Timeweb решили прокачать команду поддержки и обратились за помощью к нашей команде. Хотели научить сотрудников первой линии даже сложные термины объяснять простыми словами, отвечать на вопросы клиентов прямо и придерживаться единого TOV. Благодаря этому сотрудничеству появилась книга знаний, в которой были сформулированы все правила общения с клиентами.

Книга зашла на ура, повысила мотивацию отвечать клиентам круто, а количество апелляций саппорта на оценки контроля качества снизилось в 14 раз. Ребята поняли, как должен выглядеть суперкачественный ответ — от приветствия до решения вопроса.

На одной из встреч по итогам обучения мы рассказали, что научили ChatGPT отвечать клиентам так же классно, как и их команду.  В результате они сами загорелись идеей попробовать внедрить нейросеть. Мы уже были сильно погружены в сам продукт, так что в теории работа должна была пойти быстрее.

Первый не пошел

Перед стартом выяснилось, что эксперименты с ботами в Timeweb уже проводили. Чтобы скорость ответов поддержки соответствовала качеству самого сервиса, сначала внедрить элементарного бота, который просто предлагал пользователям варианты ответов, пробовали в виртуальном хостинге. Хотели с его помощью не решать проблемы клиентов, а скорее рассказывать, что и как работает, отвечать на вопросы, связанные с тарифами.

Мы рассчитывали, что клиенты смогут задавать ему вопросы и получать ответы. Планировали, что наш бот сможет закрывать хотя бы небольшую часть кейсов: обратиться к какому-то справочнику, обратить внимание на ошибку. Но клиенты задавали много вопросов о работе сервиса, ответы на которые бот не знал. Более того, он мог ответить неверно и навредить репутации компании.

Дарья Воронова, руководитель информационной поддержки Timeweb

В команде Timeweb Cloud тоже пытались экспериментировать с искусственным интеллектом. В итоге удовлетворенность помощником составила 64%, но снижения нагрузки поддержка не заметила. Но первый подход к вопросу показал, что для команды задача выполнима лишь в теории. Что нужно для того, чтобы бот качественно собирал информацию от клиента и маршрутизировал на нужного сотрудника, оставалось загадкой, которую хотелось скорее решить.

В этот раз решили делать всё по-другому.

Не всё и не сразу

Один из самых важных этапов проекта — создание MVP. Под MVP в компании подразумевали бота, который получает сообщения от клиентов, сам формирует ответ и передает его саппорту на апрув.

В поддержке самая большая нагрузка приходится именно на первую линию: до второй доходит только 20% тикетов. Прежде всего нужно было оценить, получится ли у бота закрывать тикеты и в каком количестве. Прогнозировать качество ответов было трудно из-за сложности самого продукта. Кроме того, в базе знаний обеих компаний было мало актуальной информации, и нужно было пересобрать ее с нуля.

Несмотря на то, что у ребят была частичная база знаний, просто скормить ее нейросети нельзя. Если в базе знаний вся информация описана в формате вопрос-ответ, то боту, работающему с данными, нужны четкие инструкции и подробные описания целых веток событий. Для человека многие вещи кажутся очевидными, поэтому каждый раз опускаться до уровня машины было настоящим вызовом.

Катя Новикова, менеджер проекта со стороны Supprt.Science

Начали с того, что выбрали 4 простые тематики, по которым клиенты пишут в поддержку. 4 тематики обращений выбрали для внедрения бота Например, тарифы — это одна тематика, а оплата услуг компании — другая, но взаимосвязанная с ней. Решили, что тематики, на которые может отвечать бот, добавлять нужно постепенно, чтобы сохранить фокус на качестве ответов.

В каждой тематике определили, какие обращения бывают по типу. Получилось три категории:

• Простой вопрос — простой ответ. Например, клиент спрашивает, как изменить пароль, а бот отправляет ему пошаговую инструкцию. Команда назвала эту категорию инфовопросами.
  
• Вопрос про самого клиента. Например, клиент уточняет,  какой у него тариф. С одной стороны вопрос простой, но для ответа нужно считывать данные из API и соотносить эту информацию с базой знаний.
  
• Нужно что-то сделать. В эту категорию попадали все вопросы, ответ на которые требовал действия от сотрудника. Например, поменять тариф или подключить дополнительную услугу. 

В компании сомневались, сможет ли бот классно отвечать даже на самые простые вопросы, но когда руководители увидели результаты тестовой среды, энтузиазм команды вырос в разы несмотря на то, что нейросеть может покрыть только первые две категории вопросов. Даже за первую неделю тестов в песочнице команда получила 70% качественных ответов. 70% качественных ответов получили за первую неделю тестов

После успешного тестирования команда пошла на следующий этап — MVP. Теперь саппорты получали тикеты с комментариями бота: они могли их принимать или отклонять, если ответ был с ошибкой. Менеджеры тоже вычитывали 100% диалогов.

Главной задачей стало растить качество ответов от нейросети. На первой неделе MVP качество ответов было 75,56%, на второй неделе 89%, на финальном срезе — 93%. 93% качество ответов на финальном срезе

Для оценки качества команда выбрала несколько критериев: понимание задачи, понятная формулировка, были ли критические ошибки, удалось ли решить вопрос клиента и пр.

Критерий	Оценка	Динамика от среза к срезу
Понимание проблемы	97,5%	+5,96%
Критичные ошибки в матчасти	94%	+14,84%
Некритичные ошибки в матчасти	93,93%	+4,7%
Структура общения	89,7%	+0,89%
Язык общения	98,1%	+1,25%

По предварительной оценке новый бот мог успешно отвечать на 47% обращений, то есть самостоятельно закрывать вопросы почти в половине случаев.47% обращений бот закрывает самостоятельно

На старт, внимание

Когда в Timeweb поняли, что качество ответов в MVP их устраивает, стали думать в сторону технического решения, как выйти в прод, то есть начать отвечать клиентам напрямую. Важным было обеспечить бесшовный переход от бота к человеку в тех ситуациях, когда нужно было эскалировать задачу.

Это мог быть случай, когда для решения нужны ручные действия оператора или, например, когда у бота в API не было доступа к нужной части персональных данных клиента.

На старте бот передавал саппортам примерно половину сообщений.

Как только нейросеть начала отвечать самостоятельно, команда сильно переживала. Поэтому первое время менеджеры особенно пристально смотрели за оценкой клиентов.

Но радости не было предела: положительных оценок стало намного больше. Только за август их было 90%. 90%положительных оценок от клиентов после внедрения бота Для сравнения: к сотрудников поддержки средний показатель — 88%.

Теперь бота обучаем отвечать на вопросы новой тематики каждую неделю. По-прежнему проверяем каждый диалог, чтобы не потерять в качестве ответов.
По сути у нас на каждую новую тематику отвечает бот-стажер, ответы которого отправляем клиентам только после оценки действующих саппортов. Когда мы видим, что по какой-то определенной теме бот отвечает уже хорошо, мы переводим эту тему на бота-специалиста, который может отвечать клиентам напрямую.  Главное, что все ошибки мы видим и исправляем Так что процесс почти ничем не отличается от обучения любого сотрудника поддержки.

Катя Новикова, менеджер проекта со стороны Supprt.Science

Если на этапе MVP мы еще помогали оценивать ответы и исправлять ошибки нейросети, то на этапе продакшена команда TimeWeb справлялась с обучением сама. Для этого, правда, понадобились отдельные сотрудники в команде, которым было интересно окунуться в мир нейросетей и погрузиться в работу с ботом на постоянной основе.

Пошел по стопам

В Timeweb сразу решили, что нейросеть будут использовать для начала в двух продуктах, но запускали ботов последовательно по мере освобождения ресурсов разработчиков. При этом обе команды были максимально вовлечены в процесс, участвовали в рабочих встречах. Так что к моменту запуска MVP для второго продукта, команда Timeweb Cloud учла максимум ошибок коллег. Например, они сразу переписали базу знаний с поправкой на бота.

Ожидания того стоили. Мы были вторыми, поэтому качество ответов у нас было сразу высоким. В первую неделю MVP мы получили порядка 85% качественных ответов, а при выходе в продашкн — уже 95%.

Павел Ширяев, руководитель информационной поддержки Timeweb Cloud

Wow-эффект

Бот работает. Реакции команды пока две: кайф и круто. Оказалось, что бот может идеально формулировать ответы и решать тикеты самостоятельно. Команда постепенно добавляет тематики, на которые он может отвечать.

В первом продукте нейросеть покрывает 20,3% обращений в линии.20% обращений покрывает нейросеть В более чем половине случаев нейросеть самостоятельно отвечает на вопрос клиента, задает уточняющие вопросы, проводит базовый сбор информации и только потом переводит сообщение на человека. Если команда продолжит вкладываться в обучение бота, таких случаев должно быть всё меньше.

В Timeweb Сloud, которые запустили бота вторыми, нейросеть покрывает уже 10% обращений. Энтузиасты команды добавляют по новой тематике каждые несколько дней, чтобы скорее догнать и обогнать коллег.

В среднем на запуск бота нужно три месяца. В этот раз проект занял больше времени из-за самописного решения. На скорость разработки влияла в том числе интеграция с внутренними системами. Кроме того, ребята хотели не быстрый запуск, а максимальное качество на старте с настроенным процессом эскалации: нужно было, чтобы при выходе в продакшн, сотрудник поддержки автоматически получал вопрос клиента, если боту не хватало данных для ответа.

Даже сезон сыграл свою роль: летом обращений в поддержку меньше, поэтому на сбор статистики по качеству работы понадобилось больше времени. Но зато и результат превзошел все ожидания, и вместо 70% качественных ответов мы получили 90%.

Катя Новикова, проектный менеджер Supprt.Science

Бот значительно облегчает жизнь сотрудника поддержки. Приятный побочный эффект — внедрение нейросетей в поддержку здорово мотивировало команду. Все отметили, как приятно работать в компании, которая не боится использовать современные решения, пробует и развивается.

Неожиданно бот косвенно повлиял на качество ответов живых саппортов. Оказалось, что у него тоже есть чему поучиться. Например, красивым формулировкам и структурированным ответам 🙂

Маркетинг тоже был в восторге, потому что получил для себя классный кейс.

Советы тем, кто хочет так же

• Если вы сомневаетесь, можно ли сделать то, что вы хотите, изучите международный опыт. Посмотрите, как реализованы подобные кейсы у конкурентов. Если у кого-то есть что-то похожее, значит вы точно сможете сделать еще лучше, потому что будете делать это для себя!

• Перед тем, как приступить к созданию бота, создайте или актуализируйте базу знаний. У вас должны быть четко прописаны регламенты, как вы взаимодействуете с клиентом, как общаетесь и даже пишете ли Вы или вы.

• Используйте фактор сезонности на пользу себе: любое затишье повод навести порядок в Базе Знаний, а свободный ресурс разработчиков использовать на создание чего-то нового, что можно потестить в спокойном режиме.

• Бот ускорит и улучшит процессы, но точно не заменит человека полностью. Вам придется формировать команду, которая будет сопровождать бота с начала проекта. Бота всегда нужно будет обучать: «скармливать» ему обновленную информацию. Это работа должна стать процессом.

• Относиться к боту стоит как к ребенку, в которого нужно вкладывать много времени, сил, знаний, умений и любви. Но зато каждое его достижение станет для вас поводом для бесконечной гордости, а для клиентов — счастья.

Illustration by Oleg Shcherba from Ouch!