ВТБ и МГУ создали детекторы токсичности и галлюцинаций для ИИ-агентов банка
ВТБ совместно с Центром искусственного интеллекта (ИИ) МГУ создали систему контроля ответов ИИ-агентов. В рамках партнёрства разработаны два детектора для проверки ошибок виртуальных моделей: на предмет их токсичности и галлюцинаций. Они будут проверять клиентские запрос и ответы цифровых помощников.Об этом сказал советник первого заместителя президента-председателя правления ВТБ Сергей Путятинский в рамках Kazan Digital Week.
Детектор токсичности проверяет запросы пользователей на содержание запрещенных тем, нарушения законодательства, наличие взрослого контента 18+ и т.п. Если сообщение или текст будут неэтичными, система заблокирует запрос и не будет его обрабатывать.
Детектор галлюцинаций в уже сформированных ответах цифровых помощников распознает несоответствия и противоречия и подсвечивает, в какой части ответа они расположены. Затем специалисты ВТБ могут отправить такой ответ на повторную проверку или заблокировать его. Галлюцинации - одна из самых распространённых проблем генеративного ИИ. В таких случаях языковая модель выдаёт уверенный, но полностью вымышленный ответ.
Решения планируется внедрить в те сервисы розничного бизнеса ВТБ, в которых для общения с физическими лицами используются цифровые помощники.
«ВТБ продолжает совершенствовать качество цифровых помощников, которые напрямую общаются с клиентами. Такой ИИ-агент не должен поддаваться на провокационные формулировки, отвечать недостоверно или рекомендовать несоответствующие запросу финансовые продукты или услуги. Готовых решений, которые отвечали бы требованиям банка, на рынке не нашлось, поэтому ВТБ разработал собственные детекторы вместе с экспертами МГУ. Внедрение моделей проверки - необходимая мера, чтобы сохранять высокий уровень обслуживания клиентов при активном использовании ИИ», — пояснил Сергей Путятинский.
