Что будет, если нейросеть ответит неправильно?

Начнём с честного ответа: нейросеть будет ошибаться. Ошибается и новый оператор, и опытный специалист. Правильный вопрос не «будет ли она ошибаться?», а «что произойдёт, когда она ошибётся, и кто это заметит?».

Типичный страх выглядит так: бот говорит клиенту, что доставка бесплатная, хотя она платная. Или обещает скидку, которой нет. Разберём, почему такое происходит и как мы это предотвращаем.

Почему модель ошибается

Языковая модель не база фактов. Она генерирует наиболее вероятное продолжение текста. Когда нужной информации под рукой нет, она заполняет пробел правдоподобным текстом. Это называют «галлюцинацией», и самое опасное в ней то, что неправильный ответ звучит так же уверенно, как правильный.

Основные причины ошибок:

• модель не знает ваших правил и отвечает из общих знаний;
• информация в базе знаний устарела или документы противоречат друг другу;
• вопрос неоднозначный, и модель поняла его иначе;
• модели дали больше свободы, чем нужно.

Правило первое: ответ только по вашим материалам

Ассистент должен отвечать не из общих знаний, а по вашим документам. Для этого используется подход RAG: когда приходит вопрос, система сначала находит в базе знаний самые близкие по смыслу фрагменты, а затем передаёт их модели с инструкцией «отвечай только на основе этих текстов». Как работает поиск по смыслу, мы показали в статье про эмбеддинги.

Под ответом указывается источник: какой документ, какой пункт. Сотрудник или клиент может проверить одним кликом. Это и повышает доверие, и помогает быстро найти ошибку.

Умение сказать «не знаю»

Одно из самых ценных качеств хорошего ассистента это вовремя сказать «не знаю». Если поиск не нашёл подходящих фрагментов или найденное слабо связано с вопросом, бот не выдумывает, а честно отвечает: «У меня нет информации об этом, соединяю вас с сотрудником». Для клиента это в разы лучше уверенного неправильного ответа.

Говорить и делать это разные вещи

Между ответом на вопрос и действием большая разница. Неправильный ответ неприятен, а неправильное действие (возврат денег, отмена заказа, отправка договора) наносит реальный ущерб. Поэтому правило простое:

• модель готовит черновик действия, сотрудник подтверждает;
• права модели минимальны: она читает только те данные, которые нужны для сценария;
• любой шаг, где есть деньги, клиент или юридические обязательства, проходит через человека.

Этот принцип важен и для безопасности. Про риск команд, спрятанных внутри документов, мы рассказали в статье о безопасности данных.

Тестовые вопросы до запуска

«Вроде нормально работает» недостаточно. До запуска мы собираем 100–200 реальных вопросов клиентов и сотрудников и для каждого записываем правильный ответ. В набор обязательно входят:

• обычные частые вопросы;
• вопросы, ответа на которые нет в базе знаний (бот должен сказать «не знаю»);
• неоднозначные вопросы;
• запросы не по теме и провокации.

После каждого изменения (новая модель, новые документы, изменённая инструкция) набор прогоняется заново. Тогда качество измеряется цифрами, а не ощущениями.

Контроль после запуска

Запуском работа не заканчивается. Все диалоги сохраняются, клиенты могут оценить ответ, а неудачные разговоры разбираются раз в неделю. По нашему опыту, большая часть ошибок не в самой модели, а в пробелах базы знаний: правило поменялось, документ не обновили. В таких случаях достаточно поправить документ.

Передача человеку

Бот не должен решать всё сам. Разговор передаётся сотруднику, если:

• клиент прямо просит поговорить с человеком;
• вопрос касается оплаты или жалобы;
• бот два раза подряд не понимает вопрос;
• заметно, что клиент недоволен.

Сотрудник видит всю историю диалога, и клиенту не приходится объяснять всё заново.

Итог

Свести риск ошибки к нулю нельзя, но им можно управлять. Ответ только по вашим материалам, ссылка на источник, бот умеет сказать «не знаю», важные действия проходят через человека, качество измеряется тестовыми вопросами. Эти пять правил превращают нейросеть из непредсказуемого инструмента в предсказуемого помощника.

В проектах по внедрению AI мы применяем эти правила с первого дня. Как ассистент безопасно работает с CRM или 1С, рассказали в отдельной статье, а про бюджет проекта в статье о стоимости. Есть вопросы? Напишите нам.