Бот должен уметь не знать
Языковая модель по своей природе стремится дать ответ. Если в базе нет условий возврата, она составит правдоподобные — и клиент будет ссылаться на них.
Поэтому бот настраивается так, что отвечает только по загруженным документам, а при отсутствии ответа говорит об этом прямо и переводит на человека. Формулировка «я не знаю, сейчас позову коллегу» не портит впечатление — портит его выдуманный ответ, который оказался неверным.
Проверяется это до запуска: я задаю боту двадцать-тридцать вопросов, включая те, ответов на которые в базе нет намеренно. Если он на них отвечает — база или настройки не готовы.