При тестировании новых технологий ИИ полагаться исключительно на техно-оптимистов может привести к ошибочным результатам. Это ошибка, с которой столкнулась Tesla во время разработки своих автопилотируемых автомобилей — урок, который особенно актуален для таких отраслей, как здравоохранение.
Tesla активно совершенствует свою систему автопилота, и каждое обновление делает систему лучше благодаря данным, собранным от пользователей в реальных условиях. Однако многие из этих тест-пилотов оказались чрезмерно самоуверенными, что приводило к опасным последствиям. В некоторых случаях водители настолько доверяли автопилоту, что засыпали за рулем, что заканчивалось фатальными авариями. Один из таких трагических случаев произошел, когда автомобиль врезался в стоящую пожарную машину. Проблема в том, что эти пользователи, будучи самыми активными сторонниками технологии, не вмешивались в управление в критические моменты, что мешало корректной обучаемости ИИ.
Недавнее исследование NTNU подчеркивает важность этого вопроса: чрезмерно уверенные пользователи могут навредить развитию ИИ, не предоставляя системе нужных корректировок. Когда происходят ошибки, более осторожные люди теряют доверие к технологии и перестают ею пользоваться, лишая ИИ необходимого опыта. Без участия осторожных пользователей ИИ теряет возможность обучаться на реальных ситуациях.
В таких отраслях, как здравоохранение, где ИИ имеет огромный потенциал, это особенно важно. Необходимо, чтобы ИИ-инструменты тестировались людьми, которые используют их с осторожностью. Обычно наиболее оптимистичные пользователи, готовые первыми испытать новые технологии, часто упускают или неверно трактуют ошибки. В то время как осторожные пользователи, напротив, могут выявить ошибки и дать ценные замечания, что ускорит улучшение ИИ.
Исследователи из NTNU и SINTEF наблюдают аналогичные тенденции в работе с медицинскими специалистами, которые пробуют модели машинного обучения. Скептически настроенные пользователи часто полностью отказываются от использования ИИ, когда сталкиваются с ошибками, что подчеркивает общее недоверие к технологиям, которые они не могут полностью понять. Это особенно актуально в случае ИИ, функционирующего как «черный ящик».
Исследования по объяснимому ИИ, такие как работы Инги Стрюмке из NTNU, подтверждают важность прозрачности. Когда ИИ принимает необъяснимые решения, пользователи, особенно в таких критических областях, как медицина, требуют чёткого обоснования таких выборов. В противном случае доверие к технологии быстро исчезает. В отличие от этого, люди легче прощают ошибки других людей, так как причины человеческих ошибок легче понять.
ИИ обладает огромным потенциалом в здравоохранении, как отмечает доктор Ишита Баруа в своей книге «Искусственный интеллект спасает жизни». Она утверждает, что сектор здравоохранения должен внедрять ИИ благодаря его способности радикально улучшать результаты лечения пациентов через более точные диагнозы и терапию. Однако пример Tesla напоминает нам о том, что нельзя позволить рисково настроенным ранним пользователям доминировать на стадии тестирования. Напротив, следует отдавать предпочтение обратной связи от более осторожных пользователей, которые смогут выявить и исправить ошибки на ранних этапах, что приведет к созданию более надёжных ИИ-систем.
Главный урок состоит в том, что успех ИИ зависит от участия пользователей с разными уровнями склонности к риску. Привлечение более консервативных профессионалов, таких как врачи, к экспериментам с ИИ — при этом не сразу доверяя ему пациентский уход — может привести к более надёжным данным для обучения моделей. Как осторожные водители помогли улучшить автопилот Tesla, так и осторожные пользователи могут помочь ИИ в здравоохранении развиваться безопаснее и эффективнее.