НЬЮ-ДЕЛИ: от диагностики заболеваний до классификации хаски, искусственный интеллект (ИИ) имеет бесчисленное множество применений, увы недоверие к технологии и ее решениям сохранится пока, пока люди, «конечные пользователи», не в силах полностью понять что остается сделать нашему клиенту свои процессы, говорит американский ученый ,
По словам Самбита Бхаттачарьи, преподавателя компьютерных наук в государственном университете Фейетвилла, преодоление «недостатка прозрачности» в том факте, как ИИ обрабатывает информацию, обычно называемую «проблемой черного ящика», важно для развития доверия к технологиям.
«Доверие является серьезной проблемой в искусственном интеллекте, так как люди являются конечными пользователями, и они никогда не в силах полностью доверять ему, если они не знают, как ИИ обрабатывает информацию». сказал Бхаттачарья PTI.
Ученый-компьютерщик, чья работа содержит использование машинного обучения (ML) и искусственного интеллекта для обработки изображений, был основным докладчиком на недавней 4-й Международной и 19-й Национальной конференции по машинам и механизмам (iNaCoMM 2019) в Индийском технологическом институте в Манди.
Чтобы подтвердить свою точку зрения что, что пользователи редко когда доверяют решениям, предоставленным ИИ, Бхаттачарья привел пример исследователей из больницы Маунт-Синай в США, которые применили ML к большой базе данных о пациентах, содержащей информацию, такую как результаты анализов и визиты к врачу.
ПО для компьютера «Deep Patient», которое они использовали, имело исключительную точность в прогнозировании заболевания, обнаруживая закономерности, скрытые в данных больницы, указывающих, когда пациенты находились для различным заболеваниям, включая рак, согласно исследованию 2016 года, опубликованному в журнале Nature.
Однако у Deep Patient был черный ящик, говорят исследователи.
Это может предвидеть начало психических расстройств, таких как шизофрения, которые, по словам исследователей, трудно предсказать врачам. Но новый инструмент не дал ни малейшего представления что же на самом деле, как он это делает.
Исследователи заявили, что инструменту ИИ необходим уровень прозрачности, который объясняет процесс, лежащий в основе его прогнозов, который успокаивает врачей и оправдывает любые изменения рекомендуемых лекарств, отпускаемых по рецепту.
«Многие инструменты машинного обучения до настоящего времени являются черными ящиками, которые выносят вердикты без любого сопутствующего обоснования». пишут врачи в исследовании, опубликованном в журнале BMJ Clinical Research в мае.
По словам Бхаттачарьи, даже позволяющей вести бухгалтерский учет (софт) распознавания лиц на базе ИИ быть поставляться с черными ящиками.
«Распознавание лиц является спорным по причине проблемы черного ящика. Он по-прежнему не подходит людям с темной кожей и допускает ошибки при сопоставлении с базой данных лиц. Встречаются хорошие примеры, включая проблемы с вариантами использования в правовых системах». пояснил он.
Далеко не все алгоритмы являются надежными.
Бхаттачарья упомянул проект в Калифорнийском университете в Ирвине, где студент создал алгоритм для классификации фотографий хаски и волков.
Алгоритм студента UCI может почти идеально классифицировать две собаки. Однако в последующем перекрестном анализе его профессор Самир Сингх обнаружил, что алгоритм идентифицирует волков только на базе снега на заднем плане изображения, а не на базе анализа черт волка.
Ссылаясь на другой пример, Бхаттачарья сказал: «Если вы показываете алгоритм классификации изображений для изображения кошки, то у кошки встречаются фон. Поэтому алгоритм смог бы сказать, что это кошка, принимая во внимание, что он видит на заднем плане, что он относится к кошке. «.
В данном варианте «проблема по поводу того, что алгоритм не развязывает фон с полностью правым передним планом», пояснил он.
Существует целая новая область, касающаяся «объяснимости ИИ», которая пытается объяснить, как алгоритмы принимают решения.
Например, в Лондоне исследователи из DeepMind, дочерней компании материнской компании Google Alphabet, использовали глубокое обучение, чтобы назначать сайтам приоритетное лечение, глядя на сканирование глаза пациента.
Их исследование, опубликованное в журнале Nature, отметило, что система выполняет трехмерное сканирование глаз, анализирует их и выбирает случаи, которые требуют срочного направления.
По словам исследователей DeepMind, модель дает несколько возможных объяснений для каждого диагноза, оценивает них, и дополнительно показывает, как она пометила части глаза пациента.
«Google вложил много усилий в разработку заслуживающих доверия алгоритмов по другому в разработку более совершенных алгоритмов для тщательного изучения того, что делает алгоритм глубокого обучения». сказал Бхаттачарья.
Он добавил, что алгоритм локальной интерпретируемой модели Agnostic Explanations (LIME) является многообещающим решением для преодоления черных ящиков ИИ. По словам Бхаттачарьи, LIME позволяет исследователям анализировать «входные значения», которые использовала система ИИ, чтобы прийти к заключению.
