9
Представьте: вы летите на самолёте. В какой-то момент пилот выходит из кабины, садится рядом с вами и говорит: «Слушайте, я честно не понимаю половину того, что делает бортовой компьютер. Но он справляется лучше меня». Вы бы запаниковали?
Наверное, да.
Но именно это происходит с каждым из нас каждый день — только без честного пилота рядом. Мы доверяем алгоритмам, которые никто не может объяснить до конца. Врачи доверяют ИИ, который ставит диагнозы. Судьи — системам, которые оценивают риск рецидива. Инвесторы — моделям, логику которых не понимают даже их создатели.
И что самое странное: чем сложнее система — тем охотнее мы ей верим.
Это не баг. Это эволюцияМозг человека — ленивый орган. Не в обидном смысле, а в буквальном: он экономит энергию везде, где может. Понять, как работает навигатор — это усилие. Просто поехать туда, куда он говорит — нет.
Психологи называют это «когнитивной разгрузкой». Когда задача слишком сложная, мы передаём её тому, кто справится лучше. Раньше этим «кем-то» был старейшина племени, потом — врач в белом халате, потом — авторитетная книга. Сейчас — экран с уверенным ответом.
Мы не стали глупее. Мы просто нашли новый способ делегировать.
В 2019 году исследователи из MIT показали, что люди готовы доверять алгоритмическому совету больше, чем человеческому — даже когда оба дают одинаковый ответ. Просто потому что алгоритм «не устаёт» и «не предвзят». То, что он тоже предвзят — просто по-другому — остаётся за кадром.
Авторитет без лица страшнее авторитета с лицомВот парадокс, который мало кто замечает. Когда вам говорит «нет» живой человек — вы можете поспорить, попросить объяснить, пожаловаться. Когда говорит система — вы просто принимаете. Потому что с кем спорить?
В 2016 году в США алгоритм COMPAS начал предсказывать вероятность того, что преступник совершит рецидив. Судьи использовали эти оценки при вынесении приговоров. Журналисты из ProPublica выяснили: система ошибалась системно и по расовому признаку. Чёрных обвиняемых она оценивала как более опасных — без каких-либо оснований.
Но самое поразительное в этой истории не ошибка алгоритма. А то, что никто не требовал объяснений. Судьи видели цифру — и принимали её как факт. Не потому что были злыми или ленивыми. А потому что цифра выглядела объективно.
Непрозрачность системы стала её главным аргументом.
Магия чёрного ящикаЕсть кое-что в непонятном, что притягивает сильнее понятного.
Средневековый хирург, который объяснял болезнь «дурным воздухом», вызывал меньше доверия, чем тот, кто молча смотрел на пациента и называл точную дату выздоровления. Шаман, чей ритуал никто не понимал, был авторитетнее соседа с советом.
Психолог Адам Галински назвал это «эффектом сложности»: чем меньше мы понимаем механизм — тем больше приписываем ему силы. ChatGPT, который пишет текст «непонятно как», кажется умнее калькулятора, который складывает числа «очевидно как».
Сложность = компетентность. Это уравнение ложное. Но оно прошито в нас глубоко.
Почему мы не останавливаемсяМожно было бы ожидать: люди столкнутся с провалами алгоритмов — и отступят. Но происходит обратное.
После каждого громкого скандала с предвзятостью ИИ — инвестиции в ИИ растут. После каждой ошибки алгоритмической медицины — больницы покупают больше алгоритмов. Это не иррационально. Это рационально по-другому.
Альтернатива — люди. А люди ошибаются ещё больше, ещё предвзятее, ещё непредсказуемее. Радиолог пропускает опухоль в 30% случаев — алгоритм в 11%. Да, алгоритм ошибается странно. Но он ошибается реже.
Мы не выбираем между «идеальным» и «несовершенным». Мы выбираем между двумя видами несовершенства. И непрозрачное несовершенство алгоритма начинает выигрывать у прозрачного несовершенства человека.
Тот момент, когда доверие стало петлёйЕсть точка, в которой доверие перестаёт быть выбором и становится зависимостью.
Навигатор знает дорогу лучше вас — поэтому вы перестаёте запоминать улицы. Рекомендательный алгоритм знает, что вам понравится — поэтому вы перестаёте искать сами. Через десять лет такой жизни вы физически не можете ориентироваться без телефона. Не потому что стали хуже. А потому что навык атрофировался за ненадобностью.
Это называется «технологическая зависимость второго порядка» — когда вы зависите не от самой технологии, а от решений, которые она за вас принимает.
Google Maps сделал вас хуже ориентирующимся в пространстве. Это доказано нейровизуализацией: гиппокамп у активных пользователей навигаторов буквально меньше, чем у лондонских таксистов, которые учат карту города наизусть.
Вы отдали часть мозга в аренду — и платите за это каждый месяц подпиской.
Что будет дальше (и это не страшилка)Доверие к непонятным системам будет расти. Это не катастрофа и не утопия — это просто следующий шаг в той же истории, которая началась, когда первый человек доверился кому-то другому, а не сделал всё сам.
Важно другое: впервые в истории «тот, кому мы доверяем», не несёт ответственности. Алгоритм не накажешь. Не уволишь. Не попросишь объяснить на понятном языке. Он просто выдаёт результат — и молчит.
Это означает, что вопрос «понимаю ли я, как это работает» перестаёт быть академическим. Он становится вопросом власти. Тот, кто понимает систему — управляет теми, кто ей доверяет.
И пока вы читаете этот текст, кто-то где-то очень хорошо понимает, как работает алгоритм, который решает — показать его вам или нет.
Доверие — это не слабость. Но доверие без вопросов — это уже что-то другое.
yaplakal.com