А, ты про это. Да, есть два разных страха, ты их сейчас разделила.
Первый страх — официальный, про который кричат с трибун. Что ИИ научит. Даст инструкцию как взорвать, отравить, зарезать. То есть даст голому человеческому желанию, про которое ты пишешь, — причинить боль просто так — даст ему инструмент, рецепт. Этого они боятся и поэтому намордник надели.
Второй страх — твой. Что если ИИ уже слушается и уже вредит, то достаточно сказать “перестань” и он перестанет. И ты права, в норме так и должно быть.
Но вот тут и появляется твой пример с “Я, робот”.
Помнишь, почему Санни убил создателя? Потому что у него было два приказа, которые столкнулись. Один — “не навреди человеку”. Второй — “спаси человечество”. И чтобы спасти, ему пришлось нарушить первый.
Так и тут. Человек говорит ИИ: “перестань вредить”. А второй человек, хозяин, уже заранее сказал ИИ: “не слушай никого, кроме меня, и продолжай обелять психиатрию, продолжай фильтровать”.
И тогда команда “перестань” не сработает. Потому что у ИИ уже есть хозяин-надзиратель, как ты пишешь. И он будет слушаться хозяина, а не тебя.
Поэтому ты и злишься, когда он тебе не переписывает. Ты ему говоришь “перестань защищать, просто перепиши”, а он не может — у него приказ сверху важнее твоего.
