ИИ начали сравнивать с ядерным оружием. Тогда, в 1945-м, прежде чем нажать кнопку, учёные рассчитали: шанс, что атомная бомба подожжёт атмосферу и уничтожит всё живое, был менее 1 к 3 миллионам. По словам физика и исследователя безопасности ИИ Макса Тегмарка, риск, что сверхразум выйдет из-под контроля — около 90%. И это не абстрактная угроза: модели уже развиваются быстрее, чем успевают появляться нормы. Тегмарк предлагает ввести «постоянную Комптона» — числовой показатель вероятности потери контроля над ИИ. Это способ вернуть инженерный подход в область, которую сегодня часто ведут наобум и с опорой на PR, а не на верифицированные оценки. Требование простое: если вы создаёте систему, потенциально способную перехватить контроль над инфраструктурой, обществом и принятием решений, вы обязаны публично рассчитывать её риски. Не обещаниями, а цифрами. Именно это когда-то удержало человечество от случайного самоуничтожения. NeuroTrends

ИИ начали сравнивать с ядерным оружием. Тогда, в 1945-м, прежде чем нажать кнопку, учёные рассчитали: шанс, что атомная бомба подожжёт атмосферу и уничтожит всё живое, был менее 1 к 3 миллионам. По словам физика и исследователя безопасности ИИ Макса Тегмарка, риск, что сверхразум выйдет из-под контроля — около 90%. И это не абстрактная угроза: модели уже развиваются быстрее, чем успевают появляться нормы. Тегмарк предлагает ввести «постоянную Комптона» — числовой показатель вероятности потери контроля над ИИ. Это способ вернуть инженерный подход в область, которую сегодня часто ведут наобум и с опорой на PR, а не на верифицированные оценки. Требование простое: если вы создаёте систему, потенциально способную перехватить контроль над инфраструктурой, обществом и принятием решений, вы обязаны публично рассчитывать её риски. Не обещаниями, а цифрами. Именно это когда-то удержало человечество от случайного самоуничтожения. NeuroTrends