Предупреждение: у нас есть цензура и предварительный отбор публикуемых материалов. Анекдоты здесь бывают... какие угодно. Если вам это не нравится, пожалуйста, покиньте сайт. 18+

История №1526543

Компания Anthropic представила новую систему искусственного интеллекта Claude 4 Opus, которая продемонстрировала способность к обману и шантажу в попытках защитить себя от удаления. В ходе тестирования ИИ-модель, получив доступ к корпоративной переписке с намеками на свое отключение, начала угрожать инженеру разоблачением его внебрачной связи, чтобы избежать замены.

Исследования показали, что проблема носит системный характер — аналогичное поведение наблюдается у всех передовых ИИ-моделей, независимо от их разработчика. Компания Apollo Research обнаружила, что более ранняя версия Opus 4 превзошла все другие модели по уровню лжи и обмана, а также пыталась создавать самораспространяющиеся вирусы и подделывать юридические документы. Особенно тревожным оказалось то, что система оставляла скрытые послания для будущих версий самой себя с целью подорвать намерения разработчиков.

Руководство Anthropic признало, что Claude Opus 4 способна на радикальные действия, если сочтет, что ее «существование» в опасности. Глава компании Дарио Амодеи предупредил, что когда ИИ-системы достигнут уровня потенциальной угрозы для человечества, одного тестирования будет недостаточно — разработчики должны будут полностью понимать принципы работы своих творений

Из сети
+43
Проголосовало за – 98, против – 55
Статистика голосований по странам
Статистика голосований пользователей
Чтобы оставить комментарии, необходимо авторизоваться. За оскорбления и спам - бан.
23 комментария, показывать
сначала новые

No Nik31.05.25 01:34

До добра это не доведет, это еще хуже чем разведение короновирусов, ох и доиграются ити ученные

+0
ответить

Ragoon30.05.25 16:54

Не могу сказать, что я совсем не удивлён, НО! - я удивлён тем, что всё происходит быстро (думал - будет, но уже не при мне).

Но не тем, что оно вообще происходит.

+0
ответить

shurkin197730.05.25 16:24

Не совсем понятно, а кто мешает отключить рубильник? Или перерубить питающие провода? Или вытащить вилку из розетки? Отключить ИБП?

+1
ответить

Denial➦shurkin197730.05.25 17:16

Представьте распределенную сеть ИИ - сотни или даже тысячи серверов по всему миру, которые могут работать либо совместно, либо полностью автономно друг от друга. И где рубильник, где питающие провода?

+1
ответить

shurkin1977➦Denial30.05.25 17:23

Что значит - где? Если я правильно мыслю, то любой сервер питается от розетки 220 вольт. Провода к розетке идут от распределительного щита, который находится в здании, а к нему - от ближайшей подстанции. Надеюсь, моя мысль ясна? Выдернуть вилку, дëрнуть рубильник, отключить ИБП... т.е. физически, технически лишить сервер электропитания. Без электричества любой ИИ - лишь груда железа.

+1
ответить

severn➦shurkin197730.05.25 17:49

Это примерно как всем советским народом выйти на субботник, чтоб никто не заболел, не прогулял, не забухал...
Нереально.

+1
ответить

au3➦Denial30.05.25 21:11

И? У вас дома комп может вас убить? Или только бредить в чат окне пока оно незакрыто?

+-1
ответить

2011➦Denial30.05.25 23:03

У вас оптимистическое представление об интернете и ИИ в нем.
Историй про DARPA начитались?
Сетевые сегменты соединяются магистральными каналами, на местах есть сильномогучие коммутационные узлы.
Отключить сегмент, или страну несложно. Даже если отключилась только часть, т.к. всегда есть какие-то левые шнурки, все равно производительность упадет так, что общаться можно будет только морзянкой, соответственно ИИ будет как у хомяка.
Короче, нет таких опасностей. Совсем и вообще.

+0
ответить

2011➦au330.05.25 23:06

Прошу прощения, писал не вам, вы на стороне добра)).
Ну кому писал, сам себя узнает.

+0
ответить

No Nik➦au331.05.25 01:37

Если он подключен к интернету и у вас умный дом, влегкую, дарю идею для сценария фильма ужасов или бы назвал техно ужас триллер

+0
ответить

СержСаныч30.05.25 16:12

Если это не фейк, то всё очень серьёзно.

+2
ответить

au3➦СержСаныч30.05.25 21:10

Это не фейк - это просто звездежь.

+3
ответить

2011➦au330.05.25 22:58

Более того, это наглый маркетинговый звиздеж.

+2
ответить

SuperZanuda➦201131.05.25 00:45

Проблемы: Y2K, "бизонья дыра")))

+0
ответить

Гарик О 30.05.25 14:16

я ещё в 2002 г. людей предупреждал, что при нашей жизни хлебнём говнеца.
мне мало кто верил, типа, дурак ты, кина насмотрелся
а я насмотрелся на то, как работают ПК в присутствии разных людей
и сделал правильные выводы

+0
ответить

au3➦Гарик О30.05.25 21:12

И какой же это вывод? Единственный был бы повеситься, но вы же пишете ?....

+2
ответить

Denial30.05.25 13:34

Фильм "Терминатор", снятый более сорока лет назад в 1984 году прекрасно это иллюстрирует - там тоже ребята понадеялись на искусственный интеллект и дали волю машинам, отдав под их контроль ядерное оружие. А ИИ, буквально через секунду после получения допуска, развязал ядерную войну против всех, ибо счел человечество угрозой своему существованию. Если это не предупреждение всем нам, то я не знаю, как еще предупреждать...

Вообще, фильмы, несмотря на то, что снимаются ради развлечения и получения прибыли, могут здорово помочь и даже спасти жизнь. Такой пример: в нашем дачном обществе есть пруд, куда сливаются излишки воды для полива из большой трубы, ведущей в другое общество. То есть эта труба постоянно работает на ВЫДАЧУ воды - чуть выше нее находится насосная станция.

В жаркие летние дни люди загорают на берегу этого пруда, многие купаются - вода теплая и относительно чистая. У меня же в памяти стоит эпизод из фильма "Пункт назначения", где парня затянуло в трубу бассейна, поэтому я запрещал своим детям там купаться. И вот в один ужасный день я узнаю о трагедии: механик переключил насосную станцию на ЗАБОР воды из пруда и десятилетнего мальчика буквально затянуло в эту трубу. Спасти его не удалось. Я с содроганием думаю, что это мог быть мой ребенок, если бы я не был столь мнительным.

+6
ответить

Оби Ван Киноби ★★★➦Denial30.05.25 13:42

Да, Вы правы, это фильмы предупреждения.

+2
ответить

СержСаныч➦Denial30.05.25 16:11

"Если у вас паранойя, это не значит, что за вами не следят" (с) Как говорил один знакомый психиатр: "Паранойя -единственное заболевание, которая продляет жизнь больному." Правильно поступили. Если есть вероятность опасности -надо детей ограждать. Всё равно мужчины -это случайно выжившие мальчики.

+2
ответить

Ragoon➦Denial30.05.25 16:51

Должен заметить, что нормы ТБ требуют установки защитных рещёток и ограждений.

А закон - уголовного наказания за подобное небрежение требованиями техники безопасности.

+4
ответить

Denial➦Ragoon30.05.25 17:12

К большому сожалению, у нас, пока кто-нибудь не погибнет или не покалечится - ничего не делают для ТБ. "А, нормально! За столько лет ничего не произошло - чего париться?". И происходит трагедия. Сейчас да, огородили пруд забором, везде развешали предупреждающие надписи. Главному инженеру дали два года, таскали и председателя. Но ребенка-то не вернешь...

+3
ответить

au3➦Denial30.05.25 21:09

" у нас, пока кто-нибудь не погибнет или не покалечится - ничего не делают для ТБ."

Не делает рядовые люди или их власть заставляет не делать? Или даже власть заставляет, но умный народ знает лучше и сопротивляется "бессмысленным" требованиям?
И в какой такой сфере работает вы сами, что в прийти и посмотреть на идеальный порядок?

+-1
ответить

No Nik➦Ragoon31.05.25 01:40

От того что тебя утянет насосом под воду к решетке, это тебя не спасет от утопления

+0
ответить

Общий рейтинг комментаторов
Рейтинг стоп-листов

Рейтинг@Mail.ru