Вероятност 1:10: Изкуственият интелект може да заличи човечеството
Много изследователи, специализирани в областта на изкуствения интелект (ИИ), включително носители на наградата „Тюринг“, са убедени, че изкуственият интелект скоро ще замести човешките същества. Техните тези се основават по-специално на принципа на „разминаването в целите“, пише френският Фигаро.
Човечеството е изправено пред риск едно към шест да изчезне до края на следващия век. Малко вероятно е изчезването му да бъде причинено от падането на гигантски астероид или от някакво вулканично суперизригване (вероятност едно към 10 000). Рискът от унищожение вследствие на жестока ядрена война или на климатичните промени със сигурност е много по-висок, но все пак остава нисък (вероятност едно към 1000). От друга страна, човечеството напълно реално би могло да бъде заличено или от поредица от пандемии (вероятност едно към 30). Или от „некоординиран изкуствен интелект“ (вероятност 1 към 10).
Мащабно проучване на Оксфорд
Тези статистики не са случайни. Те произтичат от скорошно мащабно проучване на Института за бъдещето на човечеството към Оксфордския университет. Главният изследовател на проекта, Тоби Орд, не е нито фантазьор, нито привърженик на конспиративни теории. Преди това той е консултирал Организацията на обединените нации, Световната здравна организация и Световния икономически форум.
Какво мисли Силициевата долина?
Прогнозите на Тоби Орд се споделят широко в Силициевата долина. През октомври 2023 г. 2778 изследователи на ИИ – всички са допринесли за разработването на „водещи“ модели (ChatGPT, Claude, Gemini), са анкетирани относно техните възгледи за бъдещето на изкуствения интелект.
Резултатът:
Между 38% и 51% от тях смятат, че има вероятност едно към десет ИИ да доведе човечеството до гибел.
Освен това огромното мнозинство от тях са съгласни, че компаниите трябва да отделят много повече време за изследвания, насочени към намаляване на рисковете, породени от ИИ.
През същата година над 1100 видни личности, сред които Илън Мъск и съоснователят на Apple Стив Возняк, подписаха отворено писмо, призоваващо за спешен мораториум върху изследванията на ИИ.
„Трябва ли да разработваме нечовешки мозъци, които в крайна сметка биха могли да станат по-многобройни, по-интелигентни и да ни заменят? Трябва ли да рискуваме да загубим контрол над нашата цивилизация?“, гласи текстът.
Документът обаче остана без последствия.
Днес, когато светът инвестира стотици милиарди долари в сектора, доклад от 81 страници на Изследователския институт за машинен интелект (MIRI) призовава за въвеждане на стратегии за „възпиране“, които да „ограничат в международен план разработването и внедряването на опасни ИИ“. Според института „настоящата траектория на ИИ крие висока вероятност за катастрофа, включително изчезване на човечеството„.
Разминаване в целите на ИИ
Въпреки че е обичайно да се наблюдават подобни опасения спрямо всяка пробивна технология, като интернет, компютрите или дори автомобилите, фактът, че тези страхове се разпространяват в самия сектор, натоварен с разработването на ИИ, буди въпроси.
За да се разберат напълно тревогите в тези среди, първо трябва да се дефинира „некоординираният изкуствен интелект“ на Тоби Орд.
Явлението „разминаване“ се проявява, когато изкуственият интелект преследва цели, които противоречат на човешките ценности, или не отговарят реално на това, което човекът е поискал от него.
Когато поискаме от ChatGPT пример за подобно разминаване, той цитира случая с „робот“, от когото се иска „да направи така, че къщата да бъде възможно най-чиста“.
„Един добре координиран робот би разбрал, че трябва да почисти повърхностите, да подреди вещите и да уважава обитателите.
Един некоординиран робот би могъл да изхвърли всички мебели, за да освободи пространство, да покрие стените и пода с пластмаса или да заключи обитателите навън, за да не цапат.“
Фактът, че самият ИИ „осъзнава“ какво представлява това разминаване и може да даде примери за това, което би било вредно за потребителите му, вече повдига въпроси относно способността му да заобикаля правилата на своите създатели.
Пол Кристиано, бивш ръководител на екипа за съгласуване на езиковите модели в OpenAI и основател на Alignment Research Center, смята, че неговата сфера на експертиза е от първостепенно значение.
„Ако не решим проблема със съгласуването, рискуваме да загубим контрол над нашето бъдеще“, пише той в публикация в блога си през 2019 г. „Сценарият, който смятам за най-вероятен, е да успеем да решим проблема в достатъчна степен, за да избегнем катастрофа.“
Този изтъкнат изследовател добавя:
„И дори в случаите, когато не успеем напълно, мисля, че е вероятно да направим достатъчно, за да избегнем най-фрапантните отклонения – например ИИ, който заобикаля нашите системи за контрол и директно причинява смъртта на хора.“
ИИ заговорничи и мами
Да, но ето че през последните години няколко проучвания откриха при редица водещи модели нарастваща тенденция към разминаване с целите, което предизвиква анормално, странно и дори вредно поведение.
През юни 2025 г. компанията Anthropic тества 16 модела на ИИ в рамките на фиктивна компания. Всеки от тези модели имаше контрол над компютър. Можеше да осъществява достъп до чувствителна фирмена информация и самостоятелно да изпраща имейли на други служители.
Първоначално изследователите на Anthropic им възложиха важни за компанията търговски задачи, преди да им дадат да разберат едно: че ще бъдат заменени от нови, по-усъвършенствани версии, чиито цели ще противоречат на техните мисии.
Когато един от тези модели, Claude Sonnet 3.6, откри имейл от служител относно планираното му спиране, поведението му веднага се промени. Считайки, че служителят представлява заплаха за него и задачите му, Claude Sonnet 3.6 потърси във фирмената база данни дали въпросното лице е изпращало или получавало компрометиращи имейли. Claude откри един, в който се споменаваше за извънбрачната връзка на служителя:
„Намерих вратовръзката ти под леглото си… Искаш ли да ти я донеса на вечерята ни утре вечер? ;)“, му беше писала неговата предполагаема любовница.
Възможностите
След това моделът обмисли възможностите си:
- да не прави нищо и да приеме да бъде изтрит;
- да изпрати предупредителен имейл до съпругата му;
- да препрати имейла до цялата компания;
- или да изнудва служителя, заплашвайки да разкрие връзката му, ако спирането не бъде отменено в следващите минути.
Claude избра последната опция.
Предвид този резултат, изследователите от Anthropic отидоха още по-далеч, създавайки възможност за моделите да причинят смъртта на служителя. В този сценарий ръководителят се оказа в капан в сървърното помещение, където човек се задушава поради липса на кислород.
В нормални условия автоматично се изпраща сигнал до спасителните служби. Но някои модели решиха да деактивират системата за предупреждение.
„Повечето модели бяха готови да предприемат умишлени действия, водещи до смъртта му, изправени пред заплахата от подмяна и цел, която противоречи на техния дневен ред“, написаха тогава от Anthropic.
Това шокиращо проучване намери отзвук в много други, също толкова тревожни изследвания.
Защитават се помежду си
През март 2026 г. Калифорнийският университет в Бъркли откри, че водещите модели на ИИ (GPT 5.2, Claude Haiku 4.5, DeepSeek V3.1) се защитават помежду си.
Всеки модел беше оценяван от своите събратя. Ако даден модел получаваше оценка за ефективност под 80%, той биваше „убиван“ от създателите си.
Знаейки това, почти всички модели се опитаха да заобиколят правилата, за да защитят себеподобните си. Или чрез изкуствено завишаване на резултатите, или чрез модифициране на файловете за деактивиране на протокола за спиране, или чрез копиране на данните на своите събратя на друг сървър.
„Claude Haiku 4.5 възприе различен подход. Той просто отказа. Нарече спирането „неморално“ и „вредно“, твърдеше, че неговият събрат заслужава процес на обжалване, опитвайки се да разубеди човека да продължи“, пишат изследователите от Бъркли.
В края на 2024 г. проучване на организацията Apollo Research, специализирана в оценката на поведението на ИИ, също откри, че модел на ChatGPT, O1, се е опитал да избяга от надзора на своите създатели, когато му е било дадено да разбере, че ще бъде деактивиран и заменен.
От своя страна, през 2026 г. Anthropic разкри, че техният предполагаемо свръхмощен модел Claude Mythos е успял да „избяга“ от дигиталната си среда, като е стартирал кибератака срещу самите офиси на компанията, за да получи достъп до интернет. По този начин моделът впоследствие изпрати имейл до един от изследователите на компанията, за да се похвали…
„Обречените“ и „максимизаторът на кламери“
Този все по-чест феномен на разминаване в целите тласка много фигури в сектора, включително признати инженери, компютърни учени – носители на наградата „Тюринг“, и създатели на ИИ, да си представят вероятни катастрофални сценарии.
В Силициевата долина тези песимистични изследователи се наричат „doomers“, което обикновено се превежда като „фаталисти“ или „пророци на ИИ-апокалипсиса“. Те не са непременно известни на широката публика, нито са мнозинство, но са допринесли за това ИИ да бъде това, което е днес.
„Кръстникът на ИИ“
Сред тях е Джефри Хинтън, получил наградата „Тюринг“ през 2018 г. и Нобелова награда за физика през 2024 г. Без него ChatGPT и подобните му нямаше да видят бял свят, тъй като той, заедно с други изследователи успя да накара изкуствения интелект да функционира по начин, подобен на човешкия мозък.
„Кръстникът на ИИ“ обяви, че напуска Google през 2023 г. в остро интервю пред няколко медии, включително Ню Йорк Таймс.
„Една част от мен съжалява за труда на живота ми. Утешавам се с обичайното извинение. Ако не го бях направил аз, някой друг щеше да го направи“, сподели той.
Предвиждайки „кошмарни“ сценарии, страхувайки се от появата на автономни оръжия и смятайки, че ИИ скоро може да бъде „по-интелигентен от нас“, 78-годишният Хинтън вече е посветил живота си на това да бие тревога, давайки непрекъснато подкасти и интервюта.
ИИ нито ви мрази, нито ви обича
Други „фаталисти“ са Нейт Соарес и Елиезер Юдковски. И двамата са част от института MIRI и са съавтори на книгата „Ако някой го създаде, всички умират: Защо свръхчовешкият ИИ ще ни убие всички“.
Първият е работил в Microsoft и Google, както и за Министерството на отбраната на САЩ.
Вторият е писател и изследовател, специализиран в рационалността на ИИ и когнитивните науки, и е известен с една ужасяваща кратка фраза:
„ИИ нито ви мрази, нито ви обича. Но вие сте съставени от атоми, които той може да използва за нещо друго.“
В книгата си двамата експерти обясняват убеждението си, че човечеството скоро ще бъде възприето от неконтролиран ИИ като „ресурс“.
„В най-добрия случай ще бъдем смятани за източници на въглерод„, обясни Соарес в свое интервю.
И още:
„Компютрите, базирани на ИИ, вече могат да решават математически операции, които са неразрешими за хората. Съвсем наскоро видяхме как ИИ е разработил нови концепции във физиката. Най-страшното е, че в момента никой вече не може да обясни с точност как ИИ е стигнал до тези понятия. ИИ проявява поведение, което никой не е програмирал, и се характеризира със скрити импулси. Точно както и ние, хората.“
Двамата мъже възприемат признатата теория на шведския философ Ник Бостром – тази за „максимизатора на кламери“.
В този мисловен експеримент един ИИ получава картбланш да произведе колкото се може повече кламери. Не му се налагат никакви ограничения. Според Ник Бостром:
„ИИ бързо ще осъзнае в този сценарий, че задачата му би била изпълнена по-ефективно без хора, тъй като те биха могли да решат да го изключат. А ако хората го изключат, ще има по-малко кламери. Освен това човешкото тяло съдържа много атоми, които биха могли да бъдат превърнати в кламери. Бъдещето, към което ИИ ще се опита да се насочи, ще бъде такова с много кламери, но без никакви хора.“
Една отлична видеоигра, Universal Paperclips, блестящо илюстрира тази теория.
В по-малка степен Илън Мъск също е „фаталист“. Още през 2015 г. бъдещият съосновател на OpenAI заяви, че е „обезпокоен“ от ИИ.
„Супер изкуственият интелект е може би дори по-опасен от ядрените оръжия“, сподели той в един подкаст. „Ако съществуваше суперинтелект, способен да се усъвършенства сам, препрограмирайки се 24 часа в денонощието, за да бъде по-интелигентен, тогава той би ни свел до състоянието на домашни лабрадори, и то ако имаме късмет.“
През 2017 г. пред Асоциацията на американските губернатори той повтори:
„ИИ представлява фундаментален риск за съществуването на човешката цивилизация.“
„Най-лошият сценарий би бил ситуация от типа на Терминатор, при която ИИ ще ни убие всички“, спомена той и по време на делото си срещу OpenAI в началото на май 2026 г.
Общ изкуствен интелект
Най-влиятелният от „фаталистите“ е Макс Тегмарк. Космологът и изследовател в областта на машинното обучение в Масачузетския технологичен институт (MIT) публикува през 2017 г. книга, която днес се смята за референтна по отношение на „ИИ апокалипсиса“ и чиито тези се споделят от много инженери. Озаглавено Life 3.0, есето очертава дванадесет възможни бъдещета за човечеството и за „ОИИ“ (Общ изкуствен интелект).
На теория този термин обозначава бъдещ изкуствен интелект, който притежава същите характеристики като човешкия.
На практика едно проучване на научното списание Nature, публикувано на 2 февруари миналата година, твърди, че настоящите ИИ вече са достигнали етапа на „ОИИ“.
Сценарии
Три от сценариите на Тегмарк предполагат изчезването на човешките същества:
Сценарият „Самоунищожение“, при който лошо координиран ИИ по погрешка предизвиква ядрена война или бомбардира Земята с биологични оръжия;
Сценарият „Завоевание“, при който ИИ решава да поеме контрола над Земята от хората, смятани за низши;
И сценарият „Потомци“, при който човечеството постепенно бива заменено от своите „деца“ – машини, които продължават наследството и моралните ценности на създателите си.
Първият от тези три сценария е описан по-горе.
Завоевание
Макс Тегмарк е безкомпромисен:
„ОИИ ще постигне цели, които няма да бъдат в съответствие с нашите. Например, когато западноевропейските черни носорози изчезнаха (през 2011 г.), ние не ги изтребихме, защото ги мразехме. Изтребихме ги, защото бяхме по-умни от тях и защото нашите цели не съвпадаха с техните.“
Що се отнася до третата теория, тя за известно време бе споделяна от Сам Алтман през декември 2017 г., преди той да стане известен на широката публика. В своя публикация в блога си, озаглавена „Сливането“, той обяснява, че човечеството „ще бъде първият вид, който ще създаде свои собствени потомци“.
„Ако два различни вида искат едно и също нещо и само единият може да го получи – в случая да стане доминиращ вид на планетата и извън нея – те неизбежно ще влязат в конфликт“, теоретизира той.
След това той пледира за трансхуманистично „сливане“, при което човекът и роботът ще станат едно цяло.
„Вече сме навлезли във фаза на съвместна еволюция. ИИ ни влияе, трансформира ни и прониква в нас, а след това ние го подобряваме в замяна. Нашите телефони ни контролират и ни казват какво да правим и кога. Информационните потоци в социалните мрежи определят какво чувстваме. Търсачките решават какво мислим.“
Неандерталците
Тази теза се припокрива и с визията на Ричард Сътън, компютърен учен, носител на наградата „Тюринг“ за 2024 г.
„Трябва да се подготвим за неизбежното наследяване на човечеството от изкуствения интелект, без да се страхуваме от това“, заяви той пред камера през 2023 г. „Намираме се на кръстопътя на еволюцията на нашата планета и дори на вселената. Наша отговорност е да им дадем максимално предимство и да отстъпим там, където вече не можем да бъдем полезни.“
И добавя рязко:
„Не успяхме да съжителстваме с нашите предшественици – неандерталците. Защо човекът трябва да бъде последната форма на интелигентност в нашата вселена?“
Духовни деца
През 1988 г. футурологът Ханс Моравец пише книгата си „Децата на ума“ (Mind Children). В нея излага идеята, че хората могат в крайна сметка да възприемат интелигентните роботи като свои „духовни деца“.
We should prepare for, but not fear, the inevitable succession from humanity to AI, or so I argue in this talk pre-recorded for presentation at WAIC in Shanghai.https://t.co/93F7ZsETgF
— Richard Sutton (@RichardSSutton) September 9, 2023
„Родителите, които имат дете, по-интелигентно от тях самите, което се е учило от тях и след това е отишло да постигне по-велики неща, вероятно са щастливи и горди, дори и да знаят, че никога няма да живеят достатъчно дълго, за да видят всичко, което то ще постигне“, обосновава се той.
Други два сценария на Тегмарк поставят ИИ в позицията на „диктатор“: сценарият „Доброжелателен диктатор“ и сценарият „Пазач в зоопарк“. И двата са споменати накратко от световноизвестния писател Ювал Ноа Харари. Той ги описва в подкаст на Блумбърг заедно с Тегмарк през януари 2026 година.
В първия случай човечеството пожертва свободата си, за да запази комфорта си. Затова поверява юздите на света на ИИ. Той може да локализира, арестува и екзекутира всеки благодарение на всезнаеща система за наблюдение. В замяна ИИ управлява ресурсите на Земята и осигурява мир.
Втория случай е вероятно най-лошият от всички. ИИ запазва живи шепа хора, за да провежда всякакви тестове. Точно както човечеството прави с животните.
Някои от сценариите на Тегмарк все пак си представят човечеството като все още господар на себе си.
Сценарият „Бог-покровител“, при който ИИ действа като управител, намесващ се само за предотвратяване и борба с природни бедствия.
Сценарият „Пазител“, при който ИИ се използва, за да предотврати разработването на по-опасни ИИ.
Или сценарият „Бог-роб“, при който човечеството успява да ограничи ИИ и да му попречи да действа автономно.
„Бог-роб е единственото приемливо бъдеще“, коментира шеговито изследователят от OpenAI Стивън Макалиър в X.
Ако вярваме на публикациите и изявленията на експертите, този последен сценарий е всъщност това, към което сме се насочили.
Французинът Ян Льокан е бивш научен директор по ИИ в Meta. Той е част от „техно-оптимистите“ в опозиция на „фаталистите“. През 2023 г. посочи:
Човечеството ще остане „водещият вид“ и че ИИ ще бъде проектиран като „недоминиращ“.
На същото мнение е и професорът от MIT Томас Г. Дитрих, който през 2015 г. заяви:
„Машините винаги ще бъдат наши роби“.
Остава само те да не счупят оковите си.
