Penrose: Gödel's theorem debunks the most important AI myth. AI will not be conscious (English, Russian)

Раширенная стенограмма.



См. также: Meta's AI Chief Yann LeCun: "I'm DONE with LLMs"

Краткое содержание и критика: Современные системы искусственного интеллекта фундаментально основаны на вычислениях. Однако Роджер Пенроуз утверждает, что подлинный интеллект невозможен без сознания. Придерживаясь физикалистской позиции (сознание — продукт мозга), он выдвигает гипотезу, что в основе работы мозга лежат не только вычислимые процессы, но и фундаментальные законы физики, которые сами по себе невычислимы. В качестве примера он указывает на возможную невычислимость коллапса квантовой волновой функции.

Исходя из этого, Пенроуз делает радикальный вывод: если сознание порождается физической активностью мозга, включающей такие невычислимые компоненты, то и само сознание наследует эту невычислимость. Следовательно, по его мнению, никакая система, работающая исключительно на основе алгоритмов и вычислений (как современный ИИ), не способна воспроизвести подлинное сознание и интеллект. Для этого потребовалось бы понимание и использование этой невычислимой физики.

Позиция Пенроуза, фокусирующаяся на необходимости специфического внутреннего физического механизма, — это один из аргументов против возможности создания "сильного ИИ" чисто вычислительными методами. Другой известный аргумент принадлежит Джону Сёрлу (эксперимент "Китайская комната" [см. описание в приложении ниже]), который подчеркивает разрыв между формальной обработкой символов (синтаксисом) и реальным пониманием (семантикой), утверждая, что первое не может породить второе.

Однако на аргумент Сёрла существует важный контраргумент, близкий к функционализму или бихевиоризму: что, если неотличимое от разумного внешнее поведение само по себе является достаточным критерием для признания интеллекта или даже сознания? Эта точка зрения ставит под сомнение необходимость заглядывать "внутрь" системы и фокусируется на наблюдаемой функции.

Именно здесь возникает конфликт с позицией Пенроуза. Если принять этот функционалистский взгляд — что поведение является главным или единственным доступным нам критерием — то он оспаривает категорическое требование Пенроуза о невычислимой физике. Ведь тогда теоретически сложные вычисления могут оказаться достаточными для создания нужного разумного поведения. В этом случае специфический невычислимый механизм, на котором настаивает Пенроуз, становится необязательным или его необходимость недоказуемой. Таким образом, функционализм допускает возможность появления сознания или подлинного интеллекта у ИИ на основе вычислений (если поведение будет соответствовать), в то время как Пенроуз это категорически отрицает из-за отсутствия предполагаемого им невычислимого физического фундамента.



Пенроуз: Теорема Гёделя опровергает главный миф об ИИ. ИИ не будет обладать сознанием.

Сэр Роджер Пенроуз начинает с критики самого термина «искусственный интеллект». Он считает название неверным, потому что, по его мнению, настоящий интеллект неотделим от сознания. То, что мы сейчас называем ИИ, на самом деле не обладает интеллектом в этом глубоком смысле.

Он утверждает, что компьютеры, в их нынешнем понимании, являются очень специфическими математическими структурами, основанными на вычислениях (computational mathematics). Однако вычисления — это лишь очень ограниченная часть всей математики.

Ниже есть продолжение.

Пенроуз убежден, что сознание — это нечто большее, чем просто вычисления. Он ссылается на теорему Гёделя о неполноте, чтобы подкрепить свою точку зрения. Суть аргумента Гёделя (использующего так называемый диагональный метод Кантора) заключается в следующем: для любой достаточно сильной и непротиворечивой формальной системы аксиом (способной выразить арифметику натуральных чисел), можно сконструировать математическое утверждение, которое, по сути, говорит о себе: "Это утверждение недоказуемо в данной системе".

Пенроуз подчеркивает вывод Гёделя: если такая система непротиворечива, то это утверждение действительно недоказуемо внутри системы, но при этом оно истинно. Если бы оно было доказуемо, система была бы противоречивой (доказывая ложь). Если бы оно было опровержимо, система также была бы противоречивой (опровергая истину). Таким образом, человеческое математическое понимание позволяет нам "выйти за рамки" формальной системы и увидеть истинность этого гёделевского утверждения, чего сама система сделать не может, оставаясь в пределах своих правил. Это, по мнению Пенроуза, демонстрирует неалгоритмическую (невычислимую) природу понимания и, следовательно, сознания. ИИ же, следуя алгоритмам, может только применять правила, но не понимать их и не выходить за их пределы таким образом.

Именно поэтому он считает, что современные компьютеры и ИИ, основанные исключительно на вычислениях (алгоритмах), никогда не смогут обрести сознание или подлинное понимание. Они могут быть невероятно мощными в обработке данных и следовании правилам (он называет это «искусственной ловкостью» или «смекалкой» — artificial cleverness), но они «не знают, что делают».

Почему же современные ИИ, оперирующие статистикой, всё ещё "вычислимы"?

Здесь важно ввести понятие вычислимой функции (computable function), которое, вероятно, и имеет в виду Пенроуз, говоря о вычислениях. Пенроуз определяет "вычислимость" как любой процесс, который может быть, по крайней мере в принципе, симулирован или выполнен алгоритмом — то есть, конечным набором четких правил, который может исполнить идеализированный компьютер (машина Тьюринга). Формально, это соответствует математическому понятию вычислимой функции: это функция, для которой существует алгоритм, способный вычислить её значение для любого допустимого входного аргумента за конечное число шагов.

Современные системы ИИ, такие как большие языковые модели и нейронные сети, полностью подпадают под это определение:

Обучение: Процесс обучения нейронной сети (например, метод обратного распространения ошибки) — это сложный, но алгоритмический процесс математической оптимизации. Он следует четким правилам для корректировки внутренних параметров (весов) модели на основе данных с целью минимизации ошибки. Этот алгоритм может быть запрограммирован и выполнен компьютером.

Работа (Инференс): Когда обученная модель ИИ генерирует ответ на запрос, она выполняет последовательность четко определенных математических операций (умножение матриц, применение функций активации и т.п.), заданных её архитектурой и выученными весами. Это тоже алгоритм.

Статистика и Вероятности: Хотя ИИ оперирует статистикой и вероятностями, сами эти операции основаны на математических формулах и процедурах, которые являются вычислимыми. Модель не "осознает" вероятности, а рассчитывает их или использует статистические закономерности согласно алгоритмам.

Таким образом, независимо от сложности модели ИИ или того факта, что она работает со статистикой и вероятностями, все её операции сводятся к выполнению алгоритмов, реализующих вычислимые функции. Они не выходят за рамки того, что может сделать машина Тьюринга.

Именно это Пенроуз отличает от человеческого понимания, которое, как он утверждает, ссылаясь на Гёделя, включает неалгоритмический (невычислимый) компонент — способность осознавать смысл и истинность, выходящую за рамки простого следования правилам. ИИ, по его мнению, обрабатывает статистические связи, не обладая сознательным пониманием того, почему эти связи существуют или что они на самом деле означают. Поэтому, сколь бы сложной ни была статистическая модель, она остается в рамках вычислимого мира.

Пенроуз выражает обеспокоенность тем, что из-за впечатляющей мощности современных компьютеров и ИИ, люди «потеряли нить» или «упустили суть». Он уточняет, что «суть», которую упускают, — это фундаментальное различие между вычислениями (в чем ИИ преуспевает) и подлинным пониманием или сознанием. Люди настолько заворожены возможностями ИИ — его способностью обрабатывать огромные объемы данных, находить сложные статистические закономерности и генерировать убедительные результаты, — что приравнивают это вычислительное мастерство к настоящему интеллекту и, возможно, сознанию. Они упускают из виду ключевой вопрос: понимают ли эти системы то, что делают, так же, как это делает сознательное существо? Этот фокус на мощности и производительности вычислительных систем отвлекает от более глубоких философских вопросов и, как считает Пенроуз, от необходимой физики для объяснения разума. Они путают изощренную имитацию, основанную на алгоритмах и данных, с наличием подлинной мысли и осознания.

Он различает классическую реальность и квантовую реальность. Классическая реальность относится к макроскопическому миру, с которым мы обычно взаимодействуем, где объекты обладают определенными свойствами (например, конкретной формой и положением стакана), которые можно наблюдать и измерять, не изменяя сам объект принципиально. Мы можем, в принципе, установить (ascertain) эти свойства. Квантовая реальность, однако, описываемая волновой функцией, иная. Она описывает возможности или потенциальные состояния. Квантовая система до измерения часто существует в суперпозиции нескольких состояний одновременно. Мы не можем непосредственно наблюдать эту суперпозицию. Акт измерения заставляет систему «выбрать» одно состояние — процесс, называемый коллапсом волновой функции. Следовательно, мы не устанавливаем заранее существующее определенное свойство; мы взаимодействуем с системой таким образом, что заставляем ее проявить одно из ее потенциальных свойств, и можем лишь подтвердить (confirm), какой результат получился. Сам акт измерения является «вторжением» и изменяет систему, переводя ее из состояния суперпозиции в определенное состояние. Пенроуз приводит пример спина частицы: квантовая механика описывает его спиновое состояние до измерения не как указывающее в одном конкретном направлении, а как суперпозицию возможностей, и только измерение вдоль выбранной оси дает определенный результат «вверх» или «вниз» для этой оси.

Пенроуз указывает на странности квантовой механики, такие как квантовая запутанность (ярко иллюстрируемая парадоксом Эйнштейна-Подольского-Розена, или ЭПР). Запутанность описывает ситуацию, когда две или более частицы связываются таким образом, что разделяют одну и ту же судьбу, независимо от того, насколько далеко они разнесены. Измерение свойства одной запутанной частицы мгновенно влияет на свойства другой (других), что, казалось бы, нарушает принцип, согласно которому влияния не могут распространяться быстрее скорости света. Это свойство называется нелокальностью. Хотя эти корреляции реальны и экспериментально подтверждены, их нельзя использовать для передачи информации быстрее света, что сохраняет стандартную причинность в этом смысле. Однако Пенроуз утверждает, что эти нелокальные корреляции и то, как выбор измерения, по-видимому, мгновенно влияет на удаленные частицы, или даже кажется «ретропричинным» в некоторых теоретических анализах (где будущие выборы измерений, кажется, ограничивают настоящую реальность, хотя опять же, без сверхсветовой сигнализации), убедительно свидетельствуют о том, что квантовая реальность функционирует способами, которые бросают вызов нашей классической интуиции о пространстве, времени и причинности. Эти «странные» аспекты, по его мнению, являются ключевыми подсказками, указывающими на то, что физика, управляющая переходом от квантовой суперпозиции к определенному классическому результату (процесс измерения или коллапс волновой функции), не до конца понята и, вероятно, включает невычислимые процессы.

Он считает, что коллапс волновой функции (или редукция состояния) — это не просто субъективное обновление знаний наблюдателя и не просто эффект декогеренции из-за взаимодействия с окружением (которая сама по себе обычно считается вычислимым процессом, управляемым стандартным уравнением Шрёдингера). Вместо этого Пенроуз утверждает, что это должен быть реальный, объективный физический процесс («Объективная Редукция» или ОР), которого в настоящее время не хватает в наших фундаментальных теориях. [Эта идея является спорной в научном сообществе]. Важно отметить, что, по его мнению, этот объективный физический процесс не является вычислимым; он не может быть симулирован никаким алгоритмом или машиной Тьюринга. Стандартная эволюция квантовой системы, описываемая уравнением Шрёдингера, вычислима, но коллапс — событие, которое производит определенный результат из суперпозиции во время измерения — включает, с его точки зрения, новую физику, которая фундаментально неалгоритмична. Он предполагает, что это может быть связано с границей между квантовой механикой и общей теорией относительности (в частности, с эффектами квантовой гравитации), но ключевым моментом является ее невычислимая природа. Именно эта невычислимость отличает ее от всех процессов, которые в настоящее время моделируются компьютерами, включая ИИ.

Поскольку Пенроуз придерживается физикалистской позиции (то есть верит, что сознание возникает из физических процессов в мозге, а не из чего-то сверхъестественного или дуалистического), он делает радикальный вывод: если сознание является продуктом физической активности мозга, и если эта активность обязательно включает этот невычислимый физический процесс (объективный коллапс волновой функции), то само сознание должно обладать невычислимыми качествами. Оно не может быть полностью воспроизведено никакой системой, которая работает исключительно на основе алгоритмов и вычислений, независимо от ее сложности или мощности. Это, следовательно, устанавливает фундаментальный предел для существующего и обозримого ИИ, который по своей сути основан на вычислениях. Настоящий искусственный интеллект, в смысле искусственного сознания, потребовал бы использования или воспроизведения этой невычислимой физики, чего-то, что находится за пределами современных алгоритмических подходов.

Другими словами, невычислимость — это не просто нечто, что мозг использует для создания сознания; это фундаментальное свойство самого процесса, порождающего сознание. Поэтому сознание не может быть сведено к чисто алгоритмической, вычислимой системе или полностью воспроизведено ею, независимо от ее сложности или мощности. Это как пытаться испечь особый хлеб без дрожжей, просто следуя рецепту – результат будет другим, потому что именно нелинейное действие дрожжей (аналог невычислимой физики) придает хлебу (аналогу сознания) его уникальные свойства.

Таким образом, это устанавливает фундаментальный предел для существующего и обозримого ИИ, который по своей сути основан на вычислениях. Создание настоящего искусственного интеллекта, в смысле искусственного сознания, потребовало бы выхода за рамки алгоритмов и использования или воспроизведения этой самой невычислимой физики.

Он также скептически относится к Нобелевским премиям, связанным с ИИ. По его мнению, они отмечают технологические достижения в области вычислений, а не прорывы в понимании природы интеллекта или сознания как таковых.

В заключение, Пенроуз еще раз подчеркивает фундаментальное различие между тем, что сейчас называют «искусственным интеллектом» (что он скорее назвал бы «искусственной смекалкой» или вычислительной способностью), и подлинным интеллектом, который требует сознательного понимания.

Чтобы проиллюстрировать это, он приводит пример двух студентов-математиков. Один студент может быть очень «сообразительным» (clever) – он отлично запоминает правила, формулы и алгоритмы, может безупречно применять их для решения стандартных задач и получать хорошие оценки. Он действует подобно современному ИИ – эффективно выполняет вычисления и следует процедурам. Однако он может не понимать глубинного смысла этих правил или почему математическое утверждение истинно, кроме как через формальное следование шагам доказательства.

Другой студент может быть не таким быстрым в рутинных вычислениях, но он стремится к пониманию (understanding). Он пытается уловить суть концепций, интуитивно почувствовать истинность утверждений, увидеть связи, выходящие за рамки заученных алгоритмов. Именно этот тип понимания, по мнению Пенроуза, связан с сознанием и позволяет человеку, например, осознать истинность утверждения Гёделя, которое формально недоказуемо в рамках системы.

А это понимание, по его убеждению, коренится в невычислимых процессах физики и не может быть достигнуто чисто вычислительными методами. ИИ, как первый студент, может стать невероятно «сообразительным», но никогда не обретет подлинного понимания, свойственного второму студенту, пока не будет основан на иной, невычислимой физике.

Приложение.

Описание мысленного эксперимента Джона Сёрла "Китайская комната":

Представьте себе человека, запертого в комнате, который совершенно не понимает китайского языка — ни письменного, ни устного. В комнате есть ящики с китайскими иероглифами и большая книга инструкций на его родном языке (например, на английском). Эти инструкции представляют собой очень сложный алгоритм, который говорит ему, как манипулировать иероглифами: если вы получаете такой-то набор символов, то найдите и выдайте такой-то другой набор символов.

Через щель в двери ему передают записки с вопросами, написанными по-китайски. Человек, не понимая ни единого иероглифа, тщательно следует инструкциям из книги. Он находит входящие символы в правилах, смотрит, какие символы он должен выдать в ответ, собирает их из ящиков и передает обратно через щель.

Предположим, что инструкции (программа) настолько хороши, что ответы, которые выдает человек, абсолютно неотличимы от ответов, которые дал бы носитель китайского языка. Для любого внешнего наблюдателя, знающего китайский, система "человек в комнате + книга правил" превосходно демонстрирует понимание китайского языка — она успешно проходит тест Тьюринга.

Однако, как подчеркивает Сёрл, сам человек внутри комнаты по-прежнему не понимает ни слова по-китайски. Он просто выполняет формальные, синтаксические манипуляции с символами, которые для него бессмысленны. Он следует правилам, но у него нет доступа к значению (семантике) этих символов.

Вывод Сёрла из этого эксперимента таков: выполнение компьютерной программы, даже такой, которая идеально имитирует разумное поведение (как в случае с комнатой), само по себе не является достаточным условием для возникновения подлинного понимания или сознания. Манипулирование синтаксисом не порождает семантику. Следовательно, сильный ИИ (то есть ИИ с реальным сознанием и пониманием) не может быть создан просто путем запуска правильной программы на компьютере.

Вот основные контраргументы:



Возражение от системы (The Systems Reply): Этот контраргумент утверждает, что Сёрл неправ, фокусируясь только на человеке внутри комнаты. Хотя сам человек не понимает китайский, пониманием обладает вся система в целом — то есть человек, книга правил, ящики с иероглифами и записки, работающие вместе. Понимание является свойством всей системы, а не только одного её компонента (человека). Человек — это лишь центральный процессор, выполняющий программу, но именно система как единое целое демонстрирует понимание.

Возражение от робота (The Robot Reply): Критики указывают, что изолированная комната лишена важного аспекта — взаимодействия с реальным миром [об этом будет отдельная заметка]. Если бы эту систему (программу и процессор) поместили в тело робота, который мог бы двигаться, видеть, слышать, манипулировать объектами и связывать китайские символы с реальными вещами и событиями в мире, то тогда у системы появилось бы подлинное понимание. Символы обрели бы смысл (семантику) через "заземление" в сенсорном опыте и действиях.

Возражение от симулятора мозга (The Brain Simulator Reply): Представим, что программа в комнате не просто манипулирует символами, а точно симулирует нейронную активность мозга носителя китайского языка, когда тот обрабатывает вопросы и дает ответы. Если симуляция настолько точна, что воспроизводит все функциональные состояния нейронов настоящего китайского мозга, то на каком основании можно отрицать, что эта симуляция понимает китайский? Ведь она функционально эквивалентна мозгу, который точно понимает.

Возражение от других сознаний (The Other Minds Reply): Этот аргумент ставит под сомнение сам метод Сёрла. Мы судим о понимании и сознании других людей исключительно по их поведению. Если система "Китайская комната" ведет себя неотличимо от человека, понимающего китайский, то как мы можем быть уверены, что она не понимает, в то время как мы уверены (или предполагаем), что другие люди понимают? Отказ признать понимание за комнатой может быть просто предрассудком по отношению к небиологическим системам.

Возражение от интуиции (The Intuition Reply): Некоторые критики считают, что сила аргумента Сёрла во многом опирается на нашу интуицию, которая подсказывает, что человек в комнате "очевидно" не понимает. Однако наши интуиции могут быть ненадежны, особенно когда речь идет о сложных и незнакомых системах, таких как ИИ или сама природа сознания. То, что кажется невозможным или неинтуитивным на одном уровне описания, может оказаться реальностью на другом, более высоком уровне организации системы.

Эти контраргументы, по сути, защищают идею о том, что достаточно сложные и правильно организованные вычисления могут привести к пониманию или сознанию. Отстаивая достаточность вычислений (при определенных условиях) для возникновения понимания, эти контраргументы оспаривают не только вывод Сёрла о разрыве между синтаксисом и семантикой, но и фундаментальное требование Пенроуза о необходимости особой, невычислимой физики. Если сложные вычисления могут породить сознание, то специфическая физика Пенроуза становится необязательной.

Brief Summary and Critique:

Modern artificial intelligence systems are fundamentally based on computation. However, Roger Penrose argues that genuine intelligence is impossible without consciousness. Adhering to a physicalist position (consciousness is a product of the brain), he hypothesizes that the workings of the brain are based not only on computable processes but also on fundamental laws of physics that are themselves non-computable. As an example, he points to the possible non-computability of the quantum wave function collapse.

Based on this, Penrose draws a radical conclusion: if consciousness arises from the physical activity of the brain, which includes such non-computable components, then consciousness itself inherits this non-computability. Therefore, in his view, no system operating solely on algorithms and computations (like modern AI) is capable of reproducing genuine consciousness and intelligence. This would require understanding and utilizing this non-computable physics.

Penrose's position, focusing on the necessity of a specific internal physical mechanism, is one argument against the possibility of creating AGI through purely computational methods. Another famous argument comes from John Searle (the "Chinese Room" thought experiment [see description in the appendix below]), who highlights the gap between formal symbol manipulation (syntax) and real understanding (semantics), arguing that the former cannot give rise to the latter.

However, there is an important counter-argument to Searle, closely related to functionalism or behaviorism: what if external behavior, indistinguishable from intelligent behavior, is itself a sufficient criterion for recognizing intelligence or even consciousness? This viewpoint questions the need to look "inside" the system and focuses on the observable function.

This is precisely where a conflict with Penrose's position arises. If one accepts this functionalist view—that behavior is the primary or only available criterion—then it challenges Penrose's strict requirement for non-computable physics. This is because, theoretically, complex computations could be sufficient to produce the required intelligent behavior. In that case, the specific non-computable mechanism Penrose insists on becomes optional, or its necessity unprovable. Thus, functionalism allows for the possibility of consciousness or genuine intelligence emerging in AI based on computation (if the behavior is appropriate), whereas Penrose categorically denies this due to the absence of the non-computable physical foundation he postulates.



Penrose: Gödel's Theorem Refutes the Main Myth About AI. AI Will Not Possess Consciousness.

Sir Roger Penrose begins by criticizing the very term "artificial intelligence." He considers the name incorrect because, in his opinion, true intelligence is inseparable from consciousness. What we currently call AI does not actually possess intelligence in this deep sense.

He argues that computers, as currently understood, are very specific mathematical structures based on computations (computational mathematics). However, computation is only a very limited part of all mathematics.

Penrose is convinced that consciousness is something more than just computation. He refers to Gödel's incompleteness theorem to support his view. The essence of Gödel's argument (using Cantor's so-called diagonal method) is as follows: for any sufficiently strong and consistent formal system of axioms (capable of expressing natural number arithmetic), one can construct a mathematical statement that essentially says about itself: "This statement is unprovable within this system."

Penrose emphasizes Gödel's conclusion: if such a system is consistent, then this statement is indeed unprovable within the system, yet it is true. If it were provable, the system would be inconsistent (proving a falsehood). If it were refutable, the system would also be inconsistent (refuting a truth). Thus, human mathematical understanding allows us to "step outside" the formal system and see the truth of this Gödelian statement, which the system itself cannot do while remaining within its rules. This, according to Penrose, demonstrates the non-algorithmic (non-computable) nature of understanding and, consequently, consciousness. AI, however, following algorithms, can only apply rules but cannot understand them or transcend them in this way.

That is why he believes that modern computers and AI, based solely on computations (algorithms), will never be able to achieve consciousness or genuine understanding. They can be incredibly powerful in processing data and following rules (he calls this "artificial cleverness"), but they "don't know what they are doing."

Why then are modern AIs, operating with statistics, still "computable"?

Here it is important to introduce the concept of a computable function, which Penrose likely means when speaking of computation. Penrose defines "computability" as any process that can be, at least in principle, simulated or executed by an algorithm—that is, a finite set of clear rules that can be executed by an idealized computer (Turing machine). Formally, this corresponds to the mathematical concept of a computable function: it is a function for which an algorithm exists that can compute its value for any valid input argument in a finite number of steps.

Modern AI systems, such as large language models and neural networks, fall entirely under this definition:

Training: The process of training a neural network (e.g., backpropagation) is a complex but algorithmic process of mathematical optimization. It follows clear rules to adjust the model's internal parameters (weights) based on data to minimize error. This algorithm can be programmed and executed by a computer.

Operation (Inference): When a trained AI model generates a response to a query, it performs a sequence of well-defined mathematical operations (matrix multiplications, applying activation functions, etc.) specified by its architecture and learned weights. This is also an algorithm.

Statistics and Probabilities: Although AI operates with statistics and probabilities, these operations themselves are based on mathematical formulas and procedures that are computable. The model doesn't "understand" probabilities; it calculates them or uses statistical patterns according to algorithms.

Thus, regardless of the complexity of the AI model or the fact that it works with statistics and probabilities, all its operations reduce to executing algorithms that implement computable functions. They do not go beyond what a Turing machine can do.

This is what Penrose distinguishes from human understanding, which, he argues referencing Gödel, includes a non-algorithmic (non-computable) component—the ability to grasp meaning and truth that goes beyond merely following rules. AI, in his view, processes statistical correlations without conscious understanding of why these correlations exist or what they truly mean. Therefore, however complex the statistical model, it remains within the computable realm.

Penrose expresses concern that due to the impressive power of modern computers and AI, people have "lost the thread" or "missed the point." He clarifies that the "point" being missed is the fundamental difference between computation (at which AI excels) and genuine understanding or consciousness. People are so mesmerized by AI's capabilities—its ability to process vast amounts of data, find complex statistical patterns, and generate convincing results—that they equate this computational prowess with real intelligence and, potentially, consciousness. They overlook the key question: do these systems understand what they are doing in the way a conscious being does? This focus on the power and performance of computational systems distracts from deeper philosophical questions and, Penrose believes, from the necessary physics to explain the mind. They confuse sophisticated imitation, based on algorithms and data, with the presence of genuine thought and awareness.

He distinguishes between classical reality and quantum reality. Classical reality refers to the macroscopic world we typically interact with, where objects possess definite properties (like a glass having a specific shape and location) that can be observed and measured without fundamentally altering the object itself. We can, in principle, ascertain these properties. Quantum reality, however, described by the wave function, is different. It describes possibilities or potential states. A quantum system before measurement often exists in a superposition of multiple states simultaneously. We cannot directly observe this superposition. The act of measurement forces the system to "choose" one state—a process called wave function collapse. Consequently, we don't ascertain a pre-existing definite property; we interact with the system in a way that forces it to manifest one of its potential properties, and can only confirm which result was obtained. The act of measurement itself is an "intrusion" and changes the system, taking it from a superposition state to a definite one. Penrose gives the example of particle spin: quantum mechanics describes its spin state before measurement not as pointing in one specific direction, but as a superposition of possibilities, and only measurement along a chosen axis yields a definite 'up' or 'down' result for that axis.

Penrose points to the strangeness of quantum mechanics, such as quantum entanglement (vividly illustrated by the Einstein-Podolsky-Rosen, or EPR, paradox). Entanglement describes a situation where two or more particles become linked in such a way that they share the same fate, no matter how far apart they are separated. Measuring a property of one entangled particle instantly influences the properties of the other(s), seemingly violating the principle that influences cannot travel faster than light. This property is called non-locality. While these correlations are real and experimentally confirmed, they cannot be used to transmit information faster than light, preserving standard causality in that sense. However, Penrose argues that these non-local correlations, and the way measurement choices seem to instantly affect distant particles, or even appear "retrocausal" in some theoretical analyses (where future measurement choices seem to constrain present reality, though again, without FTL signaling), strongly suggest that quantum reality operates in ways that challenge our classical intuitions about space, time, and causality. These "weird" aspects, in his view, are key clues pointing towards the physics governing the transition from quantum superposition to definite classical outcome (the measurement process or wave function collapse) being incompletely understood and likely involving non-computable processes.

He believes that wave function collapse (or state reduction) is not merely a subjective update of observer knowledge nor just an effect of decoherence due to interaction with the environment (which itself is usually considered a computable process governed by the standard Schrödinger equation). Instead, Penrose argues it must be a real, objective physical process ("Objective Reduction" or OR) currently missing from our fundamental theories. [This idea is controversial in the scientific community]. Crucially, in his view, this objective physical process is non-computable; it cannot be simulated by any algorithm or Turing machine. The standard evolution of a quantum system described by the Schrödinger equation is computable, but the collapse—the event that produces a definite outcome from a superposition during measurement—involves, in his view, new physics that is fundamentally non-algorithmic. He suggests it might relate to the interface between quantum mechanics and general relativity (specifically quantum gravity effects), but the key point is its non-computable nature. It is this non-computability that distinguishes it from all processes currently modeled by computers, including AI.

Since Penrose holds a physicalist position (i.e., believes consciousness arises from physical processes in the brain, not from anything supernatural or dualistic), he draws a radical conclusion: if consciousness is a product of the brain's physical activity, and if this activity necessarily involves this non-computable physical process (objective wave function collapse), then consciousness itself must possess non-computable qualities. It cannot be fully replicated by any system that operates solely on algorithms and computations, regardless of its complexity or power. This, therefore, sets a fundamental limit on existing and foreseeable AI, which is inherently based on computation. True artificial intelligence, in the sense of artificial consciousness, would require harnessing or replicating this non-computable physics, something beyond current algorithmic approaches.

In other words, non-computability is not just something the brain uses to create consciousness; it is a fundamental property of the very process generating consciousness. Therefore, consciousness cannot be reduced to, or fully replicated by, a purely algorithmic, computable system, regardless of its complexity or power. It's like trying to bake a special bread without yeast just by following the recipe – the result will be different because it's the non-linear action of the yeast (analogue of non-computable physics) that gives the bread (analogue of consciousness) its unique properties.

Thus, this sets a fundamental limit on existing and foreseeable AI, which is inherently based on computation. Creating true artificial intelligence, in the sense of artificial consciousness, would require going beyond algorithms and harnessing or replicating this very non-computable physics.

He is also skeptical about Nobel Prizes related to AI. In his view, they celebrate technological achievements in computation, not breakthroughs in understanding the nature of intelligence or consciousness itself.

In conclusion, Penrose emphasizes once again the fundamental difference between what is now called "artificial intelligence" (which he would rather call "artificial cleverness" or computational ability) and genuine intelligence, which requires conscious understanding.

To illustrate this, he gives the example of two mathematics students. One student might be very "clever" – excellent at memorizing rules, formulas, and algorithms, able to apply them flawlessly to solve standard problems and get good grades. This student acts like modern AI – efficiently performing calculations and following procedures. However, they might not grasp the deep meaning of these rules or why a mathematical statement is true, other than by formally following the steps of a proof.

The other student might not be as fast at routine calculations, but strives for understanding. They try to grasp the essence of concepts, intuitively feel the truth of statements, see connections beyond learned algorithms. It is this type of understanding, according to Penrose, that is linked to consciousness and allows a person, for example, to grasp the truth of a Gödel statement that is formally unprovable within its system.

And this understanding, he believes, is rooted in the non-computable processes of physics and cannot be achieved by purely computational methods. AI, like the first student, can become incredibly "clever" but will never attain the genuine understanding of the second student unless it is based on different, non-computable physics.

Appendix:

Description of John Searle's "Chinese Room" thought experiment:

Imagine a person locked in a room who does not understand Chinese at all – neither written nor spoken. Inside the room, there are boxes filled with Chinese characters and a large instruction book written in their native language (e.g., English). These instructions constitute a very complex algorithm that tells them how to manipulate the characters: if you receive such-and-such set of symbols, then find and output such-and-such other set of symbols.

Through a slot in the door, notes with questions written in Chinese are passed to them. The person, without understanding a single character, meticulously follows the instructions in the book. They find the incoming symbols in the rules, see which symbols they should output in response, gather them from the boxes, and pass them back through the slot.

Assume that the instructions (the program) are so good that the answers the person outputs are absolutely indistinguishable from the answers a native Chinese speaker would give. To any external observer who knows Chinese, the system "person in the room + rule book" perfectly demonstrates understanding of the Chinese language—it successfully passes the Turing test.

However, as Searle emphasizes, the person inside the room still does not understand a word of Chinese. They are merely performing formal, syntactic manipulations on symbols that are meaningless to them. They follow the rules but have no access to the meaning (semantics) of these symbols.

Searle's conclusion from this experiment is as follows: executing a computer program, even one that perfectly mimics intelligent behavior (as in the case of the room), is not, by itself, a sufficient condition for the emergence of genuine understanding or consciousness. Manipulating syntax does not generate semantics. Consequently, strong AI (i.e., AI with real consciousness and understanding) cannot be created merely by running the right program on a computer.

Here are the main counterarguments:

The Systems Reply: This counterargument asserts that Searle is wrong to focus only on the person inside the room. Although the person themselves does not understand Chinese, understanding is possessed by the entire system as a whole—that is, the person, the rule book, the boxes of characters, and the notes working together. Understanding is a property of the entire system, not just one of its components (the person). The person is merely the central processor executing the program, but it is the system as a whole that demonstrates understanding.

The Robot Reply: Critics point out that the isolated room lacks a crucial aspect—interaction with the real world [there will be a separate note on this]. If this system (program and processor) were placed inside the body of a robot capable of moving, seeing, hearing, manipulating objects, and associating Chinese symbols with real things and events in the world, then the system would acquire genuine understanding. The symbols would gain meaning (semantics) through "grounding" in sensory experience and actions.

The Brain Simulator Reply: Imagine that the program in the room does not just manipulate symbols but accurately simulates the neural activity of a native Chinese speaker's brain as they process questions and provide answers. If the simulation is so precise that it replicates all the functional states of the neurons in a real Chinese brain, then on what grounds can one deny that this simulation understands Chinese? After all, it is functionally equivalent to a brain that definitely understands.

The Other Minds Reply: This argument questions Searle's method itself. We judge the understanding and consciousness of other people solely based on their behavior. If the "Chinese Room" system behaves indistinguishably from a person who understands Chinese, how can we be certain that it doesn't understand, while we are certain (or assume) that other humans do? Refusing to attribute understanding to the room might simply be prejudice against non-biological systems.

The Intuition Reply: Some critics believe that the force of Searle's argument relies heavily on our intuition, which suggests that the person in the room "obviously" doesn't understand. However, our intuitions can be unreliable, especially when dealing with complex and unfamiliar systems like AI or the nature of consciousness itself. What seems impossible or counterintuitive at one level of description might be a reality at another, higher level of system organization.

These counterarguments essentially defend the idea that sufficiently complex and correctly organized computations can lead to understanding or consciousness. By arguing for the sufficiency of computation (under certain conditions) for understanding to emerge, these counterarguments challenge not only Searle's conclusion about the gap between syntax and semantics but also Penrose's fundamental requirement for special, non-computable physics. If complex computations can generate consciousness, then Penrose's specific physics becomes unnecessary.