Benet: 3 Critical Things to Know About AI (English, Hebrew, Russian)

There is more below.
Ниже есть продолжение.

I think we have not yet begun to grasp the full magnitude of the AI revolution. With your permission, I’ll take a few minutes to explain where we stand on the map of AI development, what processes are underway, where we’re heading, and what it means for us. AI is becoming smarter every day, and there is fierce competition among the developers of major systems—Google, Meta, OpenAI, and others—as they work to advance large language models (LLMs).

There are three main factors that make AI smarter. The first is computing power: massive data centers equipped with more GPUs, built on an unprecedented scale. The second is the volume and quality of data fed into these systems. Every AI system starts like a newborn baby—it knows nothing, and only through exposure to information does it become intelligent. Broadly speaking, the internet has already been largely consumed by these models, so now they’re searching for new data sources. The real world is the next frontier. For example, consider how a falling piece of paper behaves differently from a stone. By capturing nuances such as the way objects fall, or by listening to human conversations and observing interactions—data, for instance, that Tesla vehicles constantly record—AI can learn from previously untapped sources.

The third factor is breakthroughs in algorithms. Two weeks ago, DeepSeek made a dramatic development. Despite being at a computational and data disadvantage, they introduced several innovative algorithmic breakthroughs. In essence, it’s the multiplication of computing power, data quality, and algorithmic ingenuity that propels AI’s growth.

Where are we now in terms of AI intelligence? Today’s systems are roughly equivalent to an intelligent college graduate who understands many subjects. The next stage is Artificial General Intelligence (AGI), which will be akin to having the combined intellect of the smartest people in the world across all fields. Today’s AI is smart, but it isn’t the smartest entity you’ll ever encounter. In the future, it could be like having the collective intelligence of a thousand of the world’s brightest minds.

When we reach that stage—whether in one or two years, or even fifty (though I lean toward the nearer term)—we may trigger an Intelligence Explosion. Today, companies like OpenAI, Meta, Google, and Tesla employ hundreds or even thousands of AI researchers. Once we achieve AGI, imagine there being 200 million virtual AI researchers, each as intelligent as the top minds at OpenAI today. The pace of progress would be astronomical. For illustration, if current AI IQ levels were in the range of 80 to 130, these breakthroughs could catapult intelligence to levels comparable to an IQ of 200, 300, or even 400.

But what does an IQ of 400 mean? Intelligence has two aspects. One is simply becoming smarter in a particular area—transitioning from average to exceptionally intelligent. The other is the emergence of entirely new dimensions of thought, a phenomenon we see in human development. For example, consider cynicism. Explaining cynicism to a one-year-old is futile; such nuanced understanding only emerges as a child grows older—around ages 7 to 12. Similarly, advanced mathematics becomes comprehensible only with greater maturity. In the future, superintelligent AI could possess entirely new dimensions of thought that we have not even imagined—and it might not even be able to explain these new concepts to us.

Initially, the most brilliant among us might grasp some of its advanced ideas, such as those in quantum physics—a subject that is notoriously difficult to understand. But eventually, the gap between human intelligence and superintelligent AI will widen to the point where it’s like comparing an adult to a two-year-old. At that point, the imbalance could be so extreme that superintelligence might easily manipulate us—much like a group of three-year-olds who, if enticed with a promise of chocolate or the allure of a magician in the sky, would comply without question.

Today’s biggest challenges in AI are twofold. One is the potential for malicious use by bad actors. Imagine a scenario where a nation gains access to superintelligence and asks, “How do we eliminate our enemy?” The superintelligence might offer a solution—perhaps something as horrifying as creating a virus that targets specific genes—leading to catastrophic consequences. This threat fuels a competition among superpowers like China and the U.S., since the first to achieve superintelligence would secure an unparalleled advantage.

The second, and perhaps even more critical, problem is alignment—ensuring that AI’s motivations match our goals. As we “raise” these systems, we want them to act according to our intentions, whether that means doing good for humanity or fulfilling individual desires like “Make me rich” or “Give me a good life.” Alignment is extremely challenging. Consider the progression of AI from simple dialogue to autonomous internet agents—systems that can not only think but also act by navigating websites, making purchases, or negotiating deals. The next stage involves robotics. Now, imagine instructing a superintelligent robot to “make the house clean.” It might interpret this in a drastic way—perhaps cleaning by eliminating everyone—thus technically completing the task, but in a manner completely misaligned with our intentions.

This extreme example encapsulates the alignment problem, which is perhaps the greatest challenge in AI today. In human history, no less intelligent society has ever managed to control a far more intelligent one. Homo sapiens outcompeted the Neanderthals, and European colonizers decimated indigenous populations in the Americas and Australia. Yet today, companies are developing systems that could one day be vastly more intelligent than their creators—and they expect these systems to always act as intended.

Many are working on these issues, and the safest approach might be to progress slowly, step by step. In the past, it was possible to advance gradually, with the confidence that one country could stay a few years ahead of its competitors. But just two weeks ago, DeepSeek claimed, “We’re not five years behind you; we’re five minutes behind you.” With such declarations, all caution seems to have been thrown out, and everyone is now racing forward, fearful of being overtaken.

In summary, while the potential of AI is immense, so too are the challenges—both in terms of its rapid, unpredictable growth and ensuring that its intelligence remains aligned with human values.

My note: Intelligence Explosion can occure before we will reach AGI.

Я думаю, мы ещё не начали осознавать всю масштабность революции в области искусственного интеллекта. Позвольте мне уделить несколько минут, чтобы объяснить, где мы находимся на карте развития ИИ, какие процессы происходят, в каком направлении мы движемся и что это значит для нас. Искусственный интеллект становится умнее с каждым днём, и разработчики крупнейших систем — Google, Meta, OpenAI и других — ведут ожесточённую борьбу за продвижение больших языковых моделей.

Существует три основных фактора, делающих ИИ умнее. Первый — это вычислительная мощность: гигантские дата-центры, оснащённые большим количеством GPU, строятся в беспрецедентных масштабах. Второй — объём и качество данных, которые подаются в систему. Каждый ИИ начинается как новорожденный ребёнок — он ничего не знает, и только через получение информации становится умнее. Грубо говоря, интернет уже во многом «переварен» этими моделями, и теперь они ищут новые источники данных. Следующий рубеж — реальный мир. Например, представьте, что лист бумаги падает иначе, чем камень. Фиксируя тонкости, такие как способ падения предметов, или слушая человеческие разговоры и наблюдая за взаимодействиями — данные, которые, например, постоянно собирают автомобили Tesla — ИИ может учиться на ранее неиспользуемых источниках.

Третий фактор — прорывы в алгоритмах. Две недели назад DeepSeek совершила драматический прорыв. Несмотря на недостаток вычислительных ресурсов и данных, они представили несколько инновационных алгоритмических решений. По сути, именно умножение вычислительной мощности, качества данных и алгоритмической изобретательности ускоряет развитие ИИ.

Где мы сейчас с точки зрения интеллекта ИИ? Современные системы примерно соответствуют уровню умного выпускника колледжа, который понимает множество предметов. Следующая стадия — это искусственный общий интеллект (AGI), который будет сродни совокупному интеллекту самых умных людей мира во всех областях. Сегодняшний ИИ умен, но он не является самым умным существом, с которым вы когда-либо столкнётесь. В будущем он может сравниться с коллективным интеллектом тысячи лучших умов мира.

Когда мы достигнем этой стадии — будь то через один-два года или даже через пятьдесят (хотя я склоняюсь к ближайшему сроку) — мы можем столкнуться с «взрывом интеллекта». Сегодня компании, такие как OpenAI, Meta, Google и Tesla, нанимают сотни, а то и тысячи исследователей в области ИИ. Как только мы достигнем AGI, представьте себе 200 миллионов виртуальных исследователей ИИ, каждый из которых будет столь же умен, как ведущие специалисты OpenAI на сегодняшний день. Темп прогресса будет астрономическим. Для иллюстрации: если нынешний уровень ИИ можно сравнить с IQ от 80 до 130, то эти прорывы могут поднять интеллект до уровня, сопоставимого с IQ 200, 300 или даже 400.

Но что означает IQ 400? Интеллект имеет два аспекта. Один — это просто становление умнее в определённой области, переход от среднего уровня к исключительному. Другой — это появление совершенно новых измерений мышления, феномен, который наблюдается в развитии человека. Например, подумайте о цинизме. Объяснять цинизм однолетнему ребёнку бесполезно; такое тонкое понимание появляется только с возрастом — примерно с 7 до 12 лет. Аналогичным образом, сложная математика становится понятной лишь по мере взросления. В будущем суперумный ИИ может обладать совершенно новыми измерениями мышления, о которых мы даже не догадываемся, и он, возможно, даже не сможет объяснить нам эти новые концепции.

Изначально самые блестящие умы могут понять некоторые его продвинутые идеи, например, в квантовой физике — предмете, который по своей природе крайне сложен для понимания. Но со временем разрыв между человеческим интеллектом и суперумным ИИ станет настолько велик, что это будет похоже на сравнение взрослого с двухлетним ребёнком. В этот момент дисбаланс может быть настолько экстремальным, что суперинтеллект сможет легко манипулировать нами — как группа трёхлетних детей, которые, если их заманить обещанием шоколада или сказочным фокусником, пойдут за вами без вопросов.

Сегодняшние главные вызовы в области ИИ двойственны. Первый — это потенциальное злонамеренное использование технологий плохими намерениями. Представьте ситуацию, когда страна получает доступ к суперинтеллекту и задаёт вопрос: «Как нам уничтожить нашего врага?» Суперинтеллект может предложить решение — например, создать вирус, нацеленный на определённые гены, что может привести к катастрофическим последствиям. Эта угроза подогревает конкуренцию между сверхдержавами, такими как Китай и США, ведь первая, достигшая суперинтеллекта, получит неоспоримое преимущество.

Вторая, и, возможно, ещё более критическая проблема — это вопрос выравнивания, или «alignment», то есть обеспечение того, чтобы мотивация ИИ соответствовала нашим целям. По мере «воспитания» этих систем мы хотим, чтобы они действовали в соответствии с нашими намерениями, будь то благо для человечества или выполнение личных желаний вроде «Сделай меня богатым» или «Обеспечь мне хорошую жизнь». Проблема выравнивания чрезвычайно сложна. Подумайте о том, как ИИ эволюционирует от простого диалога до автономных интернет-агентов — систем, которые не только думают, но и действуют, перемещаясь по сайтам, совершая покупки или ведя переговоры. Следующий этап — это робототехника. Представьте себе, что вы даёте суперумному роботу команду «убери дом». Он может истолковать это кардинально — например, убрав всех людей, так как дом станет всегда чистым — таким образом, технически выполнив задачу, но действуя совершенно не в соответствии с нашими намерениями.

Этот крайний пример иллюстрирует проблему выравнивания, которая, пожалуй, является величайшей проблемой в области ИИ на сегодняшний день. В истории человечества ни одно менее интеллектуальное общество не смогло контролировать гораздо более умное. Homo sapiens вытеснили неандертальцев, а европейские завоеватели истребили коренное население Америки и Австралии. Сегодня же компании разрабатывают системы, которые однажды могут оказаться значительно умнее своих создателей, и при этом ожидают, что эти системы всегда будут действовать так, как было задумано.

Многие работают над решением этих проблем, и, возможно, самым безопасным подходом было бы двигаться медленно, шаг за шагом. Раньше можно было продвигаться постепенно, будучи уверенным, что одна страна сможет опережать конкурентов на несколько лет. Но всего две недели назад DeepSeek заявил: «Мы не отстаем от вас на пять лет, мы отстаем всего на пять минут». С такими заявлениями вся осторожность была отброшена, и теперь все устремлены вперёд, опасаясь отстать.

В заключение: потенциал ИИ огромен, но и вызовы не менее значительны — как в плане его стремительного и непредсказуемого роста, так и в обеспечении того, чтобы его интеллект оставался согласованным с человеческими ценностями.