OpenAI has said that AGI “could help us elevate humanity by increasing abundance, turbocharging the global economy, and aiding in the discovery of new scientific knowledge that changes the limits of possibility.” But recent comments from Altman have been somewhat more subdued. “My guess is we will hit AGI sooner than most people in the world think and it will matter much less,” he said in December. “AGI can get built, the world mostly goes on in mostly the same way, things grow faster, but then there is a long continuation from what we call AGI to what we call superintelligence.”
In his most recent post, Altman wrote, “We are beginning to turn our aim beyond [AGI], to superintelligence in the true sense of the word. We love our current products, but we are here for the glorious future.”
He added that “superintelligent tools could massively accelerate scientific discovery and innovation well beyond what we are capable of doing on our own, and in turn massively increase abundance and prosperity.” This ability to accelerate scientific discovery is a key distinguishing factor between AGI and superintelligence, at least for Altman, who has previously written that “it is possible that we will have superintelligence in a few thousand days.”
OpenAI заявляет, что ИОИ «может помочь нам возвысить человечество,
увеличив изобилие, ускорив глобальную экономику и способствуя открытию новых научных знаний, которые изменят пределы возможного». Однако недавние комментарии Альтмана были более сдержанными. «Я думаю, что мы достигнем ИОИ раньше, чем думает большинство людей в мире, и это будет иметь гораздо меньшее значение», — сказал он в декабре. «ИОИ может быть создан, мир в основном продолжит существовать так же, как и раньше, всё будет развиваться быстрее, но затем последует долгий путь от того, что мы называем ИОИ, к тому, что мы называем сверхразумом».
В своем последнем посте Альтман написал: «Мы начинаем переключать наше внимание за пределы ИОИ, к сверхразуму в истинном смысле этого слова. Мы любим наши текущие продукты, но мы здесь ради великого будущего».
Он добавил, что
«сверхразумные инструменты могут значительно ускорить научные открытия и инновации, выходящие далеко за пределы наших возможностей, и, в свою очередь, значительно увеличить изобилие и процветание». Эта способность ускорять научные открытия является ключевым отличием между ИОИ и сверхразумом, по крайней мере для Альтмана, который ранее писал, что «возможно, у нас будет сверхразум через несколько тысяч дней».
There is more below.
Ниже есть продолжение.
The concept of superintelligence was popularized by philosopher Nick Bostrom, who in 2014 wrote a best-selling book—Superintelligence: Paths, Dangers, Strategies—that Altman has called “the best thing [he’s] seen on the topic.” Bostrom defines superintelligence as “any intellect that greatly exceeds the cognitive performance of humans in virtually all domains of interest”—like AGI, but more. “The first AGI will be just a point along a continuum of intelligence,” OpenAI said in a 2023 blog post. “A misaligned superintelligent AGI could cause grievous harm to the world; an autocratic regime with a decisive superintelligence lead could do that too.”
These harms are inextricable from the idea of superintelligence, because experts do not currently know how to align these hypothetical systems with human values. Both AGI and superintelligent systems could cause harm, not necessarily due to malicious intent, but simply because humans are unable to adequately specify what they want the system to do. As professor Stuart Russell told TIME in 2024, the concern is that “what seem to be reasonable goals, such as fixing climate change, lead to catastrophic consequences, such as eliminating the human race as a way to fix climate change.” In his 2015 essay, Altman wrote that “development of superhuman machine intelligence is probably the greatest threat to the continued existence of humanity.”
OpenAI has previously written that it doesn’t know “how to reliably steer and control superhuman AI systems.” The team created to lead work on steering superintelligent systems for the safety of humans was disbanded last year, after both its co-leads left the company. At the time, one of the co-leads, Jan Leike, wrote on X that “over the past years, safety culture and processes have taken a backseat to shiny products.” At present, the company has three safety bodies: an internal safety advisory group, a safety and security committee, which is part of the board, and the deployment safety board, which has members from both OpenAI and Microsoft, and approves the deployment of models above a certain capability level. Altman has said they are working to streamline their safety processes.
https://time.com/7205596/sam-altman-superintelligence-agi/
Концепция сверхразума была популяризирована философом Ником Бостромом, который в 2014 году написал бестселлер «Сверхразум: Пути, опасности, стратегии», который Альтман назвал «лучшим из того, что он видел на эту тему». Бостром определяет сверхразум как «любой интеллект, который значительно превосходит когнитивные способности человека практически во всех областях интересов» — как ИОИ, но больше. «Первый ИОИ будет лишь точкой на континууме интеллекта», — заявила OpenAI в блоге 2023 года. «Несовместимый с человеческими ценностями сверхразумный ИОИ может нанести серьезный вред миру; автократический режим с решающим преимуществом в сверхразуме тоже может это сделать».
Эти риски неотделимы от идеи сверхразума, поскольку эксперты в настоящее время не знают, как согласовать эти гипотетические системы с человеческими ценностями. Как ИОИ, так и сверхразумные системы могут причинить вред, не обязательно из-за злого умысла, а просто потому, что люди не могут адекватно указать, что они хотят от системы. Как профессор Стюарт Рассел сказал TIME в 2024 году, проблема заключается в том, что «кажущиеся разумными цели, такие как решение проблемы изменения климата, могут привести к катастрофическим последствиям, таким как уничтожение человечества как способа решения проблемы изменения климата». В своем эссе 2015 года Альтман писал, что «разработка сверхчеловеческого машинного интеллекта, вероятно, является самой большой угрозой для существования человечества».
