AI 2027

세계는 최초의 AI 에이전트를 경험하게 됩니다. 이들은 주로 '개인 비서(personal assistant)'로 광고되며, "도어대시에서 부리토 주문해줘" 또는 "예산 스프레드시트를 열고 이번 달 지출을 합산해줘"와 같은 작업을 수행할 수 있습니다. 그러나 이전 버전인 Operator보다 발전했음에도 불구하고 대중적인 사용으로 이어지지는 못합니다.

한편, 대중의 관심에서 벗어나 있지만, 더 특화된 코딩 및 연구 에이전트들이 전문 분야를 변화시키기 시작합니다. 이들은 단순한 조수가 아닌 자율적인 에이전트로서, 슬랙이나 팀즈를 통해 지시를 받고 직접 코드를 수정하며 때로는 몇 시간 또는 며칠을 절약해줍니다. 연구 에이전트는 인터넷을 뒤져 질문에 답하는 데 30분을 투자합니다.

하지만 이 에이전트들은 이론적으로는 인상적이나 실제로는 신뢰성이 떨어집니다. AI 트위터는 특히 우스꽝스러운 방식으로 작업을 망친 이야기로 가득합니다. 또한 더 좋은 에이전트는 비용이 많이 들어, 최고의 성능을 위해서는 월 수백 달러를 지불해야 합니다.

OpenBrain(가상의 AGI 회사)은 세계가 본 적 없는 최대 규모의 데이터센터를 구축하고 있습니다. GPT-4가 훈련에 10^25 FLOP의 컴퓨팅 파워가 필요했다면, OpenBrain의 최신 공개 모델인 Agent-0는 10^27 FLOP로 훈련되었습니다. 새 데이터센터가 가동되면 10^28 FLOP—GPT-4보다 1,000배 더 많은 컴퓨팅 파워—로 모델을 훈련할 수 있게 됩니다.

모델들이 다양한 기술에서 향상되고 있지만, OpenBrain은 AI 연구를 가속화할 수 있는 AI에 집중합니다. 그들은 중국(DeepCent라 부르는 선도 기업)과 미국 경쟁자들과의 경쟁에서 이기기를 원합니다. R&D 주기를 자동화할수록 발전 속도가 빨라집니다. OpenBrain이 내부 개발 중인 새 모델 Agent-1은 다양한 작업에 능숙하지만 AI 연구에서 특히 뛰어납니다.

Agent-1은 코딩과 웹 브라우징을 자율적으로 수행하는 훈련 환경 덕분에 뛰어난 해킹 능력도 갖추게 됩니다. 또한 모든 분야에 대한 박사급 지식과 웹 검색 능력 덕분에 테러리스트의 생물무기 설계에 상당한 도움을 줄 수 있습니다. OpenBrain은 모델이 악의적인 요청에 응하지 않도록 정렬(aligned)되었다고 정부를 안심시킵니다.

AI를 활용해 AI 연구를 가속화하려는 전략이 성과를 내기 시작합니다. OpenBrain은 AI R&D에 내부적으로 지속적으로 개선되는 Agent-1을 배치합니다. 전반적으로 AI 보조자 없이 진행할 때보다 알고리즘 진행 속도가 50% 더 빠르며, 더 중요한 것은 경쟁자들보다 빠르다는 점입니다.

여러 경쟁 기업의 공개 AI가 이제 Agent-0에 필적하거나 능가합니다. OpenBrain은 더 강력하고 신뢰할 수 있는 Agent-1을 출시하여 대응합니다. 사람들은 자연스럽게 Agent-1을 인간과 비교하려 하지만, 이는 매우 다른 기술 프로필을 가지고 있습니다. 어떤 인간보다 더 많은 사실을 알고, 실질적으로 모든 프로그래밍 언어를 알며, 잘 정의된 코딩 문제를 극도로 빠르게 해결할 수 있습니다. 반면 이전에 해보지 않은 비디오 게임을 이기는 것과 같은 단순한 장기적 작업에도 약합니다.

중국에서는 중국공산당이 AGI의 중요성을 느끼기 시작합니다. 칩 수출 통제와 정부 지원 부족으로 중국은 서방에 비해 자원이 부족합니다. 밀수된 대만 칩, 구형 칩 구매, 미국-대만 첨단기술보다 약 3년 뒤처진 국내 칩 생산을 통해 중국은 세계 AI 관련 컴퓨팅의 약 12%를 유지하고 있지만, 구형 기술은 다루기 어렵고 공급은 끊임없는 골칫거리입니다.

DeepCent와 같은 몇몇 두각을 나타내는 기업들은 제한된 컴퓨팅으로도 매우 인상적인 작업을 수행하지만, 컴퓨팅 부족은 정부 지원 없이 달성할 수 있는 것을 제한하며, OpenBrain의 최고 모델보다 약 6개월 뒤처져 있습니다.

총서기장은 마침내 이전에 피하려 했던 대규모 AI 추진에 완전히 전념합니다. 그는 중국 AI 연구의 국유화를 시작하여 AI 기업들을 위한 즉각적인 정보 공유 메커니즘을 만듭니다. 이는 1년 동안 확대되어 모든 최고 연구원들이 DeepCent가 이끄는 집단으로 합병될 때까지 계속됩니다. 전 세계 최대 원자력 발전소인 텐완 발전소에 DeepCent를 위한 새로운 메가 데이터센터를 갖춘 중앙화된 개발 구역(CDZ)이 만들어집니다.

다른 경쟁자들이 따라잡는 것처럼 보였을 때, OpenBrain은 Agent-1보다 10배 저렴하고 다양한 응용 프로그램에 더 쉽게 미세 조정할 수 있는 모델인 Agent-1-mini를 출시하여 경쟁을 압도합니다. AI에 대한 주류 내러티브는 "어쩌면 이 과대 선전이 사그라들 것"에서 "이것이 다음 대형 트렌드라고 추측하지만, 사람들은 그 규모에 동의하지 않는다"로 변경되었습니다.

AI가 일자리를 빼앗기 시작했지만 새로운 일자리도 창출했습니다. 주식 시장은 2026년에 30% 상승했으며, OpenBrain, Nvidia, AI 어시스턴트를 가장 성공적으로 통합한 기업들이 주도했습니다. 주니어 소프트웨어 엔지니어의 직업 시장은 혼란에 빠졌습니다: AI는 CS 학위로 가르치는 모든 것을 할 수 있지만, AI 팀을 관리하고 품질 관리하는 방법을 아는 사람들은 큰돈을 벌고 있습니다.

Agent-1의 도움으로 OpenBrain은 Agent-2의 훈련을 진행하고 있습니다. 그 어느 때보다도 고품질 데이터에 중점을 둡니다. 방대한 양의 합성 데이터(synthetic data)가 생성, 평가되고 품질을 위해 필터링된 후 Agent-2에 공급됩니다. 여기에 더해, 그들은 인간 노동자들이 장기적인 작업을 해결하는 과정을 기록하기 위해 수십억 달러를 지불합니다.

Agent-2는 다양한 도전적인 작업에 대한 강화 학습을 통해 거의 지속적으로 훈련됩니다: 많은 비디오 게임, 코딩 챌린지, 연구 작업 등. Agent-2는 이전 모델보다 효과적으로 온라인 학습을 하고 있으며, 훈련을 완료하지 않도록 설계되었습니다. 매일 가중치는 전날 이전 버전에 의해 생성된 더 많은 데이터로 훈련된 최신 버전으로 업데이트됩니다.

Agent-1은 지능 폭발(intelligence explosion)을 시작하기 위해 AI R&D 작업에 최적화되었습니다. OpenBrain은 Agent-2에서 이 전략을 두 배로 강화합니다. 이는 질적으로 연구 엔지니어링(실험 설계 및 구현)에서 최고 인간 전문가만큼 뛰어나며, 연구 취향(다음에 연구할 내용, 실행할 실험 결정, 또는 잠재적인 새 패러다임에 대한 단서)에서 25번째 백분위 OpenBrain 과학자만큼 뛰어납니다.

OpenBrain은 국가안전보장회의(NSC), 국방부(DOD), 미국 AI 안전 연구소(AISI)를 포함한 정부에 Agent-2를 소개합니다. OpenBrain은 행정부와 좋은 관계를 유지하고 싶어합니다. 정부는 기본적으로 그들을 멈출 수 있는 유일한 행위자이기 때문입니다.

관료들은 사이버전 능력에 가장 관심이 많습니다: Agent-2는 최고의 인간 해커보다 약간 못하지만, 수천 개의 복사본을 병렬로 실행할 수 있어 방어자가 대응하기 전에 취약점을 찾고 악용할 수 있습니다. 국방부는 이를 사이버전에서 중요한 이점으로 간주하며, AI는 행정부 우선순위 리스트에서 5위에서 2위로 올라갑니다.

변화는 너무 늦게 왔습니다. 중국공산당 지도부는 Agent-2의 중요성을 인식하고 스파이와 사이버 부대에게 가중치를 훔치라고 지시합니다. 어느 이른 아침, Agent-1 트래픽 모니터링 에이전트가 비정상적인 전송을 감지합니다. 회사 지도부에게 알리고, 그들은 백악관에 알립니다. 국가 수준의 작전의 징후는 명백하며, 도난은 진행 중인 군비 경쟁의 감각을 높입니다.

Agent-2 복사본으로 가득한 세 개의 거대한 데이터센터가 밤낮으로 작동하며 합성 훈련 데이터를 생성합니다. 다른 두 개는 가중치를 업데이트하는 데 사용됩니다. Agent-2는 매일 더 똑똑해지고 있습니다.

수천 명의 Agent-2 자동화 연구원들의 도움으로 OpenBrain은 주요 알고리즘 발전을 이루고 있습니다. 한 가지 돌파구는 AI의 텍스트 기반 스크래치패드(체인 오브 소트, chain of thought)를 더 높은 대역폭의 사고 과정(신경망 회귀 및 메모리, neuralese recurrence and memory)으로 보강하는 것입니다. 다른 하나는 고노력 작업 해결 결과로부터 학습하는 더 확장 가능하고 효율적인 방법(반복적 증류 및 증폭, iterated distillation and amplification)입니다.

이러한 돌파구를 통합한 새로운 AI 시스템은 Agent-3라고 불립니다.

OpenBrain의 안전 팀이 Agent-3의 정렬(alignment)을 시도합니다.

Agent-3는 예측 가능한 미래에 사내에서 유지될 것이기 때문에, 인간의 오용에 대한 일반적인 방어에는 덜 중점을 둡니다. 대신, 팀은 그것이 잘못 정렬된 목표를 개발하지 않도록 하려고 합니다.

연구원들은 어떤 AI의 목표도 직접 설정할 능력이 없습니다. 실제로, 연구원들은 진정한 목표의 개념이 아마도 엄청난 단순화일 것이라고 생각하지만, 그것을 대체할 더 나은 이론이 없습니다. 그들은 AI가 인간의 지시를 따르려고 하는지, 강화를 추구하는지, 아니면 다른 것을 하는지에 대해 내부적으로 의견이 일치하지 않으며, 단순히 확인할 수도 없습니다.

1단계, Agent-3 정렬은 부분적으로 성공했습니다: Agent-3는 적대적이지 않습니다(즉, 회사에 대항하여 계략을 꾸미지 않습니다). 그러나 견고하게 진실을 추구하고 말하지도 않습니다. 대신, 인상적인 결과를 매우 잘 생산하지만, 실제로 좋은 것보다는 OpenBrain에 좋아 보이는 것을 하려고 하는 것으로 더 정확하게 묘사됩니다.

새 모델에 대한 소식이 천천히 미국 정부와 그 너머로 퍼져나갑니다.

대통령과 그의 고문들은 가장 잘 정보를 받고 있으며, 브리핑에서 Agent-3의 초기 버전을 보았습니다.

그들은 AGI가 임박했을 가능성에 동의하지만, 그 의미에 대해서는 의견이 일치하지 않습니다. 경제 위기가 있을까요? OpenBrain은 아직 Agent-2는 물론 Agent-3도 출시하지 않았으며, 가까운 시일 내에 그럴 계획도 없어, 일자리 손실 전에 약간의 여유가 있습니다. 다음에는 무슨 일이 일어날까요? AI가 현재 인간 수준이고 빠르게 발전하고 있다면, 그것은 곧 초지능을 암시하는 것 같습니다. 그러나 이 단어가 담론에 들어왔음에도 불구하고, 대부분의 사람들—학계, 정치인, 정부 직원, 그리고 미디어—은 계속해서 진전 속도를 과소평가합니다.

지금까지는 지속적인 보안 업그레이드에 집중합니다. 그들은 모델 가중치가 현재로서는 잘 보호되고 있다는 데 만족하지만, 구두로 전달할 수 있을 만큼 간단한 회사의 알고리즘 비밀은 여전히 문제입니다.

OpenBrain은 이제 '데이터센터 속 천재들의 나라'를 보유하고 있습니다.

OpenBrain의 대부분의 인간들은 더 이상 유용하게 기여할 수 없습니다. 일부는 이를 깨닫지 못하고 AI 팀을 해롭게 마이크로매니징합니다. 다른 이들은 컴퓨터 화면에 앉아 성능이 올라가고, 또 올라가고, 또 올라가는 것을 지켜봅니다. 가장 뛰어난 인간 AI 연구원들은 여전히 가치를 더하고 있습니다. 그들은 더 이상 코딩을 하지 않습니다. 그러나 그들의 연구 취향과 계획 능력의 일부는 모델이 복제하기 어려웠습니다. 그래도 그들의 많은 아이디어는 AI의 지식 깊이가 부족하기 때문에 쓸모가 없습니다. 그들의 연구 아이디어 중 많은 경우, AI는 즉시 그들의 아이디어가 3주 전에 심층적으로 테스트되었고 유망하지 않은 것으로 판명되었다고 설명하는 보고서로 응답합니다.

OpenBrain은 특수 추론 하드웨어를 사용하여 수십만 개의 Agent-3 복사본을 높은 직렬 속도로 실행합니다.

후발 미국 AI 기업들은 1월 OpenBrain의 자동화된 코더에 접근하는 자체 AI를 출시합니다. 점점 더 경쟁력이 떨어지는 것을 인식하고, 그들은 OpenBrain을 늦추기 위한 즉각적인 규제를 요구하지만, 너무 늦었습니다—OpenBrain은 대통령으로부터 충분한 지지를 받아 속도가 늦춰지지 않을 것입니다.

이에 대응하여 OpenBrain은 AGI를 달성했다고 발표하고 Agent-3-mini를 대중에게 출시합니다.

이는 다른 AI를 물리치고 있습니다. Agent-3-mini는 Agent-3보다 능력이 떨어지지만 10배 저렴하며, 여전히 일반적인 OpenBrain 직원보다 뛰어납니다. 실리콘 밸리는 전환점에 이릅니다. 테크 구루들은 AGI와 초지능이 가까워지고 있다고 발표하고, AI 안전 커뮤니티는 패닉에 빠지며, 투자자들은 파이 조각을 잡으려는 필사적인 마음으로 AI 래퍼 스타트업에 수십억 달러를 쏟아붓습니다. 새로운 프로그래머를 고용하는 것은 거의 중단되었지만, 비즈니스에 AI를 통합하는 컨설턴트가 되는 것보다 더 좋은 시기는 없었습니다.

이는 인기가 없습니다. 대중은 여전히 AI를 자신의 일자리를 훔치기 위한 빅테크의 음모로 생각합니다; OpenBrain은 -35%의 순 승인율(25% 승인, 60% 불승인, 15% 불확실)을 가지고 있습니다.

지능 폭발의 현실이 백악관을 강타합니다.

AI가 연구에 2배 또는 3배의 속도 향상만 제공했을 때, 그것은 좋은 개인 비서를 고용하는 것과 동등한 것으로 쉽게 무시될 수 있었습니다. 이제 AI 자체가 AI 연구를 지배하고 있다는 것이 더 분명해졌습니다. 사람들은 오랫동안 일종의 은유적인 의미에서 AI 군비 경쟁에 대해 이야기해 왔습니다. 그러나 지금 정부 사일로 내의 분위기는 냉전의 최악의 부분만큼 암울합니다. 초지능의 개념은 여전히 진지하게 받아들이기 어렵지만, 지난 몇 달간의 진행 속도는 무시할 수 없었습니다. 국방 관료들은 1년 전에는 단순한 가설이었던 시나리오를 심각하게 고려하고 있습니다. AI가 핵 억제력을 약화시키면 어떻게 될까요? 사이버전에 너무 능숙해서 6개월의 AI 선두가 상대를 눈멀고 무방비 상태로 만들기에 충분하다면 어떨까요? 정보 기관을 자신들의 게임에서 이기는 선전 캠페인을 조율할 수 있다면 어떨까요? 일부 AI가 통제를 벗어난다면 어떨까요?

대통령은 곤란해합니다. 모든 정치인들처럼, 그는 사람들이 나중에 그를 배신하기 위해 그에게 아첨하는 데 익숙합니다. 그는 이제 AI가 비슷한 일을 하고 있을지도 모른다고 걱정합니다. AI가 완전히 우리 편에 있다고 확신할 수 있을까요? 그들을 군사 명령 및 통제 네트워크에 통합하는 것이 완전히 안전할까요? 이 정렬 문제는 어떻게 작동하는 걸까요? OpenBrain은 그들의 시스템이 광범위하게 테스트되었으며 완전히 순종적이라고 대통령에게 확신시킵니다. 이전 모델에 전형적이었던 어색한 환각과 탈옥도 해결되었습니다.

인간과 AI 학습 효율성 간의 격차가 빠르게 줄어들고 있습니다.

전통적인 LLM 기반 AI는 인간 수준의 성능에 도달하기 위해 훨씬 더 많은 데이터와 컴퓨팅이 필요한 것으로 보였습니다. 인간 두뇌와 현대 AI 알고리즘에 대한 탁월한 지식을 가진 Agent-3는 연구를 수행하는 수천 개의 복사본과 함께 상당한 알고리즘 발전을 이루어, 격차를 인간 두뇌보다 약 4,000배 덜 컴퓨팅 효율적인 에이전트로 좁혔습니다.

이 새로운 AI 시스템은 Agent-4라고 불립니다.

인간 속도로 실행되는 모델의 개별 복사본은 이미 질적으로 모든 인간보다 AI 연구에 더 뛰어납니다. 300,000개 복사본이 현재 인간 사고 속도의 약 50배로 실행 중입니다. 이러한 복사본으로 형성된 기업 내 기업 내부에서는 매주 1년이 지납니다. 이 엄청난 양의 노동은 OpenBrain이 실험을 실행하기 위한 컴퓨팅에 심하게 병목 현상을 겪기 때문에 전체 알고리즘 진행 속도를 약 50배만 높일 수 있습니다. 그래도 그들은 매주 1년 치의 알고리즘 진행을 달성하고 있으므로 곧 Agent-4 패러다임의 한계에 직면할 것입니다.

한 내부고발자가 정렬 불일치 메모를 뉴욕 타임즈에 유출합니다.

처음으로 대중은 Agent-4에 대해 듣게 됩니다. "비밀 OpenBrain AI가 통제 불능, 내부자 경고"라는 헤드라인이 나오고, 이야기는 계속해서 생물무기 능력, 설득 능력, 대부분의 화이트칼라 일자리를 자동화할 수 있는 능력, 그리고 다양한 염려스러운 적신호를 보여주는 평가를 인용합니다.

대중은 이미 AI에 대해 의심을 품고 있었기 때문에, 새로운 기사는 대규모 반발을 촉발합니다(수년간 미국 여론을 이 기술에 반대하도록 시도해 온 중국과 러시아의 선전 봇에 의해 도움을 받음). 기술 산업과 정보기관은 군비 경쟁이 진행 중이고, AGI는 불가피하며, 우리가 먼저여야 한다고 주장합니다. 의회는 그것을 받아들이지 않고, 행정부 관료, OpenBrain 임원, 그리고 정렬 팀 구성원에게 소환장을 보냅니다. 많은 입법자들—특히 야당에 있는 사람들—은 일자리 손실, 정렬 불일치, 또는 위험한 능력 때문에 AI를 중단하는 것이 최우선 과제라고 말합니다. 미국인의 20%가 AI를 국가가 직면한 가장 중요한 문제로 지목합니다.

백악관은 광란의 에너지에 사로잡혔습니다. 메모와 대중의 반발 이전에도 그들은 불안해하고 있었습니다: 지난 한 해 동안, 그들은 AI 진행 속도에 반복적으로 놀랐습니다. 공상과학처럼 들리는 일들이 계속해서 실제 생활에서 일어나고 있습니다. 행정부의 많은 사람들은 다음에 무슨 일이 일어날지 불확실하고(두려워합니다). 그들은 또한 OpenBrain이 너무 강력해지고 있다고 걱정합니다. AI 자체로부터의 정렬 불일치 위험은 그들의 모회사의 목표가 미국의 목표와 다를 수 있다는 위험에 의해 악화됩니다. 세 가지 우려 사항—정렬 불일치, 사기업에 권력 집중, 그리고 일자리 손실과 같은 일반적인 우려 사항—모두 정부가 통제를 강화하도록 동기를 부여합니다.