메타봇(Metabot)은 GitHub 기반의 최첨단 코딩 에이전트로, 소프트웨어 엔지니어링 벤치마크에서 33%였던 이전 최고 점수를 38%로 넘어서는 놀라운 성과를 달성했습니다. 이 돌파구는 메타봇의 새로운 인지 아키텍처가 구조화된 워크플로우의 문제를 해결한 덕분입니다.

이 아키텍처는 다음과 같은 단계로 이루어집니다:

1. 상황 파악
2. 계획 수립 및 편집
3. 계획을 개별 편집으로 분해
4. 편집 적용
5. 계획 테스트 및 검토
6. 필요한 경우 추가 상황 파악
7. 최종 솔루션 제출

이러한 반복적이고 구조화된 접근 방식을 통해 메타봇은 알리바바의 Factory AI와 IBM Research 등 업계 선두 주자들을 능가할 수 있었습니다. AI 기반 코딩 에이전트의 급속한 발전은 AI 개발 속도가 점점 가속화되고 있음을 보여줍니다.

구글은 최근 27억 개와 9억 개의 매개변수를 가진 두 개의 새로운 언어 모델 Gemini 2를 출시했습니다. 이 모델들은 더 큰 모델인 LLaMA 3(700억 개 매개변수), Chinchilla(700억 개 매개변수), ChatGPT보다 주관적 평가에서 더 좋은 성능을 보였습니다.

27억 개 매개변수의 Gemini 2 모델은 인상적인 성능을 보여, 채팅봇 분야에서 이 더 큰 모델들을 능가했습니다. 객관적 벤치마크에서는 이들을 넘어서지 못할 수 있지만, 사용자들이 이 크기의 모델과 상호작용하고 있다는 사실을 알아차리지 못할 정도로 뛰어난 성과를 보였습니다.

또한 구글은 언어 모델의 문맥 창 길이를 Gemini 1.5 Pro에서 200만 토큰으로 늘리는 등 큰 발전을 이루었습니다. 이는 이전 모델들에 비해 큰 진보이며, 구글이 이 분야에서 다른 주요 AI 연구소를 앞서고 있음을 보여줍니다.

Gemini 2 모델의 오픈 소스 특성과 뛰어난 성능 및 효율성은 자연어 처리 분야에서 유망한 발전이 될 것입니다. 구글이 계속해서 새로운 모델을 출시하고 혁신을 이루어 나감에 따라 향후 더욱 인상적인 발전을 볼 수 있을 것으로 기대됩니다.

AI 분야는 급속도로 발전하고 있으며, 이 기술의 미래를 형성하는 주요 돌파구와 예측이 있습니다.

1. 메타봇: 혁신적인 코딩 에이전트

   • 메타봇은 GitHub 기반의 최첨단 코딩 에이전트로, 소프트웨어 엔지니어링 벤치마크에서 33%였던 이전 최고 점수를 38%로 넘어서는 성과를 달성했습니다.
   • 이는 AI 기반 소프트웨어 개발의 인상적인 발전을 보여주며, 메타봇이 알리바바, Factory, IBM Research 등 업계 선두 주자들을 능가했습니다.
   • 상황 파악, 계획, 편집, 테스트 등의 인지 아키텍처가 복잡한 코딩 과제를 해결하는 데 매우 효과적이었습니다.

2. 구글의 Gemini 2: 더 큰 모델을 능가하다

   • 구글은 27억 개와 9억 개의 매개변수를 가진 Gemini 2 모델을 출시했으며, 이 모델들이 채팅봇 분야에서 뛰어난 성능을 보였습니다.
   • Gemini 2 모델은 700억 개 매개변수의 LLaMA 3, Cohere, ChatGPT 등 더 큰 모델들을 능가하며, 효율적이고 고성능의 AI 시스템 개발 가능성을 보여주었습니다.
   • Gemini 2의 오픈 소스 특성과 광범위한 프레임워크 호환성은 개발자와 연구자들에게 매력적인 옵션이 될 것입니다.

3. 문맥 길이 확장: 경계 확장

   • 구글은 200만 토큰의 문맥 창을 가진 Gemini 1.5 Pro를 발표했으며, 이는 언어 모델의 입력 용량을 크게 확장했습니다.
   • 이는 OpenAI의 GPT-4가 45분 동영상 입력(약 100만 토큰 수준)을 처리할 수 있다는 능력과 맥락을 같이 합니다.
   • 문맥 길이 확장을 위한 노력은 더 긴 복잡한 입력을 처리할 수 있는 AI 모델 역량 향상을 위한 지속적인 노력을 보여줍니다.

4. Anthropic의 예측: 10억 달러 규모의 학습 실행

   • Anthropic CEO Dario Amodei는 2027년까지 AI 모델 학습 비용이 최대 1000억 달러에 달하고, 대부분의 과제에서 인간 능력을 넘어설 것이라고 예측했습니다.
   • 이러한 천문학적 비용 예측은 AI 발전을 위한 막대한 투자가 필요함을 보여줍니다. 다음 학습 실행은 10억 달러 수준이 될 수 있습니다.
   • 이러한 고비용 학습 실행의 의미는 AI 기술 발전을 위해 막대한 자금과 자원이 필요하다는 것입니다.

5. 과학적 발견 가속화

   • Amodei는 AI 모델이 노벨상 수상 과학자나 주요 제약 회사의 약물 개발 전문가 수준으로 작용하여 과학적 발견과 혁신을 가속화할 수 있다고 제안했습니다.
   • AI 시스템이 인간 연구자들이 할 수 없는 방식으로 실험하고 탐구할 수 있다면 생물학, 약물 개발 등 다양한 분야에서 돌파구가 나올 수 있습니다.
   • 이는 구글의 AlphaFold와 같은 AI 모델이 단백질 구조 예측을 크게 앞당긴 사례와 맥락을 같이 합니다.