2016년 이세돌-알파고의 바둑 대련은 '알파고 쇼크'라는 말을 남겼다.
세간에 충격을 준 인공지능(AI) 기술은 6년만에 진화의 시대를 맞았다. 인간의 언어를 구사하는 챗GPT는 기존 출시된 챗봇 및 언어 처리 인공지능 한계를 뛰어넘으며 게임체인저가 됐다.
기존 인공지능 언어모델 한계를 극복할 수 있었던 기저에는 인공지능만이 가능한 방대한 학습량이 자리 잡고 있다. 사람과의 소통을 기반으로 한 강화학습을 통해 AI 한계를 한꺼번에 해결했다.
이를 통해 언제 어디서든 AI 적용이 가능한 시대를 열었다. 알파고 이상의 충격이다.
알파고가 바둑을 통해 보여준 '알파고 쇼크'가 챗GPT와 같은 '쓸만한' 언어 AI로 발전하는 데 6년의 시간이 걸렸다. 이 기간 동안 기술 수준이 현격히 진화했다.
알파고가 풀어내는 바둑의 경우에는 유한하고 유형화된 경우의 수가 존재하지만, 사람의 언어는 길이부터 시작해 무한한 경우의 수가 있어서다.
GPT시리즈는 방대한 학습을 통해 이 장벽을 넘어섰다. GPT의 제작사 오픈AI는 2018년 GPT1(1억1700만개의 매개변수), 2019년 GPT2(15억여개의 매개변수), 2020년 GPT3(1750억여개 매개변수)를 출시하며, GPT의 몸집을 불려 왔다. 인공지능이 더 많은 학습을 거칠수록 매개변수도 많아진다.
몸집이 커지며 GPT의 성능은 나날이 향상됐고, GPT3부터는 사람만큼 글을 쓴다는 평가를 받기 시작했다.
역사학자 유발 하라리는 저서 '사피엔스' 10주년에 GPT3를 활용한 서문을 선보였다. 그는 이 서문에 대해서 한계가 있다는 점을 언급하면서도, 인공지능이 쓴 글에 대한 감탄을 언급하기도 했다.
사람을 골방에 가두고 공부만 시켜 똑똑하게 만들더라도, 사람과 소통하는 등 '실전'에서는 역량을 충분히 발휘하기 어려운 경우가 있다. 인공지능도 마찬가지로 방대한 학습 이후 제품화 과정에서 '강화 학습'이라는 과정을 거친다.
예를 들어 알파고는 인간 기사들의 대국 기보를 1차로 학습하고 인공지능 간 대련을 통해 성능을 높였다.
챗GPT는 사람 같은 글을 생성한다는 목적을 달성하고자 '인간의 피드백을 통한 강화학습'(RLHF)을 했다.
오픈AI의 공식 블로그에서는 챗GPT를 '인스트럭트GPT'(InstructGPT)의 형제자매 모델이라고 소개한다. 이 인스트럭트GPT가 바로 챗GPT에 적용된 RLHF 기술이 적용된 인공지능 모델이다. GPT3는 사람이 읽었을 때 적합하지 않거나 불쾌한 답변이 나오는 경우가 있었지만, 인스트럭트GPT 기술을 통해 현재의 챗GPT와 같은 수준의 답변이 나오게 바뀌었다.
챗GPT와 같은 생성 모델은 같은 명령어를 입력하더라도 매번 그 결과물이 달라지기도 한다.
인스트럭트GPT 기술은 인간 라벨러가 같은 질문에 대한 다양한 여러 답에 대해 선호 순위 등을 평가하고 인공지능은 그 결과를 학습해 사람들이 선호하는 방식으로 답을 생성하는 법을 익히는 방식이다.
오픈AI에 따르면 인스트럭트GPT 모델의 규모가 GPT3에 비해 100분의 1로 작더라도, 인스트럭트GPT의 결과물이 품질이 더 좋았다.
챗GPT는 방대한 학습량과 사람의 피드백을 적용하는 강화학습을 통해, '사람 같은' 글을 생성해내게 됐다.
다만 이러한 기술적 성과에는 막대한 전력과 개발 자금, 서비스 유지 자금이 필요하기도 하다. 따라서 앞으로의 챗GPT 경쟁은 인간을 닮은 성능 구현과 막대한 전력 소비 저감에 집중될 것으로 보인다.
한 AI 전문가는 "알고리즘을 최대한 효율적으로 설계하고 훈련에 필요한 전력 소비를 줄이는 연구에도 속도가 날 것으로 보인다"며 "빅테크 기업을 중심으로 해결방안을 찾는 모습"이라고 말했다.
[Queen 김정현 기자] 사진 뉴스1DB
