국내도서상세

확률로 바라본 수학적 일상

확률, 세상에서 가장 공정한 게임?

도박사의 오류: 확률과 큰 수의 법칙

우선 도박장에서 돈을 버는 일에 관해 이야기해 보고자 한다. 확률 혹은 통계 속에 존재하는 '몬테카를로(Monte Carlo) 방법'에 대해 익히 들어서 아는 사람이 많을 거라고 본다. 사실 이것은 통계를 기반으로 대량의 데이터를 이용해 계산하는 방법을 가리킨다. '몬테카를로'는 사람의 이름이 아니라 모나코 북동부에 있는 유명한 카지노의 이름이다. 1865년 몬테카를로 카지노가 개장하면서 작고 가난한 나라였던 모나코는 유럽에서 가장 부유한 나라 중 하나로 단번에 급부상했다. 지금까지 무려 150여 년의 세월이 흘렀지만, 이 작은 나라는 여전히 카지노와 관련된 관광 산업으로 명맥을 유지하고 있다.

영국 요크셔 지역의 한 면화 공장에서 엔지니어로 일했던 조셉 재거즈(loseph Jaggers)라는 사람이 있었다. 그는 면화를 가공하는 기계를 다루는 일을 하면서 시간이 날 때마다 몬테카를로 카지노에 들렀고, 38개의 숫자로 구성된 룰렛 게임에 특히 관심을 보였다.

재거즈는 유능한 기계 엔지니어답게 다른 도박꾼들보다 좀 더 수학적으로 분석하며 도박을 즐겼다. 그는 정상적인 상황에서 룰렛 기계의 각 숫자가 나타날 확률은 모두 1/38이라고 생각했다. 그러나 기계가 어떻게 항상 완벽한 대칭을 이룰 수 있겠는가? 아주 사소한 결함조차도 당첨 확률을 바꿀 수 있고, 휠이 멈추는 위치가 특정 번호 쪽으로 기울어지면 그 번호가 더 많이 나올 수도 있다. 그렇다면 도박꾼들은 이런 편향성을 이용해 돈을 벌어야 한다.

그래서 재거즈는 1873년에 자신의 운명을 바꾸기로 결심했다. 그는 저축한 돈을 모두 들고 몬테카를로 카지노로 향했다. 그는 여섯 명의 조수를 고용해 그들이 룰렛 기계를 지키도록 했다. 대낮에 카지노가 열리자마자 조수들은 재거즈가 제공한 '칩'을 써가며 룰렛을 계속해서 돌렸다. 그러나 그들은 승패에 전혀 연연하지 않았다. 그들의 임무는 자신들이 지키고 있는 룰렛 기계가 멈췄을 때 나오는 숫자를 기록하는 것뿐이었다. 밤이 되어 카지노가 문을 닫으면 재거즈는 호텔에서 홀로 이 숫자들의 규칙을 분석했다.

엿새가 지나도 다섯 개 룰렛의 데이터에서 의미 있는 편차를 발견할 수 없었던 그는 여섯 번째 룰렛의 데이터를 보는 순간 기쁨을 감출 수 없었다. 그 룰렛에서 38개의 숫자 중 아홉 개의 수가 나타날 확률이 다른 숫자보다 확연히 더 높았다. 재거즈는 흥분에 휩싸인 채 7일째 되는 날, 편향성을 보인 그 룰렛 기계를 확인한 후 발생 빈도가 가장 높은 9개의 숫자인 7, 8, 9, 17, 18, 19, 22, 28, 29에 거액을 배팅했다. 그날 재거즈는 이 방법으로 약 32만 5천 달러를 벌어들였다. 그러나 재거즈의 기쁨은 며칠 만에 막을 내렸다. 이 일은 카지노 관리자들의 주의를 끌었고, 경영진은 다양한 방법으로 재거즈의 전략을 좌절시켰다. 결국 재거즈는 더 이상 수익을 늘리지 못한 채, 이미 손에 넣은 거액만 챙겨 카지노를 떠났다. 그리고 그는 그 돈을 부동산에 투자했다.

실제로 극소수의 사람은 재거즈처럼 카지노에서 거액의 돈을 벌기도 한다. 그러나 더 많은 도박꾼이 십중팔구 돈을 잃고 빈털터리가 되는 것이 현실이다. 그렇게 되는 데는 두 가지 이유가 있다. 그중 하나는 모든 카지노 게임의 확률이 원래 카지노에 유리하도록 설계되어 있기 때문이다. 즉, 카지노 측이 이길 확률이 51% 혹은 52%이고, 도박꾼이 이길 확률이 49% 혹은 48% 정도로 설계되어야 카지노가 돈을 벌 수 있다. 또한 도박꾼의 심리를 이용하는 것도 도박 게임 설계자들의 주특기이다. 흔히 볼 수 있는 도박사의 오류는 바로 확률 규칙을 따르지 않아 카지노에 이용당하는 심리적 판단 착오에서 비롯된다.

도박사의 오류

도박사의 오류는 앞뒤로 서로 독립인 사건을 마치 연관된 것처럼 간주하면서 발생한다. 독립 사건은 무엇일까? 예를 들어 동전을 한 번 던지는 것은 하나의 사건이고, 뒤이어 또 한 번 던지는 것은 또 다른 사건이다. 두 사건을 독립적으로 보는 이유는 두 번째 결과가 첫 번째 결과에 결코 의존하지 않고, 서로 관련이 전혀 없기 때문이다.

동전의 앞뒷면이 완벽한 대칭성을 가지고 있고, '앞면'이 나오면 '1', '뒷면'이 나오면 '0'으로 기록한다고 가정한다면 그것을 던질 때마다 1 혹은 0이 나올 확률은 모두 1/2이다. 두 번째 '던지기'와 첫 번째 '던지기'는 서로 독립이고, 몇 번을 던져도 마찬가지다. 따라서 '던지기'를 하는 행위는 각각 독립이고, 1 혹은 0이 나올 확률 역시 첫 번째와 마찬가지로 늘 1/2이다. 설사 동전이 대칭을 이루지 않아서 앞면과 뒷면이 나올 확률이 각각 2/3와 1/3이어도 매번 던지는 '독립성'에 결코 영향을 주지 않고, 매번 앞면이 나올 확률은 모두 2/3로 이전 결과에 영향을 받지 않는다.

이치로 따지면 쉽게 이해되지만, 여전히 모호한 경우도 생긴다. 예를 들어, '공정한' 동전던지기에서 5회 연속으로 앞면(1)이 나왔다면, 6번째에도 또 앞면이 나올 확률은 매우 낮고(1/2), 뒷면(0)이 나올 확률은 매우 높다(1/2)고 생각할 수 있다. 누군가는 역으로 생각해서 5회 연속으로 1이 나왔으니 계속 1이 나올 거라고 여길지도 모른다(핫 핸드 오류라고도 불린다). 실제로 이 두 가지 생각은 모두 우리를 '도박사의 오류'의 함정에 빠뜨리는 것들이다.

이런 우스갯소리도 있다. 한 남자가 몸에 폭탄을 숨겨서 비행기를 탔다고 가정해 보자. 그 이유를 묻는 질문에 그는 "비행기에 한 개의 폭탄이 있을 확률은 만분의 일이고, 두 사람이 동시에 폭탄을 가지고 탈 확률은 억분의 일입니다. 그렇다면 내가 직접 하나를 가지고 타면 비행기에 폭탄이 있을 확률은 만분의 일에서 억분의 일로 낮아질 겁니다!"

이 말을 듣는 순간 당신은 실소를 금치 못할 것이다. 정말 기가 막힌 발상이 아닌가? 이 사람은 '자신이 폭탄을 가지고 타는 것'과 '다른 사람이 폭탄을 가지고 타는 것'을 독립된 사건이 아닌 하나의 연관된 사건으로 간주하고 있다. 그는 도박꾼이 아니지만 이것 역시 도박사의 오류인 셈이다.

‘엔트로피’, 혼돈 속의 질서를 말하다

이름도 낯설고 성격도 까다로운 그 녀석

클라우지우스는 1865년에 발표한 논문에서 엔트로피를 정의했고, 그중 '우주의 에너지는 영원하다.'와 '우주의 엔트로피는 최댓값으로 수렴한다.'라는 명언을 남겼다.

이 두 문장은 열역학에서 두 가지(제1법칙, 제2법칙) 기본 규칙을 보여주지만, 당시에는 의욕을 꺾는 듯한 말처럼 들렸다. 특히 다양한 영구 기관을 만들고 싶었던 엔지니어들은 물리 법칙이 상상력의 날개를 꺾어버리는 듯한 느낌을 받았다. 에너지는 증가하거나 감소할 수 없으며, 오로지 변화만이 가능하다. 사람들이 가장 불쾌하게 느낀 것은 바로 엔트로피라는 이상한 말이었다. 그것은 에너지를 다양한 등급으로 나눴다. 예를 들어 기계 에너지는 전부 유용한 일로 전환될 수 있지만 열에너지의 속성은 완전히 달라서 그중 일부분만 유용하고 나머지는 모두 소모되어 흩어지거나 버려진다. 자발적으로 만들어지는 모든 물리 과정에서 엔트로피는 단지 증가만 할 뿐이며 감소하지 않는다. 엔트로피의 증가는 시스템의 에너지가 계속해서 평가 절하되는 것을 의미한다.

물리학자 로저 펜로즈(Roger Penrose)는 2004년에 출간한 그의 저서 『실재로 가는 길(The Road to Reality)』에서 지구와 태양, 우주 사이의 에너지와 엔트로피의 변환 관계를 명확하게 분석했다. 펜로즈는 태양이 지구 에너지의 원천이 아니라 '낮은 엔트로피'의 원천이라는 관점을 제시했다.

우리는 태양이야말로 만물의 성장을 위한 근원이라는 말을 자주 한다. 여기서 말하는 '성장'은 무슨 의미일까? 생물체는 고립된 시스템이 아니라 개방적 시스템을 가지고 있고, 생명의 과정은 자발적으로 질서에서 무질서로 퇴화하는 엔트로피의 증가 과정이 아니다. 이와 정반대로 그것들은 활력이 넘치며, 무질서에서 질서로 발전하는 과정이다.

우리가 생명의 활력을 유지하려면 가능한 한 엔트로피를 줄여야 한다. 이것 역시 당시 슈뢰딩거가 '생명이란 무엇인가?'를 연구할 때 했던 생각이기도 하다. 즉, 죽음을 벗어나 살고자 한다면 생명체의 엔트로피 값을 낮추는 방법을 반드시 찾아야 한다는 것이다.

지구상의 수십억 생물체의 낮은 엔트로피의 원천은 결국 태양으로 귀결될 수밖에 없다. 지구는 낮에 태양으로부터 고에너지 광자를 받고, 밤이 되면 적외선이나 파장이 비교적 긴 다른 복사선의 형태로 에너지를 우주로 되돌려 보낸다. 요컨대 현재 태양과 지구 사이의 에너지 교환은 동적 평형 단계에 놓여 있다. 지구는 기본적으로 일정한 온도를 유지하고 있다(인간의 에너지 남용으로 인한 온실 효과는 제외). 다시 말해서 지구는 매일 태양에서 얻은 에너지를 받은 만큼 계속 우주 공간으로 ‘반환’하고 있다.

그러나 모든 광자의 에너지는 주파수와 정비례하기 때문에 태양으로부터 흡수한 광자의 주파수가 비교적 높으면 에너지가 더 커진다. 반면에 긴 파장으로 복사되어 나오는 광자는 주파수가 더 낮고, 에너지도 더 적다. 만약 흡수한 총에너지와 우주로 반환되는 총에너지가 서로 같다면 밖으로 복사되는 광자의 수는 흡수된 광자의 수보다 훨씬 많을 것이다. 입자의 수가 많을수록 엔트로피는 높아진다. 이것에 근거해 지구가 태양으로부터 낮은 엔트로피 에너지를 받아 높은 엔트로피의 형태로 우주로 반환한다는 것을 알 수 있다. 즉, 지구는 태양을 이용해 자신의 '엔트로피'를 낮추는데, 이것이 바로 만물 성장의 비밀이다.

위의 논점 중에 '입자의 수가 많을수록 엔트로피가 높아진다'라는 말은 또 어떻게 해석해야 할까? 이것은 우리가 소개할 주제이기도 한 엔트로피의 통계 물리학적 해석과 연관되어 있다.

통계 물리는 19세기 중엽에 시작되었다. 당시 뉴턴 역학은 탄탄한 기초에 근거해 널리 인정받았지만, 물리학자들은 뉴턴의 고전적 이론으로 산업 열기관과 관련된 기체 동역학과 열역학 문제를 처리하는 데 어려움을 겪었다. 분자와 원자의 이론 역시 막 확립되기 시작한 터라 학계는 혼돈에 빠졌고, 다양한 관점이 충돌했다. 그렇다면 열역학 방면의 거시적 현상을 미시적 입자의 동역학 이론으로 설명할 수 있을까? 이 연구의 중심에 있던 인물은 오스트리아 물리학자 볼츠만과 전자기장 이론을 정립한 영국의 제임스 맥스웰(James Maxwell, 1831-1879)이다.

볼츠만은 통계 물리학의 관점에서 엔트로피를 집중적으로 연구했다. 볼츠만 엔트로피 공식은 '입자 수가 많아질수록 엔트로피도 높아진다'라는 이치를 설명할 수 있다. 입자 수가 많아질수록 포함하는 미시 상태의 수 W도 커지기 때문이다. 가장 간단한 예로 앞뒤가 다른(단 나올 확률은 동일) 동전으로 '입자'를 대신해 보자. 동전의 가능한 상태 수는 W=2(앞과 뒤)이고, 두 동전의 가능한 상태 수 W는 4(앞앞, 앞뒤, 뒤앞, 뒤뒤)로 증가한다. W가 커질수록 1nW도 커지고, 이것은 입자 수가 많아질수록 엔트로피도 높아진다는 사실을 확실히 보여준다.

동전의 수가 계속 증가하는 상황에서 50개의 동전이 하나도 겹치지 않게 접시 위에 펼쳐지는 다양한 가능성을 고려해 보자. 우리의 시력이 동전 양면의 그림을 분별할 만큼 충분히 좋지 않아 동전 '앞면'과 '뒷면'의 상세한 분포 상황을 모른다고 가정했을 때, 모든 그림은 똑같아 보인다. 따라서 우리는 간단하게 n=50으로 이 거시 상태를 정의한다. 즉, n은 동전 시스템의 유일한 '거시적 매개 변수'이다. 그러나 현미경으로 보면 동일한 거시적 매개 변수에 대응해 다양한 앞뒤 분포의 미시적 구조가 있다는 것을 발견할 수 있다. 미시적 구조의 총수 W=250으로부터 이 거시적 시스템의 엔트로피가 입자 수 n(n=50)에 정비례한다는 것을 알 수 있다.

수학자들은 우리를 위해 간단한 도구를 제공해 주었다. 그들은 위에서 말한 '수많은 종류의 미시 상태'를 '표본 공간'으로 표시했다. 표본 공간에서 모든 종류의 미시 상태는 하나의 점에 대응한다. 예를 들어 동전 하나(n=1)의 경우 앞면과 뒷면 두 가지 상태를 1차원 직선 위에 두 개의 점으로 표시할 수 있다. 동전 두 개(n=2)의 네 가지 상태는 2차원 공간에 네 개의 점으로 표시할 수 있다. 그러나 n=50일 경우, 표본 공간의 차원은 50으로 증가하게 된다. 동전 50개의 앞면과 뒷면 분포의 가능한 미시 상태를 50차원 공간에서 250개의 점으로 표시해야 한다.

위의 분석을 요약하자면 엔트로피는 무엇인가? 엔트로피는 미시 상태 공간의 특정 집합에 포함된 점의 개수에 대한 로그이며, 이 점들은 동일한 거시 상태(n)에 대응한다.

동전의 예는 상태 숫자가 무엇인지를 설명하기 위한 간단한 비유에 불과하다. 실제 물리학 시스템의 상태 숫자는 시스템의 구체적 상황에 따라 결정된다. 열역학은 거시적 물리량, 즉 시스템을 전체로 간주했을 때(그것의 내부 구조와 부관)의 열 물리량을 말한다. 예를 들어 이상 기체(Ideal Gas)의 경우 압력(p), 부피(V), 온도(T), 엔트로피(S), 내부 에너지(U) 등이 있다. 통계 물리학은 미시적 물리량, 즉 시스템의 물질 구조 성분(분자, 원자, 격자, 장 등)을 고려한다.

이상 기체를 예로 들면 통계역학의 관점에 따라 온도 T는 시스템이 열평형에 도달했을 때 분자 운동의 평균 운동 에너지의 척도로 정의할 수 있다. 즉, 온도는 시스템의 각 자유도가 평균적으로 가지는 에너지를 나타낸다. 내부 에너지 U는 온도 T와 관련이 있으므로 분자의 평균 운동 에너지의 함수일 뿐이다. 앞에서 주어졌던 열역학 엔트로피(클라우지우스 엔트로피)는 총에너지와 온도의 비율이며, 시스템의 온도는 각 자유도의 에너지로 이해할 수 있다. 따라서 엔트로피는 미시적 자유도의 수와 같다. 이러한 결론은 통계 엔트로피(볼츠만 엔트로피)의 정의에 부합하고, 클라우지우스 엔트로피와 볼츠만 엔트로피가 등가라는 것을 설명한다.

이상 기체에 대해 말하자면 동전의 예에서 표본 공간은 분자 운동의 '위상 공간'으로 대체되어야 한다. 위상 공간은 몇 차원일까? 만약 단원자 분자를 고려한다면 각 분자의 상태는 그것의 위치(3차원)와 운동량(3차원)에 의해 결정되며, 자유도가 6이고, n개의 분자는 6n개의 자유도를 갖는다. 만약 이원자 분자라면 회전 자유도 3개를 추가해야 한다.

동전의 이산 상태 공간과 달리 고전 열역학과 통계 물리학에서 사용하는 위상 공간은 연속 변수의 공간이다. 따라서 엔트로피는 위상 공간에 존재하는 ‘체적’과 관련된 특정 로그이며, 이와 관련된 체적에 존재하는 점은 동일한 거시 상태에 해당한다.

미시 상태의 수는 무차원적인 양으로 상태 공간 혹은 위상 공간의 차원 수와 아무런 관련이 없다. 동전의 예에서 n=1, 2 혹은 50이든 상관없이 상태 수는 모두 정수일 뿐이다. 하지만 연속 변수의 상황에서 위상 공간의 부피는 실제로 길이나 면적 혹은 고차원 공간의 ‘부피’일 수 있다. 이것은 구체적 응용 조건을 배제한 ‘엔트로피’ 수학 모델이며, 엔트로피의 통계 본질을 반영한다.

인공지능과 통계, 생각하는 기계의 비밀

ChatGPT, 통계를 말하다

2022년 말에 등장한 ChatGPT는 인터넷을 뒤흔들었다. 알파고는 2016년 초에 인간 바둑계의 세계 챔피언 이세돌에게 도전장을 내밀었고, 이것은 AI의 두 번째 혁명인 셈이었다. 그때 딥 러닝과 자연어 처리(NLP)는 이제 박 시작하는 단계였다. 그런데 불과 몇 년 후 세 번째 AI 물결이 몰려왔고, 기본적으로 자연어의 이해와 생성의 난제를 해결했다. 그렇게 ChatGPT의 출시를 이정표로 삼아 인간과 기계 사이의 자연스러운 교류가 이루어지는 새로운 시대가 열렸다.

만약 당신이 ChatGPT에 대해 조금만이라도 알게 된다면 그것의 광범위한 응용력에 놀라움을 금하지 못할 것이다. ChatGPT는 시를 짓고, 코드를 생성하고, 그림을 그리고, 논문을 쓰는 등 모든 분야에서 뛰어난 능력을 보여주기 때문이다. 도대체 무엇이 ChatGPT에 이렇게 강력한 힘을 부여한 것일까?

이름에서 알 수 있듯이 그것은 '생성형 사전 훈련 변환 모델(GPT)'의 일종으로 세 가지 의미를 내포하고 있다. 바로 '생성형', '사전 훈련', '변환 모델'이다. '생성형'은 생성형 모델링 방법을 사용한다는 것을 의미한다. '사전 훈련'은 그것이 여러 차례의 훈련을 거쳤다는 것을 말한다. '변환 모델'은 '트랜스포머(transformer)'에서 가져온 말이다. 변환기는 2017년 구글 브레인의 한 팀에서 출시한 것으로 번역, 텍스트 요약과 같은 임무에 응용할 수 있으며, 지금은 자연어 등과 같이 순차적으로 데이터를 처리하는 NLP의 선호 모델로 여겨진다. 만약 당신이 ChatGPT에 'ChatGPT가 뭐야?'라고 질문한다면 아마도 대규모 AI 언어 모델이라고 대답할 거고, 이 모델이 가리키는 것이 바로 트랜스포머이다.

이런 유형의 언어 모델은 일반적으로 '끝말잇기'와 같은 시퀀스(sequence) 예측 작업을 수행하는 기계라고 할 수 있다. 문자를 한 단락 입력하면 변환기에서 '단어'를 출력하고, 입력한 문자에 대해 '합리적 연속'을 진행한다. 여기서 말하는 출력은 '단어'이지만, 실제로는 '토큰(token)'이며, 언어마다 다른 의미를 가질 수 있다.

사실 언어는 본래 끝없이 '사슬'처럼 연결되어 있다. 우리는 아이가 언어를 학습하고 글을 쓰는 과정을 생각해 볼 수 있다. 그들은 어른들이 몇 번이고 반복해서 말한 각종 문장을 듣고 나서야 어떻게 말해야 하는지를 배운다. 글쓰기를 배우는 것도 마찬가지다. 어떤 사람은 '시 300편을 외우면 시를 짓지는 못해도 읊을 수는 있다.'라고 말한다. 초보 학습자들은 다른 사람의 글을 많이 보고 읽으면 처음 글을 쓸 때 모방할 수 있게 된다. 실제로 무의식중에 '문자 사슬'을 터득한 것이다.

그래서 사실 언어 모델이 하는 일은 매우 간단하게 들린다. 기본적으로 '입력한 텍스트의 다음 단어는 뭐가 와야 하지?'라고 반복해서 묻는 것뿐이다. 모델은 한 단어를 출력하기로 선택한 후 이 단어를 원래 텍스트에 추가하고, 또다시 언어 모델에 입력한 후 '다음 단어는 뭐지?'라고 동일한 질문을 한다.

기계 모델이 생성한 텍스트가 ‘합리적’인지 혹은 ‘불합리적’인지를 판단하기 위해 가장 중요한 요소는 다음과 같다. 첫째, 사용한 ‘생성형 모델’의 품질이다. 둘째, ‘사전 훈련’을 위해 들인 시간이다. 언어 모델 내부에서는, 어떤 입력 텍스트에 대해 그다음에 나올 수 있는 단어들의 후보 목록과 각각의 확률을 생성한다. 예를 들어 입력한 텍스트가 '가을 바람'이라면 그 뒤에 올 수 있는 글자는 매우 많다. 일단 5개만 열거해 보자면 '불다 0.11, 따뜻하다 0.31, 또 0.05, 찾아오다 0.1, 살랑이다 0.08' 등이고, 각 단어 뒤에 표시된 숫자는 그것이 나타날 확률이다. 다시 말해서 모델에게 확률이 포함된 (아주 긴) 단어 목록이 제공된다. 그렇다면 어떤 것을 선택해야 할까?

만약 매번 확률이 가장 높은 것을 선택한다면 그다지 '합리적'이지 않을 것이다. 글쓰기를 배우는 과정에 대해 다시 한번 생각해 보자. 비록 그것 역시 '사슬'이 있지만 사람, 시간에 따라 다른 방식으로 연결될 수 있다. 이렇게 해야 다양한 스타일과 창의적인 문장을 쓸 수 있다. 그래서 기계 역시 다양한 확률로 무작위 선택을 할 기회를 가져야 비로소 단조로움을 피할 수 있고, 다채롭고 흥미로운 작품을 생산할 수 있다. 물론 매번 확률이 가장 높은 것을 선택하라고 권장하지 않지만, '합리적 모델을 만들기 위해 확률이 훨씬 높은 것을 선택하는 것이 가장 좋다.

ChatGPT는 대규모 언어 모델이고, 이 '대규모'는 먼저 모델의 신경망 가중치 매개 변수의 수량으로 표시된다. 그것의 매개 변수 수량은 성능을 결정하는 핵심 요소이다. 이 매개 변수들은 훈련 전에 미리 설정해야 하고, 그것들은 생성형 언어의 어법, 어의, 스타일은 물론 언어 이해의 동작을 제어할 수 있다. 그것은 또한 훈련 과정 중의 행동 및 생성된 언어의 품질을 제어할 수 있다.

오픈AI의 GPT-3 모델은 1,750억 개의 매개 변수를 가지고 있고, ChatGPT는 GPT-3.5인 셈이어서 매개 변수는 1,750억 개보다 많아야 한다. 이 매개 변수들이 가리키는 것은 모델을 훈련시키기 전에 미리 설정해야 하는 매개 변수다. 실제 응용 분야에서 최적의 성능을 얻기 위해 일반적으로 실험을 통해 적당한 매개 변수의 수를 확정해야 한다.

이런 매개 변수는 수천 번의 훈련 과정을 거쳐 수정되면서 더 좋은 신경망 모델을 얻는 데 일조한다. GPT-3을 한 번 훈련하는 비용은 460만 달러이고, 전체 훈련비용은 1,200만 달러에 달한다고 한다.

ChatGPT의 전문성은 '인간 작품과 유사한 텍스트'를 생성하는 데 있다. 하지만 어법에 부합하는 텍스트를 생성할 수 있다고 해서 수학 계산, 논리 추리 등 또 다른 유형의 작업까지 처리할 수 있는 것은 아니다. 이런 분야의 표현 방식은 자연어 텍스트와 완전히 다르기 때문이다. 이것이 바로 수리 방면의 테스트에서 연이어 실패하는 이유이기도 하다.

또한 사람들도 ChatGPT가 '말도 안 되는 소리를 그럴듯하게 늘어놓는다'라고 여기는 경우가 많다. 그것은 주로 훈련 데이터의 편향 문제에서 비롯된다. ChatGPT는 전혀 들어본 적이 없는 것들에 대해 당연히 정확한 답을 낼 수 없다. 다의어가 가져오는 문제도 기계 모델을 곤란하게 만든다. 예를 들어 누군가 ChatGPT에 ‘밑변 3, 높이 4, 빗변 5’의 피타고라스 정리를 묻자 진지하게 ‘이것은 거대 거문고라고 불리는 악기의 조현 방법이다’라고 대답한 후 잘못된 정보를 잔뜩 알려주기도 한다.

정리하자면, ChatGPT는 등장과 더불어 대대적인 성공을 거두었고, 이것은 확률론과 베이즈의 승리이기도 하다.

* * *

본 정보는 도서의 일부 내용으로만 구성되어 있으며, 보다 많은 정보와 지식은 반드시 책을 참조하셔야 합니다.