미국의 이하모니(eHarmony)는 결혼을 전제로 미팅을 주선하는 온라인 회사로, 이들은 매칭(matching)을 할 때, 아주 독특한 방식을 활용한다. 바로 예측 모델을 도입한 것. 이하모니는 모든 고객들을 개별적으로 우선 파악하고, 엄청난 데이터에서 가장 적절하다고 추천한 사람과 짝을 지어주는데, 이런 예측 모델은 “감정적 기질”부터 “인식 모드 선호도”와 “관계 역량” 등에 이르는 29가지의 다양한 변수를 토대로 한 통계학적 기술을 사용한다. 현재 이하모니는 연간 3만 건의 결혼을 추진하고 있으며 이 서비스를 사용해 서로의 짝을 찾은 커플들이 다른 방법으로 배우자를 찾은 사람들보다 훨씬 행복한 결혼생활을 한다고 말한다.

결혼이 각기 다른 인생을 살아온 두 사람이 한 가정을 이루는 것이라면, 핵심은 두 사람이 잘 맞느냐 아니냐이다. 이런 기준으로 봤을 때, 이하모니의 예측 모델은 유효한 측면이 분명 있다. 다만 ‘운명적인 만남’이냐 ‘숫자와 통계에 의한 확률’이냐의 차이 뿐이다.

오늘날 세상은 “숫자”로 인해 크게 변하고 있다. 즉 탁월한 결정을 내리기 위해 직관에 의존했던 방식에서 거대한 데이터베이스를 조사하는 수퍼 크런칭(Super Crunching)이라 불리는 새로운 방법으로 옮겨가고 있는 것이다. 이로 인해 백발의 베테랑들이 그 존재조차 알지 못했던 근원적인 관계가 밝혀지고 있다.

수퍼 크런칭이란 디지털 의사결정 형태로, 직관 또는 전문기술에 의존하지 않고 통계적으로 일어날 것 같은 일들을 예측하고 성공 확률이 가장 높은 의사결정을 내리기 위해 방대한 정보 데이터를 분석하는 것이다. 수퍼 크린칭을 활용한 기업은 놀랍게도 우리가 어떤 질문을 할지 알아차리기도 전에 모든 대답을 이미 갖고 있다. 이는 말 그대로 비즈니스에 있어 놀라운 신세계를 만드는 것이다.

사람들은 항상 비슷한 취향과 선호도를 가진 사람들의 충고에 영향을 받아 왔다. 예를 들어 영화 애호가들은 예전에는 극장개봉 영화에 대한 비평가들의 얘기에 주목하며 관람 여부를 결정했고, 와인 애호가들은 뉴욕 타임즈 와인 비평가의 칼럼을 믿고 와인 한 병을 구입했다. 하지만 오늘날 숫자 분석은 이를 완전히 새로운 수준의 복잡성으로 끌어올렸다. 거대한 데이터 저장소를 통해, 기업은 수백만 명의 고객 취향이 모인 정교한 분석을 토대로 사람들이 무엇을 좋아하는지 수학적으로 앞서 예측할 수 있게 되었다. 이런 새로운 능력이 수퍼 크런칭의 핵심 개념이다.

해라스(Harrah"s) 카지노는 수퍼 크런칭을 이용해 도박꾼들이 한 세션에서 얼마나 많은 돈을 잃을 수 있으며 앞으로 얼마 동안 게임을 즐길 수 있는지 예측한다. 회사는 자신들만의 로열티 시스템을 보유하고 있는데, 그날 각 게이머가 얼마나 많은 돈을 땄거나 잃었는지를 기록한 것이다.  이 데이터는 게이머들의 나이와 거주 지역, 평균 수입과 같은 정보와 결합되어 게이머가 돈을 잃는 한계치를 파악하고, 게이머가 그 한계치에 이르면 그들을 게임 기기에서 떼어놓기 위해 카지노 스테이크 하우스에서의 2인용 무료 식사권 또는 비슷한 것을 제공하는 헤라스의 “행운 특사”가 급파된다. 이렇게, 해라스는 고객이 한방에 모든 것을 잃고 다시는 찾지 않도록 하는 것이 아니라 각 고객으로부터 장기간에 걸쳐 엄청난 수입을 최대화한다.

기업이 이들처럼 수퍼 크런칭을 활용하려면 세 가지 요소가 필요하다.

첫째는 “방대한 데이터”이다. 이는 기업이 자체적으로 모을 수도 있고 전문 데이터 웨어하우스 회사를 활용할 수도 있다. 거대한 정보는 모든 종류의 다양한 분석을 시도할 수 있도록 컴퓨터 데이터 저장 시스템 안에 저장되어 있다.

둘째는 “컴퓨터 프로세싱 계산”이다. 처리 능력과 비용 효율성 모두에서 꾸준히 성장하고 있는 오늘날, 기업은 그 데이터에서 유용한 결론을 재빨리 이끌어낼 역량을 갖춰가고 있다.

셋째는 “정확한 트래킹 시스템”이다. 다양한 테스트 결과를 집계하고 비교하는 능력으로, 발생하는 일을 기록할 적절한 시스템을 갖추고 있지 않다면, 숲을 보기가 힘들어진다.

이러한 세 가지 요소가 어떻게 사용되는지를 몇 개 기업 사례로 살펴보자.

구글은 사용자들이 다양한 광고를 테스트하고 결과를 쉽게 비교할 수 있게 한다. 구글은 애드워즈(Adwords) 구매자들이 두 가지 다른 광고를 테스트하게 한다. 우선, 두 광고가 번갈아가며 사용된다. 그러면 소프트웨어는 어떤 광고의 클릭 수가 더 많은지 정한 다음 자동적으로 클릭수가 더 많은 광고를 전면에 둔다. 며칠 안에 이런 식으로 수십만 명의 실제 페이지 뷰 반응을 집계할 수 있다. 

남아프리카에 본사를 둔 소액대출업체 크레딧 인뎀너티(Credit Indemnity)는 이전 고객들에게 5만 건의 권유 메일을 발송했는데, 사람들에게 3.25%에서 11.75%에 이르는 다양한 이율을 제시했다. 당연히 낮은 이율을 제공했을 때 응답률이 좋았고, 크레딧 인템너티는 권유 편지 구석에 미소 짓는 여성의 사진을 첨부하면 이율을 4.5%로 낮췄을 때처럼 남성 고객들의 응답률이 증가한다는 것을 알았다. 또한 이 회사는 마케터가 1주일 먼저 고객에게 전화를 걸어 조만간 제품 구매를 할 것인지 그리고 대출이 필요한지 물어보면 메일 때처럼 응답률이 비슷하게 증가한다는 것을 알았다. 미리 전화를 받거나 즐거운 그림이 담긴 메일 발송을 통해 사전 정보를 얻은 사람들이 회사로서는 이율을 낮출 때보다 저렴한 비용으로 응답률을 높일 수 있었다.

수퍼 크런칭은 상업 분야에만 국한된 것이 아니다. 근거기반의학으로 격렬한 논쟁을 벌이고 있는 정책과 의학 분야에도 수퍼 크런칭 효과가 스며들고 있다. 1992년, 두 명의 캐나다 의사는 “근거기반의학”이라는 성명서를 발표했다. 개념은 간단했다. 제공되는 치료 선택은 ‘의사의 개인적 선호도’보다는 ‘가장 적절한 근거’에 둬야 한다는 것이다.

실제로 많은 의과대학과 개인 병원들이 협동하여 현재 인터넷으로 접근이 가능한 “진단 결정 지원” 소프트웨어 패키지 개발을 진행하고 있다. 이런 방식의 좋은 예가 살을 파먹는 치명적 바이러스에 감염됐지만 수두로 오진을 받은 한 여아의 이름을 붙인 “이사벨(Isabel)”이라 불리는 진단 프로그램이다. 소녀의 아버지는 이러한 경험을 겪은 후, 다른 사람들에게 비슷한 일이 발생하는 것을 방지하는데 도움을 주는 소프트웨어를 개발했다. 이사벨 데이터베이스는 의사들이 환자의 증상을 입력하면 4천 여 가지의 약으로 가능한 치료법 또는 11,000여 가지 이상의 특정 질병과 관련되어 있을 가능성을 알려준다. 이사벨의 데이터베이스는 세계 유수의 의학 정기간행물 기사에 발췌 소개되며, 계속 업데이트 된다. 전체 의료 사고 중 3분의 1 정도가 오진이며 병원에서 20% 정도가 사망하는 것으로 추정되는데, 이사벨은 의료 진찰의 구글로 거래되고 있다.

수퍼 크런칭이 의료계에 영향을 미칠 다른 영역은 의료 기록 대다수가 디지털 형식으로 저장되고 전자 포맷으로 변환될 때다. 전통적으로, 이런 기록 대부분은 수기로 작성되었기 때문에 확실한 공동 지식을 충분히 모아 결과를 집계하기가 어려웠다. 모인 의료 데이터가 활용된다면 상황이 달라질 것이다. 1차 진료 의사들은 실시간으로 엄청난 양의 새로운 데이터베이스에 접속해서 환자 진단법에 대한 더 나은 결정을 하리라 기대된다. 이런 일이 일어나면, 근거기반의학의 도입에 대한 저항은 완전히 사라질 것이다.

수퍼 크런칭에 대한 논란은 결국 직관과 경험이 다른 무엇보다 더 중요한가, 아니면 컴퓨터 공식으로 축약된 모든 것이 훨씬 정확한가의 문제다. 다만 수퍼 크런칭 방식이 현재 더욱 더 많은 분야에서 전문가를 꾸준히 앞서고 있다.

수퍼 크런칭은 예술과 관련된 업계에도 전파되고 있다. 변호사 딕 코파켄(Dick Copaken)은 자신의 신규 회사 에파고긱스(Epagogix)를 위한 신경망을 개발했는데, 이로 인해 영화가 만들어지기도 전에 신작 영화가 박스오피스에 오를 것인지 예측할 수 있다. 에파고긱스는 오로지 대본특성에 대한 예측을 기본으로 한다. 스타 배우나 감독이 결정되기도 전에 대본 자체만을 토대로 9편의 영화에 대한 총 수입을 예측하는데 활용됐는데, 9번 중 6번이 정확했다. 별로 대단하지 않게 들릴 수 있겠지만, 전문가들의 경험과 직관에 의존했을 때 정확도는 33%였다는 점을 고려하면 대단한 정확성을 보여준다. 에파고긱스는 수퍼 크런칭을 활용하여 업계에서 가장 노련한 베테랑보다 2배나 더 뛰어난 예측 능력을 보여준 것이다.

앞으로 세상은 수퍼 크런칭이 더욱 광범위하게 활용됨에 따라, 다양한 기존 직업의 지위가 위태롭게 될 것이다. 경험적 판단에 돈을 지불하는 대신, 더 많은 사람들은 간단히 데이터를 전문 시스템에 집어넣고 소프트웨어가 명령하는 것을 더 선호하게 될 것이기 때문이다. 결과적으로 수퍼 크런칭을 고려하지 않는다면, 사실상 성공의 기회를 상당 부분 포기하는 것과 다름 아닐 것이다.