인간의 심리에 의존하는 확률

 

“알파고는 인간의 뇌를 모방한 인공신경망(Neural Network)을 수많은 데이터를 통해 딥러닝(Deep Learning·심층학습)시켜서 솔루션을 도출한다. 하지만 알파고와 같은 AI는 전혀 경험해보지 못한 불확실한 상황에서는 효율적인 의사결정을 내릴 수 없다는 한계가 명확했다. 영국 AI 스타트업인 프라울러(Prowler.io)는 이 같은 AI의 단점을 극복하는 아이디어를 내놨다. 핵심은 AI를 만드는 알고리즘에 다양한 확률적(베이지안) 방법론을 사용하는 것이다.”

2017년 6월 16일자 매일경제에 영국 AI 스타트업 ‘프라울러’CEO와 CTO에 대한 인터뷰 기사(http://news.mk.co.kr/newsRead.php?year=2017&no=403041)가 실렸습니다. 기사를 실으면서 해당 회사에서 연구하는 AI알고리즘의 장점을 소개한 내용입니다. 확률적인 방법의 접근이 좋은 의사결정을 내릴 수 있고 안전하다고 이야기 합니다.

세상에서 가장 쉬운 베이즈통계학 입문
고지마 히로유키 저 / 장은정 역 | 지상사

 

이 책은 ‘베이즈통계학’이라 불리는 통계 수법의 입문서입니다. 입문서 중에서도 초(超)입문서 입니다. 사각형, 삼각형, 마름모의 면적을 계산할 수 있는 지식을 가지고 있으면 책을 읽는데 무리가 없습니다. 어려운 부분은 그냥 결과만 알려주는 형식으로 진행하여 저자가 입문자의 수준을 고려하여 글을 쓴 배려가 보입니다.

책의 1부에서는 베이즈 통계학에 대한 기초를 우리가 흔히 알고 있는 사례를 들어 설명합니다. ‘고객이 아이쇼핑족일 확률’, ‘암에 걸려 있을 확률’, ‘발렌타인데이 때 초콜렛을 준 여사원이 당신을 마음에 두고 있는 확률’ 등 읽으면 빠져들 수 있는 사례들 입니다. 베이즈 확률에서 사용하는 추정은 ‘주관적’인 추정입니다. 그래서, 객관성을 중시하였던 과학계에서 한 때 매장을 당했습니다. 그러나, 다시 베이즈 확률은 복권되어 현재 AI의 주요 알고리즘으로 사용되고 있습니다. 이런 수학 외적인 이야기들도 컬럼형식을 빌어 설명하고 있어 상식을 높이는 데도 도움이 됩니다.

2부에서는 면적 구하는 방법을 토대로 확률 기호를 사용하여 수식으로 이해를 할 수 있도록 합니다. 1부에서 나온 사례를 토대로 하기 때문에 이해하는 데 어려움이 없습니다. 1부에서 쉽게 이해한 내용을 수학적 정확한 표현으로 설명을 하여 독자의 수준을 한단계 업그레이드 될 수 있도록 하고 있습니다. 조금 더 나아가 확률분포도를 사용한 추정으로 베타분포와 정규분포일 때를 설명하며, 기대값에 대한 정의도 이해하기 쉽게 설명합니다.

책을 읽어보셨거나 베이즈 통계학을 어느 정도 알고 계신다면 주관확률을 사용한 베이즈 통계학은 과학의 입장에서 보면 수상하고 믿음직스럽지 못한 구석인 것을 확인할 수 있습니다. 이런 수상한 베이즈 통계학이 21세기에 AI를 대변하는 인간과학의 가장 흥미로운 분야가 되고 있습니다. 어떤 사건이 발생했을 때 관찰된 결과로 부터 거슬러 올라가 일어난 원인을 탐색하려면 일종의 논리회로가 필요합니다. 그리고, 다시 그 정의된 논리회로가 일관된 방법론과 명확함을 갖추고 있는가도 중요합니다. 베이즈 통계학은 그 양방을 갖추고 있습니다. 그 때문에 예측이라는 의사결정이 가능해집니다.

신경망 알고리즘의 AI는 입력된 데이터가 없을 경우(학습을 하지 못하였을 경우)에는 결과적으로 잘못된 판단을 합니다. 반면 베이즈 통계 알고리즘의 AI는 모르는 경우에는 조심해야 한다는 확률적 의사결정을 하게 됩니다. 베이즈 통계 알고리즘은 신경망 알고리즘 보다는 보다 많은 컴퓨팅 파워가 필요하다고 합니다. 하지만 인간의 안전이라는 큰 명제가 우선이 된다면 베이즈 통계 알고리즘에 더 많은 관심이 모일 듯 합니다.

이 책을 통해 우리가 흔히 일상적으로 하는 의사결정의 원리가 베이즈 통계라는 것을 알 수 있을 듯 합니다. 꼭 AI를 위한 지식 습득이 아니더라도 한번 읽어보시면 확률이 참 재미있는 학문인 것을 느낄 수 있을 듯 합니다.

• 베이즈통계의 강점은 ‘데이터가 적어도 추측할 수 있으며, 데이터가 많을수록 정확해진다’는 성질과 ‘들어오는 정보에 실시간으로 반응하여 자동적으로 추측을 업데이트 한다’는 학습 기능에 있다. 이를 통해 누구나가 베이즈 통계가 첨단 비즈니스에 최적임을 수긍할 것이다.(page 9)
• 베이즈 추정이란 ‘사전확율을 행동의 관찰(정보)에 의거해 사후확률로 베이즈 갱신하는 것’이라고 정리할 수 있다. 이 책에서는 개별 사례에서의 추정은 ‘베이즈 추정’이라 부르고, 그러한 추정방법 전체를 한데 묶어 ‘베이즈통계학’이라고 부른다.(page 31)
• 이와 같이 ‘사람이 마음으로 생각하는 수치’라고 해석하는 확률을 ‘주관 확률’이라 부른다. 주관 확률은 학교 교육에서는 배우지 못하는 것이며 신용할 수 없는 것이라고 여기는 사람이 많다. 그렇지만 통계학이나 경제학에서는 당당히 시민권을 가진 개념이라는 사실을 지적해 두는 바다.(page 55)
• 또 하나 유의해야 할 점은 베이즈 추정이 유의수준을 사용하지 않고 판정할 수 있는 것은 사전확률이라는 ‘수상한’것을 설정하기 때문이다. 앞에서 해설했듯이 사전확률이란 기본적으로는 ‘주관적’인 것이다. 즉 ‘···라는 확률이다’가 아니라 ‘···라는 확률이라고 믿는다’. ‘일단··· 라는 확률이라 설정해 두자’정도의 선이다. 따라서 이와 같은 사전확률하에서 추정되는 사후확률에는 항상 자의성이 있으며 그 책임은 통계가의 판단으로 남는다.(page 94)
• 특히, 베이즈통계학에서는 네이만-피어슨 통계학에서 설정하지 않는 사전확률이라는 것을 도입했다는 사항이 눈에 띈다. 이것은 추정하려는 것의 원인으로 여겨지는 대상을 복수 상정하여, 각각에 대해 ‘그것이 일어날 가능성’쯤으로 사전확률를 설정하는 것이었다.(page 98)
• 표준 통계학과 베이즈통계학에 공통된 발상이란 ‘최우원리’라 불리는 사고법이다
  ‘최우원리(最尤原理)’란 쉽게 말해서 ‘세상에 일어나는 일은 일어날 확률이 큰 것이다’라는 원리다.(page 99)