옛날 아주 가까운 옛날…

머신러닝이라는 높은 산을 오르기 위한 마스터 알고리즘이라는 절대 반지를 찾기 위해 다섯 종족이 모여 살았습니다.

각 종족마다 아이디어를 얻는 원천이 있었으며, 아이디어를 통해 만들어낸 우수한 결과물도 있었습니다.

 

기호주의자symbolists는 학습을 연역의 역순으로 보며 철학과 심리학, 논리학에서 아이디어를 얻어 역연역법inverse deduction을 만들어 냈으며, 연결주의자connectionists는두뇌를 분석하고 모방하며 신경과학과 물리학에서 영감을 얻었습니다. 이런 영감을 통해 역전파backpropagation를 만들었습니다. 진화주의자evolutionaries는 컴퓨터에서 진화를 모의시험하며 유전학과 진화생물학에 의존하여 유전자 프로그래밍genetic programming을, 베이즈주의자Bayesians는 학습이 확률 추론의 한 형태라고 믿으며 통계학에 뿌리를 두고서 베이즈 추정 Bayesian interface을 사용합니다. 유추주의자analogizers는 유사성similarity 판단을 근거로 추정하면서 심리학과 수학적 최적화의 영향을 받아 서포트 백터 머신support vector machine을 이용합니다.

 

이 다섯 종족tribes은 자기만의 알고리즘algorithm을 사용 하였습니다. 각 알고리즘은 개별 적인 특정 작업에는 훌륭하지만 다른 일에는 그렇지 않은 경우가 많았습니다. 절대 반지는 다섯 가지 알고리즘의 핵심 특성을 모두 가지는 단일한 알고리즘, 즉 최종 마스터 알고리즘입니다.

 

현재는 결코 도달할 수 없는 높은 산이라는 의견도 있지만, 다섯 종족 뿐 아니라 일반인들도 그 높은 산을 오르기 위해 밤늦도록 공부를 하고 있습니다.​

 

​

마스터 알고리즘 : 머신러닝은 우리의 미래를 어떻게 바꾸는가
페드로 도밍고스 저/강형진 역/최승진 감수 | 비즈니스북스 | 원서 : The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World

 

이 책 “마스터알고리즘”은 머신러닝에 관심있는 사람들을 위한 입문서라고 합니다.

보통 우리가 생각하는 입문서라고 하면 쉬운 것을 생각하는데, 이 책은 쉽지도 않고 쪽수도 많아 진도가 빨리 나가는 책은 아닙니다. 머신러닝의 기원부터 미래의 기술까지 전반적인 개념을 알려주기 위한 입문서라고 보면 될 듯 합니다.

처음 이야기 한 다섯 종족 중 연결주의자는 신경회로망이라는 접근 방법을 사용합니다. 이것은 최근 알파고를 통해 이슈가 된 딥 러닝의 근간이 되는 기술입니다. 그리고, 베이즈주의자와 유추주의자는 그래픽 모형과 서포트 백터 머신의 접근 방법을 사용하며, 이 두 가지가 현재 Big Data라는 이름으로 불리는 대표적인 통계적 접근 방법에 해당 됩니다. 우리가 흔히 알고 있는 Big Data를 통해 머신러닝으로 진화한다라고 생각하면 처음에 베이즈주의자의 알고리즘을 사용하다가 최근 대두된 연결주의자의 알고리즘을 사용한다라고 생각하면 될 듯 합니다.

책 내용을 좀 더 자세히 들여다 보면 <제1장 머신러닝의 혁명이 시작됐다〉에서는 머신러닝의 현재를 조명하면서 이제는 떼려야 뗄 수 없는 머신러닝의 중요성을 이야기합니다. 〈제2장 마스터 알고리즘은 어떻게 탄생하는가〉머신러닝 알고리즘을 다섯 가지로 나눠 살펴본 후 단 하나로 통합된‘마스터 알고리즘’이 왜 필요한지 알려줍니다.

제3장부터 제7장까지는 머신러닝의 다섯 종족을 하나하나 상세하게 들여다봅니다. 접근 방법에 따라 위에서 설명한 기호주의자, 연결주의자, 진화주의자, 베이즈주의자, 유추주의자로 나눠 각 장마다 설명을 하고 있습니다.

머신러닝의 다섯 종족을 알아 본 후 〈제8장 선생님 없이 배우기〉와 〈제9장 마스터 알고리즘을 위한 마지막 퍼즐 조각〉에서 저자가 개발하고 있는 알고리즘을 공개하고 스스로 학습하는 기계를 어떻게 구현할 수 있는지 제안을 합니다. 마지막 〈제10장 이것이 머신러닝이 펼치는 세상이다〉에서는‘마스터 알고리즘’이 탄생하면 어떤 미래가 도래하는지 이야기를 하고 있습니다. 터미네이터에 나오는 스카이넷의 예를 들면서…

그리고, 더 읽을 거리 부분에서는 이 책을 읽고 머신러닝을 전반적으로 더 배우고자 하는 사람들을 위해 온라인 강의와 교과서에 대한 소개를 하고 있습니다.

저자 본인이 가르치는 강의(https://www.coursera.org/specializations/machine-learning), 앤드루 응의 강의(https://www.coursera.org/learn/machine-learning)와 야세르 아부 모스타파의 강의(http://work.caltech.edu/telecourse.html)등의 온라인 강의를 통해 머신러닝을 시작하는 것이 좋다고 말합니다.

끝으로, 제가 책을 읽으면서 밑줄 그은 부분으로 내용의 일부를 확인해 보시기 바랍니다.

• 머신러너machine learner라고도 알려진 머신러닝 전문가는 컴퓨터과학자사이에서도 엘리트 사제다. 많은 컴퓨터과학자, 특히 옛 세대의 과학자는 본인이 원하는 만큼 머신러닝을 이해하지 못한다. 전통적으로 컴퓨터 과학에서는 결정론적 사고가 최고지만 머신러닝에서는 통계적 사고가 필요하기 때문이다. 예를 들어 전자 우편을 스팸으로 인식하는 규칙이 99퍼센트 정확하다면, 결정론적 사고는 그 규칙에 결함이 있다고 판단하지만 통계적 사고는 당신이 할 수 있는 최선이고 충분히 유용할 거라고 판단한다.(page 40)
• 인간의 직관은 데이터를 대체할 수 없다. 직관은 사실을 모를 때 사용하는 것이고, 당신은 사실을 모르기 때문에 직관이 소중하다. 하지만 증거가 눈앞에 있다면 거부할이유가 없다. (page 86)
• 데이터 마이닝이란 데이터가 자백할 때까지 고문하는 것을 의미한다고 말할 정도다.(page 135)
• 무작위로 변경된 학습 집합들로 머신러닝이 학습한 후에 예측하는 것들을 비교함으로써 머신러닝의 편중과 분산을 예상할 수 있다. 만약 머신러닝이 계속 같은 실수를 하면 문제점은 편중이다. 머신러닝을 더 유연하게 조정하든지 다른 머신러닝으로 바꾸어야 한다. 실수에 어떤 패턴이 없으면 문제점은 분산이다. 덜 유연한 머신러닝으로 시도하거나 더 많은 데이터를 구해 시험해야 한다.(page 145)
• S자 곡선은 효과 있는 모형으로서 단지 중요한 것이 아니다. 이것은 또한 수학에서 팔방미인이다. S자 곡선의 중간 부분을 확대해 보면 직선에 가깝다. 우리가 선형적이라고 생각하는 많은 현상이 사실은 S자 곡선이다.(page 184)
• 진화는 훌륭한 구조를 찾고, 신경망 학습은 구조를 학습시킨다. 이 조합은 우리가 마스터 알고리즘을 찾을 때 따라야 하는 가장 쉬운 과정이다.(page 232)
• 머신러닝은 실제가 아닌 가정을 하고도 무사히 일을 잘해 내는 기술이다. 통계학자 조지 박스George Box는 “모든 모형은 틀리지만 그 중에는 유용한 모형도 있다”라는 유명한 말로 이 상황을 묘사했다. 추정에 필요한 충분한 데이터를 확보할 수 있는 과도하게 단순한 모형은 추정에 필요한 데이트를 충분히 확보할 수 없는 완벽한 모형보다 낫다.(page 250)
• 새로운 세기의 처음 10년 동안은 유추주의자들이 신경정보처리시스템학술대회를 장악했다. 지금은 연결주의자들이 딥 러닝이라는 깃발 아래 다시 한번 학회를 주도하고 있다. 연구란 돌고 돈다고 말하는 사람들도 있지만 한 번 돌 때마다 진보를 항하여 나아가는 나선형에 더 가깝다. 머신러닝에서 그 나선형은 마스터 알고리즘으로 수렴된다.(page 283)
• 규칙이란 사실 몇 가지 속성은 중요하지 않기 때문에 빠뜨리고 일반화한 사건이다. 반대로 사건이란 모든 속성의 상태가 정해진 매우 특정한 규칙이다.(page 326)