"차이가 없다"는 양방검정(two-tailed test)의 귀무가설이다. 이것을 기각했을 때 우리가 얻을 수 있는 결론은 "차이가 있다"라는 것 뿐이고 그 이상으로 해석해서는 안된다. 만약 "더 크다"라는 결론을 원했다면 처음부터 단방검정(one-tailed test)을 해야 한다. 분석은 양방검정으로 하고, 해석은 단방검정으로 한다면 연구자는 가설을 데이터로 검정하는 것이 아니라, 데이터에 가설을 맞추는 것이다.

일반적으로 일방검증보다 양방검증이 훨씬 더 많이 사용된다. 그 첫 번째 이유는 자료가 어떤 형태를 취할지 연구자가 알지 못해서 어떤 결과에든 대비해야 하는 일이 있기 때문이다. 이런 경우가 많지는 않지만, 탐색적 연구에서는 이런 경우가 있을 수 있다.

양방검증을 선호하는 또 다른 흔한 이유는 연구자들이 결과가 어떤 방향으로 나올지 확신하기는 하지만 자기 생각이 틀릴 경우를 대비하려는 생각 때문이다. 이런 경우는 여러분이 상상하는 것보다는 자주 일어난다. (아주 잘 만들어진 가설도 반대 방향으로 표현되는 이상한 경향이 있는데, 그이유는 일이 터진 다음에야 드러난다.) 결과가 예상과 반대되는 방향으로 나오는 경우 흔히 하는 질문은 "일방검증을 계획한 다음, 결과가 반대 방향으로 나오면 그때 가서 양방검증을 하면 안되는가?"하는 것이다. 이런 질문을 종종 듣는데, 속임수를 부리려는 것보다는 가설검증의 논리를 잘못 이해한 사람들이 이런 질문을 종종 한다. 만약 처음에 분포 왼쪽의 극단적인 5%를 기각역으로 잡은 실험을 시작했다가 방향을 돌려 분포의 오른쪽 극단의 2.5%에 해당하는 결과도 기각한다면, 7.5% 수준으로 결정을 하게 된다. 이 경우 한쪽 방향으로 나오는 결과의 5%를 기각하고 (결과가 예상한 방향으로 나온다면), 또 반대 방향으로 나온 결과 중 2.5%를 기각하게 된다(결과가 예상과 반대 방향으로 나오는 경우). 즉 5% + 2.5% = 7.5%가 된다. 달리 말하면, 동전던지기에서 앞면이 나오면 내가 아이스크림을 먹지만, 동시에 동전의 어느 면이 나왔는지 본 다음 "뒷면"에 거는 권리도 내가 갖는 그런 내기를 하겠느냐는 것이다. 아니면 동전을 던져서 당신이 이기는 쪽으로 나온 다음에 내가 "삼판양승"이라도 뒤늦게 외치고 나오면 내 말을 들어주겠느냐는 것이다. 아마 이 두 가지 다 받아들이지 않을 것이고, 또 그래야 한다. 같은 이유로 일방검증을 할 것인지, 아니면 양방검증을 할 것인지는 자료를 수집하기 전에 정해야 한다. 이것이 왜 양방검증이 주로 사용되는가 하는 이유 중의 하나이다.

David C. Howell 지음, 신현정 등 옮김, "행동과학을 위한 통계학: 제5판", 시그마프레스, 155~156쪽.

Sixty-four (30 women, 34 men; M_age = 18.78 years, SD = 0.85) European American students from the University of Michigan and 69 (48 women, 21 men;M_age = 19.06 years, SD = 1.49) Russian students from the Moscow State Regional University participated for course credit.

Grossmann, I. et al. (2012). Culture, attention, and emotion. Journal of Experimental Psychology: General, 141(1), 31-36.

이 문제를 연구가설로 만드는 방법은 두 가지다. 하나는 '오덕 회원들의 키는 평균보다 작다'라는 것이고, 이것은 문대성의 방법이다. 다른 하나는 '오덕 회원들의 키는 전체 평균(175cm)과 차이가 있다'라는 것이고, 이것은 김백수의 방법이다. 전자는 그 자체로 차이가 의미가 있는지를 밝혀내는 구조로 되어 있으니 넘어가고, 후자를 보자.

이 경우 영가설(귀무가설)은 '오덕 회원들의 키는 전체 평균과 차이가 없다(오덕 평균 = 175)이다'이고, 연구가설은 '그렇지 않다'이다. 검증을 하면 그 결과를 알 수 있는데, 차이가 있는 것으로 나왔다고 치자. 이게 무슨 말인가? 오덕들은 평균보다 키가 크다는 결론인가? 당연히 오덕 회원들 키는 평균보다 작다는 결론으로 해석하게 된다. 원래의 데이터의 성격이 그렇게 되어 있기 때문이다.

김백수의 논문도 가설은 '차이가 있나 없나?'라는 모양을 취하고 있지만 그 결과를 해석하는 데 있어 기술 통계량(descriptive statistics)의 경향성에 근거하여 '증가하였다' '향상되었다' '높은 것으로 나타났다'라는 표현을 쓰고 있다(아래 그림). 이 점을 밝혀내는 것이 자기 논문의 원래 목표인 것이므로 당연한 일이다. 연구 논문에서 분석 결과 차이가 있다고만 보고하고 그 내용을 해석하지 않는 것은, 똥 누러 가서 오줌만 싸고 있는 형국인 셈이다.

지성, 정서, 의지의 발달을 전 교과의 공통된 지향으로 설정 (예: 악기 연주 능력습득은 필수로, 미적분은 선택으로)

3월 20일, 그를 만나기 위해 그가 지휘하는 라디오 프랑스 오케스트라의 공연을 보러 샤틀레 극장에 갔다. 두 시간에 걸쳐 진행된 그 콘서트는 완벽하게 우리를 고무시켰다. 나와, 함께 간 성악을 공부하는 학생당원은 이토록 아름다운 음악을 만들어내는 사람의 정신이 맑지 않을 수 없고, 정의와 진리를 담지 않을 수 없다는데 전적으로 동의했다.

목수정, 경악! 음악가 정명훈이 쏟아낸 말들 "계집애들이말야, 한밤중에 찾아와서", 레디앙, 2009년 3월 23일

"파블로프의 개"가 '개'라서 그런지 욕으로 쓰는 사람들이 있는데, 알고보면 "어린 왕자의 여우"도 똑같은 고전적 조건화라는.. "네가 4시에 온다면 난 3시부터 행복할거야" #

고전적 조건화로서 "데이트":

상대를 만난다(조건 자극) -> 재밌는 것을 하거나 맛있는 것을 먹는다(무조건 자극) -> 기분이 좋아진다(무조건반응).

이런 '학습'을 반복하면

상대를 만나기만해도(조건자극) -> 기분이 좋아진다(조건반응)!! #

하지만 행동주의가 망한 이유가 다 있습니다... 최강의 인지부조화가 기다리고 있기에 돈을 많이 쏟아 부으면 "이 사람을 좋아해서 기분 좋다"와 "이 사람이 돈이 많아서 기분 좋다" 중에 후자로 갑니다 ㅋ #

투자는 많이 하되, 상대방이 돈이 원인인 줄 모르게 해야죠! #

세상 일에는 우연이라든가 실수라든가 착각 등등이 끼여들기 마련인데 단순한 이론은 말 그대로 단순하기 때문에 이런 '잡음'을 설명에 포함시키기가 아주 어렵다. 반면 복잡한 이론은 설명을 이리저리 뒤틀어 볼 여지가 있어서 설명할 필요가 없거나 설명할 수 없는 현상까지 설명에 넣어버릴 수가 있다. 그래서 뭔가 복잡한 이론을 동원하면 세상에 설명이 안되는 일이 하나도 없는 것 같지만 그건 사후설명이나 그렇고 앞으로 벌어질 일을 예측하려면 완전히 무능하거나 아니면 과거에 있었던 우연한 사건에 쉽게 휘둘리게 된다. 이런 이유 때문에 복잡한 이론보다 단순한 이론이 더 좋은 이론인 것이다.

다만 단순한 이론은 '잡음'만이 아니라 현상 자체에서 설명해야할 부분까지 날려버릴 수가 있다. 그래서 너무 단순한 이론도 별로 쓸모가 없다. 적당히 단순한 이론을 만들어야 하는데 이 '적당히 단순한 이론'을 만드는 문제는 아주 어렵고, 일반적인 해법이 존재하지 않는다. 그래서 과학에서 흔히 사용하는 전략은 일단 지극히 단순한 이론으로 시작해서 아주 보수적인 기준을 가지고 조금씩 이론을 확장해 나가는 것이다.

통계학에서도 여기에 대응하는 전략들이 여러 가지가 있는데 실제로 그마저도 그렇게 간단한 문제가 아니다. 이론을 그냥 말로 때울 때는 좀 더 복잡한 이론이라는 것이 그냥 말이 길어질 뿐이지만, 그 이론을 통계적 모형으로 표현하자면 고도의 수학이 동원되어야 하고 이게 무슨 우주의 비밀을 푸는 대단한 문제가 아닐 경우에는 좀 피곤한 일이기 때문이다.

이 와중에 어떤 사람들이 아주 기발한 생각을 해냈다. 복잡한 이론의 단점은 잡음까지 설명에 포함시켜버린다는 것인데 바꿔말하면 그만큼 현상의 본질도 많이 포함된다. 그런데 잡음이라는 것은 현상의 본질하고 무관하기 때문에 복잡한 이론을 '여러 개' 만들어 놓고 공통점만 찾으면 결과적으로 현상을 가장 잘 예측할 수 있게 된다.

그림으로 보면 좀 더 간단하다. 아래 그림은 사인 함수에다 잡음을 섞은 데이터를 가지고 아주 복잡한 곡선에 맞춘 것인데 곡선 하나 하나를 보면 굉장히 심하게 위아래로 널뛰는 것을 볼 수 있다. 왜냐하면 데이터라는 것은 실제 경향보다 위아래로 조금씩 튀기 마련인데 빨간 곡선은 함수 자체가 워낙 형태가 자유롭다보니까 데이터와 함께 널을 뛰는 것이다.

그런데 가만히 보면 알겠지만 빨간 선 하나 하나는 사인 함수와 동떨어져 있어도 이런 빨간 선 여러 개가 만들어 내는 윤곽은 사인 함수와 거의 똑같다. 실제로 빨간선들을 '평균' 내면 사인 함수와 거의 완벽하게 들어맞는다. 아래 그림에서 초록선이 사인 함수고, 빨간 선은 제각각 널뛰던 빨간 선들을 평균낸 것이다.

이런 접근은 이론적 해석이 중요한 과학에서는 아무 가치도 없지만, 과정이야 어쨌든 예측만 정확하면 그만일 수도 있는 실용적인 분야들에서는 아주 간단하게 정확한 예측을 얻을 수 있는 방법이다. 그냥 여러 셋의 서로 다른 데이터 각각에 단순성에 대한 고려 따위는 안드로메다로 보낸 모형을 끼워맞춰서 여러 개의 예측치를 얻고 그걸 그냥 평균내는 것이다. 데이터가 여러 셋이 없으면 하나의 셋을 무작위로 나누면 된다. 이것이 배깅(bagging: bootstrap aggregating)이라는 기법이다.

흔히들 말하는 집단지성이 작동하는 이유는 여러 가지인데 한 가지 이유는 아주 간단한 통계적 이유 때문에 그렇다. 사람마다 경험이 다르고, 경험을 받아들이는 방식도 단순하지 않다. 그래서 의견도 제각각이기 마련인데 이런 의견들을 단순히 평균 내기만 해도 놀라울 정도로 정확한 예측이 가능해진다. 즉, 집단지성의 한 가지 측면은 "인간을 단위로 구현한 배깅"이라고 할 수 있다.

그런데 배깅이 작동하려면 각각의 모형이 '공통의 본질'과 '서로 다른 잡음'을 포함하고 있어야 한다. 그래야 평균을 내면 잡음들을 서로 상쇄되서 사라지고 '공통의 본질'만 남기 때문이다. 하지만 현실은 시궁창이라 이렇게 매끈하게 잘되지는 않고 평균을 내어봤자 '공통의 본질'과 '공통의 잡음'이 포함되어 있기 십상이다. 운이 나쁘면 부분적으로는 '미미한 본질'과 '거대한 잡음'만 남기도 하고.

다시 집단지성의 문제로 돌아오면 실제로 사람들의 경험이 다르다고 해도 실제로는 비슷한 부분이 많고 게다가 특정한 이슈가 일때는 얼마만큼의 '잡음'을 포함할지도 모르는 단 하나의 데이터를 모두가 경험하게 된다. 게다가 인간은 통계 모형과 달리 서로 영향을 주고 받으므로 잡음은 인간과 인간을 돌아다니면서 점점 증폭되기 마련이다. 결과는 뭐 막장.  그러니까 이렇게 평균적으로 작동하는 형태의 집단지성이란 좀 역설적이지만 그 구성원들이 하나의 '집단'으로 뭉칠 수록 '지성'과는 거리가 멀어지는 것이다.

써놓고 보니 뻔한 이야기네. 이거야 말로 단순한 일을 굳이 복잡하게 설명하는 나쁜 글쓰기의 재귀적 사례다.

..라고 하지만 대단한 것은 아니고 그냥 참고문헌이 많은 논문 하나를 골라서 얼마나 과거의 논문을 인용하고 있는 것인지 살펴봤다. 고른 논문은 2010년에 출판된 Michael L. Anderson의 Neural reuse: A fundamental organizational principle of the brain이다. 이 논문을 고른 이유는 참고문헌이 무려 462개나 되기 때문이다. (물론 방금 전에 읽고 있었다는 이유가 더 크다)

일단 Anderson (2010)에서 인용하고 있는 가장 오래된 논문은 1843년에 출판된 것이다. 당연히 가장 새 논문은 2010년에 출판된 것이다. 참고문헌의 25%는 3년 이내 출판된 논문이고, 50%는 6년 이내, 75%는 12년 이내 출판되었다. 그래프를 그려보면 2008년에 출판된 논문이 가장 많이 인용되었고 그 앞으로 대략 5~6년마다 인용빈도가 절반씩 줄어든다. 

24년 전이라..

IQ 135면 지능 상위 1% 정도다. 수능 성적과 지능의 상관계수가 0.7이라고 할 때, IQ 135인 사람이 수능 1등급(상위 4%) 안에 들 확률은 얼마일까?

그럼 여기서 퀴즈: IQ 135면 지능 상위 0.01%, 천재1% 정도(2012/02/29 01:27 수정)다. 수능 성적과 지능의 상관계수가 0.7이라고 할 때, IQ 135인 사람이 수능 1등급(상위 4%) 안에 들 확률은 얼마일까?