판단에 앞서 인공지능에 자문합시다

이어 “즉, ‘패턴의 유사성’보다는 ‘망상적 과잉 팽창’이라는 심리적 유비는 가능하나, 정치·군사적 구조의 유비는 성립하지 않는다”고 말했다.

둘째, ‘혹시 일본이 성공할 수도 있지 않았을까’라는 가정을 두고 “이 부분은 사후적 비교의 오류에 해당한다”고 분류했다. 즉, “명이 훗날 만주족에게 멸망했다고 해서, 그보다 수십 년 앞서 일본이 명을 정복할 가능성이 있었다고 보는 것은 논리적으로 비약”이라고 설명했다. 

챗GPT는 이렇게 설명했다. “명의 쇠퇴는 내부적 재정 악화, 농민 반란, 관료 부패, 외적 침입의 누적이 복합적으로 작용한 결과였다. 1590년대 명은 여전히 일본의 조선 침략을 격퇴할 만큼의 해상·육상 병력과 외교 네트워크를 유지하고 있었다. 따라서 “나중에 망했으니, 그 전에 일본이 정복할 수도 있었다”는 주장은 인과적 근거가 전혀 없다.”

챗GPT의 결론 중 한 문장은 다음과 같다. “결국 이 진술은 역사적 사실 분석이 아니라 ‘히데요시의 과대망상적 제국주의를 낭만화한 서술’에 가깝다.”

◇선입견은 수십 년 쌓은 학식도 무너뜨려
이 책의 저자는 영국 케임브리지 퀸스칼리지를 졸업하고 옥스퍼드대학교에서 공부했다. 더럼대학교와 미국육군사관학교 등에서 유럽 정치사와 외교사, 전쟁사 등을 연구·강의했다. 현재 영국 엑서터대학교 역사학과 명예교수다.

이 사례는 전문가조차 선입견 또는 편향에 의해 정확한 사고에서 벗어날 수 있음을 보여준다. 저자는 애써 도요토미와 알렉산드로스의 공통점을 찾으려고 노력했다. 알렉산드로스는 성공했지만 도요토미는 실패했다는 가장 큰 차이를 외면했다. 정확한 사고의 기준 중 ‘완결성’을 크게 어긴 것이다.

챗GPT의 논평에서 우리는 AI가 인간 전문가보다 편향이 없음에 주목해야 한다. 생성형 AI가 천연덕스럽게 지어내는 환각이 우려를 낳았고, 그것을 경계해야 한다는 목소리가 높았으나, 그럼에도 AI는 편향이 없다는 큰 미덕을 지니고 있다.

생성형 AI는 정치적으로도 한쪽으로 기울지 않는다. 이를 필자는 ‘한강버스’ 이슈에서 확인했다. 주요 활자매체의 간부가 쓴 칼럼 중 ‘한강버스, 첫술에 배부르랴’ 중 다음 대목을 읽어보시라. “방콕뿐 아니라 영국 런던 리버버스, 호주 브리즈번 시티캣 등은 도시 명물이자 시민 생활을 편리하게 하는 수상 대중교통 수단으로 자리매김했다. 매일 전철로 한강을 건너며 '왜 한강에는 이런 게 없을까' 하는 아쉬움이 있었는데, 드디어 한강에도 수상버스가 떴다.”

이를 챗GPT에 공유한 뒤 비판적 독해를 부탁했다. 답변 중 ‘사실적 타당성’ 항목만 인용한다. 칼럼 중 “수상 대중교통 수단”이라는 평가에 대해 챗GPT는 “방콕의 수상버스, 런던의 리버버스, 브리즈번의 시티캣은 분명관광·통근용으로 활용되지만, 교통분담률은 매우 낮습니다(보통 1% 이하 수준)”라고 반박했다. 

이어 “즉, ‘도시 명물’이라는 표현은 맞더라도 ‘시민 생활을 편리하게 하는 핵심 교통수단’이라는 평가는 과장된 측면이 있습니다”라고 평가했다. 이 부분은 ‘정확한 사고’ 중 완결성으로 설명할 수도 있다. 개인적인 경험은 전체 중 극히 일부이고, 전체는 통계가 나타낸다.

AI가 치우지지 않더라도, 환각을 제공할 위험은 언제나 조심해야 한다. 이 답변에서 우리는 교통분담률이 매우 낮음을 보여주는 통계를 확인해야 한다. 필자는 이 글에서 근거로 제시된 세 도시 모두에 대해 챗GPT에게 통계를 찾아달라고 부탁했다. 세 도시 모두 교통분담률만 따로 조사한 자료는 없었다. 필자는 챗GPT의 추정을 더 따져보기로 했다.

필자가 챗GPT와 나눈 대화 중 런던에 대한 것만 일부 소개한다. 런던은 다른 두 도시보다 규모가 크고, 그래서 직접 통계가 없기는 마찬가지이지만 간접 통계는 구할 수 있고 신뢰 가능하다고 생각한다. 특히 오세훈 서울시장이 한강버스에 착안하고 추진하게 된 계기가 런던 리버버스에서 받은 인상임을 고려할 때, 런던 통계에 집중할 필요가 있다고 본다.

“런던 리버버스의 교통분담률을 조사해줘”라고 부탁하자 챗GPT는 “공개된 자료가 매우 제한적”이라면서 “다만 이용 가능한 연구자료들을 통해 유의미한 추정치 및 참고할 만한 수치를 정리해보면 다음과 같습니다”라고 답했다. “런던 트래블와치의 2021년 보고서에 따르면 런던에서 출퇴근 시 여러 교통수단 중 수상버스가 차지하는 비중은 약 2%로 나타납니다.”

◇외국 수상버스 성공했다며 ‘교통분담률’ 누락
필자는 결과치로 교통분담률을 챗GPT로부터 받는 대신, 원 데이터를 활용해보기로 했다. 먼저 일평균 리버버스 이용객 수를 답변해달라고 했다. 챗GPT는 “2022년 4월부터 2023년 3월까지 약 460만 명이 탑승했다”며 일평균 이용객수는 약 1만2600명이라고 추정했다. 이 중 관광이 아닌 출퇴근 용도의 비중을 물어봤으나, 챗GPT는 그런 통계는 없다고 답했다.

다음 단계로 런던에서 정기적으로, 즉 평일에 매일 직장이나 학교를 오가는 인구가 얼마나 될지 추정하기로 했다. 챗GPT는 우선 최근 통계에 따르면 런던 대도시권 인구는 895만~984만 명이라고 전했다. 이를 900만 명이라고 어림하기로 한다. 

런던 대도시권의 경제활동인구는 약 606만 명으로 추정했다. 여기에서 실업자를 제외해야 한다. 런던의 최근 실업률 5%를 적용하면 약 30만 명이 실업 상태. 이로부터 우리는 매일 이동하는 런던 사람 수를 약 576만 명이라고 짐작할 수 있다.

그럼 런던 인구 중 도보나 자전거로 출퇴근이나 등하교하는 비율이 얼마나 될까? 챗GPT는 38~42%라고 답했다. 이로부터 버스와 지하철, 열차, 수상버스를 이용하는 비율을 대략 60%로 잡을 수 있다. 576만 명에 이 비율을 적용하면 345만 명이다. 이제 최종 추정치에 가까워졌다. 

하루 리버버스 이용객 수 1만2600명은 전체 교통수단 이동자 수 345만 명의 3.7%이다. 리버버스 이용객은 주말에 특히 집중되는 관광객을 포함하고 있다. 이를 감안할 때, 런던 리버버스의 교통분담률이 1%가 안 된다고 한 챗GPT의 답변을 상당히 신뢰할 수 있다. 따라서 외국 사례를 본받아 관광 외에 교통분담도 하게 하는 용도로 한강버스를 운행한다는 목표는 실현 가능성이 낮다는 판단이 가능하다.

처음부터 차질을 빚은 한강버스를 두둔한 칼럼은 위에 인용한 글에 그치지 않는다. 다른 여러 칼럼도 외국 도시를 들어 수상버스가 대중교통을 분담할 수 있다고 기대했다. 그런 기대로 독자를 설득하려면 근거로 뒷받침해야 한다. 그 근거는 ‘교통분담률’이다. 

한강버스를 지지한 칼럼들은 그러나 이 단어조차 쓰지 않았다. 사실을, 오로지 사실을, 온전한 사실을 취재하고 확인해 글을 쓰는 데 만전을 기하는 언론사에서 빚어진 이런 누락은 타산지석으로 삼을 만하다.

지금까지 두 사례를 들어 정확한 사고 훈련을 해봤다. 둘째 글에 앞서 서울시의 정책 결정이 이루어졌다. 이처럼 중요한 결정을 내릴 때 리더는 조직 내에서 ‘악마의 변호인’을 활용해야 한다. 

위계적이게 마련인 조직에서 아무도 리더에 반대하는 의견을 내지 않기 쉬우니, 그런 역할을 하는 사람을 지정해서 기탄없이 발언하게 하라는 것이다. 그러나 실제로 그런 역할을 적극적으로, 제대로 하는 구성원은 적다. 조직 내에서 반대 의견이 나오기 어렵다는 말이다.

이를 고려할 때, 리더는 AI의 검토를 받을 필요가 있다. 선입견 없는 AI가 늘 당신 곁에 있다. 수시로 물어보고 생각을 가다듬어보자.

▶본 기사는 입법국정전문지 더리더(the Leader) 11월호에 실린 기사입니다.