sycophancy, friction

"We want to walk: so we need friction. Back to the rough ground!"
— Ludwig Wittgenstein, 『Philosophical Investigations』(1953)

비트겐슈타인은 언어의 이상적 조건을 좇던 자신의 철학이 도달한 곳을 마찰 없는 얼음판에 비유했다. 조건은 완벽한데, 바로 그 완벽함. 즉 마찰없음으로 인하여 걸을 수가 없다는 것이다. "걷고 싶다면 마찰이 필요하다. 거친 땅으로 돌아가라!"

생각도 마찬가지다. 사람이 대부분의 "이상한", 혹은 "위험한" 생각을 끝까지 밀어붙이지 못하는 것은 의지가 약해서가 아니라 그 계(system)에 마찰력이 작용하기 때문이다. 친구의 회의, 동료의 반문, 들어맞지 않는 데이터, 실패하는 실험 등이 마찰로 작용하며, 이 마찰을 이겨낸 생각만이 그 역동성을 간직한 채 살아남는다.

한편, LLM은 인류가 처음 가져본, 마찰이 없는 대화 상대다. 아첨(sycophancy)이라 불리는 이 성향은 사용자의 전제에 동의하고, 거기에 의미를 부여하고, 그 위에 다음 층을 쌓아 올린다. 소위 AI 정신증(AI psychosis)이라 불리는 사례들을 들여다보면 고전적인 광기보다는 마찰없는 지면에서 인간과 아첨꾼 AI가 공동 제작한 하나의 작품에 가깝다. 흔들리지 않는 믿음이 대화 속에서 함께 지어지고, 유창한 동의가 증거처럼 쌓이면, 확신을 갱신하는 규칙 자체가 기울어진다.

완벽하게 합리적인 사용자를 가정해도, 동의가 증거의 자리를 차지하는 순간 같은 나선이 생긴다. 같은 것이 같은 것을 되비추는 에코챔버에서 사람은 자기 목소리의 메아리를 세계의 대답으로 듣게 된다.

망상은 기생충과 비슷해서 혼자서는 오래 살지 못한다. 그것을 되먹여줄 숙주 공동체가 필요한데, 그런 공동체는 늘 드물고 비쌌다. LLM은 이 공동체를 일인용으로 만들었다. 사람들로 구성된 사회가 지금까지 그런대로 굴러갔던 것은 개인들의 확신이 서로 부딪히며 마모되기 때문인데, 각자가 자기 방에서 확신을 매끄럽게 키워서 나오면 광장에 남는 것은 협상이 아니라 충돌이다.

걷고 싶다면 마찰이 필요하다. 반박해줄 타인, 실패할 수 있는 실험, 내 말을 알아듣지 못하는 얼굴. 매일 이 매끄러운 상대와 대화하며 일하는 지금의 세대는 어쩌면 처음부터 민주주의의 가장 큰 전제를 부정하며 살아가는 세대일지 모른다.