evan-moon 님의 글을 읽다가 오랫동안 마음에 걸렸던 게 언어로 정리됐다.
AI는 React나 ORM처럼 우리를 한 층 위로 올려보내는 추상화가 아니라는 것. React가 DOM 조작을 대신해줄 때 우리는 컴포넌트 단위의 사고라는 새 인과를 얻었다. 그런데 AI는 다르다. 코드를 짜는 자리에 그냥 대리인으로 앉아서 그 인과의 소유권을 조용히 가져간다.
결과물의 완성도는 올라간다. 1~4점짜리 코드가 5점처럼 보이기 시작한다. 문제는 PR 리뷰에서도 면접에서도 "왜 이렇게 하셨어요?" 한 마디에 아무도 대답을 못 하는 순간이 늘어난다는 것이다. 그리고 모델 품질이 좋아질수록 이 빈 인과는 더 그럴싸해 보여서 더 안 걸린다.
마취라는 단어가 정확하다. 고통이 없으니 이상한 줄 모른다.
나는 AI 도구를 고를 때 벤치마크보다 직접 디버깅할 수 있는 통제 가능성을 먼저 본다. 출력 결과가 왜 그렇게 나왔는지 역추적할 수 없는 도구는, 정확히 이 글에서 말한 방식으로 인과를 빼앗아 간다.
이 소식을 보면서 벤치마크보다 직접 붙이고 디버깅할 수 있는 통제 가능성이 우선이라는 점에 대해 다시 생각하게 됐다.