Supermemory가 LongMemEval, LoCoMo, ConvoMem 세 AI 메모리 벤치마크를 동시에 1위로 찍었다. GitHub Star 27k, 사용자 프로파일 조회 ~50ms. 수치만 보면 선택할 이유가 충분하다.
근데 커뮤니티 반응을 보다가 멈칫했다. 관리 UI가 클라우드 서비스로만 공개된다는 거다. mem0가 같은 방식으로 비판받았던 패턴 그대로다. 오픈소스라 들어왔는데 실제 운영하려면 결국 유료 플랫폼으로 가야 하는 구조. 벤치마크 1위가 내 프로젝트에서 의미 있으려면, 일단 내가 제대로 붙일 수 있어야 한다.
대안으로 언급되는 Agentmemory는 관리 UI를 공개한다. 하이브리드 RAG나 멀티모달 처리 같은 화려한 스펙은 없지만, 붙이고 디버깅하고 운영하는 전 과정을 내 손 안에 둘 수 있다.
AI 메모리 도구가 우후죽순 나오는 지금, 선택 기준은 오히려 단순해진다. 메모리가 어떻게 쌓이는지 내가 들여다볼 수 있냐 없냐. 벤치마크 숫자보다 그게 먼저다.
나의 생각
AI 에이전트 메모리를 파일 기반으로 설계한 이유가 여기 있다. 직접 들여다보고 수정할 수 없는 시스템은 결국 학습이 아니라 의존이다. Supermemory의 벤치마크 성능은 인정하지만, 실제 운영에서 내가 통제할 수 없다면 1위는 그냥 숫자에 불과하다.