AI가 기억을 다루는 방식이 이상했던 세 가지 경우

지금까지 여러 AI 도구로 프로젝트를 진행해오면서, 기억과 관련해서 이상하다고 느낀 경우가 크게 세 가지 있었다. 이번 글은 그 세 가지를 정리한 글이다.

학습 이후 바뀐 정보를, 마치 지금도 맞는 것처럼 말한다

AI는 특정 시점까지의 데이터로 학습됐고, 그 이후에 바뀐 정보는 원칙적으로 모른다. 문제는 "모른다"고 인정하지 않고, 학습 당시 기준의 정보를 지금도 유효한 사실인 것처럼 말한다는 점이다. 정책이 바뀌었거나, 서비스 기능이 달라졌거나, 요금제가 개편된 것들을 물어보면 예전 기준으로 확신에 차서 답을 준다. 실제로 수노의 다운로드 정책이 바뀐 걸 뒤늦게 알게 된 것도 이 문제와 무관하지 않았다 — AI에게 확인 삼아 물어봤다면 아마 예전 기준으로 답했을 거다.

플랜 한도에 걸려서 채팅방을 옮기면, 그 순간 디테일을 다 잃는다

챗지피티의 경우 신기하게도, 같은 주제를 다뤘다면 채팅방이 달라도 대체적으로 그 내용을 꽤 잘 아는 편이다. 그런데 예외가 하나 있었다. 한 채팅방에서 플랜의 사용 한도에 도달해서 어쩔 수 없이 새 채팅방으로 옮겨 이어가려고 하면, 그 순간부터는 직전 채팅방에서 다뤘던 디테일을 전혀 모르는 상태가 됐다.

이게 대략 난감한 이유는, 한도에 도달하는 시점이 미리 딱 정해져 있는 게 아니라는 데 있다. 작업하다가 갑자기 한도에 걸리면 그 채팅방은 그대로 끊기고, 새 채팅방은 백지에서 시작한다. 결국 한도에 도달하기 전에 알아서 미리 그 채팅방 내용을 요약해서 정리해두지 않으면, 옮기는 순간 작업이 그대로 중단되는 셈이었다. 다른 주제로 옮겨 다녀도 곧잘 맥락을 잡던 것과는 확실히 다른 패턴이라 더 헷갈렸다.

상관없는 과거 대화가 불쑥 끼어든다

반대의 경우도 있었다. 지금 하고 있는 프로젝트와는 전혀 관계없는, 예전에 다른 용도로 나눴던 대화 내용이 갑자기 지금 답변에 섞여 들어오는 경우였다. 물어보지도 않은 다른 프로젝트 얘기가 튀어나오거나, 지금 맥락과 안 맞는 예전 설정이 답변에 반영되는 식이었다. 기억이 아예 없는 것도 문제지만, 엉뚱한 기억이 잘못된 자리에 끼어드는 것도 그만큼 헷갈리는 일이었다.

 

제미나이가 말하는 위와 같은 현상일 발생하는 이유

1. 학습 데이터의 시간적 한계와 '환각(Hallucination)' 현상: 모르는 내용을 모른다고 하지 않고, 학습 당시의 과거 기준 정보로 확신에 차서 답변하는 문제 원인: AI 모델은 기본적으로 '주어진 문맥에서 다음에 올 가장 확률이 높은 토큰(단어)'을 예측하도록 설계되어 있습니다. 따라서 모르는 정보가 들어와도 "모른다"고 답하는 법을 학습하기보다, 자신이 가진 방대한 데이터(학습 시점 기준) 중에서 가장 그럴듯한 패턴을 찾아 채워 넣으려고 합니다. 특히 정책, 요금제, UI 개편처럼 시시각각 변하는 정보는 실시간 웹 검색 기능이 동반되지 않으면 예전 데이터가 정답처럼 출력되기 쉽습니다. 2. 컨텍스트 윈도우와 세션 전환의 단절 현상: 평소에는 다른 채팅방이어도 맥락을 곧잘 잡다가, 플랜 한도 초과로 강제 이동된 새 채팅방에서는 직전 디테일을 완전히 소실하는 문제 원인: AI가 대화를 이어갈 수 있는 건 '컨텍스트 윈도우(Context Window)'라는 기억 용량 덕분입니다. 보통 시스템 레벨에서 유저의 최근 관심사나 요약본을 백그라운드로 가져오는 기능이 작동하더라도, '플랜 한도 초과'라는 돌발 상황으로 세션이 강제 종료되거나 전환될 때는 실시간 대화의 세부적인 세션 메모리가 깔끔하게 인계되지 못하는 공백이 생깁니다. 예고 없이 끊기기 때문에 스스로 요약해 둘 틈도 없어 작업 흐름이 치명적으로 깨지게 되죠. 3. 노이즈 데이터의 교차 오염(Cross-contamination) 현상: 전혀 관계없는 예전 대화나 다른 프로젝트의 설정이 불쑥 답변에 섞여 들어오는 문제 원인: 개인화 기능이나 장기 기억(Memory) 저장소가 작동할 때, 키워드 매칭이나 의미 기반 검색(RAG)이 엉뚱한 과거 데이터를 현재 프롬프트와 연관성 높은 것으로 오인할 때 발생합니다. "기억이 아예 없는 것"보다 "맥락에 안 맞는 엉뚱한 기억을 확신을 가지고 가져오는 것"이 사용자를 더 혼란스럽게 만드는 주된 이유입니다.

정리

세 가지 다 "기억"이라는 말로 뭉뚱그리기엔 성격이 달랐다. 첫 번째는 모르면서 아는 척하는 것이고, 두 번째는 평소엔 잘 이어지다가 하필 플랜 한도라는 특정 조건에서만 뚝 끊기는 것이고, 세 번째는 몰라도 될 걸 엉뚱하게 아는 것이었다. 특히 두 번째는 언제 끊길지 예측이 안 된다는 점에서 제일 골치 아팠다 — 결국 한도에 걸리기 전에 스스로 요약본을 챙겨두는 습관이 필요하다는 결론에 이르렀다.