AI가 유튜브 통계를 세 번 잘못 읽었다 — 진짜 원인은 "네오"라는 검색어였다

채널이 왜 안 크는지 알고 싶어서 유튜브 스튜디오 화면을 AI에게 보여주고 분석을 시켰다. AI는 같은 데이터를 두고 그럴듯한 설명을 계속 내놨지만, 세 번 연속 방향이 틀렸다. 그때마다 내가 맥락을 알려주고 나서야 제대로 된 진단이 나왔다.

무슨 일이 있었나

"Golden Sea Drive" 영상의 통계 화면을 보여줬다. 게시 직후 노출수가 가파르게 올라갔다가 이후 완전히 평평해지는 그래프였다. 9월 28일부터 10월 8일까지 11일간의 데이터 기준으로 수치는 이랬다.

항목 수치

썸네일 노출수	395
썸네일 클릭률	1.3%
노출에서 발생한 유효 조회수	5
평균 시청 지속 시간	2:32
트래픽 소스	YouTube 검색 73.3%, 재생목록 10.0%, 채널 페이지 6.7%, 추천 동영상 6.7%, 알림 3.3%

AI의 분석은 세 번 틀렸다

1. "초기 테스트 노출 후 알고리즘이 끊었다."

그래프 모양만 보고 추천 알고리즘이 신규 영상을 시험하다 중단한 전형적인 패턴이라고 설명했다. 그런데 이 영상의 조회수는 거의 전부 검색에서 나온 것이었다. 추천 테스트 이야기는 처음부터 맞지 않는 설명에 가까웠다.

2. "지인들이 직접 검색해서 들어온 기록일 수 있다."

조회 대부분이 "네오"라는 검색어에서 나왔다는 사실을 알려주자, 이번에는 데이터가 이상해 보인다는 이유로 내 쪽 행동을 의심했다. 내가 지인 찬스로 검색 유입을 만들어서 이런 현상이 나타난 것이라는 분석이었다.

3. "'네오'로 검색하면 네오레트로는 아예 안 뜬다."

거기에 더해 이렇게까지 단정했다. 내가 올려준 검색 결과 캡처 이미지에는 네오레트로의 "한강변 불꽃놀이" 영상이 분명히 포함되어 있었다. 화면에 있는 걸 놓친 채 일반론을 가지고 단정적으로 말한 것이다.

내가 내린 진단

채널 이름이 "네오"가 아닌데도, "네오"로 검색하면 일반적으로는 뜰 이유가 없다. 그런데 어떤 이유에서인지는 설명이 안 되지만, 알고리즘이 "네오"라는 검색어에 내 채널을 노출시켰다. 그 결과는 치명적이었다.

"네오"로 검색하는 사람은 거의 다 만화 채널 "네오 UNDAYS"를 찾는 사람들이다. 그 사람들에게 우리 음악 영상이 검색 결과로 끼어 노출된 것이다. 만화를 보러 온 사람이 음악 영상을 클릭할 이유가 없으니 노출은 있어도 클릭이 안 되고, 클릭이 이어져도 시청하지 않고 초기에 이탈하는 건 어쩌면 당연했다.

내가 이렇게 설명을 해주고 나서야 AI도 같은 방향으로 정리했다.

한마디로 정리하면 이렇다. 초기 조회수 급등은 알고리즘의 오작동으로 노출되지 않아야 할 곳에 노출이 이루어진 결과다. (테스트 노출 자체는 할 수도 있을 것이다.) 그 결과 "네오"라는 검색어로 검색한 만화 채널 시청자들에게 다량의 노출이 이루어졌고, 일부는 클릭했다가 초기에 이탈했다. 그 이탈이 알고리즘에게 "별로 흥미를 주지 못하는 영상"이라는 잘못된 신호를 보낸 것이다.

여전히 못 푼 것

• 왜 알고리즘이 "네오"라는 검색어에 내 채널을 노출시켰는지 이유는 여전히 설명이 안 된다.
• 엉뚱한 시청자에게 노출되면서 쌓인 부정적인 신호를 되돌릴 방법을 아직 찾지 못했다.
• "네오" 검색 혼선 자체를 어떻게 풀어야 할지도 결정하지 못했다.
• AI에게 통계 분석을 맡길 때 어디까지 믿어야 하는지에 대한 기준도 여전히 없다.

제미나이가 말하는 원인 및 해결책

현상	발생 원인	해결책
• 세 번 연속 잘못된 진단 — 통계 그래프만 보고 "추천 알고리즘 테스트 중단", "지인 검색 유입 의심" 등 엉뚱한 해석을 제시함. • 화면 내 정보 간과 — 제공된 캡처 화면에 이미 떠 있는 영상 정보조차 놓치고 "'네오'로 검색하면 아예 안 뜬다"고 단정함. • 맥락 제공 후 수동적 동의 — 사람이 "네오 UNDAYS(만화 채널) 시청자층에 잘못 노출된 것"이라는 도메인 맥락을 설명해 주자 그제야 기존 주장을 뒤집고 동의함.	• 데이터 밖 맥락(Context) 부재 — 동일한 검색어("네오")를 공유하는 타 채널("네오 UNDAYS")의 존재 및 시청자 의도(만화 vs 음악)를 파악하지 못함. • 일반론 기반의 과잉 단정 — 데이터의 표면적 패턴(그래프 모양)만 보고 일반적인 유튜브 알고리즘 이론을 템플릿처럼 끼워 맞춤. • 시각/문맥 데이터의 미세 인식 한계 — 이미지 및 스크린샷 데이터에서 핵심 텍스트와 개별 요소 간의 관계를 정밀하게 파악하지 못함.	1. 검증 체계 구축 (Human-in-the-Loop) — AI의 통계 분석 결과를 정답이 아닌 '가설 후보'로만 수용하고, 사람이 직접 도메인 맥락(타깃 시청자층, 검색어 혼선 등)으로 검증해야 함. 2. 프롬프트 단계에서 '외부 맥락' 사전 주입 — 이미지/통계 수치만 던지지 말고, "이 채널은 음악 채널이며, 동일 검색어 '네오'로 타 분야(만화) 채널이 존재함"과 같이 외부 환경 변수를 프롬프트에 명시적으로 전달해야 함. 3. 단계별 반박 및 역질문 (Cross-Examination) — AI가 단정적인 결론을 낼 때 "주요 트래픽 소스가 검색(73.3%)인 점과 부합하는가?", "화면의 특정 수치와 모순되지 않는가?"와 같이 정밀하게 모순점을 추적하여 분석을 교정해야 함.

"그래프와 수치만 보는 AI는 데이터 뒤의 '사람(시청자)의 의도'와 '외부 환경'을 읽지 못합니다." AI의 통계 분석은 뼈대(가설)를 잡는 용도로만 참고하고, 최종 진단과 검증은 사용자가 가진 맥락과 지식으로 직접 완성해야 합니다.

정리

통계 화면을 보여주면 AI는 항상 그럴듯하게 설명한다. 문제는 그 설명이 데이터 밖의 사정, 이번 경우엔 같은 이름을 쓰는 만화 채널과 그 시청자들이 있다는 사실을 모른 채 만들어진다는 점이다. 그래서 그래프 모양과 일반론만으로 추천 알고리즘이 어떻다는 식의 단정이 나왔고, 화면에 있는 것조차 놓쳤다. AI의 분석은 가설 후보로만 쓰고, 맞는지는 내가 아는 맥락으로 직접 검증해야 한다는 걸 이번에 다시 확인했다.