AI가 좋아하는 글로 바꿨는데, 왜 추천 결과는 달라질까?

온라인에서 화장품을 파는 브랜드의 마케터라고 생각해 봅시다. 요즘 고객들이 ChatGPT에 화장품을 추천받는다는 이야기를 듣고, 자사 보습크림의 상품 페이지를 손봤습니다. 제품의 장점을 더 구체적으로 쓰고, AI가 읽기 쉽게 글의 구조도 정리했죠.

며칠 뒤 효과를 확인해 보기로 했습니다. 경쟁 제품 페이지 몇 개와 자사 제품 페이지 링크를 함께 붙여 넣고 ChatGPT에 어떤 제품이 가장 좋은지 물었더니, 자사 제품이 1위로 나왔습니다. 그런데 같은 질문을 Gemini에 하자 다른 제품이 1위에 올랐습니다. 혹시나 싶어 ChatGPT에 링크 순서만 바꿔 다시 물었는데, 이번에는 ChatGPT의 답도 달라졌습니다.

어떤 결과를 믿어야 할까요? 페이지를 잘못 고친 걸까요, 아니면 AI마다 보는 기준이 다른 걸까요? GEO(생성형 엔진 최적화)를 시작한 기업이라면 한 번쯤 부딪히는 고민입니다. 최근 나온 한 연구가 바로 이 상황을 실제 웹페이지로 실험해 봤습니다.

GEO로 고친 콘텐츠, 실제 AI 검색에서도 통할까?

GEO는 ChatGPT, Gemini 같은 AI 검색 서비스가 브랜드나 제품을 더 잘 이해하고 추천할 수 있도록 콘텐츠를 개선하는 작업입니다. 2024년 발표된 GEO: Generative Engine Optimization 논문은 콘텐츠를 어떻게 고치느냐에 따라 AI 답변에 더 자주 등장할 수 있다는 결과를 내놓았고, 이후 다양한 GEO 기법이 연구됐습니다.

그런데 이 연구들은 대부분 AI에 글을 직접 넣어주고 답변을 분석하는 방식이었습니다. 실제 검색에서는 AI가 웹페이지에 직접 접속해 내용을 읽어야 하니, 결과가 다를 수 있죠. 실험에서 잘 통한 기법이 실제 웹에서도 똑같이 통하는지는 아무도 확인하지 않은 상태였습니다.

2026년 10월 31일 공개된 LIVE-GEO 연구는 이 질문에 답하기 위해 상품 페이지를 실제 웹에 올렸습니다. 연구진은 18개 제품군에 걸쳐 가상의 브랜드 80개를 만들고, 각 브랜드의 상품 설명과 리뷰를 다섯 가지 GEO 기법으로 고쳐 원본과 함께 게시했습니다. 그다음 ChatGPT, Gemini, Grok에 이 페이지들의 주소를 알려주고 어떤 상품이 가장 좋은지 순위를 매기게 했습니다. 상품의 주요 사양은 똑같이 맞춰서, 글을 고친 방식만 결과에 영향을 주도록 했고요.

1. GEO 기법은 실제 웹에서도 효과를 보였습니다

가장 좋은 결과를 낸 기법은 'CORE'였습니다. AI가 매긴 순위를 참고해 콘텐츠를 여러 번 고쳐 나가는 방식입니다. 상품 가격 차이를 ±0.2% 안으로 맞춘 실험에서, CORE로 고친 상품이 1위에 오른 비율은 다음과 같았습니다.

출처: LIVE-GEO 논문, Table 1. 여섯 개 실험 상품(원본 1개, GEO 기법 5개) 중 CORE 방식의 상품이 1위를 차지한 비율입니다.

세 서비스 모두에서 CORE가 1위 선택률이 가장 높았습니다. 잘 고친 콘텐츠는 AI가 실제 웹페이지를 읽는 환경에서도 좋은 평가를 받을 수 있다는 뜻입니다.

나머지 네 기법은 사정이 달랐습니다. 어떤 AI가 평가하느냐에 따라 순위가 이리저리 바뀌었거든요. ChatGPT에서 잘 통한 기법이 Gemini에서도 잘 통하리라고 기대하기는 어렵다는 이야기입니다.

2. 같은 상품을 보여줘도 AI마다 고르는 게 달랐습니다

연구진은 세 AI가 같은 상품들을 평가했을 때 얼마나 자주 같은 상품을 1위로 고르는지도 살펴봤습니다. 두 서비스씩 짝지어 비교해 보니, 같은 상품을 1위로 고른 비율은 조합에 따라 48.8~66.3%였습니다. 같은 정보를 보고도 절반 가까이는 서로 다른 상품을 1위로 꼽은 겁니다.

도입부의 마케터가 ChatGPT와 Gemini에서 다른 답을 받은 것도 이상한 일이 아니었던 셈이죠. GEO 성과를 확인할 때 AI 검색 서비스 하나만 봐서는 부족한 이유입니다.

3. 같은 ChatGPT에서도 순서에 따라 결과가 달랐습니다

연구진은 ChatGPT에 같은 상품 페이지 여섯 개를 주면서, 링크를 늘어놓는 순서만 바꿔 봤습니다. 그러자 CORE로 고친 상품의 1위 선택률이 눈에 띄게 달라졌습니다.

페이지 내용은 하나도 바꾸지 않았는데, 순서만으로 최대 20%p 차이가 났습니다. 도입부의 마케터가 링크 순서를 바꿨을 때 답이 달라진 것도 같은 현상으로 볼 수 있습니다.

AI의 추천은 콘텐츠의 품질뿐 아니라 질문하는 조건에도 흔들립니다. 그래서 한 번 물어본 결과로 판단하기보다, 조건을 바꿔 가며 여러 번 확인하고 그 평균을 보는 편이 정확합니다.

4. AI로 숫자를 넣었더니, 80개 모두 검증에 걸렸습니다

GEO 관련 글을 찾아보면 '콘텐츠에 구체적인 통계와 숫자를 넣어라'라는 조언이 자주 나옵니다. 앞서 소개한 2024년 GEO 논문에서도 통계를 추가하는 방식이 가시성을 높이는 방법으로 제시됐죠.

그런데 이번 연구에서는 이 방법에 숨은 문제가 드러났습니다. 연구진이 다섯 가지 기법으로 고친 상품 설명 400개를 숫자 검증기로 확인해 봤더니, 86개에서 숫자가 맞지 않을 가능성이 발견됐습니다.

<box gap={2}> <row align="center" justify="between"> <text color="secondary" weight="medium" size="sm">숫자 불일치 가능성이 표시된 상품 설명</text> <text weight="bold">86건 / 400건</text> </row> <box background="surface-tertiary" height="12px" radius="full" clip> <row height="100%" gap={0}> <box background="#B86A39" width="21.5%"/> <box background="#B4B9C1" flex="1"/> </row> </box> <caption>전체 수정 설명 중 21.5%에 검증 표시가 붙었습니다.</caption> </box>

특히 '통계 추가(Statistics Addition)' 기법으로 고친 설명 80개는 하나도 빠짐없이 검증에 걸렸습니다. 검증에 걸렸다는 건 상품의 원래 사양과 맞지 않거나 근거를 확인할 수 없는 숫자가 들어갔을 수 있다는 뜻으로, 86개가 모두 틀린 정보로 확정된 것은 아닙니다.

그렇다고 숫자를 쓰지 말라는 이야기는 아닙니다. 조심해야 할 건 근거 없이 끼어드는 숫자입니다. 보습크림 설명에 실제 시험 결과도 없이 '보습력 35% 향상'이라는 문구가 들어갔다고 생각해 보세요. 이걸 확인하지 않고 올리면, AI는 그 숫자를 그대로 읽어 소비자에게 전달합니다. 잘못된 숫자가 우리 브랜드의 공식 정보처럼 퍼지는 겁니다.

AI로 콘텐츠를 빠르게, 많이 만드는 기업일수록 이 부분을 놓치기 쉽습니다. 숫자는 제품 사양이나 믿을 수 있는 자료로 확인한 것만 써야 합니다.

GEO는 발행한 뒤부터가 시작입니다

이번 연구를 정리하면 이렇습니다. 잘 고친 콘텐츠는 실제 AI 검색에서도 효과를 냈지만, 그 효과는 어떤 AI가 어떤 조건에서 평가하느냐에 따라 크게 달라졌습니다. 그리고 AI로 콘텐츠를 고치는 과정에서 근거 없는 숫자가 끼어드는 문제도 확인됐습니다.

물론 이 결과를 모든 브랜드에 그대로 적용하기는 어렵습니다. 실험에 쓰인 건 실제 기업이 아닌 가상의 브랜드였고, AI에 후보 페이지 주소를 미리 알려준 상태에서 정해진 상품끼리 비교했습니다. 소비자가 아무 정보 없이 질문했을 때 우리 브랜드가 발견될 확률을 잰 것과는 다르고, 순서에 따른 20%p 차이도 이 실험 조건에서 관찰된 수치입니다. 또 아직 학회 심사를 거치지 않고 먼저 공개된 논문이라는 점도 감안해야 합니다.

그래도 GEO를 운영하는 기업이 가져갈 교훈은 분명합니다. 좋은 콘텐츠를 만드는 것만큼, 그 콘텐츠가 실제 AI 답변을 어떻게 바꾸는지 확인하는 과정이 중요하다는 점입니다. 먼저 우리 브랜드가 어떤 질문에서 추천되는지 파악하고, 부족한 정보를 채운 뒤, 발행 전후의 결과를 비교해야 합니다. ChatGPT 하나만 볼 게 아니라 Gemini 등 여러 AI 검색 서비스의 변화도 함께 살펴야 하고요.

Optee AI는 이 과정을 돕는 GEO 가시성 솔루션입니다. 여러 AI 검색 서비스에서 브랜드가 어떻게 언급되는지 측정하고, 부족한 부분을 채울 콘텐츠를 만들어 배포한 뒤, 다시 측정해 변화를 확인합니다. 콘텐츠를 만들 때는 브랜드가 직접 제공한 공식 수치와 자료만 사용하고, 배포 전에는 반드시 담당자의 확인을 거칩니다. 앞에서 본 근거 없는 숫자 문제가 생기지 않도록 하기 위해서입니다.

한 번의 추천 결과에 일희일비하기보다, 몇 주, 몇 달에 걸친 변화를 지켜보세요. 그 흐름이 우리 브랜드가 AI 검색에서 실제로 어디쯤 있는지 가장 정확하게 알려줍니다.

참고 자료

1. Kong, R., et al. (2026). Do GEO Gains Survive the Live Web? Evaluating In-the-Wild Visibility Gains of Generative Engine Optimization via LIVE-GEO. arXiv:2611.01126.
   https://arxiv.org/abs/2611.01126

2. Aggarwal, P., et al. (2024). GEO: Generative Engine Optimization. KDD 2024.
   https://arxiv.org/abs/2311.09735