[생각 노트] 구글 검색은 죽어가고 있다 - 검색의 미래

Google Search Is Dying

(There is good discussion on this article on Hacker News and Reddit)

DKB BlogDmitri Brereton

2022년 2월, HackerNews와 Reddit을 뜨겁게 달군 글이 있다. "Google Search is Dying."이라는 다소 자극적인 제목의 글로 왜 최근에 구글 검색 결과가 망가지고 있는지 다루고 있다.

한국에서도 유튜버 코딩 애플이 같은 문제를 다룬 바 있다.

구글 검색은 왜 망가지고 있을까?

필자도 구글 검색을 사용하다 보면 검색 결과에 사람들이 정성 들여 쓴 글보다, 광고 혹은 단순히 키워드만 나열한 글들이 상위에 자주 노출되는 것을 느낀다.

어느 순간부터 사용자들은 구글 검색을 통해 더 이상 원하고 유용한 정보를 손쉽게 찾는 것이 아닌, 불필요한 광고와 스팸 글을 걸러내느라 지쳐가고 있다고 한다.

그렇다면 구글 검색은 왜 망가지고 있을까?

"Google Search is Dying"의 저자는 구글 검색의 악화 원인으로 광고, SEO, 그리고 AI를 지목한다. 광고 효율을 극대화하기 위해 저품질 검색 결과가 포함되고 있으며, 높은 검색 순위를 얻기 위한 SEO의 영향으로 가치 없는 콘텐츠가 대량 생산되고 있다고 주장한다.

구글의 창업자인 Sergey Brin과 Lawrence Page은 1998년에 구글 검색 엔진의 핵심인 PageRank를 소개한 논문 "The Anatomy of a Large-Scale Hypertextual Web Search Engine"에서 다음과 같은 지적을 하였다.

요약하자면 광고 비즈니스 목표와 고품질의 검색 결과라는 목표는 항상 일치할 수 없으며, Advertising funded search engines는 결국 소비자의 요구 사항인 검색 결과의 품질과 멀어질 수 밖에 없다는 점을 지적한다.

창업자들의 우려가 현실이 된 듯 마냥, 논문이 출간되고 약 20년 뒤인 2019년에 구글 검색을 둘러싼 내부 경영자들의 논쟁을 다룬 글 The Man Who Killed Google Search 에서는 구글 검색의 광고 수익을 끌어올리기 위해 다음과 같은 업데이트를 진행하였다고 주장한다. (⚠️ 물론 해당 글에서 다루는 내용이 100% 사실이 아닐 수 있습니다.)

The Man Who Killed Google Search

Wanna listen to this story instead? Check out this week’s Better Offline podcast, “The Man That Destroyed Google Search,” available on Apple Podcasts, Spotify, and anywhere else you get your podcasts. This is the story of how Google Search died, and the people responsible for killing it. The story begins

Ed Zitron's Where's Your Ed AtEdward Zitron

1) 검색 결과에서 스팸과 저품질 글을 필터링하는 기능을 약화시킴.
2) 광고 링크와 일반 검색 링크를 비슷하게 보여지도록 함.

즉, 검색 광고 수익을 높이는 목표를 달성하기 위해 검색 결과의 품질과 타협하였다고 주장한다.

내부 팀의 정확한 사정과 진실은 누구도 알 수 없겠지만, 이처럼 구글이 검색 품질과 광고 수익 사이에서 많은 고민을 하고 있다는 점은 분명하다.

인터넷이 망가지고 있다.

사실상 구글은 인터넷을 탐색하는 창구일 뿐, 구글이라고 일부러 저품질의 검색 결과를 보여주고 싶은 것은 아닐 것이다. 근본적으로는 우리의 인터넷이 망가지고 있다는 시각도 존재한다.

"Be part of a better internet"에서 미디엄 팀은 인터넷이 점점 광고, 스팸, 잘못된 정보, 분열, 증오로 넘쳐나고 있고, 인터넷이 망가지고 있다고 주장한다.

Be part of a better internet

The internet is broken. Fixing it won’t be free.

The Medium BlogTony Stubblebine

위 문제의 근본적인 이유로 가능한 한 많은 사람들의 시선을 끌기 위해 대량의 값싼 저품질의 컨텐츠를 만드는 일에 집중하는 인터넷 상의 광고의 경제적 인센티브가 유효한 점을 꼽는다. 다시 말하면 비싼 돈 들여 양질의 컨텐츠를 제공하는 것보다, 저품질의 컨텐츠를 양산하는 것이 돈이 되는 구조인 것이다.

위 문제의 대안으로 미디엄 팀은 별도의 광고 수익 없이 이용자가 직접 컨텐츠 제공자에게 비용을 지불하는 생태계를 제안하기도 하였다.

Generative AI + Search의 등장

2023, 24년의 화두는 단연 ChatGPT와 Gemini로 대표되는 Generative AI이다. 그리고 사용자에게 쉽고 빠르게 원하는 정보를 제공하는 AI + Search 제품들도 많은 주목을 받았다. 이들은 외부 Search Tool을 LLM에 연동함으로써 AI 제품의 고질적인 문제점인 할루시네이션과 최신 정보 부재를 (어느 정도) 해결한 것이 특징이다.

사용자들은 궁금한 내용을 사람에게 질문하듯이 서비스에게 물어봐도, LLM이 알아서 필요한 자료를 수집하고 정리해서 알기 쉽게 설명해준다. 기존에는 웹페이지를 일일이 들어가서 원하는 내용을 찾고, 불필요한 내용들을 거르고 정리하는 일련의 작업들을 AI가 대신하게 된 것이다. 더불어 지금까지 사용자들을 괴롭힌 광고나 스팸 없이 오로지 원하는 정보 만을 깔끔하게 정리해서 받아볼 수 있다. (아직까지는!)

앞서 지적한 광고와 저품질 컨텐츠로 인한 '검색의 피로'를 해소해 준 것이다.

그리고 이와 같은 서비스는 비단 AI 스타트업 뿐만이 아닌 Google과 Naver와 같은 전통적인 검색 엔진 회사들도 앞다투어 뛰어들고 있다는 점이 흥미롭다.

Generative AI + Search가 앞으로의 미래일까?

하지만 AI가 진정으로 우리의 검색 경험을 더욱 끌어올리기 위해서는 넘어야 할 몇 가지 장애물이 있다고 생각한다.

1) Garbage In - Garbage Out

나쁜 품질의 데이터를 넣으면 나쁜 결과가 나온다는 "Garbage In - Garbage Out"은 ML 엔지니어 사이에서 일종의 격언처럼 내려오는 말이다. 이는 지금 LLM 시장에도 똑같이 적용된다. 특히 열린 환경의 정제되지 않은 인터넷 상의 데이터들은 AI 모델의 할루시네이션, 차별, 부적절한 답변 등의 위험성을 훨씬 크게 높인다.

실제로 이번에 출시한 OpenAI-o1의 System Card를 살펴보면, Data Partnership을 맺어 독점적으로 데이터를 공급 받거나, 자체 구축한 Data Filtering Process 거치는 등 LLM Provider들도 위와 같은 문제점을 피하기 위해 각고의 노력을 거치는 것을 볼 수 있다.

하지만 AI가 망가진 인터넷 세상의 방파제 역할을 언제까지 충실히 수행할 수 있을지는 모른다고 생각한다.

아무리 AI가 수준 높은 학습 단계를 거친다 한들, 실제 서비스로 출시되었을 때 Real-world 상의 다양한 인터넷 상의 데이터와 시나리오들을 모두 대응할 수는 없을 것이다.

관련한 사례와 근거는 조금 더 정리해서 또 다른 글로 작성해보고자 한다.

2) AI Search와 광고 비즈니스의 결합

기업들은 땅 파서 장사하는 것이 아니다. 이는 AI 검색 시장도 마찬가지라 생각한다. 현재는 대부분의 AI Search 서비스에서 부분 유료 및 구독제 (i.e., Perplexity Pro, ChatGPT Plus) 수익 모델을 채택하고 있다. 하지만 AI 검색 시장이 커지고, 성숙해짐에 따라 CPC (Cost Per Click) 혹은 PPC (Pay Per Click) 검색 광고 모델과의 융합은 필연적이라고 생각한다.

개인적으로 검색어 기반 CPC 모델이 성공할 수 있었던 요인은 두 가지라고 생각한다.

1) 검색어 기반의 효율적인 잠재 고객 타겟팅

2) 성과 기반의 비용 지출 구조

위 요소들은 생성형 AI와 결합했을 때 더할 나위 없는 시너지를 발휘한다고 생각한다.

예를 들어 어떤 사용자가 아래와 같이 질문을 했다고 가정해보자.

이때 사용자의 질문 의도에 딱 맞는 휴대성도 좋고, 색도 튀지 않는 제품을 광고로 노출시킬 수 있다면? 이보다 매력적인 광고 상품은 없다고 생각한다.

아래 그림은 알파벳의 수익 구조를 도식화 한 것이다. 23년 말에도 검색 광고 수입이 압도적인 것을 볼 수 있다. 해당 파이를 AI 검색 시장에 성공적으로 편입 시키는 것이 기업들에게 주어진 주요한 과제라고 생각한다.

하지만 우려되는 점도 있다. 앞서 살펴 보았듯 검색 + 광고의 결합은 언제든지 검색 품질을 떨어뜨리고 벗어나 과도한 광고와 스팸성 글로 오염될 가능성이 존재한다고 생각한다. 광고와 검색의 적절한 균형점을 찾는 것도 중요한 과제가 될 것이다.

3) 원 저작자에 대한 동기 부여와 보상

AI 검색 시장이 활성화될수록 사용자들은 더 이상 정보의 원래 출처에 접속하는 대신 AI가 정리한 결과물만을 보게 될 것이다. 물론 대부분의 서비스에서 검색 결과에 참고한 링크를 첨부하기는 하지만, 링크를 직접 타고 원작자가 누구인지 확인하는 사용자가 얼마나 될지는 의문이다.

그렇다면 이때 원 저작자에 대한 기여와 보상을 어떻게 측정하고, 보상을 제공할 것인가? 스마트폰과 같은 디지털 기기의 활성화로 전통적인 종이 책 출판 업계에 큰 변화의 바람이 불고 있듯이, AI 검색의 활성화로 충분히 지금의 Content Provider의 역할과 방식이 변화할 수 있다고 생각한다.

4) Echo Chamber Effect & Filter Bubble

Echo Chamber Effect (반향실 효과)란 한정되고 고립된 공간에서 자신이 선호하는 특정 사상이나 관점만을 반복적으로 되풀이하여 수용하는 현상을 의미한다.

비슷한 개념으로 Filter Bubble이 있는데 사용자의 성향에 맞게 맞춤형으로 필터링하고 가공한 정보만을 제공함으로써, 사용자가 선호할만한 결과물만 사용자에게 제공하고 추천하는 것을 의미한다.

가치 중립적인 AI를 만들기 위해 많은 사람들이 노력하고 있지만, 사실 특정 목적이나 선호에 맞게 AI를 튜닝하는 것도 크게 어려운 일이 아니라고 생각한다.

그것이 선한 목적이든, 악한 목적이든 간에 우리가 AI가 정리해주는 결과물의 편리함에 길들여져, 알게 모르게 비판적으로 사고하는 힘을 빼앗기고, 특정 편향에 빠지지 않을지는 충분히 고민해보아야 할 문제라고 생각한다.

본질적으로는 우리의 '검색 경험'에 대해서 깊이 파고드는 것이 중요하다고 생각한다.

어떤 사용자들은 원하는 정보를 정확하고 빠르게 찾는 것에 집중할 수 있는 반면, 또 다른 누군가는 Surfing하듯이 다양한 정보와 이야기를 유영하고, 음미하는데 더욱 흥미를 느낄 수 있는 것이다. 정해진 정답은 없다고 생각한다. 이들을 면밀하게 분석하고, 불편함을 해결할 수 있는 AI 서비스로 발전 시켜야 한다. 가장 중요한 것은 우리의 '삶'에 '기술'을 맞추어야지, '기술'에 우리의 '삶'을 맞추는 실수를 범해서는 안된다고 생각한다.

Open Question

1. 사람들로 하여금 '검색'하게 하는 이유, 원동력은 무엇일까?
2. 앞으로 생성형 AI 시장에서 광고 비즈니스는 어떻게 성장할까?
3. 가치 중립적인 AI가 과연 존재할까? 만들 수는 있는 것일까?

감사합니다 😊