바다가 좋아? 산이 좋아? 비교를 통해 나은 방향으로 나아가는 A/B 테스트

테크 기업과 함께 성장해 온 A/B 테스트

서비스 개선을 위해 사용되는 유저 리서치는 사람들이 제품을 이해하고 사용하는 데 영향을 미치는 행위, 동기, 그리고 니즈를 특정 맥락 안에서 연구하는 것을 의미합니다.유저 리서치에는 사용성 테스트, 설문조사, 맥락적 조사 등 다양한 방법론이 사용되며, 이러한 방법론들은 고객의 선호도와 요구사항을 이해하는 데 중요한 역할을 합니다. 그 중 A/B 테스트는 내부 이해 관계자들의 의견 충돌, 특별한 아이디어 검증, 해결책 비교 등 다양한 상황에서 광범위하게 활용됩니다. 2000년 중반부터 시작된 테크 기업들의 혁신과 함께 발전해 왔으며, 전환 최적화에 있어서 분석 다음으로 많이 사용되는 A/B 테스트에 대해 알아 봅시다.

A/B 테스트란?

A/B 테스트는 과학에서 오래전부터 사용되어온 대조 실험과 본질적으로 동일한데, 두 그룹으로 임의로 나눈 후 각각에게 다른 시안을 제시하고 두 그룹 중 어느 그룹이 더 뛰어난 성과를 보이는지를 정량적으로 평가하는 방식입니다. 학계 연구에서는 이를 "무작위 비교 연구"라고 하며, 이러한 방법론이 인터넷 환경에 적합하게 변형되어 현재의 A/B 테스트가 되었습니다. 에어비앤비, 아마존, 이베이, 구글, 마이크로소프트, 넷플릭스, 트위터, 링크드인 등의 온라인 서비스 기업에서 널리 활용되고 있습니다.

A/B 테스트는 의견을 기반으로 결정하는 대신 수치적 결과 데이터를 활용하여 결정을 에 도움을 줍니다. 예를 들어, 회원 가입 버튼의 위치나 크기 등 CTA 요소, 본문 길이 등을 한 번에 하나씩 테스트하여 어떤 옵션이 더 효율적인지를 사용자들의 반응을 통해 알아낼 수 있습니다. 실험 그룹 A와 B를 비슷한 방문객에게 동시에 노출시켜 결과를 얻을 수 있으며, 또 다른 방법은 무작위로 선출된 방문객 절반에게 A 옵션을 제공하고 나머지 절반에게 B 옵션을 제공하여 결과를 얻을 수 있습니다. 이러한 결과를 기반으로 서비스 성능을 향상하거나 원하는 목표를 달성할 수 있습니다.

A/B 테스트는 왜 필요할까?

실무에서 A/B 테스트를 실시하는 이유에 대해 몇 가지 살펴보겠습니다.

A/B 테스트는 과감한 서비스 변화를 시도할 때 유용합니다. 서비스를 변경할 때 일부를 선택하여 미리 테스트하면 사용자의 예상 반응에 대한 데이터를 얻을 수 있어 사용자들을 멀어지게 만들거나 전환율을 급격히 떨어뜨릴 가능성을 사전에 방지할 수 있습니다.

A/B 테스트를 활용하여 새로운 콘텐츠를 만들 수 있습니다.

사용자의 경험 패턴을 분석하고 반응을 파악하여 새로운 콘텐츠를 제작하는 데 도움이 줍니다. 수치 데이터를 기반으로 하므로 보다 명확한 결정을 할 수 있습니다. 전환율, 제품 구매율, 링크 클릭율, 사이트 재방문율 등을 수치화 하여 의사 결정을 신속하게 할 수 있습니다.

대중의 반응을 예측하여 비용을 절감할 수 있습니다. 새로운 서비스를 출시하기 위해서는 많은 시간과 비용이 필요하지만, A/B 테스트를 통해 고객의 반응을 사전에 예측하여 의사 결정에 드는 비용을 줄일 수 있습니다. 또한, 유저의 좋은 경험을 유도하는 'Wow Point'나 불편함을 초래하는 'Pain Point'를 파악할 수 있습니다.

A/B 테스트는 어떻게 진행할까?

A/B 테스트는 주기적인 프로세스로 앞서 3단계를 반복하며 가설수립-실험진행-결과분석으로 진행됩니다.

1. 가설 세우기

가설을 기반으로 어떻게 실험을 진행할지 결정합니다. 가설을 세우고 실험을 통해 결과를 얻는 반복되는 사이클 속에서 A/B 테스트 특성상 목표를 향해 곧장 달려나갈 수도 다양한 루트로 숲 속에서 헤매는 루트로 갈수 있기 때문입니다.

가설을 세울 때는 발견한 핵심적인 아이디어와 함께 어떤 요소를 어떤 방식으로 바꿔서 어떤 지표로 바꿀 것인지 특정해야 합니다.

가설을 세우는 과정은 3단계로 구성됩니다.

첫째, 데이터를 수집해야 합니다. 애널리틱스를 사용하여 인사이트를 얻을 수 있으며, 낮은 전환율이나 높은 이탈률을 가진 페이지를 살펴볼 수도 있습니다.

둘째, 목표를 명확히 정의해야 합니다. 기존안과 변형안이 더 성공적인지 아닌지 결정 할때 사용할 수 있는 지표로, 버튼 클릭부터 이메일 구독 및 제품 구입까지 다양합니다.

마지막으로, 정보 탐색을 통해 정보와 근거 자료를 수집하여 문제에 대한 이해를 높이고 검증 가능한 가설을 설계합니다. 이 과정에서 다양한 영역을 고려하여 가설을 좁혀 나가는 것이 좋습니다. 이런 방식으로 진행하면 목표에 기여할 수 있는 검증 가능한 가설을 설계할 수 있습니다.

예를 들어, 회원가입 과정에서 한 페이지에서 이름과 이메일 주소를 함께 받는 경우 이탈률이 50% 이상 측정되었다고 가정해 봅시다.

이때, 이탈률이 높아지는 원인을 고려하여 문제를 해결하기 위한 가설을 세울 수 있습니다. 어떤 요소를 어떻게 변경하면 원하는 결과를 얻을 수 있는지를 명확히 정의해야 합니다.

위의 예시에서는 '한꺼번에 많은 정보를 요구하기 때문에 이탈률이 높다.'라는 문제를 고려해 보겠습니다. 이를 해결하기 위해 “이름을 먼저 입력받고, 다음 페이지에서 이메일 주소를 입력받는 방식으로 회원가입 퍼널을 변경하면 가입률이 높아질 것이다'라고 가설을 세울 수 있습니다.

가설 수립 단계에서 데이터를 어떻게 수집할지도 고려해야 합니다. 이런 가설을 통해 회원 가입률이 어떻게 추적될지 미리 알아두는 것도 중요합니다.

이것이 문제를 해결하기 위한 첫걸음이며, A/B 테스트를 통해 문제를 검증할 수 있습니다.

좋은 가설을 만드는 3가지 방법론도 살펴보겠습니다.

• - 과감한 가설 세우기

  
  

  가설을 세울 때 변화가 미미한 가설을 세우기보다 영향력이 있는 문제나 기회를 골라 기존에서 크게 변한 솔루션을 제시할 수 있는 가설을 세워야 합니다. 한두 군데씩 차근차근 검증하는 것보다 크게 바꾸고 디테일을 고쳐나가는 것이 시간과 비용 측면에서 효율적입니다.

• - 단단한 가설 세우기

  
  

  기존의 정보나 설문조사, 인터뷰, 사용성 테스트를 통해 얻어낸 확실한 정보들을 바탕으로 가설을 세워야 합니다. 다방면에서 수집한 정보로 가설에 확신이 있기에 실패를 차분히 진단하고 정확한 문제를 짚어 해결할 수 있기 때문입니다.

• - 준비된 가설 세우기

  
  

  AB 테스트의 결과는 주로 성공, 실패, 또는 변화 없음으로 구분됩니다. 그러나 과감한 가설을 세운 것이 아니라면, 명백하고 극적인 성공 또는 실패는 드문 편입니다. 때로는 AB 테스트를 열심히 진행해도 의미 없는 결과가 나올 수 도있지만 시야를 확대하면 인사이트를 발견할 수 있습니다. 그러므로 항상 모든 결과에 대비할 수 있도록 준비해야 합니다. 데이터를 수집하고, 다음 단계를 고려하는 것만으로도 변화 없는 결과에서도 유용한 교훈을 얻을 수 있습니다.

2. 실험 진행

실험은 가설을 바탕으로 진행됩니다. 실험은 주로 분기, 구현, 그리고 지표 추적 단계로 나뉩니다.

분기는 가설에 따라 트래픽을 원본 A와 대안 B로 분리하는 과정입니다. 이때 중요한 점은 각 대안에 명확한 변수를 적용하는 것입니다. 데이터가 섞이지 않도록 주의해야 합니다. 예를 들어, 랜딩 페이지의 회원가입 퍼널 단계를 개선하기 위해 AB 테스트를 진행하고 있다고 가정해 봅시다. 이때, 랜딩 페이지 실험이 끝난 후에 회원가입 퍼널 실험을 진행하는 것이 바람직합니다.

구현 단계는 분기된 트래픽에 각각의 대안을 적용하는 과정입니다. 가설과 무관한 데이터가 포함되지 않도록 신중하게 대안을 구현해야 합니다.

마지막으로, 지표 추적은 AB 테스트 툴에 따라 다양한 방식으로 수행됩니다. 구글 옵티마이즈, 허브스팟, VWO, 옵티마이즐 리, 언 바운스 등의 툴을 사용한다면 해당 툴에 맞는 지표 추적 방식을 따르는 것이 좋습니다.

3. 결과 분석

결과 분석은 AB 테스트의 마지막 단계입니다. 테스트를 진행하면서 수집된 데이터인 참여도, 전환 수, 종료율, 이탈률 등을 정리하고 분석하는 작업이 필요합니다. 테스트가 진행됨에 따라 데이터가 점차 축적되는데, 이때 문제가 없는지 주의 깊게 확인해야 합니다.

테스트를 너무 빨리 종료하면 데이터가 충분하지 않아 우연에 의한 결과로 해석될 수 있으므로, 의미 있는 결과를 얻기 위해서는 충분한 시간 동안 테스트를 진행해야 합니다.

결과를 분석할 때는 통계적 유의성을 고려해야 합니다. 다시 말해, 어떤 결과가 우연히 일어난 것인지 아니면 실제로 의미 있는 것인지를 확인하는 것입니다. 일반적으로 95% 신뢰 수준에서 유의한 결과로 간주합니다.

가설 수립부터 실험 설계, 진행에 지표를 확인하는 것까지 AB 테스트 과정이 마무리되었습니다. AB 테스트를 통해 의미 있는 결과로 다이나믹한 변화를 서비스에 반영하고 싶지만, 실제로는 그렇지 않은 경우가 많습니다.

대부분 10% 이상의 개선이나 유효한 차이를 보이지 못하고 실험이 종료되기 때문에, AB 테스트를 최대한 자주 실행하는 것이 매우 중요합니다.

이를 통해 AB 테스트의 본질을 이해하고, 테스트를 진행하는 데 가장 중요한 요소를 파악할 수 있습니다.

그리고 단순히 최종 지표에 차이가 없다고 해서 모든 테스트 결과가 의미가 없는 것은 아닙니다. 전환율이 개선되지 않았더라도, 다음 AB 테스트를 위한 유용한 가설을 제공하는 경우가 있기 때문입니다.

예를 들어, 이름과 이메일 주소 입력란을 두 화면으로 분리한 대안을 고려해 봅시다. 이 대안의 회원 가입률은 원본과 큰 차이가 없지만, 상세히 살펴보면 다른 부분을 발견할 수 있습니다. 이름 입력 단계의 이탈률은 10%가 안 되지만 이메일 주소 입력 단계는 45%에 달합니다. 결국 문제는 이메일 주소 입력에 있었다는 사실로, AB 테스트를 진행하지 않았더라면 몰랐을 겁니다.

AB 테스트가 끝나더라도 그 결과가 나온 이유를 더 깊이 파악해야 합니다. AB 테스트는 사용자 행동의 변화에 대한 근본적인 이유를 제시하지 않으므로, 이를 이해하기 위해 사용자 인터뷰 등의 정성적인 분석 방법을 활용해야 합니다. 이를 통해 입증된 가설을 바탕으로 지속해서 서비스를 개선하고, 사용자에게 사랑받는 서비스를 제공할 수 있습니다.

A/B 테스트가 가능한 툴

시중에는 각자 다른 초점과 기능을 갖춘 A/B테스트 용 툴이 많이 있습니다. 대표적인 트래킹 툴 로 구글 애널리틱스(GA), 엠플리튜드, 믹스패널, 뷰저블, 옵티마이즐리가 있습니다.

Google Analytics

구글 애널리틱스는 웹사이트 및 앱에서 트래픽과 참여도를 측정할 수 있는 분석 서비스로, 가장 기본적인 트래킹 툴입니다. GA를 이용해 페이지에 추적 코드를 설치하게 되면 사용자가 어떤 경로를 통해 들어오며 어떤 액션을 수행했는지 관련된 데이터들을 수집하고 분석하며 보고서를 생성할 수 있습니다.

Mixpanel

믹스패널은 퍼널마다 사용자가 어떤 행동을 취했는지 퍼널 분석이 가능한 것이 가장 큰 특징입니다. 가벼운 설치와 사용이 가능하며 웹 및 모바일 앱용 SDK를 제공, 실시간 데이터 분석으로 다양한 사용자 행동을 추적하고 이를 차트 및 그래프 형태로 빠르고 쉽게 시각화하여 제공합니다. 이 때문에 개발 지식 없이도 데이터를 쉽게 뽑아 볼 수 있습니다.

옵티마이즐리

온라인 비즈니스에서 AB 테스트를 하는 데 있어 필수적인 도구 중 하나로 전략적인 분석과 의사결정을 할 수 있도록 돕는 툴입니다. 이를 통해 사용자 경험 개선, 성능 향상, 새로운 프로세스 및 전략의 실험 등 비즈니스 성장에 도움을 줄 수 있습니다.

옵티마이즐리는 레퍼럴, 타겟팅, 개별 유저 분석 등 다양한 기능을 제공하여 사용자의 퍼포먼스를 분석하고 최적의 결과를 찾아낼 수 있도록 도와줍니다.

그 외 AI를 활용한 A/B 테스트 툴도 살펴보겠습니다.

그루비 AI

전환 손실을 최소화하고 전환 기회를 최대화하는 것이 AI를 활용한 그루비 AI의 핵심 입니다. 기존의 A/B 테스트는 A안과 B안을 동일한 비율로 테스트하는 반면, AI를 활용한 A/B 테스트는 전환율에 따라 A안과 B안의 노출 비율을 동적으로 조정합니다. 즉, A안의 전환 성과가 높아지면 A안의 노출을 늘려 전환 수를 최대화하는 시안을 찾아줍니다.

abtesting

A/B 테스트는 주기적인 프로세스로 가설 설정, 실험 진행, 결과 분석 3단계 프로세스를 반복해야 합니다. AI를 활용하면 알고리즘을 활용하여 반복적인 프로세스를 자동화할 수 있습니다. 실험을 진행할 때 통계적으로 유의미한 수준에 도달하면 가장 효과적인 변형을 자동으로 선택하고 이를 혼합 및 변형하여 다음 배치를 실행합니다. 또한, URI를 불러오면 테스트를 제안할 뿐만 아니라 색상, 이미지, 기타 요소도 자유롭게 교체할 수 있습니다.

A/B 테스트의 장단점

장점

1. 데이터를 기반으로 최소 비용으로 최대 효과를 내는 의사결정이 가능합니다.

   A/B 테스트는 그로스 해킹 기법 중 하나로, 사용자 데이터를 기반으로 실험을 통해 가설을 검증하고, 이를 토대로 의사결정을 내릴 수 있도록 도와줍니다. 대부분의 경우 웹사이트나 디지털 채널에서 이루어지며, 소규모의 사용자 그룹을 대상으로 하기 때문에 비용이 비교적 저렴합니다.

2. 사용자의 새로운 아이디어와 혁신에 대한 반응을 직관적으로 확인할 수 있습니다.

   A/B 테스트는 다양하고 새로운 아이디어를 직접 실험하고 검증하는 방법입니다 빠르게 변화하고 혁신하는 비즈니스 모델을 구축 할 때, A/B 테스트가 다양한 아이디어와 전략을 실험하는 데 큰 도움이 됩니다. 이를 통해 새로운 기능 및 디자인 변화에 대한 효과와 사용자의 반응을 신속하게 파악할 수 있습니다.

3. 실제 상황에서 고객의 실제 행동을 측정할 수 있기 때문에 시장 적응력을 강화할 수 있습니다. 짧은 실행 주기와 작은 규모로 반복되는 테스트를 통해 얻은 고객의 반응을 수집하여, 추후 다른 상품이나 페이지 디자인에도 반영할 수 있습니다. 이를 통해 전반적인 전략을 시장에 맞춰 최적화하는 데 큰 도움이 됩니다.

단점

1. 테스트를 자주 진행하면 단기적으로 손해가 발생할 수 있습니다. 예를 들어, 서비스 개발에서 구매 전환율이 높은 상품 이미지를 알아보기 위해 A/B 테스트를 계획했다고 가정해 봅시다. 2주 동안 전체 방문자를 50:50으로 나누어 기존 이미지와 새 이미지를 보여주려 했으나, 테스트 초기에 새 이미지를 본 집단에서의 매출이 기존에 비해 낮다는 결과가 나온다면 계획한 2주간의 테스트를 완료하는 것은 매출 손실을 감수해야 하는 상황이 됩니다.

2. A/B 테스트의 결과는 시간이 지나면 변할 수 있습니다. 작년 겨울에 한 A/B 테스트 결과가 현재에도 유효한지는 확신할 수 없습니다. 시간이 지나면 소비자의 취향이나 트렌드가 변화할 수 있으며, 확실성을 유지하기 위해서는 지속적인 실험을 반복해야 하지만 비용과 관련하여 고려해야 할 점이 있습니다.

3. A안과 B안 중 소비자의 반응을 이끌어내는 시안의 이유를 알기 어렵습니다. 따라서 다른 리서치 방법을 이용해야 합니다. 예를 들어, 진행자가 있는 사용성 테스트를 진행해 참가자들이 어떤 부분에서 만족하고 만족하지 못하는지 의견을 수렴해야 합니다.

A/B 테스트가 중요한 이유

1. A/B 테스트는 작은 요소의 디자인부터 서비스 설계까지 다방면에서 활용 합니다.

   사용자 테스트에서 잠재적 사용자들에게 새로운 아이디어가 필요한지에 대한 근거를 찾을 때, 사용성 테스트는 사용자들이 서비스를 목적에 맞게 잘 사용하는지 서비스 전반에 걸쳐서 사용 할 수 있으며, 그 외에도 디자인, 마케팅, 개발 등 다양한 분야에서도 많이 사용 되기 때문에 알아 두면 유용합니다.

2. A/B 테스트는 반복 프로세스로, 실험을 반복하며 제품을 개선하면 이 효과는 복리처럼 계속 누적됩니다. 페이지의 버튼을 a안에서 b안으로 일부 바꿨더니 전환율이 10% 올랐다고 해서 그걸 다 시안을 바꿨기 때문이라고 할 수 는 없지만 결과적으로는 전환율이 10프로 올랐다는 이익이 생겼습니다. 이처럼 ab 테스트를 통해 매달 5%씩 지표를 향상시킬 수 있다면 단순 계산으로 1년간 80%의 개선이 이루어지는 결과가 나오는 거처럼, 서비스가 개선될 것입니다.

3. 두 개의 잠재적 해결책 사이에서 결정을 내려야 할 때 수치적 데이터를 활용해 직관적으로 판단을 할 수 있습니다. 서비스와 목표에 따라 어디에 초점을 두어야 하는지가 다르므로, 해당 테스트 결과를 통해 의견이나 직감이 아닌 수치적 데이터를 활용해 설득력을 가지고 선택할 수 있습니다.

A/B 테스트를 활용한 사례 2

1. 삼쩜삼

   
   

   삼쩜삼은 셀프 세금 신고가 어렵거나, 세금 신고 의뢰 비용이 부담스러운 분들을 위해 쉽고 편리하게 종합소득세, 부가가치세 신고 도움 서비스입니다.

   삼쩜삼의 앱을 스토어 내에서 설치하여 앱 설치까지 유도하는 것을 목표로 A/B 테스트를 진행했습니다.

   
   

   하지만 문제는 이전의 여러 실험을 고려했을 때, 사용자가 crm 링크를 눌러도 앱 스토어 설치로 이어지는 비율이 높지 않다는 것이었습니다.

   그래서 앱스토어 제공하는 기능으로, 많은 리소스를 들일 필요 없이 빠르게 만들고 적용 가능한 맞춤형 제품 페이지를 활용하여 실험을 했습니다. 기존안:삼쩜삼 전반을 소개하는 이미지들로 구성, A안 삼쩜삼 메인 홈 화면과 머니가드에 대한 이미지들로 구성 B안 머니가드에 대한 이미지들로 구성하여 A/B 테스트를 했습니다.

   그 결과, 특히 crm과 연관된 정보를 가장 앞 순서로 뺀 B 안의 효율이 가장 높다는 것을 확인할 수 있었습니다.

   앱스토어의 이미지와 순서만 약간 변경했을 뿐인데 기존 안보다 2배가 넘는 사용자가 앱을 설치하는 매우 좋은 성과를 얻을 수 있었습니다.

   이후 삼쩜삼 내 다양한 프로덕트에서 맞춤형 제품 이미지를 도입하고 있습니다.

   
   

2. 넷플릭스

   
   

   넷플릭스는 각종 수상 경력에 빛나는 시리즈, 영화, 애니메이션, 다큐멘터리 등 다양한 콘텐츠를 인터넷 연결이 가능한 수천 종의 디바이스에서 시청 가능한 서비스입니다.

   해당 기업은 UI 디자인은 물론 인코딩 품질이나 페이지 로드 시간 등 거의 모든 부분을 AB Test를 통해 개선하고 있습니다.

   넷플렉스는 랜딩 페이지에서 클릭률을 높이기 위한 A/B 테스트를 진행했습니다.

   
   

   랜딩 페이지 중앙에 위치한 CTA 버튼 하나를 두고 ‘JOIN NETFLIX’, ‘JOIN NOW’, ‘TRY IT NOW’ 등의 CTA *MVT와 무료 체험 기간(7일, 14일, 30일) MVT등의 여러 카피를 실험하였습니다.

   테스트를 하니, CTA MVT의 경우 CTA에 ’30일간 무료로 체험하세요’보다 ‘시작하기’ 카피를 적용했을 때 클릭률이 더 높았습니다.

   그 결과, 넷플릭스의 랜딩 페이지 CTA는 간결하고 직관적인 'TRY IT NOW(시작하기)'로 구현하였습니다.

마치며

AB 테스트는 현대적인 비즈니스에서 필수적인 도구로 자리매김하고 있습니다. 데이터 기반의 의사결정을 통해 사용자 경험을 지속해서 개선하고, 비즈니스의 성과를 향상시키는 AB 테스트는 실무에서 매우 유용하게 활용될 수 있습니다. 하지만 단순히 AB 테스트를 진행하는 것보다는 효율적으로 계획하고 실행하는 것이 중요합니다. 테스트 결과를 신속하게 분석하고 이를 바탕으로 조치를 취하는 것이 성공적인 AB 테스트의 핵심입니다. 이러한 노력을 통해 지속적인 성장과 혁신을 이끌어내는 데 도움이 되기를 바랍니다.

참고

• https://ko.wikipedia.org/wiki/A/B_%ED%85%8C%EC%8A%A4%ED%8A%B8
• https://tech.kakaopay.com/post/kakaopay-growth-platform-abtest/
• https://datarian.io/blog/a-b-testing
• https://brunch.co.kr/@lulina724/33
• https://yozm.wishket.com/magazine/detail/1327/
• https://brunch.co.kr/@uxuxlove/255
• https://www.waveon.io/blog/ab_test
• https://datarian.io/blog/a-b-testing
• https://brunch.co.kr/@3o3design/7
• https://goodui.org/leaks/netflix-a-b-tests-and-rejects-free-trials/
• https://www.dmcreport.co.kr/contentview?dr_code=DMCIRP20190018
• https://brunch.co.kr/@groobee/1
• https://abtesting.ai/?via=takeo
• (책) UX를 위한 사용자 조사의 모든 것 유저리서치 스테파니 마시 지음