에드윈 블로그

소비경험과 사용자경험은 어떻게 연결될까?

나는 소비자학을 공부하며 사용자경험에도 관심을 갖고 있다.

사용자경험은 애초에 내가 소비자학을 선택한 이유이기도 했으나 공부하며 둘은 조금 다른 분야라는 것을 알게 되었다

가장 큰 차이는 둘은 교집합이 있지만 분명 여집합이 존재한다.

즉, 소비자 = 사용자가 아닐 수 있다.

대표적인 예가 선물할 때이다.

선물은 주는 사람이 소비하지만 사용하는 사람은 받는 사람이다.

이처럼 둘은 다른 모집단을 갖는다. 하지만 그럼에도 둘은 더 큰 교집합을 공유한다고 생각한다.

이는 각자가 무엇을 위해 소비하는 지를 생각해보면 쉽다.

우리는 우리 스스로를 위해 지불하는 비용이 가장 크다. 그리고 경우에 따라 사용자를 공유하기도(소유주와 사용자가 다른 부동산의 경우) 하지만 소비자가 주로 메인 사용자가 되며 일상적으로 이뤄지는 소비일수록 더욱 그렇다.

그렇다면 소비자학과 사용자경험 분야는 어떻게 연결될 수 있을까?

흔히 경험관점에서 CX, BX, UX를 나눌 때 크기에 관한 등식에서 이런 식이 성립한다.

BX > CX > UX

물론 세 개념은 포함관계로 설명된다.

왜 이것이 가능할까?

소비자학 관점에서 볼 때, 소비는 단순히 돈이 지불되는 상황만을 의미하지 않는다.

소비자 의사결정 과정은 문제인식에서 출발하며, 이는 사용 후 평가까지 포함한다.

또한 소비란 구매가 아닌 구매 후 사용과 처분의 과정을 포함하고 있다.

whatilearned.tistory.com/27

그럼 이쯤에서 이렇게 생각할 수 있다.

소비자학 관점에서 사용자경험 분야를 모두 설명할 수 있는가?

요새는 돈을 내지 않고도 쓸 수 있는 서비스들을 생각해보자.

대표적으로 플랫폼 서비스들이 있다.

우리는 네이버를 사용하고 인스타그램을 사용하지만

사용료를 지불하지 않는다.

물론 이러한 비즈니스를 하는 기업입장에선 앱서비스 내 체류하는 시간이 곧 수익이다.

"If you're not paying for the product, then you are the product"

- 소셜딜레마, 넷플릭스 -

그러나 사용자입장에선 이는 돈을 지불한다는 것과 동일한 고통(?)을 공유하지 않는다.

그럼 다시, 이 경우 소비자학과 사용자경험은 어떻게 연결되는가?

나는 다음과 같은 것들을 생각해봤다.

• 동기이론에 대한 지식들을 사용자 경험의 동기 단계에서 활용할 수 있지 않을까
• 라이프스타일에 관한 지식들을 사용자 분류에 활용될 수 있지 않을까
• 소비자조사방법론과 사용자경험조사방법론은 상당 부분 공유되고 있다

그리고 또 한가지 재밌는 분야는 위 두가지의 중간(?)이라고 할 수 있는 분야인 것 같다.

바로 공유경제, 경험소비이다.

소비자는 지출을 하지만

이전보다 지출하지 않는다.

또 소비자들은 경험을 먼저하고 지출하기도 한다.

대표적으로 렌탈서비스이다.

예를 들어 쏘카나 그린카

분명 이것은 차를 쓸 수 있게 하지만,

차를 살 때만큼의 의사결정과정이 요구되지 않는다.

이러한 차량공유 서비스를 자주 이용하는 입장에서 확실한 건 분명 차 살때 이것보단 더 많이 고민할 것 같다는 것이다.

본인의 경우

• 돈의 차이가 만들어낸 의사결정의 차이일 수 있으나, 어떠한 상황이냐에 따라서도 소비여부가 결정되며 사용성에 대한 기대를 형성한다.
• 그리고 사용여정에서의 사용성이 이후 소비를 결정하는 데 영향을 미친다.

따라서 둘은 매우 큰 교집합을 공유하는 관계라고 정리할 수 있을 것 같다.

그리고 앞으론 사용자경험이 소비를 결정하는 분야가 많아질 것이다.

중요한 것은 후자라고 생각한다. 우리가 매장을 둘러보다가도 별로 인 것처럼 보이면 사지 않듯이(진열에 따라 매출량이 달라진다는 것을 생각할 수 있다) 온라인 소비가 늘어나는 시점에서 사용자경험은 바로 오프라인에서 이러한 경험으로 치환하여 생각할 수 있다. 따라서 앞으로 사용자 경험은 소비를 여는 중요한 포인트가 될 것이다(이미 그렇게 되고 있지만!)

www.briansolis.com/2018/03/brands-future-critical-relationship-bx-cx-ux-ux/

dbr.donga.com/article/view/1101/article_no/4994

20201107

구글 플레이스토어에 심리상담을 검색하면 나오는 최상단에 나오는 앱 2개

트로스토 vs 마인드카페 

뭐가 다를까?

앱을 어떻게 설명하는가?

플레이스토어에서 휴마트컴퍼니와 아토머스는 각자의 앱을 어떻게 설명하고 있을까?

트로스트: 나의 24시간 마음전문가

트로스트는

자신만의 마음전문가를 언제든지 만날 수 있는 앱이라고 소개하고 있다.

마인드카페: 마음 치유 SNS

마인드카페는 마음을 치유하는 SNS라고 소개하고 있다.

앱 정보에서 더 자세한 얘기를 들어보자

트로스트

무료 감정일기, 심리검사부터 1만원대 익명 텍스트/ 전화 심리상담, 새벽에도 예약없이 실시간으로 받는 바로상담, 심리상담 센터 예약까지

트로스트의 한 문장은 다소 아쉽다. 무료라는 말은 상담받고 싶은 사람이 가장 먼저 듣고 싶은 설명일까? 또한 다소 많다. 무료 감정일기, 심리검사, 익명 텍스트/ 전화 심리상담, 24시간 가능한 상담, 심리상담 센터 예약. 한 문장으로 5가지의 서비스를 소개한다. 물론 매직넘버 7 +-2이지만 chunk단위로 자른다면 9는 가뿐히 넘지 않을까?

마인드카페

"들어줄게요, 당신이 괜찮아질 때까지" 전문 상담사와 나를 응원하는 사람들을 통해 마음을 치유하세요.

마인드카페는 이 앱에 접속하는 사람이 가장 듣고 싶은 말을 던지며 시작한다. 이 후 전문 상담사가 나와서 띠용했지만 나를 응원하는 사람들이라는 단어를 통해 SNS라는 첫 설명과 상관관계를 이어간다.

그럼 이제 앱에 접속해보자

앱에서 처음 보여주는 게 뭔가?

앱에 접속했을 때 처음 만나는 화면은 회사가 우리에게 보여주는 첫 상품과도 같다.

네이버는 검색창을 보여주고 인스타그램은 팔로우한 이들이 올린 콘텐츠를 보여준다.

트로스트가 보여주는 제품은 뭘까?

<상담사찾기>

트로스트는 리스트형식으로 상담사를 만나게 해준다. 상단에선 고민키워드와 상담유형 그리고 기타 조건을 설정할 수 있도록 한다.

마인드카페가 보여주는 제품은 뭘까?

<고민상담>

이용자가 올린 고민을 SNS와 같이 업로드된 화면이 보인다. 고민글이 게시되면 전문상담사나 혹은 일반사용자가 글쓴이에게 도움이나 위로가 될 수 있는 댓글을 남길 수도 혹은 하트로 공감할 수도 있다.

그 밖에 탭에선

트로스트는 <상담사 찾기>이외에도 하단 탭으로 티티, 상담하기, 더보기 탭을 제공하는데 이 중 티티를 한 번 살펴봤다.

티티는 마음관리봇이다. 

대화방식은 대부분 티티가 주도하고 나는 보기에서 선택하는 방식으로 응답한다. 그러나 질문에 따라 직접 입력할 수 있는 구간이 오기도 한다. 티티를 통해 사용자는 감정일기와 마음정리보고서를 자연스럽게 이용할 수 있다. 잠깐 대화하면서 느낀 거지만 정말 대화가 끊기질 않고 티티가 계속 주도했다는 점이다. 

www.dailysecu.com/news/articleView.html?idxno=79428

 정말 24시간 마음전문가로 서비스를 제공하기위해 티티를 출시했다는 점이 인상깊고 서비스 진정성이 느껴지는 부분이다.

마인드카페는 하단 탭에서 고민상담이외에도 고민을 검색하거나 입력하는 탭과 전문 상담을 받은 사연만 볼 수 있도록 하는 하단 탭을 제공한다. 이 중 가장 마음에 들었던 것은 검색어를 통해 특정 종류의 사연만 찾을 수 있다는 점이었는데내가 고민이 있을 때 같은 고민을 가진 사람과 쉽게 연결될 수 있다는 게 장점이라고 생각했다. 나와 비슷한 고민을 갖고 있는 사람과 쉽고 빠르게 만남으로써 혼자가 아니게 되고 또한 댓글이나 전문 상담가의 말을 통해 고민을 해결하는 방법도 발견할 수 있다는 점이다. 그러나 서비스를 운영하는 입장에서 이렇게 쉽게 고민이 해결되어 버리면 서비스 이용이 끝나버리지 않을까?하는 생각이 있었다.

하단 탭 이외에도 좌측 상단에 메뉴보기가 있는데 여기서 마인드 포스팃이라는 서비스도 제공하고 있다. 마인드카페가 질문을 던지면 이에 대한 답변을 포스팃 형태로 달 수 있다. 일정 시간을 주기로 질문이 바뀌는 것 같은데 모두 인생이나 가치관과 관련된 질문을 던지는 것 같다. 나에게 지금은 돈보다 소중한게 무엇인가라는 질문을 던지는데 소중하지만 남한텐 좀처럼 듣기 어려운 질문인 거 같아 좋다. 이 질문을 통해 자신이 무엇을 소중하게 생각하는지 나아가 자신을 소중하게 생각하도록 하게 만드는 것 같아서 서비스가 마음에 든다.

지금까지 트로스트와 마인드카페의 서비스를 비교해봤다.

느낀 점은 둘 다 사용자의 정신건강, 마인드케어를 위한 서비스를 제공하고 있지만 슬로건이 다르듯 서비스 방향성도 조금 다르다고 느꼈다.

마음건강에 트로스트는 전문가의 도움을, 마인드카페는 전문가와 사용자가 함께 도움준다라는 점에서 차이가 있는 듯 하다.

trost.co.kr/

www.mindcafe.co.kr/

등현간격척도, 유사등간척도이라고도 불리는 서스톤 척도는 Thurstone과 Chave가 정신물리학의 방법을 태도측정에 적용하면서 유래된 척도제작법이다.

Thustone은 태도를 일종의 연속체로 보았다. 태도는 긍정과 부정으로 연결되어 있고 개인의 태도를 이 연속체의 길이로 척도화시켜 태도 측정을 시도한 것이다. 그리고 이러한 길이를 측정할 수 있다면 사람들의 태도를 비교할 수도 있다고 봤다. 

서스톤 척도 구성

1. 연구 문제에 대한 긍정적, 중립적, 부정적 의견을 포함한 진술문을 50개 이상 확보한다. 
2. 전문가(평정자)들에게 보여줘 진술문의 강도를 11단계(11부정, 비호의적-1긍정, 호의적)로 평가하게 한다.
3. 진술문마다 책정된 점수에서 중앙값과 사분위편차를 계산한다.
4. 중앙값을 기준으로 내림차순으로 순서를 배열한 후 중앙값이 비슷하면서 사분위편차의 범위가 작고 유사한 진술문을 최종진술문으로 채택한다.
5. 실제 자료수집 대상자(응답자)가 진술문 동의 여부에 응답함으로써 응답자의 연구문제에 대한 태도를 측정한다.

예

측정값=(4.5+3.5)/2=4

서스톤 척도는 각 개인의 태도 점수를 심리적인 연속선상에 위치에 따라 긍정~중립~부정에 대한 절대적 해석을 제공한다

한계

• 평정자의 태도와 판단이 독립적이어야한다는 비현실적 가정에 기초한다. 평정자도 사람이므로 완전히 연구문제에 대한 진술문에 대해 객관적으로 평정할 수 없다
• 개인마다 연구문제에 대한 느낌이 다르기 때문에 조사자가 의도한 속성 이외의 변수가 개입될 수 있다. 흥부와 놀부를 보고 어떤 사람은 착한 일을 하면 보상받는다는 결과를 봤지만, 어떤 사람은 같은 핏줄임에도 경제적 풍요에 도달한 놀부의 능력을 본다.
• 척도의 일차원성에 대한 증거를 확보하기 어렵다. 태도가 긍정~부정 연속성에 위치한다는 것에 대한 증거는 무엇인가?
• 척도 양극단에 놓여 있는 문항들의 영향으로 동일한 간격을 지닌 척도를 구성하기 어렵다. 
• 척도를 구성하고 평정하는 등 많은 시간과 비용이 요구된다.

모집단을 층으로 나눠고 각 층별로 단순 무작위 추출법을 적용하여 표집 확률표본추출 방법이다.

https://whatilearned.tistory.com/57?category=922487

층으로 나눈다?

모집단이라 하더라도 다 똑같은 애들로 구성되어 있진 않다.

하다못해 중고등학교에서도 학교마다 그리고 반마다 다 다르다는 걸 알 수 있다.

층으로 나눈다는 것은 이러한 모집단을 서로 상이한 소집단으로 나눈다는 것이다. 그리고 이런 소집단에서 각각 무작위로 추출하는 것이다.

그리고 일정 기준에 따라 분류하고 분류별로 표본을 추출한다는 점에서 할당 표본추출방법과 유사하다.

아무튼 층화란 쉽게 말해 끼리끼리 묶는 것이다.

왜?

기본 논리는

모집단이 동질적이라면, 이질적인 경우보다 표본오차가 더 적은 표본을 추출할 수 있다는 것이다.

모집단의 다양성을 다 반영하려면 그만큼 표본의 크기를 키워야 한다. 누가 나올 지 모르기 때문이다.

그러나 끼리끼리 묶어놓고 이 속에서 추출한다면 적게 뽑아도 집단의 특성을 충분하게 반영할 수 있다.

따라서 이를 통해 추정값의 오차를 감소시킬 수 있다. 그리고 이는 곧 표본의 대표성 향상으로 이어진다.

따라서 장점은

표본의 수를 줄이더라도 대표성을 확보할 수 있다.

표본의 무작위성을 확보하면서 불필요한 분산을 줄일 수 있다는 점이다.

표본의 크기가 같을 때 표집오차가 가장 적은 표집방법이다.

단점은 

모집단의 각 층을 정확히 알고 있어야 한다.

끼리끼리 묶어야 하는데 걔들이 어떤 특성을 갖고 있는지 알고 있어야 묶지 않겠는가?

또한 위 작업을 거쳐야 하기에 비용과 시간이 많이 들 수 있다.

층마다 표본을 배분하는 방법은

• 균등배분법

"모집단 전체/층의 수"로 표본을 층마다 동일하게 배분한다.

• 비례배분법

층의 크기에 비례하여 배분한다. 모집단A에서 소집단 a가 차지하는 비율이 50%이면 표본에도 50%할당하는 것이다.

• 최적배분법

층별 표본추출 비용을 반영해 추정치의 분산이 최소화되게 배분한다.

• 네이만 배분법

층마다 표본 추출비용이 동일할 경우.

동질적인 집단에는 비교적 적게, 이질적인 집단에는 보다 많은 표본을 추출하여 최소 규모로 정확성을 유지되게 한다. 

• 데밍 배분법:

층마다 조사비용이 상이할 경우, 분산 최소화되게 배분한다.

등이 있다.

이렇게 각 층에서 뽑은 표본의 크기에 따라

• 비례 층화 표본추출

각 층에 속하는 모집단의 크기에 비례해 각 층에 속하는 표본의 크기를 결정한다.

• 비비례 층화 표본추출

그러나 비례 층화 표본추출을 실시할 경우 전체 모집단에서 차지하는 비율이 작은 소집단을 조사하는데 한계가 있을 수 있다. 예를 들어 크기가 매우 작을 경우, 그 집단의 정보를 유의미하게 반영하지 않을 수 있다.

이 경우 각 층에 속하는 모집단 크기에 비례하지 않으면서 전체적으론 비례 표본추출과 동일한 크기의 표본을 추출한다.

• 가중확률 표본추출

필요에 따라 표집률을 달리하는 것이다. 

로 구분된다.

• 정리
• 층으로 나누고, 각 층에서 무작위 추출
• 기본 논리: 집단이 동질적이라면 표본의 크기를 줄일 수 있다
• 표본 배분법: 균등, 비례, 최적, 네이만, 데밍
• 표본의 크기에 따른 구분: 비례 층화, 비비례 층화, 가중확률

가장 기본적인 확률 표본추출의 한 형태이다.

https://whatilearned.tistory.com/57

단순 무작위란 랜덤하게 추출한다는 의미이다.

확률 표본추출에서 생각해봤듯 이를 위해선 표본틀을 반드시 갖고 있어야 한다.

그리고 마치 공정한 주사위처럼 모든 구성요소가 동등한 확률을 갖고 표집하는 방법이다.

따라서 이론적으로 모집단을 대표하는 적합한 표본을 추출할 수 있다.

또한 모든 구성원에게 동등한 기회를 주기에 구성원에 대해 자세히 알 필요가 없다.

그러나 이로인해 반대로 모집단에 대해 알고 있는 지식을 활용할 수 없다는 점이다.

모집단 내에서도 A범주의 사람이 더 조사에 필요할 것이라 생각할 수 있으나 이러한 요소를 반영할 수 없다는 점이다. 

이로 인해 동일한 크기의 표본일 경우 층화추출보다 오차가 더 크다는 단점이 있다.

표본조사란 모집단으로부터 표본을 추출해 자료를 수집하는 조사방법이다.

표본조사는 결국 궁극적으로 모집단의 특성을 파악하기 위해 실시된다.

근데 문제는 모집단의 일부로 모집단 전체의 특성을 파악해야 한다는 점이다.

따라서 모집단에서 일부를 추출할 때, 즉 표집할 때 모집단의 특성을 잘 알려줄 수 있도록 표본을 추출해야 한다.

표본 추출 방법은 크게 2가지다.

확률 표본추출과 비확률 표본추출

확률 표본추출은 

무작위적 표본추출을 의미한다. 랜덤으로 추출이 이뤄진다는 것이다. 

랜덤하다면 어떨까? 뭐가 뽑힐지 알 수 있을까? 즉 모두가 뽑힐 확률이 동일하다는 의미이다

모두가 뽑힐 확률이 동일하다는 것은? 모두를 알고 있다는 것을 전제한다.

따라서 확률 표본추출 방법을 실행하기 위해선

모든 구성원 명단이 기재된 표본틀이 있어야 한다.

이를 통해 조사자는 대표성있는 표본을 확보할 수 있다.

또한 확률적으로 모든 구성원이 잘 반영되었기 때문에 이렇게 조사된 바를 통해 모집단의 특성이 이러할 것이다라고 할 수 있을 것이다. 즉 일반화가 가능하다.(물론 어디까지나 추론이기에 제약이 있다) 

그러나 모든 구성원을 파악하고 이들에게 동등한 기회를 부여해야하기에 시간과 비용이 많이 든다.

대표적인 확률 표본추출방법은

• 단순 무작위 추출
• 층화표본추출
• 집락 표본추출
• 체계적 표본추출

등이 있다.

비확률 표본추출방법은

조사자가 인위적으로 표집하는 방법이다.

따라서 모집단의 모든 것을 필요는 없다(알면 당연히 좋을 것이다). 따라서 표본틀이 필요하지 않다.

또한 시간과 비용이 확률 표본추출에 비해 상대적으로 적게 든다.

그러나 모집단을 알지 못하기 때문에, 표본이 모집단과 얼마나 다른지 알지 못한다. 따라서 표본오차를 추정할 수 없다(확률 표본추출은 표본오차 추정가능).

표본의 대표성 확보와 조사 결과 일반화 또한 어렵다.

대표적인 비확률 표본추출 방법은

• 편의 표본추출
• 판단 표본추출
• 할당 표본추출
• 눈덩이 표본추출
• 임의 표본추출

등이 있다.

정리

• 확률표본추출: 무작위적, 표본틀有, 대표성 확보, 일반화 가능, 표본오차 추정가능
• 비확률표본추출: 인위적, 표본틀無, 대표성 확보 어려움, 일반화 어려움, 표본오차 추정 불가능, 시간비용 절약

신뢰도란 반복 측정에 관한 것이다

https://whatilearned.tistory.com/53

타당도란 얼마나 정확하게 측정했는가에 대한 것이다.

https://whatilearned.tistory.com/54

조사에 있어 둘다 매우 중요하지만 같이 움직이는 것은 아니다.

1.타당도가 높다->항상 신뢰도가 높다

측정도구가 측정대상을 제대로 그리고 정확하게 측정한다면, 반복 측정해도 정확하게 측정할 것이다.

2.타당도가 낮다->항상 신뢰도가 낮다X

측정도구가 측정대상을 정확하게 측정하지 못하더라도, 신뢰도가 높을 수 있다. 측정도구가 정확하게 다른 대상을 측정하고 있는 경우가 이 경우이다.

3.신뢰도가 높다->항상 타당도가 높다X

반복 측정으로 동일한 결과가 나오더라도 항상 타당도가 높다고 할 수 없다. 우연에 의한 것일 수 있다. 

4.신뢰도가 낲다->항상 타당도가 낮다

신뢰도가 낮으면 타당도도 낮은 것이다. 신뢰도가 다르다는 것은 측정도구가 측정할 때마다 다른 것을 측정한다는 의미일 수 있기 때문이다.

타당성은 측정하고자 하는 바를 얼마나 정확하게 측정했는가에 대한 개념이다.

타당성은 크게 내적 타당성과 외적 타당성으로 나뉜다.

내적 타당성이란 실험 결과가 독립변수로 인한 것인가에 대한 문제이다.

즉 독립변수때문에 종속변수가 변한 것인지, 아니면 외생변수의 개입으로 그런 것인지에 대한 것이다.

내적 타당성을 저해하는 요인으론

• 우연한 사건

문자 그대로, 정말 우연히 종속변수가 변하게 된 사건을 의미한다

• 성숙요인

실험설계와 관계없이 조사참여자의 신체적 심리적 변화가 발생해 이것이 종속변수에 영향을 미친 것이다. 예를 들어 노인을 대상으로 건강증진 프로그램을 실시하고 건강검진으로 사전사후 측정을 실시했다고 하자. 이 결과 건강검진 결과가 이전과 동일하다면 성숙요인으로 인한 것일 수 있다.

• 검사요인

검사효과 요인이며, 유사한 측정을 반복한 결과 검사도구에 대한 친숙도가 증가해 종속변수가 변하는 것이다. 예로 IQ테스트가 그러하다.

• 도구요인

반복 측정 시 검사 도구에 내적 일관성이 없다면, 타당성이 저해된다

• 통계적 회귀

극단 특성을 지닌 집단을 대상으로 검사를 진행하더라도 검사를 진행할수록 평균값으로 회귀하는 경향이 있다.

• 중도탈락

실험 대상자 상실요인으로 조사 참여자가 탈락하여 기존 실험 집단과 다른 특성을 지닌 집단으로 변할 수 있다. 실험설계에서 1020세대와 3040세대를 집단으로 구성했으나, 20세대가 탈락하고 30세대가 탈락한다면 두 집단은 더 이상 실험설계 단계에서 기획했던 집단과 동일한 집단으로 보기 어렵다.

• 인과관계 모호성

시간적 우선성이 불확실하여 독립변수와 종속변수간의 영향을 미치는 방향이 모호하다.

• 개입의 확산/모방

집단 간 비교 실험에 있어서 실험집단과 비교집단간의 상호작용으로 두 집단간 차이가 모호해진다.

• 편향된 선택요인

집단 간 차이가 본래 구성원 구성의 차이에서 발생한 것일 수 있다. 즉, 실험 집단의 성과가 더 탁월할 경우 독립변수때문이 아니라 원래 실험집단이 더 탁월한 성과를 내는 구성원으로 구성되었을 경우를 의미한다.

등이 있다.

외적 타당성이란 연구결과 일반화 가능성에 대한 것이다.

외적 타당성 저해요인으론

• 측정 자체가 실험 대상자들의 행동을 변화시킬 수 있다는 점

학부모 참관 수업에서 학생들은 과연 학부모가 없을 때처럼 행동한다고 할 수 있는가? 

• 실험 대상 선정 단계에서 발생할 수 있는 편향과 독립변수 간 상호작용이 있을 수 있다는 점
• 일반화 가능 여부는 생태학적 상황에 의해서 결정될 수 있다는 점

실험실에서의 실험 상황과 실험결과를 적용하고자 하는 현실세계에서의 상황이 같은 상황인가? 

• 차별적 표집이 대표성 문제를 야기할 수 있다는 점

서울에 거주하는 20대 남자만을 대상으로 수집된 결과를 전세계의 모든 세대에게 일반화하여 적용할 수 있는가?

등이 있다.

내적타당성과 외적타당성은 일반적으로 trade-off관계를 가진다.

내적타당성을 높이기 위해선 더 많은 요인들을 통제해야 한다.

외적타당성을 높이기 위해선 현실세계와 더 비슷해야 한다.

통제하는 요인이 많아질수록 현실세계와는 멀어진다.

따라서 둘은 trade-off관계를 가진다.

https://whatilearned.tistory.com/53

신뢰도