by Mr. Lim

내적 타당성은 결국 실험결과가 정말 얘(독립변수)때문에 발생한 것이냐에 대한 것이다.

https://whatilearned.tistory.com/54

이러한 내적 타당성에도 종류가 있다.

1. 내용 타당성(측정도구 내용의 대표성, 정확성)

점수 또는 척도가 일반화하려고 하는 개념을 어느 정도 잘 반영해주는가를 의미한다.

연구자가 설계한 측정도구 자체가 측정하려는 개념이나 속성을 제대로 대표하고 있는지 여부를 알려준다.

즉, 내용 타당성은 측정도구의 내용이 정말 측정하고자 하는 속성이나 개념을 잘 담고 있는가에 대한 것이다.

내용타당성에 대한 평가는 전문가 판단에 의해 이뤄진다.

해당 분야 전문가들이 측정도구를 보고 정말 이 도구가 해당 개념이나 속성을 잘 반영하고 있는가를 검토하는 것이다. 

2.기준 타당성

측정 도구를 사용하여 측정한 결과를 다른 측정도구의 결과와 비교할 때 어느정도 관련성이 있는가 상관관계를 본다.

기준 타당성은 또한 2가지로 나뉜다.

예측 타당성은 측정 도구가 미래에 발생할 일을 어느정도 정확하게 예측하는가에 대해서 타당성을 평가한다.

예를 들어 수능점수가 미래 직장 연봉과 어떤 차이가 있는지 예측하는 경우이다. 이때 수능 점수는 연봉을 측정하기 위한 도구가 된다.

동시 타당성은 작성한 측정도구와 신뢰성이 검증된 측정도구를 비교하는 것이다.

3. 개념 타당성(구성 타당성)

측정에 의해 얻는 측정값 자체보단 속성에 초점을 맞춘 타당성이다. 

대표적인 방법으로 요인분석, 수렴타당도와 변별 타당도 검토 등이 있다.

수렴타당도(집중타당도)란 동일한 개념을 서로 다른 측정도구를 통해서 측정한 결과값들 간의 상관관계가 높을수록, 이것이 높다는 개념이다.

개념 타당도의 종류로는 

• 이해 타당성
• 집중타당성(수렴타당성)
• 판별 타당성

등이 있다.

타당성은 측정하고자 하는 바를 얼마나 정확하게 측정했는가에 대한 개념이다.

타당성은 크게 내적 타당성과 외적 타당성으로 나뉜다.

내적 타당성이란 실험 결과가 독립변수로 인한 것인가에 대한 문제이다.

즉 독립변수때문에 종속변수가 변한 것인지, 아니면 외생변수의 개입으로 그런 것인지에 대한 것이다.

내적 타당성을 저해하는 요인으론

• 우연한 사건

문자 그대로, 정말 우연히 종속변수가 변하게 된 사건을 의미한다

• 성숙요인

실험설계와 관계없이 조사참여자의 신체적 심리적 변화가 발생해 이것이 종속변수에 영향을 미친 것이다. 예를 들어 노인을 대상으로 건강증진 프로그램을 실시하고 건강검진으로 사전사후 측정을 실시했다고 하자. 이 결과 건강검진 결과가 이전과 동일하다면 성숙요인으로 인한 것일 수 있다.

• 검사요인

검사효과 요인이며, 유사한 측정을 반복한 결과 검사도구에 대한 친숙도가 증가해 종속변수가 변하는 것이다. 예로 IQ테스트가 그러하다.

• 도구요인

반복 측정 시 검사 도구에 내적 일관성이 없다면, 타당성이 저해된다

• 통계적 회귀

극단 특성을 지닌 집단을 대상으로 검사를 진행하더라도 검사를 진행할수록 평균값으로 회귀하는 경향이 있다.

• 중도탈락

실험 대상자 상실요인으로 조사 참여자가 탈락하여 기존 실험 집단과 다른 특성을 지닌 집단으로 변할 수 있다. 실험설계에서 1020세대와 3040세대를 집단으로 구성했으나, 20세대가 탈락하고 30세대가 탈락한다면 두 집단은 더 이상 실험설계 단계에서 기획했던 집단과 동일한 집단으로 보기 어렵다.

• 인과관계 모호성

시간적 우선성이 불확실하여 독립변수와 종속변수간의 영향을 미치는 방향이 모호하다.

• 개입의 확산/모방

집단 간 비교 실험에 있어서 실험집단과 비교집단간의 상호작용으로 두 집단간 차이가 모호해진다.

• 편향된 선택요인

집단 간 차이가 본래 구성원 구성의 차이에서 발생한 것일 수 있다. 즉, 실험 집단의 성과가 더 탁월할 경우 독립변수때문이 아니라 원래 실험집단이 더 탁월한 성과를 내는 구성원으로 구성되었을 경우를 의미한다.

등이 있다.

외적 타당성이란 연구결과 일반화 가능성에 대한 것이다.

외적 타당성 저해요인으론

• 측정 자체가 실험 대상자들의 행동을 변화시킬 수 있다는 점

학부모 참관 수업에서 학생들은 과연 학부모가 없을 때처럼 행동한다고 할 수 있는가? 

• 실험 대상 선정 단계에서 발생할 수 있는 편향과 독립변수 간 상호작용이 있을 수 있다는 점
• 일반화 가능 여부는 생태학적 상황에 의해서 결정될 수 있다는 점

실험실에서의 실험 상황과 실험결과를 적용하고자 하는 현실세계에서의 상황이 같은 상황인가? 

• 차별적 표집이 대표성 문제를 야기할 수 있다는 점

서울에 거주하는 20대 남자만을 대상으로 수집된 결과를 전세계의 모든 세대에게 일반화하여 적용할 수 있는가?

등이 있다.

내적타당성과 외적타당성은 일반적으로 trade-off관계를 가진다.

내적타당성을 높이기 위해선 더 많은 요인들을 통제해야 한다.

외적타당성을 높이기 위해선 현실세계와 더 비슷해야 한다.

통제하는 요인이 많아질수록 현실세계와는 멀어진다.

따라서 둘은 trade-off관계를 가진다.

https://whatilearned.tistory.com/53

신뢰도

• 신뢰도는 동일한 개념을 반복적으로 측정했을 때 동일한 측정값을 얻게 되는 정도이다.
• 신뢰도는 동일한 대상에 대해 측정도구를 반복 적용했을 경우 동일한 결과가 나오는 게 어느정도 되는가를 의미한다.

간단하게, 또 측정했을 때 똑같은 결과가 나오는 가를 묻는 개념이다.

따라서 안정성, 일관성, 예측가능성, 정확성 등으로 표현할 수 있다.

신뢰도 제고 방안은

• 측정 항목의 모호성을 제거한다: 응답자가 문항을 읽을 때마다 다른 의미로 해석되면, 당연히 다른 응답이 나올 것이다. 따라서 애매하거나 모호한게 아닌 명확하게 작성되어야 한다.
• 응답자가 잘 모르거나 관심 없는 내용을 측정하지 않는다: 모르는 질문엔 응답하지 않거나 찍는 수밖에 없다. 그리고 관심 없는 내용이라면 대충 응답할 것이다. 
• 측정항목 수를 늘린다: 측정항목의 수가 늘어나면 측정항목의 평균은 측정대상의 실제갑에 가까워진다(표본의 크기가 커질 수록 정규분포에 가까워지듯이)
• 조사방법의 일관성을 유지한다: 조사자가 조사할 때마다 다른 방식과 태도로 조사한다면 응답도 다르게 나타날 것이다.
• 인정받은 측정도구를 이용한다
• 중요한 질문은 질문을 2번 묻거나 유사한 질문을 한다: 응답이 동일하다면 응답자가 신뢰성있는 응답을 하였다고 알 수 있으며, 그렇지 않을 경우 반대로 생각할 수 있다.
• 사전조사를 실시한다: 사전조사로 모호한 문항을 확인하고 조사방식의 보완할 점을 발견할 수 있다.(일반적으로 20~50명정도 실시)
• 누구나 동일하게 해석될 수 있도록 문항 구성한다.
•  

신뢰도의 조건

• 예측 가능성
• 시간에 구애받지 않고 일관된 측정치: 어제 대답이랑 오늘 대답이랑 다르면 안된다.
•  

신뢰도 평가

• 검사-재검사법(재조사법)

같은 조사지로 반복 측정하는 것이다. 이전과 같은 결과가 나오면 신뢰도가 높다고 평가한다.

단점은 측정결과의 변화가 나타날 경우 측정대상의 변화(외생변수)로 인한 것인지, 조사지의 신뢰도 문제인지 파악이 어렵다.

또한 응답자가 조사지에 대한 내용을 학습해 생기는 검사효과를 배제할 수 없다.

• 반분법

하나의 측정 도구를 반으로 나누고 이 둘을 각각 독립된 측정도구로 보고 사용하는 것이다.

재조사법에서 발생할 수 있는 검사효과와 외생변수의 개입을 통제할 수 있다.

단점은 반분된 조사도구가 동일하냐는 문제이다. 또한 문항구분의 방식에 따라 신뢰도 계수가 달라지면서 불확실성 문제가 발생할 수 있다.

반붑법의 신뢰도 추정에서는 스피어만-브라운 공식을 사용한다.

스피어만-브라운 신뢰도 계수=(2 X 반분 조사지 상관계수) / (1 + 반분 조사지 상관계수)

이 공식의 전제조건은 질문지 전체가 반쪽보다 신뢰도가 높아야 한다는 것이다.

• 복수 양식법

애초에 비슷한 측정도구 2개를 개발해 신뢰도를 검증하는 방법이다.

측정 후 상관관계를 비교하여 상관계수가 높으면 신뢰도가 있다고 판단한다.

장점은 재조사법의 검사효과를 배제할 수 있다.

단점은 두 조사지가 동일한 것인가에 대한 문제와 측정도구간 유사성을 파악하기 어렵다는 점이다.

따라서 신뢰도가 낮은 경우 측정도구의 신뢰도 때문인지, 측정 도구 사이의 차이로 인한 것인지 알 수 없다.

• 내적 일관성법

문항 상호 간 어느 정도의 일관성을 갖고 있는가를 측정하는 방법이다.

크론바흐 알파값(표준화된 알파)을 이용하는데, 구체적으로 층정항목이 가질 수 있는 모든 조합에서의 상관관계 평균값을 산출하여 신뢰도를 측정한다.

https://whatilearned.tistory.com/49

크론바흐 알파계수는 또한 리커트 척도에서 문항 간 내적일관성을 측정하기위해 사용된다.