by Mr. Lim

내적 타당성은 결국 실험결과가 정말 얘(독립변수)때문에 발생한 것이냐에 대한 것이다.

https://whatilearned.tistory.com/54

이러한 내적 타당성에도 종류가 있다.

1. 내용 타당성(측정도구 내용의 대표성, 정확성)

점수 또는 척도가 일반화하려고 하는 개념을 어느 정도 잘 반영해주는가를 의미한다.

연구자가 설계한 측정도구 자체가 측정하려는 개념이나 속성을 제대로 대표하고 있는지 여부를 알려준다.

즉, 내용 타당성은 측정도구의 내용이 정말 측정하고자 하는 속성이나 개념을 잘 담고 있는가에 대한 것이다.

내용타당성에 대한 평가는 전문가 판단에 의해 이뤄진다.

해당 분야 전문가들이 측정도구를 보고 정말 이 도구가 해당 개념이나 속성을 잘 반영하고 있는가를 검토하는 것이다. 

2.기준 타당성

측정 도구를 사용하여 측정한 결과를 다른 측정도구의 결과와 비교할 때 어느정도 관련성이 있는가 상관관계를 본다.

기준 타당성은 또한 2가지로 나뉜다.

예측 타당성은 측정 도구가 미래에 발생할 일을 어느정도 정확하게 예측하는가에 대해서 타당성을 평가한다.

예를 들어 수능점수가 미래 직장 연봉과 어떤 차이가 있는지 예측하는 경우이다. 이때 수능 점수는 연봉을 측정하기 위한 도구가 된다.

동시 타당성은 작성한 측정도구와 신뢰성이 검증된 측정도구를 비교하는 것이다.

3. 개념 타당성(구성 타당성)

측정에 의해 얻는 측정값 자체보단 속성에 초점을 맞춘 타당성이다. 

대표적인 방법으로 요인분석, 수렴타당도와 변별 타당도 검토 등이 있다.

수렴타당도(집중타당도)란 동일한 개념을 서로 다른 측정도구를 통해서 측정한 결과값들 간의 상관관계가 높을수록, 이것이 높다는 개념이다.

개념 타당도의 종류로는 

• 이해 타당성
• 집중타당성(수렴타당성)
• 판별 타당성

등이 있다.

타당성은 측정하고자 하는 바를 얼마나 정확하게 측정했는가에 대한 개념이다.

타당성은 크게 내적 타당성과 외적 타당성으로 나뉜다.

내적 타당성이란 실험 결과가 독립변수로 인한 것인가에 대한 문제이다.

즉 독립변수때문에 종속변수가 변한 것인지, 아니면 외생변수의 개입으로 그런 것인지에 대한 것이다.

내적 타당성을 저해하는 요인으론

• 우연한 사건

문자 그대로, 정말 우연히 종속변수가 변하게 된 사건을 의미한다

• 성숙요인

실험설계와 관계없이 조사참여자의 신체적 심리적 변화가 발생해 이것이 종속변수에 영향을 미친 것이다. 예를 들어 노인을 대상으로 건강증진 프로그램을 실시하고 건강검진으로 사전사후 측정을 실시했다고 하자. 이 결과 건강검진 결과가 이전과 동일하다면 성숙요인으로 인한 것일 수 있다.

• 검사요인

검사효과 요인이며, 유사한 측정을 반복한 결과 검사도구에 대한 친숙도가 증가해 종속변수가 변하는 것이다. 예로 IQ테스트가 그러하다.

• 도구요인

반복 측정 시 검사 도구에 내적 일관성이 없다면, 타당성이 저해된다

• 통계적 회귀

극단 특성을 지닌 집단을 대상으로 검사를 진행하더라도 검사를 진행할수록 평균값으로 회귀하는 경향이 있다.

• 중도탈락

실험 대상자 상실요인으로 조사 참여자가 탈락하여 기존 실험 집단과 다른 특성을 지닌 집단으로 변할 수 있다. 실험설계에서 1020세대와 3040세대를 집단으로 구성했으나, 20세대가 탈락하고 30세대가 탈락한다면 두 집단은 더 이상 실험설계 단계에서 기획했던 집단과 동일한 집단으로 보기 어렵다.

• 인과관계 모호성

시간적 우선성이 불확실하여 독립변수와 종속변수간의 영향을 미치는 방향이 모호하다.

• 개입의 확산/모방

집단 간 비교 실험에 있어서 실험집단과 비교집단간의 상호작용으로 두 집단간 차이가 모호해진다.

• 편향된 선택요인

집단 간 차이가 본래 구성원 구성의 차이에서 발생한 것일 수 있다. 즉, 실험 집단의 성과가 더 탁월할 경우 독립변수때문이 아니라 원래 실험집단이 더 탁월한 성과를 내는 구성원으로 구성되었을 경우를 의미한다.

등이 있다.

외적 타당성이란 연구결과 일반화 가능성에 대한 것이다.

외적 타당성 저해요인으론

• 측정 자체가 실험 대상자들의 행동을 변화시킬 수 있다는 점

학부모 참관 수업에서 학생들은 과연 학부모가 없을 때처럼 행동한다고 할 수 있는가? 

• 실험 대상 선정 단계에서 발생할 수 있는 편향과 독립변수 간 상호작용이 있을 수 있다는 점
• 일반화 가능 여부는 생태학적 상황에 의해서 결정될 수 있다는 점

실험실에서의 실험 상황과 실험결과를 적용하고자 하는 현실세계에서의 상황이 같은 상황인가? 

• 차별적 표집이 대표성 문제를 야기할 수 있다는 점

서울에 거주하는 20대 남자만을 대상으로 수집된 결과를 전세계의 모든 세대에게 일반화하여 적용할 수 있는가?

등이 있다.

내적타당성과 외적타당성은 일반적으로 trade-off관계를 가진다.

내적타당성을 높이기 위해선 더 많은 요인들을 통제해야 한다.

외적타당성을 높이기 위해선 현실세계와 더 비슷해야 한다.

통제하는 요인이 많아질수록 현실세계와는 멀어진다.

따라서 둘은 trade-off관계를 가진다.

https://whatilearned.tistory.com/53

신뢰도