by Mr. Lim

신뢰도란 반복 측정에 관한 것이다

https://whatilearned.tistory.com/53

타당도란 얼마나 정확하게 측정했는가에 대한 것이다.

https://whatilearned.tistory.com/54

조사에 있어 둘다 매우 중요하지만 같이 움직이는 것은 아니다.

1.타당도가 높다->항상 신뢰도가 높다

측정도구가 측정대상을 제대로 그리고 정확하게 측정한다면, 반복 측정해도 정확하게 측정할 것이다.

2.타당도가 낮다->항상 신뢰도가 낮다X

측정도구가 측정대상을 정확하게 측정하지 못하더라도, 신뢰도가 높을 수 있다. 측정도구가 정확하게 다른 대상을 측정하고 있는 경우가 이 경우이다.

3.신뢰도가 높다->항상 타당도가 높다X

반복 측정으로 동일한 결과가 나오더라도 항상 타당도가 높다고 할 수 없다. 우연에 의한 것일 수 있다. 

4.신뢰도가 낲다->항상 타당도가 낮다

신뢰도가 낮으면 타당도도 낮은 것이다. 신뢰도가 다르다는 것은 측정도구가 측정할 때마다 다른 것을 측정한다는 의미일 수 있기 때문이다.

내적 타당성은 결국 실험결과가 정말 얘(독립변수)때문에 발생한 것이냐에 대한 것이다.

https://whatilearned.tistory.com/54

이러한 내적 타당성에도 종류가 있다.

1. 내용 타당성(측정도구 내용의 대표성, 정확성)

점수 또는 척도가 일반화하려고 하는 개념을 어느 정도 잘 반영해주는가를 의미한다.

연구자가 설계한 측정도구 자체가 측정하려는 개념이나 속성을 제대로 대표하고 있는지 여부를 알려준다.

즉, 내용 타당성은 측정도구의 내용이 정말 측정하고자 하는 속성이나 개념을 잘 담고 있는가에 대한 것이다.

내용타당성에 대한 평가는 전문가 판단에 의해 이뤄진다.

해당 분야 전문가들이 측정도구를 보고 정말 이 도구가 해당 개념이나 속성을 잘 반영하고 있는가를 검토하는 것이다. 

2.기준 타당성

측정 도구를 사용하여 측정한 결과를 다른 측정도구의 결과와 비교할 때 어느정도 관련성이 있는가 상관관계를 본다.

기준 타당성은 또한 2가지로 나뉜다.

예측 타당성은 측정 도구가 미래에 발생할 일을 어느정도 정확하게 예측하는가에 대해서 타당성을 평가한다.

예를 들어 수능점수가 미래 직장 연봉과 어떤 차이가 있는지 예측하는 경우이다. 이때 수능 점수는 연봉을 측정하기 위한 도구가 된다.

동시 타당성은 작성한 측정도구와 신뢰성이 검증된 측정도구를 비교하는 것이다.

3. 개념 타당성(구성 타당성)

측정에 의해 얻는 측정값 자체보단 속성에 초점을 맞춘 타당성이다. 

대표적인 방법으로 요인분석, 수렴타당도와 변별 타당도 검토 등이 있다.

수렴타당도(집중타당도)란 동일한 개념을 서로 다른 측정도구를 통해서 측정한 결과값들 간의 상관관계가 높을수록, 이것이 높다는 개념이다.

개념 타당도의 종류로는 

• 이해 타당성
• 집중타당성(수렴타당성)
• 판별 타당성

등이 있다.

타당성은 측정하고자 하는 바를 얼마나 정확하게 측정했는가에 대한 개념이다.

타당성은 크게 내적 타당성과 외적 타당성으로 나뉜다.

내적 타당성이란 실험 결과가 독립변수로 인한 것인가에 대한 문제이다.

즉 독립변수때문에 종속변수가 변한 것인지, 아니면 외생변수의 개입으로 그런 것인지에 대한 것이다.

내적 타당성을 저해하는 요인으론

• 우연한 사건

문자 그대로, 정말 우연히 종속변수가 변하게 된 사건을 의미한다

• 성숙요인

실험설계와 관계없이 조사참여자의 신체적 심리적 변화가 발생해 이것이 종속변수에 영향을 미친 것이다. 예를 들어 노인을 대상으로 건강증진 프로그램을 실시하고 건강검진으로 사전사후 측정을 실시했다고 하자. 이 결과 건강검진 결과가 이전과 동일하다면 성숙요인으로 인한 것일 수 있다.

• 검사요인

검사효과 요인이며, 유사한 측정을 반복한 결과 검사도구에 대한 친숙도가 증가해 종속변수가 변하는 것이다. 예로 IQ테스트가 그러하다.

• 도구요인

반복 측정 시 검사 도구에 내적 일관성이 없다면, 타당성이 저해된다

• 통계적 회귀

극단 특성을 지닌 집단을 대상으로 검사를 진행하더라도 검사를 진행할수록 평균값으로 회귀하는 경향이 있다.

• 중도탈락

실험 대상자 상실요인으로 조사 참여자가 탈락하여 기존 실험 집단과 다른 특성을 지닌 집단으로 변할 수 있다. 실험설계에서 1020세대와 3040세대를 집단으로 구성했으나, 20세대가 탈락하고 30세대가 탈락한다면 두 집단은 더 이상 실험설계 단계에서 기획했던 집단과 동일한 집단으로 보기 어렵다.

• 인과관계 모호성

시간적 우선성이 불확실하여 독립변수와 종속변수간의 영향을 미치는 방향이 모호하다.

• 개입의 확산/모방

집단 간 비교 실험에 있어서 실험집단과 비교집단간의 상호작용으로 두 집단간 차이가 모호해진다.

• 편향된 선택요인

집단 간 차이가 본래 구성원 구성의 차이에서 발생한 것일 수 있다. 즉, 실험 집단의 성과가 더 탁월할 경우 독립변수때문이 아니라 원래 실험집단이 더 탁월한 성과를 내는 구성원으로 구성되었을 경우를 의미한다.

등이 있다.

외적 타당성이란 연구결과 일반화 가능성에 대한 것이다.

외적 타당성 저해요인으론

• 측정 자체가 실험 대상자들의 행동을 변화시킬 수 있다는 점

학부모 참관 수업에서 학생들은 과연 학부모가 없을 때처럼 행동한다고 할 수 있는가? 

• 실험 대상 선정 단계에서 발생할 수 있는 편향과 독립변수 간 상호작용이 있을 수 있다는 점
• 일반화 가능 여부는 생태학적 상황에 의해서 결정될 수 있다는 점

실험실에서의 실험 상황과 실험결과를 적용하고자 하는 현실세계에서의 상황이 같은 상황인가? 

• 차별적 표집이 대표성 문제를 야기할 수 있다는 점

서울에 거주하는 20대 남자만을 대상으로 수집된 결과를 전세계의 모든 세대에게 일반화하여 적용할 수 있는가?

등이 있다.

내적타당성과 외적타당성은 일반적으로 trade-off관계를 가진다.

내적타당성을 높이기 위해선 더 많은 요인들을 통제해야 한다.

외적타당성을 높이기 위해선 현실세계와 더 비슷해야 한다.

통제하는 요인이 많아질수록 현실세계와는 멀어진다.

따라서 둘은 trade-off관계를 가진다.

https://whatilearned.tistory.com/53

신뢰도

• 신뢰도는 동일한 개념을 반복적으로 측정했을 때 동일한 측정값을 얻게 되는 정도이다.
• 신뢰도는 동일한 대상에 대해 측정도구를 반복 적용했을 경우 동일한 결과가 나오는 게 어느정도 되는가를 의미한다.

간단하게, 또 측정했을 때 똑같은 결과가 나오는 가를 묻는 개념이다.

따라서 안정성, 일관성, 예측가능성, 정확성 등으로 표현할 수 있다.

신뢰도 제고 방안은

• 측정 항목의 모호성을 제거한다: 응답자가 문항을 읽을 때마다 다른 의미로 해석되면, 당연히 다른 응답이 나올 것이다. 따라서 애매하거나 모호한게 아닌 명확하게 작성되어야 한다.
• 응답자가 잘 모르거나 관심 없는 내용을 측정하지 않는다: 모르는 질문엔 응답하지 않거나 찍는 수밖에 없다. 그리고 관심 없는 내용이라면 대충 응답할 것이다. 
• 측정항목 수를 늘린다: 측정항목의 수가 늘어나면 측정항목의 평균은 측정대상의 실제갑에 가까워진다(표본의 크기가 커질 수록 정규분포에 가까워지듯이)
• 조사방법의 일관성을 유지한다: 조사자가 조사할 때마다 다른 방식과 태도로 조사한다면 응답도 다르게 나타날 것이다.
• 인정받은 측정도구를 이용한다
• 중요한 질문은 질문을 2번 묻거나 유사한 질문을 한다: 응답이 동일하다면 응답자가 신뢰성있는 응답을 하였다고 알 수 있으며, 그렇지 않을 경우 반대로 생각할 수 있다.
• 사전조사를 실시한다: 사전조사로 모호한 문항을 확인하고 조사방식의 보완할 점을 발견할 수 있다.(일반적으로 20~50명정도 실시)
• 누구나 동일하게 해석될 수 있도록 문항 구성한다.
•  

신뢰도의 조건

• 예측 가능성
• 시간에 구애받지 않고 일관된 측정치: 어제 대답이랑 오늘 대답이랑 다르면 안된다.
•  

신뢰도 평가

• 검사-재검사법(재조사법)

같은 조사지로 반복 측정하는 것이다. 이전과 같은 결과가 나오면 신뢰도가 높다고 평가한다.

단점은 측정결과의 변화가 나타날 경우 측정대상의 변화(외생변수)로 인한 것인지, 조사지의 신뢰도 문제인지 파악이 어렵다.

또한 응답자가 조사지에 대한 내용을 학습해 생기는 검사효과를 배제할 수 없다.

• 반분법

하나의 측정 도구를 반으로 나누고 이 둘을 각각 독립된 측정도구로 보고 사용하는 것이다.

재조사법에서 발생할 수 있는 검사효과와 외생변수의 개입을 통제할 수 있다.

단점은 반분된 조사도구가 동일하냐는 문제이다. 또한 문항구분의 방식에 따라 신뢰도 계수가 달라지면서 불확실성 문제가 발생할 수 있다.

반붑법의 신뢰도 추정에서는 스피어만-브라운 공식을 사용한다.

스피어만-브라운 신뢰도 계수=(2 X 반분 조사지 상관계수) / (1 + 반분 조사지 상관계수)

이 공식의 전제조건은 질문지 전체가 반쪽보다 신뢰도가 높아야 한다는 것이다.

• 복수 양식법

애초에 비슷한 측정도구 2개를 개발해 신뢰도를 검증하는 방법이다.

측정 후 상관관계를 비교하여 상관계수가 높으면 신뢰도가 있다고 판단한다.

장점은 재조사법의 검사효과를 배제할 수 있다.

단점은 두 조사지가 동일한 것인가에 대한 문제와 측정도구간 유사성을 파악하기 어렵다는 점이다.

따라서 신뢰도가 낮은 경우 측정도구의 신뢰도 때문인지, 측정 도구 사이의 차이로 인한 것인지 알 수 없다.

• 내적 일관성법

문항 상호 간 어느 정도의 일관성을 갖고 있는가를 측정하는 방법이다.

크론바흐 알파값(표준화된 알파)을 이용하는데, 구체적으로 층정항목이 가질 수 있는 모든 조합에서의 상관관계 평균값을 산출하여 신뢰도를 측정한다.

https://whatilearned.tistory.com/49

크론바흐 알파계수는 또한 리커트 척도에서 문항 간 내적일관성을 측정하기위해 사용된다.

어의차이 척도 또는 어의분화 척도라고도 하는 의미분화 척도는

양 극단으로 연결된 일직선 상에서 평가가 이뤄지는 척도이다.

일직선은 서로 상반된 형용사로 연결된다. 

예

다음에 제시된 형용사를 일고 귀하가 가장 밀접하게 느끼는 곳에 O 표시를 하십시오.

귀하는 해당 브랜드에 대해 어떤 느낌을 갖습니까?

밝다---------+---------+---------+---------+---------+---------+---------+---------어둡다

차갑다---------+---------+---------+---------+---------+---------+---------+---------뜨겁다

빠르다---------+---------+---------+---------+---------+---------+---------+---------느리다

어렵다---------+---------+---------+---------+---------+---------+---------+---------쉽다

무겁다---------+---------+---------+---------+---------+---------+---------+---------가볍다

게으르다---------+---------+---------+---------+---------+---------+---------+---------부지런하다

기쁘다---------+---------+---------+---------+---------+---------+---------+---------슬프다

배부르다---------+---------+---------+---------+---------+---------+---------+---------배고프다

불편하다---------+---------+---------+---------+---------+---------+---------+---------편하다

어의분화 척도는 여러 쌍의 대칭적 형용사를 활용함으로써 평가적, 활동적, 역동적 차원 등 다차원적 측정이 가능하다. 이를 통해 조사 대상에 대한 응답자의 느낌을 측정하기 위해 사용된다.

어의분화 척도의 주요 이론적 가정은 어떤 대상을 의미적 공간에 위치시킬 수 있다는 것이다.

이를 통해 측정된 값을 분석하는 방법은 

• 평균값 분석법: 각 척도별 응답 지점의 평균값을 기준으로 분석한다
• 거리집략 분석법: 측정 개념 사이 어느 지점에 위치하는지를 측정하여 이를 통해 관계를 분석
• 요인평점 분석법: 요인분석을 통해 평점을 낸 후 개념 평가

정리

• 양 극단 대칭적 형용사, 일직선 연결
• 기본 가정: 대상을 어떠한 의미적 공간에 둘 수 있다
• 다차원 측정, 느낌 측정
• 분석: 평균값, 거리집략, 요인(분석)평점

보가더스 척도는 거트만 척도의 한 종류이다.

https://whatilearned.tistory.com/50

따라서 보가더스 척도 또한 단차원적이고 누적적이다.

보가더스 척도의 전제는 개인이나 집단 사이에는 어떠한 사회적 거리가 존재하며, 이것은 측정될 수 있다는 것이 기본 전제이다. 

여기서 사회적 거리는 개인이나 집단 사이에 존재하는 친밀함의 정도이며 동시에 개인이나 집단을 구분해주는 경계선이라고 할 수 있다.

이러한 보가더스 척도는 인종적 편견의 강도, 또는 국가나 사회집단에 대해 느끼는 친밀감이나 무관심 그리고 혐오감 등을 척정하기 위해 보가더스가 제시한 것이다.

예

보가더스척도 vs 소시오 메트리 척도

이처럼 보가더스 척도는집단 간의 친근 정도를 측정한다.

반면 소시오 메트리 척도는 한 집단 내 개인 간의 친근정도를 측정한다.

정리

• 단차원적, 누적적
• 집단 간 사회적 거리, 측정 가능

거트만 척도는 대표적인 누적척도 형태이다.

누적이란 자존감에 대해 물었을 때 높은 수준의 자존감을 나타내는 항목에서 그렇다고 응답한 경우 낮은 수준의 자존작에도 그렇다고 답할 것으로 처리된다는 것이다.

또한 문항들이 특정 기준을 바탕으로 서열을 이루고 있기에 서열척도이기도 하다.

예

다음은 교정시설의 입지에 관한 질문입니다. 각 문장에 대해 찬성 혹은 반대의견을 제시하여 주십시오.

위 예에서 만약 응답자가 4번에 찬성이라고 응답했다면 1,2,3번에도 찬성한다고 생각할 수 있다. 그러나 5번에도 찬성한다고 생각하기엔 무리가 있다. 이와 같이 문항간 서열이 존재한다는 것이 거트만 척도의 특징이며 리커트 척도와 구별되는 점이다.

리커트척도 vs 거트만 척도

리커트 척도는 개별 문항을 동일하게 취급한다. 응답 결과를 합산한 이후 그 결과를 서열화한다.

거트만 척도는 조사자가 미리 개별 문항에 대해 서열을 부여한다.

https://whatilearned.tistory.com/49

이러한 설계에 따라 거트만 척도의 특징은 높은 강도의 문항에 대한 응답을 바탕으로 다른 문항에 대한

응답을 예측할 수 있다는 것이다.

예를 들어 강력 범죄자들만 수용하는 교도소 입지에 대해 우리 동 입지에 찬성한 응답자라면, 청소년 보호소 입지에 대해서도 같은 수준에서 찬성할 것이라고 예측할 수 있다.

또한 반대로 이렇게 사용된 질문 문항들이 단일 차원에 속하는 지 혹은 어떤게 더 강한 자극인지 알 수 있는 척도이다.

단일차원이란 어떤 척도에 포함된 항목들이 단 하나의 이론적 개념만을 측정하는 것을 의미한다. 

즉 거트만 척도는 응답자와 자극을 동시에 측정할 수 있는 척도이다.

거트만 척도의 단일차원성과 누적성 부합정도를 검증하는 방법은

재생(가능)계수를 통해 검증할 수 있다.

재생(가능)계수 = 1 - 응답 유형의 오차(오류수) / 전체 가능한 응답수(응답자수 X 전체 항목수)

1에 가까울수록 이상적이라 판단하며, 0.9이상이면 대체로 만족스러운 수준으로 판단할 수 있다.

정리

• 누적척도, 서열척도
• 개별 문항에 이미 서열이 존재
• 응답자와 자극 동시 측정
• 거트만척도 재생(가능)계수

리커트 척도는 설문조사 등에서 가장 흔하게 접할 수 있는 척도 중 하나이다.

예) 다음은 이번 학기 온라인 수업 실시기간 동안의 학습 태도에 대한 질문입니다. 각 질문 문항에 대해 어느 정도 동의하는지를 답하여 주십시오.

위 질문에서 1응답을 선택한 응답자보다 5응답을 선택한 응답자의 학습태도가 더 좋다고 할 수 있다. 즉 응답에 따라 순위가 결정되는 것이다. 이 점에서 리커트 척도은 서열 척도이다.

(그러나 각 항목 간 차이가 거의 비슷한 정도라고 가정한다면 등간척도라고도 할 수 있다.)

리커트 척도는총화평정법에 의해 구성된 척도로서 총화평정척도라고도 한다. 

 총화평정법이란 동일한 값을 지닌다고 생각되는 문항들을 하나로 묶어서 척도를 구성하는 방법이다. 위 예로 학습 태도에 대해 한 가지 질문이 아닌 여러 개의 질문으로 묶어 학습태도에 대한 척도를 구성하는 방법이라는 것이다. 각 문항에 대해 응답자가 응답하면 이 점수들을 총합하거나 평균 계산으로 응답자의 태도를 점수로 결정한다.

리커트 척도의 구성절차는 

1. 같은 의미 범주를 갖고 있는 응답 항목 작성
2. 응답 범주에 가중치 부여
3. 각 항 점수를 합산 후 총점 계산
4. 척도문항 분석

순으로 진행된다.

리커트 척도의 요건은 문항간 일관성이 높아야 한다.

하나의 태도 점수를 여러 문항으로 묶어 묻는데, 이때 문항 간 일관성이 높아야 한다는 것이다. 따라서 문항들은 단일차원의 개념을 설명하는 하나의 개념이어야 한다. 

문항들이 서로 다른 개념을 설명하고 있다면? 당연히 분석 결과에 어떤 의미를 부여할 수 없다. 

그렇다면 이 러한 일관성과 상관성은 어떻게 확인할 수 있는가? 

리커트 척도의 문항이 정말 동일한 개념을 측정하고 있는건가 알 수 있는 대표적인 방법이

크론바흐 알파계수를 이용한 신뢰성 검증이다.

크론바흐 알파 계수는 내적 일관성을 검증하는 대표적인 방법이다. 

0~1의 값을 가지며 값이 커질 수록 문항 간 평균 상관계수가 높다고 해석할 수 있다.

그러나 문항수 수가 증가할수록 일반적으로 값이 커지는 경향이 있다.

정리

리커트 척도 

• 총화평정척도

• 문항 간 일관성, 단일차원

• 신뢰성 검증, 크론바흐 알파계수