Validity and reliability of...

1

Validity and reliability

of questionnaires

謝宗成副教授

慈濟大學醫學科學研究所

[email protected]

TEL: 03-8565301 ext 2015

研究室：勤耕樓 712

1

mailto:[email protected]

信度、效度形式關係圖

量表適合度

信度 (衡量的可靠性)

效度 (衡量對研究主題的契合度)

穩定性

一致性

重測信度

複本信度

折半信度

Cronbach α

內容效度

效標關聯效度預測效度

同時效度

表面效度

建構效度聚斂效度

區別效度

2

Do we need to evaluate reliability and validity?

3

Do we need to evaluate reliability and validity?

4

護病互動關懷能力量表

When?

Self-development

Different language

Different culture

Different population

….

5

量表發展流程

6

How?

Purpose: 建立中文版護病互動關懷能力量表之測量模式及信效度驗證。

Original version: 70 in English, 10 constructs

7

How?

8

一.培養人性-利他的價值觀(6題)

二.激發信心與希望(7題)

三.培養對自己與他人的敏銳性(6題)

四.發展助人-信賴關係(7題)

五.增進並接受正負向感受的表達(6題)

六.有系統的應用科學解決問題與做決定(6題)

七.增進人際間教與學的互動(9題)

八.提供支持與保護性及改善心理社會靈性的環境(7題)

九.協助滿足人類需求(9題)

十.對存在與現象學力量之認可(6題)

總分為 70題加總，代表受測者之護病互動關懷能力。

First Step

Translation and back translation

由二位英文專家各別翻譯成華語。

經研究團隊討論後修訂成華語版，再由二位外籍英文專家分別將華語版回譯成英文。

最後由一位美籍英文專家將翻譯的英文版與原版問卷進行語譯的檢視與修訂。

9

量表發展流程

內容效度

10

內容效度(專家效度)

徵詢數位專家(例如7位)之專業意見，完全由專家們審定工具

之有效與否的話，則又可稱為專家效度（Expert Validity）

評分標準：每題以1-4分計算，分數愈高代表該題目的適切性

愈高。

內容適用性

4分代表非常適用，3分代表適用，2分代表不適用，1分代表非常

不適用

文字清晰度

4分代表非常清晰，3分代表清晰， 2分代表不清晰，1分代表非常

不清晰

11


計算每題CVI( Content. Validity Index)

給3~4分的專家數/總專家數

>=0.8 保留

計算整體 CVI( Content. Validity Index)

每題CVI/總題數

12


13


14

量表發展流程

15

Minimum n = 30

項目分析 (item analysis) 李克特5點量表項目分析評判參考

16

有兩個不符合就刪題

有一個不符合就刪題

項目分析 (item analysis)

17

量表發展流程

18

EFA: minimum n=100

CFA: minimum n=200

因素分析 vs. 量表發展

建構效度 (Construct validity )

收斂效度(Convergent validity)

周延性

區別效度(Discriminant validity)

排它性

量表構面

構面各自內部題項間相關很高

但兩兩構面間題項相關低

19

因素分析 vs. 量表發展

20

找出結構

(Training)

驗證所找出之結構

(Validation)

探索性因素分析(Exploratory Factor Analysis: EFA)

共同性

獨特性


22


KMO test: judge the sampling adequacy


Scree plot: decide number of factors

非本問卷例子


Deleted of the items

驗證性因素分析 (Confirmatory Factor Analysis: CFA)

CFA的目的是驗證一組觀察變數是否真的屬於某一潛在變數

給定樣本共變異 S 下，估計設定的因素模式中的參數。

評估模型共變異矩陣，與樣本共變異矩陣 S 有多接近。

因素的個數由研究人員先行決定。

研究者決定每個潛在構面上的觀察變數為哪些題目。

研究者決定潛在變數之間的關係。


27


28

配適指標理想要求標準研究模型

χ2 愈小愈好 73.642 (p=0.013)

χ2/df 1~3 1.503 (df=49)

GFI >0.8可接受

>0.9配適良好 0.964

AGFI >0.8可接受

>0.9配適良好 0.942

RMSEA <0.08 0.038 90% CI=[0.00 0.16]

pclose=0.37

SRMR <0.5 0.037

TLI (NNFI) >0.9 0.982

IFI >0.9 0.987

CFI >0.9 0.987

最終版中文版護病互動關懷能力量表

29


30

原始問卷中文版問卷

Should we do more things?

效標關聯效度（Criterion-Related Validity）

外部效標

預測效度（Predictive Validity）

E.g., 興趣就業性向 vs. 未來實際從事之行業

Regression analysis

同時效度（Concurrent Validity）

Self-developed QOL vs. WHO-QOL

When?

Self-development

Different language

Different culture


….

32

信度、效度形式關係圖

量表適合度

信度 (衡量的可靠性)

效度 (衡量對研究主題的契合度)

穩定性

一致性

重測信度

複本信度

折半信度

Cronbach α

內容效度

效標關聯效度預測效度

同時效度

表面效度

建構效度聚斂效度

區別效度

33

When?

Self-development

Different language

Different culture


….

34

重測信度 (test-retest reliability)

受訪時間間隔的影響

係指以同一種測量工具，對同一群受試者，前後測驗兩次的相關係數。又稱穩定係數。

間隔數週

以Pearson’ r 計算 (X)

Intra-class coefficient (O)

= A / (A+B)

複本信度 (test-retest reliability)

同一群受試者接受兩種複本測驗的得分之相關係數。

複本是內容相似，難易度相當的兩份測驗，對同一群受測者，第一次用甲份測試，第二次使用乙份，兩份分數的相關係數為複本係數(Coefficient of Forms)

複本相關法是測驗信度量測的一種最好方法，但是要編制複本測驗相當困難。

折半信度（split-half reliability）

將同一量表中測驗題目(項目內容相似)，折成兩半(單數題、偶數題)，求這兩個各半測驗總分之相關係數 (speraman’s r)。

不同折法信度可能不同。

測驗

1. 自我發展之問卷的信效度檢定，以下哪一步驟可不用執行 (單選)

(1) EFA (2) CFA (3) item analysis (4) 都要執行。

2. 引用外文版本之問卷哪些項目一定要執行 (複選)

(1) translation-back-translation (2) EFA (3) CFA (4) 專家效度。

3. 專家效度 CVI 值必須大於等於多少才合格 (單選)

(1) 0.9 (2) 0.7 (3) 0.8 (4) 0.5。

4. 哪一項信度是用來評估問卷結果是否會受訪時間間隔的影響 (

單選)

(1) 複本信度 (2) 重測信度 (3) 折半信度。

5. 以下哪項不是用來評估效標關聯效度 (單選)

(1) 預測效度 (2) 同時效度 (3) 區別效度。

38

Validity and reliability of...

Documents

Transcript of Validity and reliability of...