2010年12月3日 星期五

統計諮詢紀錄表-效度之驗證方法

諮詢時間
2010/12/1 14:30-15:30
諮詢時數
1小時
諮詢主題
效度之驗證方法
諮詢內容彙整
對此主題的未知概念
諮詢後釐清的概念
1.如何由MTMM矩陣看出方法偏誤 (method bias)
當區辨效度所框出來的上三角形(不同方法測不同特質)/下三角形(同樣方法測不同特質)跟其他上三角形/下三角形內的得分趨勢(例、左上最高、左下次高、右下最低)與其他三角形不同,就可能有方法偏誤。原因可能是工具的特性所造成的。
2.若效標效度過高(>0.91),可能造成量表與效標的題目相似度過高或重複,不知效標效度是否有可接受的上限?或是應該如何避免題目過於類似的情形?
良好的效標關連效度需0.75。而且很少有量表的效標效度可以非常高。然而,當量表與效標有30%的題目過於相似,則難以判斷效標效度是否因為這些題目而大幅提昇。因此,可以在選擇效標之前,先比較兩個測驗工具是否有太多相似的題目,以避免類似情形。
3.如果量表可同時具備效標參照與常模參照的特質,適用性會更廣。請問:如果要發展具備兩種特質的量表,需符合哪些條件?
在應用的時候,如果嚴格遵守效標參照與常模參照的定義,沒有具備兩種特質的工具。而學科能力測驗原本的用意為效標參照(瞭解學生是否符合畢業標準),結果卻作為分發的依據(常模參照),並不是很恰當的作法。
心得或建議
提早把問題整理清楚,討論時確實比較有效率。

4 則留言:

  1. 明確的問題,才有簡潔的答案,也才能澄清疑惑。

    回覆刪除
  2. 1. 但我看了還是不孰悉[方法偏誤]是甚麼?
    工具的何種特性會影響 [方法偏誤] ?
    2. 效標效度是較攏統的詞彙,您是指 concurrent validity or predictive validity,還是其它? 不同的效度,解釋不一,甚至也有可能您抓錯方向了。

    回覆刪除
  3. 作者已經移除這則留言。

    回覆刪除
  4. 1.方法偏誤是指:因為研究中使用的測量方法而產生一種系統性的偏誤。
    例如:題目的特性、題目順序改變,使得填答結果不同。

    2.這個問題是因為作業的題目這樣寫所以這樣問。我自己的理解,他應該是問同時效度。又,如果同時效度是0.91,應該是非常好的結果。預測效度0.91,就太厲害了!

    希望這樣有回答到老師的問題。

    回覆刪除