協助師生溝通,以提升授課/學習效率。
項目分數等級之適用性的檢驗:是檢驗step calibration是否有錯置的狀況。
假設目前的問卷為五點量尺 情況一:大部分題目或幾乎所有題目disorder為 1 2 4 3 5 結論:disordering的問題先處理,且針對所有問卷題目。 理由: 1.若是大部分題目都有這樣的disorder發生,那我們可以有很大的信心去說,五點量尺是多餘的,因此可以將整份問卷的量尺都進行簡化。 2.量尺分數的處理,會影響到單向度驗證的結果,再加上若是問卷的題目中大部分都有disorder的問題時,先使用單向度驗證來刪題,很可能會發生刪完題目之後,還是有部分題目有disorder的情形。屆時再處理點數的精簡,理論上還會進行一次單向度驗證,若是又發生misfit的情形,前後兩次單向度驗證立基於不同的量尺點數上,分析的結果在解釋上會有困難。 情況二:少部分的題目disorder為 1 2 4 3 5 結論:可以先處理那些disorder題目的量尺點數精簡,或是先不處理。 理由: 1.將具有disorder的題目先處理之後,進行單向度驗證,同情況一,分析上比較單純。 2.若是研究者對於量尺點數的一致性有某種程度的堅持,可以先進行單向度驗證的刪題,看看之後還剩下多少disorder的題目。若是lucky的話可以得到沒有disorder題目剩下的結果,若是還是有一兩題存在,可以討論保留點數一致性的理由,若是沒有理由的話建議還是先進行disorder相關的操作較佳。 情況三:disorder 為 5 4 3 2 1 結論:應該檢查一下raw data,是否有coding錯誤的情形,若是沒有,研究者應思考一下此題目難度與受試者能力完全倒置的情形,或許該題目不該存在於此問卷中。(註)對於"大部分/幾乎全部"以及"少部分"的判斷依研究者而定。我目前覺得20%以下稱為少部分,80%以上稱為大部分,若是介於這個中間,可以兩種方式都跑跑看(先做單向度、或是先做disorder),看看最後刪題的結果為何再決定採用何種方法。
作者已經移除這則留言。
我個人認為是要先檢驗單向度(了解是否題目是測驗同一概念),然後再細看每個項目的step是否有錯置的現象.
網誌管理員已經移除這則留言。
個人想法是先檢驗項目分數等級之適用性,之後再做單向度驗證。原因是先瞭解是否有disordering 的情形,如有(如研究者的目的之一就是想要減少選項),在此研究者可以選擇將response categories collapse into合理的選項。那研究者現在關心的應該是這new set data 是否有符合單向度。
我也覺得應該先檢驗項目分數等級之適用性再看其他單一面向的指標。因為適當的計分量尺是問卷計分的基礎,如果計分結果無法反應個案的能力,後面的分析可能都會受影響。至於是否要針對倒置的情形做處理,則贊同宇佑將情況分為少量倒置和大量倒置兩種處理方式,並且視整份量表的設計決定是否減少量尺點數。如果所有的題目都是用同樣的量尺詞,只有少數題目有倒置情況,就不一定需要減少選項數目,因為會使得問卷變得過於複雜。如果大量題目都有倒置問題,才有需要考慮合併量尺。附帶一提,如果整份問卷都是同一量尺而使用RSM,所有的題目都採用同樣的step,結果只看得到一組階難度,看不出哪一題有難度倒置。
項目分數等級之適用性的檢驗:是檢驗step calibration是否有錯置的狀況。
回覆刪除假設目前的問卷為五點量尺
回覆刪除情況一:大部分題目或幾乎所有題目disorder為 1 2 4 3 5
結論:disordering的問題先處理,且針對所有問卷題目。
理由:
1.若是大部分題目都有這樣的disorder發生,那我們可以有很大的信心去說,五點量尺是多餘的,因此可以將整份問卷的量尺都進行簡化。
2.量尺分數的處理,會影響到單向度驗證的結果,再加上若是問卷的題目中大部分都有disorder的問題時,先使用單向度驗證來刪題,很可能會發生刪完題目之後,還是有部分題目有disorder的情形。屆時再處理點數的精簡,理論上還會進行一次單向度驗證,若是又發生misfit的情形,前後兩次單向度驗證立基於不同的量尺點數上,分析的結果在解釋上會有困難。
情況二:少部分的題目disorder為 1 2 4 3 5
結論:可以先處理那些disorder題目的量尺點數精簡,或是先不處理。
理由:
1.將具有disorder的題目先處理之後,進行單向度驗證,同情況一,分析上比較單純。
2.若是研究者對於量尺點數的一致性有某種程度的堅持,可以先進行單向度驗證的刪題,看看之後還剩下多少disorder的題目。若是lucky的話可以得到沒有disorder題目剩下的結果,若是還是有一兩題存在,可以討論保留點數一致性的理由,若是沒有理由的話建議還是先進行disorder相關的操作較佳。
情況三:disorder 為 5 4 3 2 1
結論:應該檢查一下raw data,是否有coding錯誤的情形,若是沒有,研究者應思考一下此題目難度與受試者能力完全倒置的情形,或許該題目不該存在於此問卷中。
(註)對於"大部分/幾乎全部"以及"少部分"的判斷依研究者而定。我目前覺得20%以下稱為少部分,80%以上稱為大部分,若是介於這個中間,可以兩種方式都跑跑看(先做單向度、或是先做disorder),看看最後刪題的結果為何再決定採用何種方法。
作者已經移除這則留言。
回覆刪除我個人認為是要先檢驗單向度(了解是否題目是測驗同一概念),然後再細看每個項目的step是否有錯置的現象.
回覆刪除網誌管理員已經移除這則留言。
回覆刪除個人想法是先檢驗項目分數等級之適用性,之後再做單向度驗證。原因是先瞭解是否有disordering 的情形,如有(如研究者的目的之一就是想要減少選項),在此研究者可以選擇將response categories collapse into合理的選項。那研究者現在關心的應該是這new set data 是否有符合單向度。
回覆刪除我也覺得應該先檢驗項目分數等級之適用性再看其他單一面向的指標。
回覆刪除因為適當的計分量尺是問卷計分的基礎,
如果計分結果無法反應個案的能力,後面的分析可能都會受影響。
至於是否要針對倒置的情形做處理,
則贊同宇佑將情況分為少量倒置和大量倒置兩種處理方式,
並且視整份量表的設計決定是否減少量尺點數。
如果所有的題目都是用同樣的量尺詞,
只有少數題目有倒置情況,就不一定需要減少選項數目,因為會使得問卷變得過於複雜。
如果大量題目都有倒置問題,才有需要考慮合併量尺。
附帶一提,如果整份問卷都是同一量尺而使用RSM,
所有的題目都採用同樣的step,結果只看得到一組階難度,
看不出哪一題有難度倒置。