2011年1月17日 星期一

希望老師再澄清的內容 ~revised

問題
已知
未知/待澄清
解讀BDIweighted kappa結果
已算出每個項目的weighted kappa(kw2),且已解釋結果,已寄給老師。
想了解老師對我們算出的weighted kappa資料的看法,比較老師和自己的看法,互相切磋。
使用SPSS計算ICCType選擇使用?有兩種typeconsistencyabsolute agreement
已查到有關consistencyabsolute agreement的資料解釋,如下:
Absolute agreement: Measures if raters assign the same absolute score. Absolute agreement is often used when systematic variability due to raters is relevant.
Consistency: Measures if raters' scores are highly correlated even if they are not identical in absolute terms That is, raters are consistent as long as their relative ratings are similar. Consistency agreement is often used when systematic variability due to raters is irrelevant.
雖然有找出英文的解釋,但仍然不是很清楚英文說明,需要老師提供範例解說。

自評學習進度之回饋

各種心理計量 [概念] 的部分: 請您在不看任何參考資料時,練習向他人解釋、或寫下來。之後請聽者回饋,及自行檢討不孰悉之處。再看看紫皮書的第1篇參考文獻,也再看看書中我參與的中文文獻,以及我寫的教科書章節。若還有不通,請在此部落格提出討論。

各種心理計量的 研究設計,請您在不看任何參考資料時,先想想如何設計一個研究(或有不同之設計),以進行該心理計量特性之驗證。再看看紫皮書的相關研究的研究設計。若還有不通,請在此部落格提出討論。

對於不熟悉的心理計量之 SPSS 分析,請再練習,含SPSS結果輸出部分的解讀。若還有不通,請在此部落格提出討論。

資料解讀,除了判斷是否符合既訂的標準,也須思考其真正含意(尤其是臨床意義)。請閱讀紫皮書之相關研究設計、資料分析、結果後,先自行解讀,再比對作者之解讀。若還有不通,請在此部落格提出討論。

師父引進門,修行靠個人!

You do your part, I do mine.

想要請老師補充的心理計量特性概念


主題
已知
未知/待澄清
Effect size(ES)
ES可用於瞭解量表在反應一群個案在治療前後的改變量的大小。而測量工具的ES大小,也可作為選擇工具和訂定治療計畫的依據。
1.概念:反應性研究中的ES數值是否應解讀為:可以低//高度反應個案的變化?或是有其他解讀方式?
2.應用:當工具的反應性低,個案的進步量就不容易被反應出來。則應如何比較測量同一概念但不同反應性的工具的分數改變?
3.研究設計:當治療效果的改變量真的非常小的時候,未必是工具不好。則應如何確認工具的反應性?是否應該只收:自己/治療師覺得有進步的個案進行反應性驗證?
ICC
ICC可用於估計兩次測量結果的一致性。ICC的計算方式與ANOVA有類似的概念。
1.概念ICCANOVA的概念相同與相異之處?(之前報告時,我一直無法區別這兩者)
Model1用於有施測者群的隨機施測;model 2用於施測者與受測者皆為隨機選取、且受測者皆受相同施測者評估的施測;Model 3用於受測者隨機選取,施測者為事先指定的施測,因此結果的推論性不同。
2. 概念:3Model的選用,以 model2最常見,不知在什麼情況會使用model1model3為佳?
SPSS的操作上,有consistency absolute agreement的選用。目前找到的資料為:兩次施測者如果是相關的,就選用absolute agreement。施測者如果不相關,就選用consistency
3-1概念:不知道這兩者是否有更清楚的定義與差別?
3-2概念:是不是因為不論做施測者間信度或再測信度,都是由同一群/同一個施測者施測,因此選用absolute agreement
團體比較時,ICC>0.7為可接受;個人比較時,ICC>0.9為可接受。
4-1 概念ICC的分數,是否可以誤差或機率來理解?例如:ICC=0.8,表示兩次測量結果,有20%的分數可能是由測量誤差造成的,或是可能有20%的評分結果不一致。或是有其他方法,可以解釋給個案聽懂。
4-2 結果解釋:大於可接受以上的ICC值,要多少以上才算是良好呢?
4-3 概念/研究設計ICC要如何用於個人比較?如果前後測各只有一個分數,用相關計算似乎比較簡單。
Regression
迴歸可用於瞭解變項的關係,並且可以用幾個變項預測有相關(但不同)的變項。因此,可用於效標關連效度當中的預測效度。例如:以A量表的測量結果,預測個案三個月後B量表(B能力)的表現。
1.概念:雖然由文獻回顧可知通常都會把那些因素納入迴歸分析的變數當中。但是變項的重要性與數量應該如何決定?R2要多少為佳?
2.研究設計:如何決定採用哪一種迴歸模式,最能解釋資料?例如:直線迴歸、非線性迴歸、羅吉斯迴歸等。

請老師澄清之問題

1. effect size: 目前知道可用來看評估工具的responsiveness,但用於療效驗證或後設分析的部份則較不清楚
2. linear regression及Pearson /Spearman都可用來看correlation,如何選擇?
3. ROC curve: 如何計算及呈現

麻煩老師再澄清的部份

1. kappa & weighted kappa, 尤其是 使用 SPSS 分析weighted kappa 後結果,wk1 & wk2 的解釋 (為什麼會有/需要wk1 or wk2兩種算法)
2. Effect size基本概念澄清及應用,SPSS 結果解釋
3.  Pearson r, spearnman rho, regression 基本概念澄清

謝謝老師!!

2011年1月16日 星期日

希望老師再澄清的內容

1. 如何解讀已分析的資料,實際教導或例子解說,例如: kappa (或 weighted kappa)和 ICC 作業討論
2. 在SPSS計算ICC時,於計算Model 2和Model 3,要如何選擇consistency和absolute agreement?

謝謝

2011年1月15日 星期六

明日課程暫停

各位同學不好意思,
因為我這兩天感冒,本來以為經過幾天休養會好些,
不過直到現在還是沒辦法講太多話,會一直咳嗽。

由於明天課程因為要講3~6小時,
我經過審慎評估後,
我認為自己目前的狀況並無法提供大家很有品質的課程內容
所以決定先暫停並且將課程延後至大家有空的時間再上,
以期可以清楚並讓大家有很好的吸收效益。

如果造成任何困擾還請大家見諒。