研究生: |
曾聖峰 |
---|---|
論文名稱: |
應用項目反應理論於電腦化分類測驗之序列機率比率檢定 Applying Item Response Theory in Computerized Classification Test Using Sequential Probability Ratio Test |
指導教授: | 何榮桂 |
學位類別: |
碩士 Master |
系所名稱: |
資訊教育研究所 Graduate Institute of Information and Computer Education |
論文出版年: | 2007 |
畢業學年度: | 95 |
語文別: | 中文 |
論文頁數: | 49 |
中文關鍵詞: | 電腦化分類測驗 、序列機率比率檢定 、項目反應理論 |
英文關鍵詞: | computerized classification test, sequential probability ratio test, item response theory |
論文種類: | 學術論文 |
相關次數: | 點閱:117 下載:11 |
分享至: |
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報 |
在電腦化分類測驗中採用序列機率比率檢定能以較短測驗長度完成分類決策,但在傳統序列機率比率檢定中對於題庫內每個試題的答題反應機率描述均相同,因此在題庫內試題難度分布較不均勻時,有可能因隨機選取均較難或均較簡單的試題進行測驗,在做出正確分類決策前即達到測驗終止條件而做出錯誤分類決策提高分類錯誤比例。本研究擬採用項目反應理論描述受試者能力值與試題難度在答題反應上的關係,比較項目反應理論為基礎的序列機率比率檢定(IRT-based SPRT)與傳統序列機率比率檢定(SPRT)在電腦化分類測驗中分類正確性的差異,並嘗試藉由調整相關參數觀察兩種計分模式的效能變化情形。
本研究以單參數項目反應理論為真實模式,模擬產生能力值呈常態分布的受試者1,000,000名,並模擬產生四題庫分別代表難度均勻分散 (b值為-3至3間均勻分布)、難度較集中於通過分數 (b值為以平均數為0標準差為1的常態分布)、偏難(b值為以平均數為1標準差為1的常態分布)與偏易(b值為以平均數為-1標準差為1的常態分布),以0為通過分數、θ0=-.25、θ1=.25、α=.05與β=.05模擬受試者分別以SPRT與IRT-based SPRT的施測情形,再分別調整(θ0, θ1)、(α, β)為較低數值重覆進行模擬,記錄每位受試者的分類情形與測驗長度資訊做分析。
研究結果發現IRT-based SPRT在各組別的模擬均較SPRT有較高且較穩定的正確分類比例,以θ0=-.25、θ1=.25、α=.05與β=.05作為施測參數下進行模擬其分類正確比例均達95%以上,調整以較窄未決策區間寬度與較低的α與β值可以較長施測題數得到較高的正確分類比例。傳統SPRT則在題庫內試題偏難或偏易時錯誤分類比例均高達30%以上,且調整施測參數並無法藉由增加施測題數得到較佳的正確分類比例。因此IRT應用於電腦化分類測驗上的序列機率比率檢定仍有其必要性。
王文中 (1996)。幾個有關Rasch模式的爭議。教育與心理研究第19期。(pp.1-26)。
李源煌 (1995)。效標參照測驗之題目難度分配型態對循序漸進機率比率決策模式(SPRT)判別學生學習精熟或為精熟之影響。測驗年刊第四十二輯,(pp.415-430)。
洪小雰 (2006)。電腦分類測驗之內容平衡及曝光率控管。國立中正大學心理研究所碩士論文。
Fog, A. (2001). Pseudo random number generators. www.agner.org/random.
Fog, A. (2004). The noncentral hypergeometric probability distrubutions. www.agner.org/random/theory.
Frick, T. W. (1986). An investigation of the validity of the sequential probability ratio test for mastery decisions in criterion-referenced testing. Paper presented at the annual meeting of the American Educational Research Association, San Francisco.
Frick, T. W. (1990). A comparison of three decision models for adapting the length computer-based mastery tests. Journal of educational computing Research, 6, 479-513.
Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and applications. Boston, MA: Kluwer-Nijhoff
Jiao, H. & Lau, C. A. (2003). The effects of model misfit in computerized classification test. Paper presented at the annual meeting of the National Council of Educational Measurement, Chicago, IL.
Kalohn, J. C. & Spray, J. A. (1999) The effect of model misspecification on classification decision made using a computerized test. Journal of educational measurement. 36, 47-59.
Kingsbury, G. G., & Weiss, D. J. (1983). A comparison of IRT-based adaptive mastery testing and a sequential mastery testing procedure. In D. J. Weiss (Ed.), New horizons in testing: Latent trait test theory and computerized adaptive testing (pp.257-283). New York: Academic Press.
Parshall, C. G., Spray, J. A., Kalohn, J. C., & Davey, T. (2002). Practical considerations in computer-based testing (pp.153-168). New York: Springer-Verlag.
Rackase, M. D. (1983). A procedure for decision making using tailored testing. In D. J. Weiss (Ed), New horizons in testing: Latent trait test theory and computerized adaptive testing (pp. 237-255). New York: Academic Press.
Spray, J. A., & Reckase, M. D. (1996). Comparison of SPRT and sequential Bayes procedures for classifying examinees into two categories using a computerized test. Journal of Educational and Behavioral Statistics, 21,405-414.
Wald, A.(1947). Sequential analysis. NewYork:Wiley.
Weiss, D. J., & Kingsbury, G. G. (1984) Application of computerized adaptive testing to educational problems. Journal of educational measurement,21,361-375