簡易檢索 / 詳目顯示

研究生: 曾聖峰
論文名稱: 應用項目反應理論於電腦化分類測驗之序列機率比率檢定
Applying Item Response Theory in Computerized Classification Test Using Sequential Probability Ratio Test
指導教授: 何榮桂
學位類別: 碩士
Master
系所名稱: 資訊教育研究所
Graduate Institute of Information and Computer Education
論文出版年: 2007
畢業學年度: 95
語文別: 中文
論文頁數: 49
中文關鍵詞: 電腦化分類測驗序列機率比率檢定項目反應理論
英文關鍵詞: computerized classification test, sequential probability ratio test, item response theory
論文種類: 學術論文
相關次數: 點閱:117下載:11
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 在電腦化分類測驗中採用序列機率比率檢定能以較短測驗長度完成分類決策,但在傳統序列機率比率檢定中對於題庫內每個試題的答題反應機率描述均相同,因此在題庫內試題難度分布較不均勻時,有可能因隨機選取均較難或均較簡單的試題進行測驗,在做出正確分類決策前即達到測驗終止條件而做出錯誤分類決策提高分類錯誤比例。本研究擬採用項目反應理論描述受試者能力值與試題難度在答題反應上的關係,比較項目反應理論為基礎的序列機率比率檢定(IRT-based SPRT)與傳統序列機率比率檢定(SPRT)在電腦化分類測驗中分類正確性的差異,並嘗試藉由調整相關參數觀察兩種計分模式的效能變化情形。
      本研究以單參數項目反應理論為真實模式,模擬產生能力值呈常態分布的受試者1,000,000名,並模擬產生四題庫分別代表難度均勻分散 (b值為-3至3間均勻分布)、難度較集中於通過分數 (b值為以平均數為0標準差為1的常態分布)、偏難(b值為以平均數為1標準差為1的常態分布)與偏易(b值為以平均數為-1標準差為1的常態分布),以0為通過分數、θ0=-.25、θ1=.25、α=.05與β=.05模擬受試者分別以SPRT與IRT-based SPRT的施測情形,再分別調整(θ0, θ1)、(α, β)為較低數值重覆進行模擬,記錄每位受試者的分類情形與測驗長度資訊做分析。
      研究結果發現IRT-based SPRT在各組別的模擬均較SPRT有較高且較穩定的正確分類比例,以θ0=-.25、θ1=.25、α=.05與β=.05作為施測參數下進行模擬其分類正確比例均達95%以上,調整以較窄未決策區間寬度與較低的α與β值可以較長施測題數得到較高的正確分類比例。傳統SPRT則在題庫內試題偏難或偏易時錯誤分類比例均高達30%以上,且調整施測參數並無法藉由增加施測題數得到較佳的正確分類比例。因此IRT應用於電腦化分類測驗上的序列機率比率檢定仍有其必要性。

    表次 i 圖次 iii 第一章 緒論 1   第一節 研究背景與動機 1   第二節 研究目的 3 第二章 文獻探討 5   第一節 序列機率比率檢定 (SPRT) 5   第二節 項目反應理論 (IRT) 10   第三節 電腦化分類測驗 (CCT) 12   第四節 影響以SPRT實施CCT的因素 14 第三章 研究方法 19   第一節 研究步驟 20   第二節 研究工具 20   第三節 實驗設計 21 第四章 結果與討論 24   第一節 SPRT與IRT-based SPRT在不同型態題庫的比較 24   第二節 SPRT與IRT-based SPRT在不同未決策區間的比較 28   第三節 SPRT與IRT-based SPRT在不同α與β數值的比較 37 第五章 結論與建議 45   第一節 結論 45   第二節 建議 46 參考文獻 48

    王文中 (1996)。幾個有關Rasch模式的爭議。教育與心理研究第19期。(pp.1-26)。
    李源煌 (1995)。效標參照測驗之題目難度分配型態對循序漸進機率比率決策模式(SPRT)判別學生學習精熟或為精熟之影響。測驗年刊第四十二輯,(pp.415-430)。
    洪小雰 (2006)。電腦分類測驗之內容平衡及曝光率控管。國立中正大學心理研究所碩士論文。
    Fog, A. (2001). Pseudo random number generators. www.agner.org/random.
    Fog, A. (2004). The noncentral hypergeometric probability distrubutions. www.agner.org/random/theory.
    Frick, T. W. (1986). An investigation of the validity of the sequential probability ratio test for mastery decisions in criterion-referenced testing. Paper presented at the annual meeting of the American Educational Research Association, San Francisco.
    Frick, T. W. (1990). A comparison of three decision models for adapting the length computer-based mastery tests. Journal of educational computing Research, 6, 479-513.
    Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and applications. Boston, MA: Kluwer-Nijhoff
    Jiao, H. & Lau, C. A. (2003). The effects of model misfit in computerized classification test. Paper presented at the annual meeting of the National Council of Educational Measurement, Chicago, IL.
    Kalohn, J. C. & Spray, J. A. (1999) The effect of model misspecification on classification decision made using a computerized test. Journal of educational measurement. 36, 47-59.
    Kingsbury, G. G., & Weiss, D. J. (1983). A comparison of IRT-based adaptive mastery testing and a sequential mastery testing procedure. In D. J. Weiss (Ed.), New horizons in testing: Latent trait test theory and computerized adaptive testing (pp.257-283). New York: Academic Press.
    Parshall, C. G., Spray, J. A., Kalohn, J. C., & Davey, T. (2002). Practical considerations in computer-based testing (pp.153-168). New York: Springer-Verlag.
    Rackase, M. D. (1983). A procedure for decision making using tailored testing. In D. J. Weiss (Ed), New horizons in testing: Latent trait test theory and computerized adaptive testing (pp. 237-255). New York: Academic Press.
    Spray, J. A., & Reckase, M. D. (1996). Comparison of SPRT and sequential Bayes procedures for classifying examinees into two categories using a computerized test. Journal of Educational and Behavioral Statistics, 21,405-414.
    Wald, A.(1947). Sequential analysis. NewYork:Wiley.
    Weiss, D. J., & Kingsbury, G. G. (1984) Application of computerized adaptive testing to educational problems. Journal of educational measurement,21,361-375

    QR CODE