簡易檢索 / 詳目顯示

研究生: 張宴晟
Yen-Sheng Chang
論文名稱: 擴展反應型論述題反應之自動化評估方法 - 以教師教學能力為例
Automated Scoring Methods for Extended Response Essay Item - Case Study of Instructional Abilities
指導教授: 張國恩
Chang, Kuo-En
宋曜廷
Sung, Yao-Ting
學位類別: 碩士
Master
系所名稱: 資訊教育研究所
Graduate Institute of Information and Computer Education
論文出版年: 2008
畢業學年度: 96
語文別: 中文
論文頁數: 100
中文關鍵詞: 擴展反應型論述題自動批改概念比對
英文關鍵詞: automatic scoring, concept matching
論文種類: 學術論文
相關次數: 點閱:150下載:3
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 擴展反應型論述題指的是受試者在回答論述題時,可以根據自己最佳的判斷組織、整合和評鑑適切的想法及觀念於答案中。雖然擴展反應型論述題比起其他選擇反應型題型更能夠測量學習者較複雜、較高層次的學習效果,但是在批改上卻非常耗費教師的時間。自動批改系統雖然有助於減輕教師批改上的負擔,然而現階段卻沒有一個可實際應用的工具,能針對擴展反應型論述題進行自動評分。因此,本文的目的在探討國內外論述題自動批改的相關研究,並提出一個以概念比對為基礎的自動評分模型,探討此模型的效能及未來發展方向。
    本研究以立台北教育大學某課程的89位大一學生為對象,擬定10題有關教師教學能力的問題製成問捲進行自動評分實驗。研究結果發現:(1) 本實驗顯示本文所提之方法有相當好的效果,然而距離可應用階段所需的正確率仍有差距;(2) 語料庫的品質會大大的影響了本文所提方法之自動批改效能。

    The Extended Responses Essay refers when the subjects answer to the discussed ques-tions basing on their best judgments, integration and evaluation of the relevance of ideas and concepts to answer. Although the Extended Response type items can measure more complicated and higher level of learning abilities than the Selecting Response type items, but to mark the answer is much more time-consuming. Although the automatic scoring system will help to reduce the burden of teacher's marking, there is no practical applica-tion tool at this stage that can automatically score Extended Response Essay items. Therefore, the purpose of this paper aims to explore the automatic scoring technique and research and put forward an automatic scoring model based on concept matching. Besides, we propose the effectiveness of this model and the future development direction.
    The participants of this research are 89 freshmen of National Taipei university of Education students. We collected the data of 10 questionnaires of instructional abilities to our automatic scoring system experiment. The results showed that: (1) This experiment showed that this method is referred to very good effect, but there is still a gap to apply in practical application, (2) the quality of corpus greatly affects the automatic scoring per-formance.

    附表目錄 vi 附圖目錄 vii 第一章 緒論 1 第一節 研究背景與動機 1 第二節 研究目的 6 第二章 文獻探討 7 第一節 教學評量 7 第二節 論述題自動批改系統之探討 15 第三節 自然語言處理技術 23 第四節 綜合分析 27 第三章 自動化評估方法 32 第一節 概念擷取 33 第二節 建立概念集 38 第三節 概念比對 41 第四節 計分模組 43 第四章 實驗設計 55 第一節 實驗工具 55 第二節 實驗資料 56 第三節 實驗流程 58 第四節 實驗結果 63 第五節 實驗結果討論 81 第五章 結論與未來發展 87 參考文獻 90 附錄一 中研院平衡語料庫詞類標記集 94 附錄二 簡化詞類及精簡詞類對照表 96 附錄三 系統實作畫面 97

    一、中文部分

    CKIP詞庫小組(1993)。中文詞類分析(三版)技術報告。中央研究院資訊科學研究所。

    中央研究院資訊科學研究所詞庫小組中文斷詞系統。
    URL:http://ckipsvr.iis.sinica.edu.tw/

    何榮桂(1990)。電腦教學系統中的測驗設計。中等教育,41(2),29-34。

    何榮桂(1997)。從「測驗電腦化與電腦化測驗」再看網路化測驗。測驗與輔導,
    144,2972-2974。

    李坤崇(1999) 。多元化教學評量。台北:心理出版社。

    林千翔、張嘉惠(2006)。基於特製隱藏式馬可夫模型之中文斷詞研究。ROCLING
    XVIII: Conference on Computational Linguistics and Speech Processing, 2006.

    林明達(1998)。全球資訊網線上測驗系統之設計與製作。國立交通大學資訊科學
    研究所碩士論文。

    林素穗(2001)。運用資訊技術於論文題之自動評量之探討。國立彰化師範大學商
    業教育學系碩士論文。

    范長康、蔡文祥(1987)。以鬆弛法作中文斷詞。全國計算機會議論文集,
    423 - 431。

    許成之、詹彥傑、林志偉、施逸群(2006)。線上測驗簡答題評分之研究。2006數位科技與創新管理國際研討會,華梵大學,台北,台灣。

    許菱祥(1986)。中文文法。大中國圖書公司。

    陸汝鈴(1995)。人工智能。科學出版社。

    張佑銘(2004)。中文自動作文修辭評分系統設計。國立交通大學資訊工程研究所碩士論文。

    張道行 (2007)。中文寫作自動評閱之概念化方法。新竹市:國立交通大學博士論文。(未出版)

    張道行、李嘉晃、譚克平(2006)。中文寫作自動評閱系統之發展與效能。中文寫作評量研討會,台灣師範大學,台北:台灣。

    陳英豪、吳裕益(1982)。測驗的編制與應用。台北:偉文出版社。

    陳稼興、謝佳倫、許芳誠(2000)。以遺傳演算法為基礎的中文斷詞研究。電子商
    務學報,2(2),27-44。

    陳柏熹(2006)。國家考試電腦化測驗相關問題探討。國家菁英季刊,2(2),125-138。

    梅家駒(1983)。同義詞詞林。東華書局。

    楊亨利、應鳴雄(2006)。線上測驗系統的評分機制及回饋方式對測驗成績、評分效力、測驗系統滿意度之影響研究。資訊管理展望,第8卷第2期。

    葉千綺(2000)。電腦在測驗領域的發展與應用。新世紀優質學習的經營研討會,國立台南師範學院。

    葉連祺(2000)。教師自編紙筆式測驗試題類型之探討。研習資訊,17(4),42-53。

    郭生玉(2004)。教育測驗與評量。精華書局。

    二、英文部分

    Chen ,Y.J. , (2000). Scalable summarization for Chinese text ,master thesis of Na-tional Tsing-Hua University.
    Manning Christopher D. & Schutze, H. (1999). Foundations of Statistical Natural Language Processing ,MIT Press.
    Dikli, S. (2006). Automated Essay Scoring. Online Submission 7: 49-62.
    Edel, R. L., & Frisbie, D. A. (1991). Essentials of educational measurement (5th ed.). Englewood Cliffs, NJ: Prentice-Hall.
    Gronlund, N. E. (1993). How to make achievement tests and measurements (5th ed.). Needham Heights, MA: Allyn and Bacon.
    Hutchison, D. (2007). An evaluation of computerised essay marking for national cur-riculum assessment in the UK for 11-year-olds. British Journal of Educational Technology 38: 13.
    Leacock, C. & Chodorow, M. (2003). C-rater: Scoring of short-answer questions. Computers and the Humanities, 37(4), 389-405.
    Li, G. C., K. Y. Liu., & Y. K. Zhang. (1998). Identifying Chinese Word and Processing Different Meaning Structures. Journal of Chinese Information Processing, Vol. 2, pp. 45-53.
    Liang, N. Y. (1990). Knowledge of Chinese Word Segmentation. Journal of Chinese Information Processing, Vol. 4, pp. 42-49.
    Mark, D. R. (1997). The Next Generation of Computerized Tests: Implications for Testing of Advances in Multimedia, Intelligent Tutoring Systems, and Language Processing. AEDS Journal (19:2), 1997, pp: 81-108.
    McKenna, C. & Bull, J. (1999). Designing Effective Objective Test Questions: An Introductory Workshop. Third Annual Computer-assisted Assessment confe-rence.
    Salton, G., Allan , J., & Buckly , C. (1994). Automatic structuring and retrieval of large text files. Communications of the ACM, 37(2) ,pp97-108
    Stephen, G., Pulman , J., & Sukkarieh, Z. (2005). Automatic Short Answer Marking. Proceedings of the 2nd Workshop on Building Educational Applications Using NLP: 9-16.
    Valenti, S., Neri, F., & Cucchiarelli, A. (2003). An Overview of Current Research on Automated Essay Grading. Journal of Information Technology Education, Vo-lume 2, 2003. Wang, H. C., Kumar, R., Rose, C. P., Li, T. Y., & Chang, C. Y. (2007). A Hybrid Ontology Directed Feedback Selection Algorithm for Sup-porting Creative Problem Solving Dialogues. Proceedings of 20th International Joint Conference on Artificial Intelligence.
    Wang, H. C., Chang, C. Y., & Li, T. Y. (2005, November). Automated scoring for creative problem solving ability with ideation-explanation modeling. Paper presented at the 2005 International Conference on Computers in Education, Singapore.

    下載圖示
    QR CODE