簡易檢索 / 詳目顯示

研究生: 陳昭安
論文名稱: 建構試題自動分類系統之研究-以MOCC術科試題為例
The Study on Constructing System of the Autonomous Categorization for Questions - A Case Study of MOCC Skill Questions
指導教授: 戴建耘
學位類別: 碩士
Master
系所名稱: 工業教育學系
Department of Industrial Education
論文出版年: 2002
畢業學年度: 90
語文別: 中文
中文關鍵詞: 試題分類字詞剖析文件分類字詞出現頻率逆文件頻率
英文關鍵詞: Question Categorization (QC), Text Categorization, Term Parser(TP), Term Frequency (TF), Inverse Document Frequency (IDF)
論文種類: 學術論文
相關次數: 點閱:191下載:4
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 文件分類之研究自1961年由Maron提出之後,無論在中文或是英文方面都已經得到很好的成果,運用這方面研究的基礎,可轉化到試題分類的機制。試題分類系統可有效簡化教學工作者對於大量不同來源的試題作分類的負擔,進而充分的準備教材。在學習者方面,可幫助了解試題所包含的能力項目及比重,而達到更有效率的學習。在試題開發者方面,可以作為分析及鑑定試題優劣的工具。
    本研究的素材為「中華民國電腦教育發展協會」所發展的PreMOUS Word (MOCC Word標準級) 及MOCC Word專業級認證,研究中採擷PreMOUS Word試題的關鍵字詞構成「特徵關鍵字詞庫(FTB)」,並藉由關鍵字詞與各能力項目間的權重,構成權重向量矩陣。應用TF、TFxIDF、IDF、WIDF和TFxIDF2等字詞權重函數構成權重向量矩陣,對PreMOUS的試題作回歸測試 (Recall Testing),並由回歸率 (Recall Rate)了解能力項目分類的正確程度,找出最佳的方法。
    本研究針對PreMOUS Word試題進行回歸測試,可得到高達100%的回歸率。 針對多於24能力項目,且具複雜的綜合能力項目的MOCC Word 專業級術科題庫分類,亦有高達72%的正確率。運用此試題分類系統可有效的提高試題的分類速度,進而達到題庫品質管控的目標。

    Ever since Maron’s text categorization in 1961, Chinese and English have became more efficient today. By applying this basis of study, we can convert the domain of text categorization into question categorization. The Question Categorization System (QCS) can simplify tasks about the categorization of questions from any source, and provides enough time to prepare class materials; this is a marvelous tool for educators or scholars. As for learners, The QCS assists them to comprehend each question’s ability and enhances learning efficiency. For question developers, The QCS is used to analyze the quality of questions.
    This study consists PreMOUS Word (MOCC Word Core) and MOCC Word Expert certificate model, developed by “The Chinese Computer Education Association” (CCEA). In this study uses terms from the question of PreMOUS Word, and construct a Feature Term Base (FTB). By using the weight of terms in every ability item is called Weighted Vector Matrix (WVM). Finally, the PreMOUS’s Questions uses Recall Testing. The result of recall rate shows the preciseness of The QCS, and obtains an optimum method of question categorization.
    Recall testing is applied for questions in PreMOUS Word, which creates a possibility of 100% recall rate. The categorizing in operational item bank of MOCC Word Expert certificate has more than 24 ability items, and has reached 72% accuracy. QCS effectively raises the speed of categorizing; therefore, it is the target study for item bank’s quality control.

    摘要 Ⅰ 目錄 III 圖目錄 V 表目錄 VI 第一章 緒論 1 第一節 研究動機 1 第二節 研究目的 3 第三節 待答問題 3 第四節 名詞解釋 4 第五節 研究範圍與限制 5 第六節 研究方法與步驟 6 第二章 文獻探討 8 第一節 中文斷詞 8 第二節 文件分類 13 第三節 相似度分析 24 第三章 研究設計 26 第一節 確認研究素材 26 第二節 試題分類處理 28 第三節 收集基礎詞庫及建立特徵關鍵字詞庫 30 第四節 字詞權重函數 34 第五節 權重向量矩陣 37 第六節 回歸率 44 第四章 研究步驟及實驗結果 45 第一節 基礎詞庫結構及規劃 47 第二節 關鍵字剖析處理 54 第三節 關鍵字剖析工具 (Term Parser Tools,TPT) 59 第四節 回歸測試處理 63 第五節 回歸測試結果 65 第六節 關鍵字詞數對回歸率的影響 74 第七節 新增試題分類及分析實驗設計 76 第八節 新增試題分類及分析實驗結果 83 第五章 結論與建議 92 第一節 結論 92 第二節 建議 96 參考文獻 98 附件一 PreMOUS Word 2000 101 附件二 MOCC Word 2000專業級 111 附件三 研究者小傳 131 圖目錄 圖1-1 QCS的應用領域 2 圖1-2 研究步驟流程圖 7 圖3-1 建立特徵關鍵字詞庫的架構圖 30 圖3-2 相關字詞庫 31 圖3-3 權重向量矩陣的運算模式 41 圖4-1 試題分類系統架構圖 45 圖4-2(a) 原相關字詞庫格式 47 圖4-2(b) 處理後之「基礎字詞庫」 48 圖4-3 「能力項目」資料表的內容 49 圖4-4 「特徵關鍵字詞庫」資料表內容 50 圖4-5 關鍵字詞分佈於各能力項目的頻率 50 圖4-6 採用歸一化 (Uniform) 表示的TF值 51 圖4-7 單題資料表內容 52 圖4-8 「試題」資料表的內容 53 圖4-9 字詞剖析樹 (Parse Tree) 54 圖4-10 「關鍵字詞」資料表內容 58 圖4-11 關鍵字詞剖析(TP)流程 59 圖4-12 關鍵字剖析工具 (Term Parser) 60 圖4-13 回歸測試處理工具 64 圖4-14 採用TF字詞權重函數成功分類之分佈示意圖 67 圖4-15各能力項目總筆數及各順位可辨識筆數 68 圖4-16關鍵字數與回歸率關係及趨勢圖 74 圖4-17 正確率區間分佈圖 85 圖4-18 錯誤率區間分佈圖 87 表目錄 表2-1 文件集合範例 19 表2-2 各種字詞加權函數比較表 22 表3-1 PreMOUS Word的能力項目分類 27 表3-2 試題檔案列表 28 表3-3 權重向量矩陣 37 表3-4 Wd2k0901a.txt各關鍵字的出現次數 42 表3-5 經過篩選後的權重向量表 42 表4-1 「基礎字詞庫」資料表格式 47 表4-2 「能力項目」資料表格式 48 表4-3 「特徵關鍵字詞庫」資料表格式 49 表4-4 「單題」資料表格式 52 表4-5 「試題」資料表格式 52 表4-7 各能力項目之關鍵字詞數量 61 表4-8 關鍵字詞數最多的前四個能力項目 62 表4-9 採用TF字詞權重函數的實驗結果 66 表4-10 採用TFxIDF字詞權重函數的實驗結果 69 表4-11 採用TF/ WIDF字詞權重函數的實驗結果 70 表4-12 採用TFIDF2字詞權重函數的實驗結果 71 表4-13 採用IDF字詞權重函數的實驗結果 72 表4-14 採用WIDF字詞權重函數的實驗結果 73 表4-15 不同樣本試題數的回歸率測試結果 74 表4-16 經專家分析的MOCC Word 2000專業級能力項目表 77 表4-17 使用MOCC Word 2000專業級作為測試樣本試題的測驗結果 80 表4-18 找出正確分類的矩陣R 81 表4-19正確率的區間分佈比例 85 表4-20運算後所得的E矩陣 86 表4-21 實驗所得之錯誤率區間比較表 87 表4-22藉由錯誤率與正確率之和找出誤判的試題 88 表4-23各項次權重排行前三名的能力項目 90 表5-1 字詞加權函數之回歸率比較表 93
    QR CODE