本研究旨在藉指標權重探討高職學校（以下簡稱高職）評鑑委員專業判斷之一致性，進而確認國內高職評鑑訂定遴選評鑑委員之優先資格與應具備之評鑑專業能力。基此，研究首先經由文獻分析評鑑委員之專業要素，並擷取97-99年度高職評鑑之實習教學領域的部份指標為例，據以依層級分析法之理論設計問卷，藉以探討高職評鑑委員專業判斷之一致性，以建立高職評鑑委員遴選之優先資格。其次，本研究彙整美國、英國、澳洲、加拿大等國之評鑑學會或機構對評鑑委員專業能力之規範，以五等量表設計調查問卷，探討高職評鑑委員應優先具備之評鑑專業能力。
基於本研究援用97-99年度高職評鑑之實習教學領域的評鑑指標為例，計普查曾擔任此領域評鑑的委員共31位，有效回收29位（93.5%）委員之意見，經以獨立樣本t檢定、單因子變異數分析、單一樣本t考驗，比較分析研究之結果，獲致之結論為：（1）評鑑委員之專業判斷以具高職行政及教學經驗者較具一致性；（2）評鑑委員遴選之優先資格宜具備高職及評鑑有關之經驗；（3）評鑑委員應優先具備之評鑑專業能力共計7項。基此，本研究建議高職教育行政主管機關或規劃高職評鑑之受託機構，宜考量對評鑑委員資格與評鑑專業能力作規範，俾利建立評鑑之效度與價值，提升受評對象和社會大眾對評鑑結果之認同。

The study aimed to take the weight of indicators to analyze the consistency of evaluators’ professional judgments, and further establish the qualifications and professional competency guidelines for evaluators’ recruitment. Specifically, the essences of the evaluation and the effects of evaluators’ professional judgments on evaluation were discussed first. Then, the guidelines of professional competency to evaluators from the institutes or the associations in USA, England, Australia and Canada were also analyzed and integrated. And finally, according to the literature reviews, the factors which influenced the evaluators’ professional judgments on evaluation were found out. A total of 29 evaluators from vocational high school evaluation in 2008-2010 participated in this study. A questionnaire was designed with the concepts of Analytic Hierarchy Process (AHP) by the researcher to reach the study purposes. Based on the quantitative and qualitative data analysis, the findings of the study were summarized as follows: (1) The evaluators who have had the experience of teaching in the vocational high schools or teaching vocational related subjects are more consistency on the judgments; (2) The qualifications of evaluators’ recruitment should take the related experiences in vocational high school into consideration; (3) The professional competency of evaluators have involved seven key items. The findings of the study hoped to establish and maintain professional credibility of evaluation.

壹、中文部分
卜衛、周海宏、劉曉紅（2005）。社會科學成果價值評估。上海：社科出版社。
王保進（2010）。專業化評鑑之效度總體展現─評鑑報告撰寫。評鑑雙月刊，25，16-21。
王保進（2011）。校務評鑑確保評鑑委員專業化之作法。評鑑雙月刊，30，15-19。
伍振鷟（1997）。大學自主與大學評鑑。載於陳漢強（主編），大學評鑑（23-62 頁）。臺北：五南出版社。
江文雄（1999）。校長做得好、不必怕評鑑─談校長評鑑的觀念。現代教育論壇，5，183-189。
江澄祥（2009）。人的道理─理論邏輯學。臺北：江澄祥自編。
吳明隆（2003）。SPSS統計應用學習實務：問卷分析與應用統計。臺北：知城數位出版社。
吳清山（1996）。教育基本法重要內涵與評析。臺北：作者。
吳清山（2000）。學校行政。臺北：心理出版社。
吳清山（2002）。校務評鑑的實施挑戰與因應策略。教師天地，117，6-14。
吳清山（2006）。嚴守評鑑倫理確保評鑑公信力。評鑑雙月刊，4，12-13。
吳清山（2009）。我國大學通識教育評鑑：挑戰對策與展望。教育研究月刊，178，5-19。
吳清山（2010）。落實評鑑委員研習課程提升評鑑品質與效能。評鑑雙月刊，24，9-14。
吳清山、林天佑（2005）。後設評鑑。教育研究月刊，137，159。
吳清基（1990）。精緻教育的理念。臺北：師大書苑。
李佳殷（2009）。大學院校評鑑委員專業能力指標建構之研究。臺北：國立臺北市立教育大學教育行政與評鑑研究所碩士論文（未出版）。
李政翰（2006）。教育指標建構對教育發展重要性之探討。研習資訊，23(5)，107-110。
李國偉（1996）。教育基本法理念分析。教改通訊，17，8-11。
谷家恆（2009）。科技大學評鑑工作改進建議。評鑑雙月刊，17，23-24。
周明華（2009）。教育品質的推手中立客觀的裁判─從提升技職校院評鑑委員評鑑知能談起。評鑑雙月刊，17，25-27。
林天祐（2002）。校務評鑑的理念與作法。教師天地，117，15-20。
林天祐（2004）。教育評鑑實施過程與方法的專業化，教育資料集刊，29，27-52。
林瑞欽（1985）。價值澄清法的理論分析與實施時應注意事項。國教世紀，20（10），17-25。
林麗華（2004）。淺談校務評鑑與校務發展。2004技職教育論壇─提升高職競爭力會議論文集（頁165-169）。臺北：國立臺北科技大學。
侯永琪（2010）。亞洲高等教育評鑑委員專業訓練之剖析—以香港及澳洲為例。評鑑雙月刊，24，5-22。
胡中鋒、李方（1999）。教育測驗與評價。廣東：廣東高等教育出版社。
徐昌慧（2009）。科技大學暨技術學院評鑑之指標修訂及未來發展。評鑑雙月刊，18，36-40。
秦夢群（1997）。教育行政—實務部分。臺北：五南出版社。
張春興（1992）。張氏心理學辭典。臺北：東華出版社。
張春興（1996）。教育心理學。臺北：東華出版社。
張素貞（2001）。校務評鑑制度實施之探討—以臺北縣政府為例。教育研究，91，22-29。
張國保、陳俊臣（2011）。我國技術學院綜合評鑑後設評鑑之實施與建議。評鑑雙月刊，29，34-37。
張鈿富（1996）。臺灣地區教育指標建構之研究。教育研究資訊，4（3），18-40。
張鈿富（2001）。面對校務評鑑應有的理念與作法。教育研究，91，30-35。
康龍魁、許順發（2004）。技專院校經營效率評鑑指標建構之研究。教育政策論壇，7（2），59-82。
教育部（2010）。十二年國民基本教育實施計畫高職校務評鑑實施方案。臺中：教育部中部辦公室。
許順宗（2007）。學校本位取向評鑑指標權重體系在學校發展上的應用—以高雄市國民小學為例。臺北：國立臺南大學社會科教學碩士班碩士論文（未出版）。
許韡穎（2002）。特殊教育後設評鑑指標之建構。高雄：國立高雄師範大學特殊教育學系碩士論文（未出版）。
陳玉琨（2004）。教育評鑑學。臺北：五南出版社。
陳明印（2000）。國民小學社會科教科書評鑑規準及權重之建構。臺北：國立臺灣師範大學教育研究所博士論文（未出版）。
陳勁甫（1989）。折衷權重多準則評估法。新竹：國立交通大學交通運輸工程研究所碩士論文（未出版）。
郭昭佑（2001）。教育評鑑指標建構方法探究。國教學報，13，257-285。
郭昭佑（2006）。當評鑑遇上教育─教育評鑑意涵探討。教育行政與評鑑學刊，2，19-42。
郭秋勳、陳啟明（2004）。國民小學評鑑訪視課程與教學的微觀面向。教育評鑑回顧與展望學術研討會論文集，376-382。
陳漢強（1995）。評鑑。載於葉學志主編，教育概論。臺北：正中出版社。
曾淑惠（2002a）。高級職業學校評鑑後設分析之研究。第十七屆全國技職教育研討會論文集：一般技職及人文教育類（215-224頁）。屏東：屏東科技大學。
曾淑惠（2002b）。教育方案評鑑。臺北：師大書苑。
曾淑惠（2006）。評鑑專業化的概念與發展對我國教育評鑑專業化的啟示。教育研究與發展期刊，2（3），171-190。
曾淑惠（2008）。教育評鑑：理論與實務的對話。臺北：師大書苑。
曾淑惠（2009）。技職校院中評鑑倫理兩難之探析。教育研究與發展期刊，5（3），209-240。
曾憲政（2008）。評鑑委員培訓是優質評鑑的關鍵。評鑑雙月刊，13，42-44。
湯志民（2002）。臺北市國民中學校務評鑑之評析。初等教育，11，25-50。
彭利源（2002）。高級職業學校後設評鑑之研究─以台灣省高職學校為例。臺北：國立臺灣師範大學工業教育系碩士論文（未出版）。
游家政（1997）。國小教育評鑑的問題。載於黃政傑（主編），飛向教改的天空（183-203 頁）。臺北：漢文出版社。
黃炳煌（1997）。大學自主與大學評鑑。載於陳漢強（主編），大學評鑑（51-58頁）。臺北：五南出版社。
黃曙東（2005）。CIPP評鑑模式。載於蘇錦麗（審訂），評鑑模式：教育及人力服務的評鑑觀點（337-342 頁）。臺北：高等教育文化事業有限公司。
黃曙東、蘇錦麗（2010）。教育評鑑人員專業發展之研究。教育研究與發展期刊，6（3），115-146。
楊國賜（2004）。我國大學自我評鑑機制與運作之探討。臺灣教育，632，2-12。
楊國賜（2010）。談評鑑委員的角色與晤談技巧。評鑑雙月刊，25，13-15。
溫世頌（2006）。心理學辭典。臺北：三民出版社。
葉人華（2009）。方法論上的「價值中立」論淺析。正修通識教育學報，6，341-356。
廖本洋（2007）。價值的內涵。2010年12月8日，取自：http://www.ocit.edu.tw/~lpy。
翟本瑞、張維安、陳介玄（1989）。社會實體與方法－韋伯社會學方法論。臺北：巨流出版社。
蔡進雄（2007）。教育評鑑可能產生的幾種效應。評鑑雙月刊，10，54-56。
鄭立堂（2005）。臺北市高級職業學校實施校務自我評鑑現況之研究。臺北：國立臺灣師範大學工業教育研究所碩士論文（未出版）。
鄭珮琳（2006）。先進國家教育評鑑專業倫理面面觀。評鑑雙月刊，4，9-10。
盧增緒（1993）。教育評鑑的問題與趨向。載於伍振鷟（主編），教育評鑑。臺北：南宏出版社。
謝文全（2003）。教育行政學。臺北：高等教育出版社。
謝金青（1998）。國民小學學校效能評鑑指標與權重體系之建構。新竹師院學報，11，449-486。
簡茂發（1987）。教學評量原理和方法。載於中國教育學會（主編），有效教學研究（225-244頁）。臺北：臺灣書店。
簡惠閔（2003）。從利害關係人之角度看教師評鑑─Scriven評鑑觀之應用。教育資料與研究，53，38-47。
羅文全（2005）。臺北市高職校務評鑑之後設評鑑研究。臺北：國立臺北科技大學（未出版）。
蘇錦麗（1997）。高等教育評鑑─理論與實際。臺北：五南出版社。
蘇錦麗、黃曙東（2007）。世界重要國家評鑑專業標準與原則發展對我國之啟示。高教評鑑，1（1），51-82。
蘇錦麗、楊瑩、王偉中、呂鴻德、詹惠雪（2000）。大學後設評鑑研究。臺北：揚智出版社。

貳、外文部分
Accreditation Board for Engineering and Technology (2009).
Program evaluator competency model. Retrieved 2011 March
29, from http://www.abet.org/pev.shtml.
American Evaluation Association (2004). Guiding principles for evaluators. Retrieved 2011 March 29, from htpp://www.eval.org.
Australasian Evaluation Society. (2010). Guidelines for the ethical conduct of evaluators. Retrieved 2011 May 29, from http://www.aes.asn.au.
Carr-Saunders, A. M. & Wilson, P. A. (1933). The Professions. Oxford: Oxford University Press.
Canadian Evaluation Society. (2010). Competencies for Canadian Evaluation Practice. 2011 March 29, from http://evaluationcanada.ca/txt/2_competencies_cdn_evaluation_practice.pdf.
Corwin, R. G. (1970). Militant Professionalism. New York:
Meredith Corporation.
Greenwood, E. (1957). Attributes of a Profession. Social Work, 2(3), 44-55.
Hopkins, D. (1997). Evaluation for school development. Great Britain: Open University Press.
House, E. R. (1992). Future Policy for School-Based Evaluation, In A. M. Indrebo; L. Monsen; T. Alvik (Eds.), Theory and Practice of School-Based Evaluation: A Research Perspective (Publication no.77), Lillehammer: Oppland College.
International Board of Standards for Training, Performance and Instruction. (2000). Evaluator Competencies. 2011 March 29, from http://www.ibstpi.org/Competencies/evaluatorcompeten
cies.htm.
Jesson, D., Mayston, D., & Smith, P. (1987). Performance
assessment in the education sector: Educational and economic perspectives. Oxford Review of Education, 13(3), 249-266.
Johnstone, J. N. (1981). Indicators of education systems. London:Kogan Page Press.
Popham, W. J. (1988). Education. (2nd ed.). Prentice-Hall,
Englewood Cliff, N J.
Posner, G. J. (1976). Analyzing the curriculum. New York: McGraw-Hill, Inc.
Saaty, T. L. (1986). Axiomatic Foundation of Analytic Hierarchy Process, Management Science, 32(7), 841-855.
Scriven M. (1967). The Methodology of Evaluation. In Curriculum Evaluation, ed. R. E. Stake, American Educational Evaluation. Chicago: Rand Mcnally.
Scriven M. (1996). Types of evaluation and types of evaluator. Evaluation Practice, 17(2), 151-161.
Stake, R. E. (2004). Standards-based & responsive evaluation. London: SAGE.
Steele, S. M. (1991). Introduction to evaluation. Class notes, UW-Madison, Department of Continuing and Vocational Evaluation.
Stufflebeam, D. L. (2000). Foundational models for 21st century program evaluation. In D. L. Stufflebeam, G. F. Madaus, ＆T. Kellaghan (Eds.), Evaluation models: Viewpoint on educational and human services evaluation (2nd ed.). Boston: Kluwer Academic Publishers.
Stufflebeam, D. L. (2001). Evaluation Checklists: Practical Tools for Guiding and Judging Evaluations. American Journal of Evaluation, 22(1), 71-79.
Stufflebeam, D. L., Foley, W. J., Gephart, W. J., Guba, E. G., Hammond, R. L., Merriman, H. O., & Provus, M. M. (1971). Educational evaluation & decision making. Itasca, IL: Peacock.
The Higher Learning Commission (2007). Accreditation and the Future of Peer Review. Chicago: HLC.
United Kingdom Evaluation Society (2008). UK Evaluation Society Good Practice Guidelines. Retrieved 2011 March 29, from htpp://www.eval.org.
Weber, M. (1993). 社會學的基本概念（顧忠華）。臺北：遠流出版社。（原著於1920出版）
Worthen, B. R., & Sander, J. R. (1987). Educational Evaluation: Alternative Approaches and Practical Guidelines. New York: Longman.
Worthen, B. R., Sanders, J. R., & Fitzpatrick, J. L. (1997). Program evaluation: Alternative approaches and practical guidelines (2nd ed.). New York: Longman.