教育評鑑：創意取向

教育評鑑具有績效責任與價值判斷的特質，實施時容易引發討論與批判，推動實務與技術上的爭辯往往會比理論上的探索複雜許多。
本書從探討創意與創造力之系統與內涵出發，透過文獻分析連結當代教育評鑑取向與模式，進一步參酌當前教育評鑑實務，歸納出教育評鑑的創意取向。
教育評鑑應植基於以「人」為本位的專業精神，應用人性及創意的方法蒐集、分析與詮釋發現結果；並以積極的態度和關係人參與互動學習。本書的目的不在於提供偉大的理論模式與具體操作策略，而在啟發吾人如何在評鑑觀念與態度上，進行與時俱進的正向改變。

本書特色

●本書以創意取向教育評鑑為主要內容，兼顧教育評鑑的理論與實務，具有創新性。
●本書在創意取向評鑑的學理性介紹，適切援引國內外相關文獻與資訊，內容豐富，甚具價值，可作為讀者進行研究之重要參考。
●書中各章的起手式以「序曲」性故事或敘述做導引，頗具趣味和啟發性；並能適時以圖或表的方式陳述重要論點，有益讀者掌握內容要點。
●本書深入探究教育評鑑理論與取向，有助讀者掌握教育評鑑發展脈絡，進一步則提出教育評鑑創意取向的展望，有助開展國內教育評鑑革新方向。

林劭仁
學歷：國立政治大學教育學博士
美國匹茲堡大學(University of Pittsburgh)博士後研究
經歷：傅爾布萊特學人(Fulbrighter)
國立臺北藝術大學藝術與人文教育研究所所長
國立臺北藝術大學師資培育中心主任
國立臺北藝術大學課外活動指導組組長
臺北市立大學教育行政與評鑑研究所兼任副教授
現職：國立臺北藝術大學研發長
榮譽：國立臺北藝術大學特聘副教授
2008年國立臺北藝術大學優良教師
2008年教育部實習績優典範獎：實習指導教授
學術專長：教育評鑑、師資培育、創意教學

自序
1994年，正值我退伍後進入研究所碩一的求學階段，當時修習吳靜吉老師的心理學課程，在他精采而風趣的引導下開啟對創造力的認識，那是我最早接觸創意與創造力的時期。後來輾轉進入大學任教，並以教育評鑑作為研究興趣及主軸。10年後，2004年冬天，我赴美國鹽湖城參加比較與國際教育年會(CIES)，某晚偶然逛進一間二手書局，在眾多舊書中看到Patton的著作＂Creative Evaluation＂，當下以10塊錢美金購得，評鑑與創意結合的想法也開始在我心中引燃。又10年，時間匆匆已至2014年，我剛好完成這本書，＂10＂這個數字如此戲劇而巧合的演變不禁讓我預想，如果再過10年，到了2024年，我是否還需要繼續提倡創意與創造力對落實評鑑本質與實務的重要？
教育評鑑因有濃厚「績效責任」的特質，很容易和考核或獎懲畫上等號，不僅對受評單位或人員形成壓力，也造成制度公平性與合理性的質疑。綜觀國內目前評鑑推動，也較偏重績效責任導向，故總能引發諸多批評且不曾間斷，特別在推動實務與技術上的爭辯往往會比理論上的探索複雜許多。面對挑戰，教育工作者不斷推陳出新，致力於評鑑制度的修正與改變，也確實漸漸縮短了評鑑理念與實務技術上的差距。不過進一步思考，如果這修正與改變能不僅及於「事」，而能擴及至「人」，個人評鑑觀念與素養提升對評鑑工作的「進化」一定會更有幫助，這一切就可以從跳脫「評鑑等於績效」的框架開始。創意是思考與實踐的歷程，是督促個人開放及持續成長的動力，現階段教育評鑑亟需要「事」與「人」同步的改變與發展。
為能有系統的闡述想法，本書大致可分成理念篇與實務篇， 前三章以探索理念為主，後六章在評鑑實務中融入創意的應用。第一章再探教育評鑑理論與取向的發展，協助我們回顧歷史脈絡以再次檢視評鑑本質與目的；第二章引入創意與創造力的理念，探討創造力重要的理論，並提出創意符合評鑑本質的論述；第三章為教育評鑑創意取向理念的主要說明，提出歷程、人員，文化情境三面向與九原則的整合性看法；第四章至第六章則檢視評鑑歷程的三個階段，並以創意理念來提醒實務的運作；由於評鑑人員是評鑑精神落實的重要因素，故第七章與第八章聚焦於評鑑人員的創意特質與培訓；第九章則探討營造創意的評鑑文化與情境的重要；第十章為總結及展望。
個人在藝術大學服務，發現不少同僚及藝術家真的很有創意， 也很勇於挑戰現況並嘗試新的想法。不過如果說創意是藝術家的專屬名詞，我可能不會同意，因為和他們相處的經驗告訴我，他們不僅重視創意，也願意以理性的態度去尋求順利與完美；而一般人只要願意有創意，我們也能透過學習讓自己兼具理性與感性的思維， 和你是否是藝術家完全沒有關係。在北藝大待了14 個年頭，不敢說我因耳濡目染而變的有創意，但至少我學會以更開放的態度去面對事物和挑戰。這其實也就是本書的最主要目的，提醒我們願意嘗試對評鑑觀念與態度做正向的改變，從運用自己的創意開始去思考評鑑的問題與發展。
本書能夠順利完成出版，首先要感謝科技部的專案補助；其次，特別感謝本書撰寫及出版過程中，給予諸多指導及審查意見的教育先進前輩們，因為您們的斧正提點，啟發了我更多的思考和學習；回顧身旁，也要感謝最親愛家人一路走來的陪伴和支持。因為幫助的人太多，受限篇幅無法逐一感謝，謹能在此一角致上最高的謝意。最後，個人知識與能力有限，難免會有許多思路不周之處，還望讀者及諸位先進們包涵及指正。
如果本書能夠引發或深化教育行政與心理跨域知識間的交互探索，甚至激起教育評鑑浩瀚知識中的一片漣漪，那麼對我而言下個10年還會有甚麼巧合出現，就顯得不那麼重要了。
林劭仁
於關渡　國立臺北藝術大學
2015年1月30日

自序
第一章 教育評鑑理論與取向的發展
【序曲】教育評鑑是全民運動
第一節、評鑑理論與取向的重要性及發展
第二節、評鑑理論與取向的分類
第三節、評鑑理論與取向的發展趨勢
第二章 教育評鑑與創意
【序曲】燈下找鑰匙
第一節、評鑑為何需要創意
第二節、創意與創造力的定義
第三節、創意與創造力的內涵
小結
第三章 教育評鑑創意取向的基本理念
【序曲】賣梳子給和尚
第一節、創意取向的定義
第二節、創意取向的內涵與原則
第四章 創意取向的評鑑歷程：評鑑規劃階段
【序曲】
第一節、確認評鑑目的
第二節、釐清與界定主要問題
第三節、選擇與建立評鑑模式
第四節、規劃評鑑設計與流程
第五章 創意取向的評鑑歷程：評鑑實施階段
【序曲】達文西的繪畫論
第一節、適當的評鑑人員
第二節、發展評鑑工具與標準
第三節、決定與進行資料蒐集
第四節、評鑑資料分析
第六章 創意取向的評鑑歷程：評鑑結果階段
【序曲】薑是老的辣
第一節、彙整並做出評鑑結論
第二節、撰寫評鑑報告與呈現
第三節、後續結果的運用
第四節、評鑑結果呈現實例—以教師評鑑為例
第七章 評鑑人員的創意特質
【序曲】善意的負擔
第一節、評鑑人員的能力與特質
第二節、創意特質的實證研究設計
第三節、實證分析與討論
第四節、結論與建議
第八章 創意策略與評鑑人員培訓
【序曲】正常的雌珠雞
第一節、創意形成的策略
第二節、國內評鑑人員培訓現況
第九章 創意取向的評鑑文化與情境
【序曲】謝絕入班觀課
第一節、組織的評鑑文化
第二節、創意取向的評鑑文化
第三節、組織學習與創意
第十章 教育評鑑創意取向的未來與展望
【序曲】美德的總和
參考書目

第四章、創意取向的評鑑歷程：評鑑規劃階段
【序曲】
「沒有任何一件事物比想出一個新創意，更能令人拍案叫絕。」
「沒有任何一件事物比看到一個新創意發揮作用，更令人感到欣慰。」
「沒有任何一件事物比發現一個符合要求的新創意，更能有所作為。」引自江麗美 譯（2000）。嚴肅創意。de Bono, E.原著，頁22。
教育評鑑是一個系統化的歷程，在評鑑過程中從確定評鑑目的開始，到評鑑結果的產出與運用，都必須預先進行規劃，從大處著眼並小處著手，才能滿足評鑑實務的需要，確實達成評鑑目的。Weiss認為評鑑歷程要完整的規劃，必須能夠考量到各面向與各階段工作的實質內容，並且具有循環的概念，才能不斷的適應調整，讓各個部分都能夠配合起來，成為一致且具說服力的評鑑(王麗雲主譯， 2014)。創意取向評鑑在起始規劃時，評鑑規劃者應基於專業知識，參考創意取向的原則規畫出適合評鑑目的與受評對象的設計；在評鑑實施時，則要能符應評鑑情境與問題提出適合的問題解決建議，故在評鑑時，沒有一件事情比發現能讓受評對象受用的創意與問題解決策略，更能有實質的貢獻。因此好的評鑑是經過個人與團體貢獻智慧與深思熟慮後的產物，要能確認目標、發現問題、發展工具、蒐集有用資訊，以提供完整有意義的結果與建議。
一個完整的評鑑歷程涵蓋眾多事務，Worthen與Sanders(1987)將方案評鑑的步驟分成「規劃階段」與「實施階段」；「規劃階段」主要的工作流程包括：確認評鑑需求與責任、設定範圍分析評鑑內容、選擇並定義評鑑問題與參考標準、規劃資料蒐集與分析的方式、發展評鑑管理機制等。「實施階段」的主要工作流程則為：處理評鑑時的政治議題與人際關係、蒐集與分析評鑑資訊、報告並利用評鑑資訊，以及進行後設評鑑等。Fink(1995)更進一步具體說明方案評鑑的步驟與流程，共分成六個階段，整理如下：
（一）提出主要與方案相關的問題
提出問題是判斷方案推動成效的首要步驟。通常這些問題包括：
1.方案達成目的或目標的程度究竟為何？2.不論是個人或團體，所有方案參與者的特徵或特性為何？3.哪些方案參與者或團體對方案有決定性的影響？4.方案參與者或團體對方案影響的持久性為何？5.哪些策略或活動對方案的影響最大？6.方案的目標與策略對其他利害關係人的合適程度為何？7.方案推動的成本及其效益關係為何？8.政治或社會環境的變動對方案結果的影響為何？
（二）建構方案評鑑標準
建構評鑑標準主要的目的是提供方案成效的資訊與證據，是教育評鑑者判斷方案價值的重要依據。因此明確定義出最適合評估方案的標準，對教育評鑑者來說是一種相當大的挑戰。理想上，這些方案評鑑標準最好是能夠測量的、可觀察的，具有操作型的定義，並且可信度也要高，也就是評鑑標準的信度與效度都必須兼顧。
（三）設計評鑑方式並選擇參與者
方案評鑑者必須選擇參與評鑑的對象，包括團體（單位或學校）與個人，並針對他們的特性設計主要的評鑑方式。通常方案評鑑者在設計符合評鑑情境的方式時，以下這些問題必須先行考量：1.有多少評估與測量必須進行？2.何種時機必須進行何種評估與測量？3.有多少團體或個人必須納入評鑑的範疇？4.如何選擇這些必須納入評鑑的團體或個人？
（四）蒐集相關訊息
任何評鑑都必須蒐集相關的資訊，以提供評鑑者作為價值判斷的基礎。而以方案評鑑而言，評鑑相關訊息的蒐集必須是有計畫而整體性的進行。因此資訊蒐集時最好能夠先考量以下一系列的工作：1.待評估的變項，像是具體策略、行為表現、態度等，必須能夠清楚的定義。2.選擇或創造出適合的評估與測量方式。
3.說明評估與測量方式的信度（一致性）與效度（精確性）。4.有效安排好評估與測量的細節。5.確定評估與測量的計分方式。
而一般評鑑訊息或相關資料的來源大致包括：相關文獻或記錄的查閱、自我調查或評鑑的測量問卷、面談與座談、成就測驗、觀察記錄、一些已出版或未出版的相關文獻等等。
（五）分析資料
關於評鑑資料的分析，我們必須注意分析方式的適合程度。通常會考量幾個關鍵因素：1.評鑑標準或評鑑問題的特徵與其核心價值，是否能夠透過資料分析而看出端倪？2.評鑑資料的變項該如何呈現？是以精確的數字或是文字說明？3.評估與測量的次數應為多少？4.資料的信度與效度。
（六）結果報告
評鑑的結果報告就是針對方案評鑑的運作結果進行說明，當然包括判斷的結果與優缺點闡述。在報告的內容上會說明評鑑的目的、評鑑標準建構歷程、評鑑方式與設計、資料蒐集、取樣與分析、評鑑結果與討論、建議、以及評鑑的限制等等。而評鑑報告可用報告書、口頭說明、專題論文等方式呈現。
綜合前述觀點與實務資料，可歸納出評鑑工作的內容及階段流程至少包括以下10項：1.確認評鑑目的；2.釐清與界定主要問題；3.選擇與建立評鑑模式；4.規劃評鑑設計與流程；5.組成適當的評鑑人員；6.發展評鑑工具；7.決定資料蒐集方式；8.蒐集與分析資料；9. 做出評鑑結論並撰寫評鑑報告；10.評鑑結果後續運用。本章將依循前面發展出評鑑創意取向的原則，來檢視評鑑歷程中各階段任務，並將評鑑歷程依規劃、實施、結果三階段的順序提出創意取向的觀念與想法，發展「創意取向評鑑歷程」的實務，此三階段分別為；
一、評鑑規劃階段：包括確認評鑑目的、釐清與界定主要問題、選擇與建立評鑑模式、規劃評鑑設計與流程等重要議題。
二、評鑑實施階段：包括組成適當的評鑑人員、發展評鑑工具(標準或指標)、決定資料蒐集方式、資料分析等議題。
三、評鑑結果階段：包括做出評鑑結論、撰寫評鑑報告與後續結果運用等議題。
本章就先探討創意取向的評鑑規劃階段，而評鑑實施及結果階段的內容則留到下二章再行說明。
第一節、確認評鑑目的
評鑑的推動是一項頗為複雜的歷程，在不同階段與不同時機都會有許多工作細節必須經過事前的規劃與設計，才能順利推動並獲得大多數互動關係人的認同。在評鑑規劃階段，確認評鑑目的是評鑑規劃者或決策者的首要工作。確認評鑑目的主要意義在於讓評鑑規劃者了解委託人(或機構)推動評鑑的真正目的為何。因為惟有確實了解委託人的根本用意，才能規劃出最適切的評鑑工作內容，提供符合評鑑目的的資訊與建議。
通常評鑑有二個主要的目的，一在評估績效表現，另一則是促進方案或專業發展，績效評估容易使人感到緊張與壓力，判斷結果也不容易被認同；專業發展則較無威脅，能獲得多數受評者接受。不過現實的狀況是，會對方案或機構運作感興趣的人士，通常會是評鑑經費的贊助單位，或是上級單位，他們總是希望了解方案或機構如何運用經費、究竟完成了甚麼工作、以及如何提供讓社會大眾滿意的服務等問題，所以我們較常面對的評鑑還是以評估績效表現為多，就算是經費贊助或上級單位有時也會將專業發展列為評鑑主要訴求，但在重要性上絕對比不上對績效表現的重視，績效表現還是國內現階段推動評鑑的主要目的。
大多數的評鑑重視績效表現，但評鑑規劃者在確認評鑑目的時還是常會遇到目標曖昧不明的狀況，其中一個原因可能是來自委託人表面的說詞和真正的理由不一致，評鑑目的就不容易明確地釐清，因為這背後可能涉及許多「政治上」的意圖與折衝，雖然不至於如第一章評鑑取向所述是受到操弄的公關授意、政治控制等五類型的「假評鑑」，但無形中會增加評鑑規劃者在確認評鑑目的上的難度。此外，也可因為某一項評鑑目的特別重要，而相對削弱其他次要目的，這些結果都也很容易讓評鑑目的淪為形式上的宣告，反而成為評鑑過程與報告書中最不受到重視的部分。評鑑目的僅具形式的現象很容易發生，國內許多評鑑計畫書中的評鑑目的，就常常被戲稱為「作文」，既無法呈現真實目的，也不足以做為規劃的導引，已喪失確認評鑑目的的意義。
我們以這幾年推動的大學校院師資培育評鑑為例，根據103年大學校院師資培育評鑑辦法中規定，其評鑑目的共有七條，如下所示（財團法人高等教育評鑑中心基金會，2014）：
一、瞭解大學校院師資培育單位（以下簡稱培育單位）之行政運作、教師教學與學生學習之成效，以確保師資培育優質化。
二、引導各校各師資類科之資源整合，提升培育單位辦學品質，獎優汰劣，並建立退輔機制。
三、鼓勵培育單位發展專業特色與內涵，提升多元師資培育之品質，切合專業理念與教育現場之實際需求。
四、協助各培育單位依據教師專業內涵分析辦學績效，建立自我改善機制。
五、瞭解學生所具備教師專業表現及核心能力之程度。
六、促進各校師資職前教育教師在教師專業實務之跨領域研究合作，發揮培育單位的教育研究能量。
七、研擬改進評鑑程序及標準，並提供未來教育行政機關擬定政策之參考。
由於「未通過」的師資培育機構會遭受停止辦理的處分，而「有條件通過」也會面臨核減原核定師資培育名額之百分之三十，故師資培育評鑑被認為是國內所有校務或機構評鑑中「會咬人」的評鑑之一，評鑑目的除了例行性的品質保證需求外，另一個主要目的普遍被認為是少子女化壓力下，削減師資培育機構與師資生名額的方法。因此雖然訂有其他的評鑑目的，像是第三條，「鼓勵培育單位發展專業特色與內涵，…」，可提升不同大學的師資培育特色；或是第六條，「促進各校師資職前教育教師在教師專業實務之跨領域研究合作，…」，可鼓勵大學進行校內、外跨系所或跨領域的交流合作，提升師資生學習視野等目的，就相對的不會受到特別關切與重視。
加上六個評鑑項目中有些評鑑指標被列為「關鍵指標」，代表每一個評鑑項目的關鍵指標都必須核定為通過，該項目才能評定為通過，因此各校為了達成關鍵指標的要求，會盡力提供客觀數據，這就很容易淪入數量與表象的追求，勢必遭受更多則難與批評。例如：以項目四「教師素質及專業表現」來看，關鍵指標之一是「專（兼）任教師員額、聘任方式與學經歷」，學校必須讓專任教師員額達規定數量，就常常發生專任師資員額搬動等表面上的因應之道，主聘先從系所搬至中心，評鑑後再搬回系所。此種效應會讓原有其他第一到第七項立意良善的評鑑目的，因為一個評鑑目的（第二條的退場機制）及一個關鍵指標太過重要，相對受到忽視，雖然不至於說不會達成，但會削弱這些目的的規劃美意，非常可惜。
師資培育評鑑結果的懲罰涉及減招甚至關閉，讓受評單位成員感受到工作權的危機，就其角度來看，懲罰過重讓評鑑目的幾乎就等於關門條款，高度重視形式與實質上的績效表現，受評者的壓力與排斥可想而知，其他有關專業成長的評鑑目的難免被冷落。創意取向重視評鑑的真實性原則，強調的是評鑑能真實反應評鑑目的，並滿足實際需求。評鑑規劃者要先與評鑑委託人充分溝通，接著了解受評者的需求，在評鑑一開始階段就連結起委託人與受評者，尋求並建立最佳共識，才可能讓每個評鑑目的都確實可行，非僅是形式上的作文，也非僅著重某一特定目的。後續各階段的評鑑流程，也會有目標性的規劃，並設計出符合的策略方法。評鑑目的若等於關門或落日條款，會稀釋其他目的的達成程度，任何形式的工作執行都必須能彰顯出評鑑目的真實性，評鑑規劃者能夠依目的規劃出適合的評鑑內容，即為真實性評鑑的首要意義。
如果評鑑者、決策者，與受評者間無法就評鑑目的達成共識，那麼工作規劃的方向就不會明確，增加評鑑規劃的難度，在結果上則幾乎不可能獲得大多數人滿意與接受。如此一來評鑑應該暫停，不適合往下進行，避免因單方堅持與操之過急而產生反效果。
Scriven(1972)為了避免因所訂定的評鑑目標過於狹隘，以及過份重視目標演繹的限制，曾提出「無目標評鑑」(goal-free evaluation)模式，主張評鑑者應刻意避免了解與討論評鑑目標，僅單純的作實際效果的評鑑。當外部評鑑者愈不清楚評鑑目標與規劃，就愈能夠聚焦於現場所發生的一切事物，並針對實際現象去蒐集資訊以發現真實結果。此觀點雖因為不需要了解目標多少會影響結果達成的評估，不過無目標的精神可提醒我們更重視評鑑的真實現象與情境，不因單一目標窄化或混淆實際的效果。Scriven自己也說，無目標評鑑和有明確目標的評鑑可以一起使用，更有創意及開放的推動，可由不同評鑑者分別進行，採混和設計的方式消彌因目標訂定不佳所產生的不明確與限制。