峰源顧問0937293193: 訓練績效評估的模式陳德望老師

訓練績效評估的模式

陳德望老師 2001/12/12

訓練績效評估要成功需依賴良好的評估模式及方法，而模式主要在是提供系統化思考的指導方針並能協助有效的解決問題。因此在學術界廣受討論，很多學者提出相關理論模式，參閱表2-4：訓練績效評估模式。

表2-4訓練績效評估模式

學者	訓練績效評估功能
Kirkpatrick (1967,1987)	反應 (reaction) 學習 (learning) 行為 (behavior) 結果 (result)
Parker (1976)	參與者個人特質 (Participant personal characteristics) 參與者與組織表現 (Participant and organizational performance) 培訓投資報酬 (return on training investment)
CIRO (Warr et al ，1970D	背景 (context) 投入 (input) 反應 (reaction) 結果 (outcome
CIPP (Galvin,1983)	投入 (input) 背景 (context) 過程 (process) 產出 (Product)
Brinkerhoff (1987)	設定目標 (goal setting) 設計方案 (Program design) 實施方案 (Program implementation) 立即的結果 (immediate outcome) 應用結果 (intermediate or usage outcomes) 效應及價值(impacts and worth) 投入(input)

資料來源：邱宏益，「員工培訓成效評估之研究」，碩士論文，中央大學人力資源研究所，民國八十五年六月，14-16。

但最常被用的評估模式是Kirkpatrick(1959a,1989b,1960a,1960b)1959年所提出的訓練績效評估四層次模式，第一層次為反應、第二層次為學習、第三層次為行為、第四層次為結果為主幹，表2-5 Kirkpatrick模式各層級與中心議題，彙整各層級與中心議題以建立整體之架構，各層次分述如下：

表2-5 Kirkpatrick模式各層級與中心議題

評鑑層級	中心議題	評鑑項目
感受(反應)層次	參與者是否喜歡或滿意該訓練？受訓者對訓練的『喜歡』和『感覺』。	教材、講師、設施、教學方法、教學輔助工具、教學內容
學習層次	參與者自該訓練學習哪些知識技能？受訓者所了解和吸收的原理、是屬於何種技術。	知識、技能、態度等方面的學習
行為層次	基於訓練所學，參與者於學習結束後有否改變其行為？將『所學到的原理和技術』運用於工作中。	應用的項目、應用的熟練度、未能應用的項目、哪些工作行為是員工本身要學習的
成效(結果)層次	參與者所改變的行為對其組織有否貢獻？達成目的、目標或『所想得到的結果』。	單位產品產出、單位投入成本、人工成本品質準時交貨率、改良率

資料來源：李聲吼，人力資源發展。台北：五南，民國八十六年，86-93。

一．反應層次(Reaction)

反應層次主要是在測試學員對訓練本身所產生的反應。包括對老師態度的反應，對課程、教材、教學方法、訓練環境以及學員本身參與等意見。通常採用問卷方式於訓練結束時立即進行評估，類似顧客滿意度的調查評估。測量反應不但重要而且容易實施。評估所得之正面反應並不能確保學習的成效，但負面反應則可能會降低學習的興趣與成效。在多數的訓練專家認為參與者對於訓練的反應良好時，將有助於塑造較好的學習氣氛,而參與者的反應也將影響決策者和其他將來參與同一訓練計畫人員的決定(Kirkpatrick,1975; Kirkpatrick 1987)，這也是實務界上幾乎每次訓練都會做測量以做為下次是否舉辦此類課程或者續聘該講師等之依據。至於學員的滿意度及資料蒐集的要點，李聲吼(1997)指出學員的滿意度可從：(一)特定活動(事件)的評鑑表；(2)特定的小組面談；(3)學員滿意度評鑑表等三方面來進行。至於資料分析的方法則包括：(1)確定不滿意者的反應事項；(2)不滿意的頻率(次數)；(3)顧客滿意度指標等三項來作記錄。

　　Kirkpatrick於1994年指出量測學員反應之所以重要的原因有四點：

分別為(一)學員所回饋的觀點及建議可做為訓練改善的依據,同時也是訓練績效評估指標之一。(二)藉由學員本身反應評估的過程能讓學員了解訓練是希望協助他們能更有效率的完成工作，因此需要由他們的觀點回饋來了解訓練辦得如何。(三)課後評估問卷所提供的各類訊息，可給予訓練承辦人員、管理者或其他關心此訓練成效人員的資訊報告。(四)反應問卷所提供的資訊，可做為訓練承辦人員的績效指標。

Kirkpatrick指出在測量參與者反應時須注意幾項原則(Kirkpatrick,1975a)：

(一)確認所要測量的項目。(二)將測量項目製作成書面的量表。(三)量表必須易於書寫、表格化與計量化。(四)量表應為無記名，以獲得較準確的資料，但參與者也可以選擇具名。(五)量表應有開放部分，讓參與者有發表個人意見的機會。本研究即是針對反應層次為主之實證個案研究。Hilbert、Peeskill & Russ-Eft(1997)彙整1959至1996間探討訓練評估模式中有關反應層次之訓練評估實證研究之相關文獻如表2-6。

表2-6反應層次之訓練評估實證研究之相關文獻彙總

作者/時間	研究重點	設計與方法	發現
Clement (1982)	學員反應與知識測驗間的關係	◎針對50位新任的管理者 ◎區分實驗與控制組實驗法做訓練前與訓練後的測驗 ◎知識測驗	◎ 學員的反應與知識測驗間呈正相關 ◎學員的反應愈正向則學習效果愈佳
Noe & Schmitt (1986)	訓練對學員態度的影響	◎以隨機抽樣的方式，針對60位教育者施以兩天的行政與人際技巧訓練課程 ◎對學習、行為、與績效做訓練前/後測驗	◎學員的反應與學習間無明顯相關 ◎訓練前的需求分析過程與反應有相關
Dixo (1990)	學員的反應與訓練後學習測驗分數間的關係	◎大型製造公司1,200名員工對課程內容與實際績效做訓練前與訓練後測驗	◎學員的反應與學習間無明顯相關 ◎對講師的評分與對訓練課程的喜愛程度呈正相關
Faeerman & Ban (1993)	學員的反應與工作行為改變間的關係	◎對第一線主管施以三天管理與領導訓練 ◎訓練前與訓練後三個月及六個月的測驗 ◎第一線主管的反應與行為	◎正向的反應較有可能導致學習
Warr & Bunce (1995)	學員的特質與反應間的關係	◎針對106位基層主管施以四個月的管理訓練 ◎針對績效做訓練前與後的測驗 ◎訓練過程中針對反應與行為進行測試	◎反應中的喜好程度與有用程度與學習無關 ◎訓練前的動機與喜好程度與有用程度有關

資料來源：Hilbert Joan , Haillie Peeskill , and Darlene Russ-Eft , “Evaluation Training,What works – Assessment, Development,and Measurement, ” Joural of the American Society of Training Directors,vol.51,no.11(1997),6-10

二．學習層次(Learning)

學習層次主要是在衡量學習效果，學員在課程內獲得哪些知識(學會了什麼知識knowledge?)、技能(學會或改善了什麼樣的技術skills?)、態度(改變了什麼態度attitudes)。也就是說課程是否有效是否能達成學習目標。衡量學習效果之所以重要是因為除非達成學習目標，否則不可能發生工作行為層次的改變。也就是說；因為無法確定學員是否達成學習目標，則學員日後的工作行為之改變，將很難判定是否是因訓練所產生的影響而改變其行為。

Kirkpatrick指出測量學習者知識技能的表現需注意下列原則(Kirkpatrick,1975b)：(一)儘可能於測量的方式和程序標準保持客觀與公正。(二)儘可能將測量結果量化，以利於分析。(三)儘可能使每位參與者接受測量，以免造成過度偏差。(四)儘可能採取訓練前測試與訓練後測方式，以確實掌握實際的學習效果。(五)儘可能應用控制組(末參加學習的人員) ，以除去可能誤差。(六)應用統計方法來分析測量資料間的關係，且能深入瞭解數字所表示的意義，而非僅是公佈一堆數字而已。

至於測驗的題庫或問題、問卷等的製作可依周月娥(1996)訓練績效評估的步驟，由圖：得知訓練評估的程序：(1)決定學習的目標(2)依據學習目標來確定內容(3)決定是否要做評估，如需要時則進入第四程序(4)決定測驗目標，使測驗能與學習目標相互配合(5)決定測驗的科目(6)決定測驗的項目(7)以整體的觀點來衡量應該出的題目類型(8)進一步分析題目的難易度是否適中、時間及題數是否適當等(9)完成題目的編製(10)在訓練課程中試用，若無問題則可正式使用該測驗。

圖2-9訓練績效評估的程序

資料來源：周月娥，摩托羅拉訓練績效評估一級棒，台北：行政院勞工委員會職業訓練局，民國八十四年八月，32-50。

三．行為層次(Behavior)

行為層次是主要是測定學員是否將訓練中所學到的帶回工作崗位;也就是將所學應用在業務執行上及是否養成預期的目標行為或習慣。企業界主管尤其是老闆經常會問或要求訓練承辦人員具體評估訓練後員工改變了些行為（期望的工作行為或態度），若為技能性課程則較容易評估而一般管理或觀念話題時往往是承辦人員心中痛楚。實務界常於訓練後二至三個月內實施評估，一般為主管執行評估其訓練後的行為表現是否達成訓練的預期目標。另外學員在訓練中達成預期的行為目標，並不能確保其回到職場上也能表現出類似行為，其中牽涉到是否有應用的機會？（例如學會應徵面談技巧，也只有實際執行應徵時才有機會表現面談的技巧）是否受到組織鼓勵？（例如學會現場改善技巧，應用組織成員是否會因改善而產生衝突使其受大壓力，而不願展現應有的行為表現）以及個人因素等。因此評估行為時需先決定何時評估？多久評估一次？以及如何評估？評估行為在實際上要較反應與學習評估困難（狄家葳1999）。

Kirkpatrick指出測量目標工作行為需注意下列原則(Kirkpatrick,1975c)：(一) 能有系統且客觀的評量學習者於訓練前後的工作表現。(二)有關工作表現的評量應儘量涵蓋學習者本身、及學習者的上司、部屬、同事、與其他熟悉該項工作的人。(三)能於訓練結束後三個月左右進行學習者工作表現的評量，使學習者有足夠的時間與機會將所學能純熟運用於工作中。(四)最好能配合控制組(末參學習的人員)，以減少誤差。(五)應用統計方法分析、比較、判別學習者前後工作表現的顯著差異。

Wiggenhorn(1996)提出STAR(Skill Training Application Review Process)系統，意指所學技能應用程度評估的過程。依據其觀點行為層次的訓練績效評估一般是再訓練後的六個月實施，而此層次的評估所需花費的金錢與時間皆很可觀，因此只針對在很重要的訓練才會進行評估。

圖2-10 STAR的實施步驟

資料來源: 李聲吼，人力資源發展。台北：五南，民國八十六年，86-93。

四．結果層次(Result)

結果層次是指學員參與訓練後，經由行為改變而對組織效能的具體影響，或對其他人員行為的影響。此種改變可用各種組織變數(營業額、市場佔有率、生產力、獲利率、投資報酬率、出勤率、流動率、品質提升、成本降低等)以及組織氣氛，加以衡量。

Kirkpatrick指出依據訓練目標，測量訓練績效可採用下列方法(Kirkpatrick,1975d)：(一) 檢核與訓練目標相關的資料，如產品不良率、生產成本、或安全衛生記錄等。(二)應用問卷、量表、或深入訪談訓練學習者、及學習者的上司、部屬、同事等有關學習者的工作績效表現。(三)檢核及比較學習者的部門，甚至於整體企業組織的營運狀況。

Kirkpatrick(1994)依據1959年提出之執行訓練四層次評估原則進一步補充說明如下: