第5回 「アメリカの優良企業が利用している「研修の効果測定方法」

2004/06/02

トレーニング誌の選んだTOP100社の特徴:

2004年3月号で、トレーニング誌は、「企業のトレーニング効果の実態をさぐる」調査結果として、「トレーニングTOP100社」発表した。今年のTOP10位は、1位からIBM社、ファイザー社、スプリント社、ブース・アレン・ハミルトン社、デロイツ・トーシェ、KLAテンカー社、AT&T社、アーンスト・ヤング社、ロッキード・マーチン社、リッツ・カールトン・ホテルの順番になっている。

このTOP100社は、「トレーニング・プログラムをリアル・ビジネスの結果と一緒に管理し、獲得した知識を測定することに成功している企業」ということでランク付けされているわけだが、調査結果によると、これらの企業の共通するところは、以前は難しいと言われていた知識のような知的財産を測定し、トレーニング・プログラムをビジネス戦略に連結し、戦略にあった結果を出すことに成功していることにあるという。TOP100社の96%はカークパトリックのレベル4までの測定をし、75%はフィリップスのレベル5(ROI)までを測定している。( 2002年のASTDが発表した産業別レポート によると、研修組織全体のわずか11%だけがレベル4までを測定していた。調査会社IDCの担当者によると、レベル4、5に行く前に、多くの企業はまだレベル1でてこずっているのが現実であるという。)

トレーニングTOP100社が、研修と結びつけて測定しているビジネス対象項目としは、次のものがあげられている。 
1. 顧客サービス 87社
2. サービス品質 84社
3. 社員の留保率 82社
4. 生産性、アウトプット 80社
5. 収益 76社
6. 離職率 75社
7. 社内昇進 72社
8. カスタマー・ロイヤルティー 66社
9. 革新性、製品開発 57社
このように、トレーニングTOP100社は、ビジネスの成功と研修の評価は切り離せないことを強調しているが、実際には、どんな評価を、何を目的に、どの ようにおこなっているのであろうか?最近、カークパトリックの評価モデルに対して、新しい評価モデルの利用を主張する声が特にビジネス界から出てきてい る。では、現在、アメリカの企業が使っている評価モデルにはどのようなものがあるのだろうか?


研修効果測定に使われている評価モデルの種類:

アメリカで使われている評価モデルとしては、カークパトリックの4段階評価、ジャック・フィリップスのROI(一般的にレベル5ともよばれている)、GE 社のジャック ・ウェルチで有名になったSix Sigma、バランス・スコアカード、AEIOU があげられる。また、最近では、カークパトリックとジャック・フィリップスの次のものをふくめたものとして「7段階モデル」が出てきている。これらのモデ ルについては、すでに、ご存知の方が多いとは思うが、まず、これらのモデルについて簡単に触れておきたいと思う。


1.カークパトリックの4段階評価モデル

これは、ドナルド・カークパトリックにより開発されたもので、ASTD(the American Society of Training Directors)誌に 1959年11月から 1960年の2月にかけて4回掲載されたのが最初で、この内容は、1975年にまとめなおされ、ASTDによって発表された。その後、30年たった今日で も、研修の成果を測定するモデルとして、最も広く研修業界で利用されているものである。

Level 1 - Reaction -
参加者のコースへの反応、コースに参加した経験に対する反応を測定し評価する。この評価方法は、企業研修では、最もやり易いという理由で、一番多く使われている方法である。たいていはコースの終了後、評価アンケート表を配るというやり方でとられている。eラーニングでは、オンラインでアンケートに回答し、それを印刷した形かeメールで研修マネージャーに送る。この評価により、参加者にとってコースを楽しんだかどうか、意味のあるコースであったかどうかを知る。このレベルlの評価方法は、オン・ザ・ジョブ・コーチングやe-ラーニングで利用されている。

Level 2 - Learning -
ここでは、コースを体験して、知識、スキル、行動様式が実際に変わったか、あるいは習得したかを評価する。一般的に、学習による変化については、事前と事後の評価、観察、テスト等で、決められる。この評価で、新しい知識、スキルの習得内容が実際に応用されているかどうかを判断できるところまでいけるが、一般的には、大変浅いレベルの評価しかできていない。

Level 3 - Behavior -
実際に行動に移すことができるということを、参加者の真の変化を測定して評価する。
これは、参加者の実際の仕事でのパーフォーマンスを観察することにより測定する。「行動スコアカード」とよばれる評価アンケートを使ったりして、理想的には研修終了後3ヶ月から6ヶ月をかける。効果的に評価するには、「アンケートの評価指標を正確で偏りのないものとして作成すること」と、「評価担当者に評価することについての研修をすること」が重要である。このレベルで評価を担当するのは、たいてい参加者の上司、コーチ、メンターであるが、優れた評価担当者は、行動の変化だけではなく、仕事がうまくできない要因(例えば、リソースの不足、方針が不明確、その他の阻害となっている要因)をメモすることができる。営業研修のときなどは、このアンケートは研修受講者(営業社員)にとってのお客様にも評価に参加してもらうことがある。

Level 4- Business Results -
学習と知識がビジネスに、どう活かされているかを、生産性、顧客のロイヤルティー、売上、利益等で測定して評価する。この測定方法は、ビジネスの内容、知識、革新性に対する関心度等によってかわってくる。この評価をするに際しては、研修でやろうとしていることと関係のない要因(例えば、マーケット状況を左右した外的な圧力等) は除外しておかなければならない。具体的な測定対象の例としては、営業研修なら売上数、カスタマーのロイヤルティー、営業サイクルの長さ、研修後の各営業利益等があり、テクニカル研修ならヘルプデスクへの電話の回数の減少数、レポート等作成時間の減少、ソフトウェア、システムの利用法の向上等がある。


2.ジャック・フィリップスのROI

カークパトリックの4つのレベルにROIを追加して、レベル5として知られている

Level 5 ― Return on Investment ―
研修のコストとベネフィットとの関係を示し、「学習」と「生産性、効率性、効果性の向上」との関係をみつけることができる。例えば、研修の結果出てきたベネフィットをお金で換算し、研修を実施し設定するのにかかったコストを上回っているかどうか?を見る。コンピテンシー、能力を測定するのは難しいが、これらを数値で表す工夫が必要になってくる。 ほとんどのケースでは、収集するデータに何らかの測定した数字を入れることはできるが、これを評価として利用するには、結果の想定利用について明確にしておくことが大事である。いくつかの測定方法があるが、ジャック・フィリップスが勧める簡単な方法は:

ROI % = トータル・ベネフィット ( お金に換算したもの) / トータル・プログラム・コスト× 10

ROIの利用状況:

トレーニング誌の調査結果によると、トレーニングTOP100社のうち75社はレベル5のROIまでを測定しているという。では、ROIまでを測定している企業は、すべての研修においてROIを測定しているのだろうか? 2003年10月に発表されたジャック・フィリップスの「ROI ベスト・プラクティス」のレポートによると、レベル4、レベル5までを実施する研修は、その企業にとって大変重要なものであるとみなされたものだけである。

下記の表は、ベスト・プラクティス(研修で優れた成果をだしている)企業の典型的な「ROI評価ターゲット」プロフィールを示しており、各レベルで評価する研修の割合のターゲット数字を示している。ターゲット・レベルは、各レベルにおいて評価にかかわってくるリソースの状態、評価実行の可能性によってちがってくるという。たいていどの企業もレベル1のターゲットは100%に設定し、レベル5は5-10%ぐらいであるという。
 
ROI 評価ターゲット(2003年10月 - Jack J. Phillips, Ph.D.)
理想的なターゲット
評価レベル ターゲット
Level 1 - Reaction 100%
Level 2 - Learning 60%
Level 3 - Application 30%
Level 4 - Business Impact 注 10%
Level 5 - ROI 5%


3. 7段階評価

上記の5つのレベルに次の2つが追加されたものでRylatt, Alastair ( June 2003) が著書「Winning the Knowledge Game」でまとめている。新しい2つのレベルの追加は、最近の社会、環境、経済へのビジネス・ガバナンスの世界の動きと平行してでてきた動きであり、今日のビジネス界はROIだけではなく、顧客、社会への貢献も、企業に期待しているという。研修が優れたROIを出したとしても、顧客、社会、コミュニティーへの責任といったような他の重要な部分が抜けてしまっている可能性があるからだという。最近のエンロン社 や ワールドコム社の事件から、企業は、より優れた高いレベルの評価に向かっていく必要があるという考え方が基本になっている。(eラーニングの世界においては、「カークパトリック

Level 6 :eラーニング・チームの予算と安定性」、「 Level 7:eラーニングの責任者、主導者が昇進したかどうか」があるが、勝手に名づけられたもので、カークパトリックが作ったものではない)  

Level 6 サステイナビリティー
この評価では、「習得した能力、コンピテンシーは将来のビジネスにつながるのに実際に役立っているかどうか?」といったような「成功を維持させることに関する質問」にフォーカスしている。これを測定するには、周りの状況、環境の変化に注意し「優れているとは何を意味するのか」について、新しいもっとバランスのとれた見方ができるようになる必要がある。例えば、人、システムに投資を行っている企業は、自分達の環境をよくみていて、「成功」を測定対象とする可能性が高い。 成功のコアとなるサステイナビリティーは「競争に勝ち抜けるインテリジェンス」(静的なビジネス環境では、今までの経験、知識が重要な要因でしたが、常に変化している動的なビジネス環境では、今までになかったもの、経験したことのない新しいものに対する判断力、挑戦力、オープンな考え方等が重要な要因となってきます。競争に勝ち抜いていくには、自分の今いる環境を分析、判断し、迅速に環境にあった行動のとれるようなインテリジェンスが必要であるという意味での)、「優れた市場調査」、「迅速性」である。

Level 7 ベネフィットの共有
一番高いレベルの評価は、取引先の業者、顧客、パートナー、社会全体に対して、自分のビジネスが付加価値を与えているか、役に立っているかという質問にフォーカスしている。現代のビジネス業界では、企業の行動に対して、アカウンタビリティー(確固した説明責任)があること、現在だけではなく将来の世代に対しても企業市民であることを期待されている。シドニーのLeaderskill Group に所属している Dr. Ronald Forbesは、「企業は、社員以外の人達の生活の質に貢献することまでを考えるべきで、もし、自分の会社のやっていることが地球、社会、顧客の幸福につながらないのであれば、今やっていることをやめるべきである。」と述べている。


4.Six Sigma

Six Sigma は、カークパトリックの アプローチだけでは、ビジネス界で通用するROIが測定できていないということで、利用されはじめた評価モデルである。研修がカスタマーとビジネスのニーズにあったものであるかどうかを評価でき、5段階方法 (DMAIC)を使う。 

DMAICの5段階のプロセス:
  1. Define phase(明確化フェーズ)
    プロジェクトの目標を明確にし、カスタマーのニーズに対して何が提供できるかを明確化する。カスタマーのニーズ把握のために特別のビジネスツール(VOC、CTQ等)が使われる。
  2. Measure phase(測定フェーズ)
    現在のパーフォーマンスを判断するために、プロセスを測定する。「問題点」を数値化する。現在のプロセスの 測定結果とその過程で新しく見つけられたニーズとを比較する。この比較は、現在のプロセスが充分でない部分を 見つけることにある。
  3. Analyze phase(分析フェーズ)
    プロセスがカスタマーのニーズにあっていないこと(測定フェーズで検出された部分)を統計ツールにより数値的に可視化して確認する。
  4. Improve phase(改善フェーズ)
    現在のプロセスに対してカスタマーのニーズに合うように改善するソリューションを出す。
  5. Control phase (管理フェーズ)
    プロセスが、以前の状態に戻らないように保証することを管理する。


5.バランス・スコアカード

Kaplan, Robert S.と David P. Nortonによってまとめられたもので、企業の戦略を明確に社員に提示し、具体的なゴールの達成への進捗度をモニタリングできる方法である。企業の長期的な戦略を、異なった分野(財務、カスタマー、社内業務、イノベーション、学習等)における目標値(具体的で測定可能なものとして)に変えて提示する。基本的には、最終的にすべての測定数値は、お金に換算されるべきであるというアプローチをとる。
 

6.AEIOU

これは、5段階評価方法で、1992年にFortune & Keith,1995年に Sweeney、1996年に Sorensenがテクノロジー導入のための評価方法としてまとめていったものであり、eラーニング、遠隔教育の導入のプロセスの評価方法として利用されている。AEIOUは、現在2種類の方法が存在している。なお詳細はWebサイトを参照して欲しい。 

ひとつは、
  1. Accountability (アカウンタビリティー)
  2. Evaluate effectiveness (効果を測定する)
  3. Impact  (インパクト)
  4. Organizational context (組織での状況)
  5. Unanticipated consequences(予期していなかったこととして何が起こったか)
もうひとつは、
  1. Ask the right questions
    正しい評価をするのに必要な情報を得るための適切な質問をする。
  2. Examine options and explore methods
    質問の「回答」を得るのにどんな情報が必要かを決め、その情報をどのように収集するかを関連者の間で探ってみて、このアプローチが「真実で、信頼性のある 回答」を得ることになるかどうか考慮する。どんな質問が回答可能で、どのように回答されるのかについて同意をとる。
  3. Initiate actions and interpret answers
    「回答」情報を収集して質問の内容にあわせて整理したうえで「回答」の意味を解釈し、その「解釈」に対して同意をとる。この解釈の段階では、ステークホル ダー達全員の考え方をとりあげて「真実性」と「信頼性」を考慮し、一部の偏った意見で決めないようにすることが大事である。
  4. Options for change
    これまでの過程を振り返ってみて、やろうとしていることに対する本来の評価の目的、期待している成果を見直して、このやり方でいいかどうかを再検討する。 改善すべきところがないかどうかを、関連者全員で話し合う。目的達成するための戦略について再検討し、再確認する。
  5. Undertake change for good practice
    再検討された際に、出てきた提案の意味を考慮し、もう一度、新しい試み実施のための戦略とそれについての評価のしかたについて、話し合ってみる。「評価プ ロセス」を見なおす。実践から学んだことについて反省し、継続的な戦略を作成する。今回のレポートでは、アメリカの優良企業で利用されている評価方法とし てどのようなものがあるのかについてまとめてみたが、留意すべき点は、ここにあげた評価方法がすべての企業に適用できるとは限らないということである。よ く、使われているからといって、その方法が、自分達の企業ニーズに通用するとはかぎらない。同じ企業内でも、研修の目的によって評価方法はちがってくると いうことに気をつけていないと、自分達の作ったものが不適切で、意味がなく、不正確なものになってしまう可能性があるということを忘れてはならない。
次回は、ここであげた評価モデルを使った成功事例をご紹介する。

参考資料
  1. Sam Adkinsが書いた「新しい学習:"Just-in-time" is too late」 (2003年6月レポート)
  2. Training plus Development (2003年10月号)、"SimsSimsSims" by Paul Harris
  3. Training誌(2003年、7月、8月、9月、11月号、12月号)
  4. "Simulation in the Enterprise" by Internet Time Group
  5. "Simulation bringing e-learning to a new level" by Phil Davies, July 2003
  6. Information Week, Dec 15, 2003
  7. American Laboratory, September 2003
  8. "Future of eLearning", by Paul English of Futuremedia Plc.
  9. "Simulation in the Enterprise" Centrifugal Force: The Race for eLearning in the Real-time Extened Enterprise,
    www.internettime.com/store/SEIinfo.htm

DLCメールマガジン購読者募集中

デジタルラーニング・コンソーシアムでは、eラーニングを含むデジタルラーニングに関するイベント、セミナー、技術情報などをメールマガジン(無料)で配信しております。メールアドレスを記入して『登録』ボタンを押してください。