第7回 「カークパトリック以外の新しい eラーニングの評価方法」

2004/09/07

カークパトリックの評価方法への批判:
研修の世界において「評価」というと、すぐに出てくるのが「カークパトリックの4段階評価」である。この30年、研修の成果を測定するモデルとして、広く研修業界で利用されている。しかし、最近になって、カークパトリックの アプローチと、カークパトリックの評価方法にこだわっている研修担当者に対しての強い批判が出てきている。批判者の一人であるKevin Kurse(the e-learning guru)によると、これらの研修担当者は研修の世界にとどまっており、ビジネス界では通用するROIを測定していないという。このアプローチを使う多くの研修担当者は、研修の要請がきたら、関連者との打ち合わせをする前の段階で「何が大事」「何を測定すべき」「何をレポートすべき」「何がROIになるのか」についてすでに決めてしまっている。研修側と依頼者であるビジネス側との間での打ち合わせの時でも、本当のビジネスのニーズはとりあげることなく、カークパトリックの4段階評価の測定に合わせた レポーティングがやり易いように話が運ばれてしまうことが多いと批判している。

カークパトリックのやり方だけでは充分にビジネスのインパクトは測定できないという声は、決して一部の声だけではなさそうで、eラーニング業界においても、eラーニングの成長とともに評価に対する新しいやり方を求める声がでてきている。研修専門家がほとんどの参加者である2003年のConference Board of Canada's Annual Learning and Development Conference では、グローバルな経済要因を考えると、学習成果を測定する他の方法(カークパトリック以外)をみつけることは必要であるということで全員が同意したという。

カークパトリックの評価方法に代わる方法とは?
2004年3月のトレーニング誌でも現在アメリカの優れた研修成果を出している企業はカークパトリックのレベルにとどまっておらず、ROIをさまざまなかたちで測定し、ROIの次の段階である企業価値までを測定しようとしていることにふれていた。2004年2月に「トレーニング・ウォッチ」誌で Kaliym Islamは、2つのシナリオを使って、「シックス・シグマ(Six Sigma)」を利用したケース・スタディを発表した。今回は、このケース・スタディをご紹介し、カークパトリックに代わる評価方法を考察してみたい。

  1. シナリオ1
    Aさんは、自分のグループが開発した研修プログラム(社内で開発したプロセスシステムの新しい機能をどう使うかを社員に教えるためのプログラム)について最終のレポートをする会議に出ようとしているところである。部屋を出ようとしていたら、秘書が、運営部署からのレポートを手渡してくれた。最近の四半期の結果として、プロセス時間の削減のおかげで会社に$1万ドルのコスト削減をもたらしたと書いてある。

    Aさんは、今までに担当した中で一番よくできた研修プログラムだと自負している。カークパトリックの4段階評価をすべて網羅し、レベル1では、参加者の99%は、研修を「大変すぐれている」と評価し、参加者全員がレベル2の評価テストに合格した。研修後のインタビューは、参加者と参加者の上司とでなされ、参加者全員が新しい機能を使っていることがわかっている。

    会議でレポート発表をしているとき、なぜか自分だけが笑顔でいることに気がついた。発表が終わって自分の席についたところで、CFOは$1万ドルのコスト削減には、$16万ドルの開発費と研修費がかかったことと、(自分がよくできたと思っている)プログラムにかかった$16万ドルの投資を回収するだけでも、4年かかることを指摘した。
     
  2. シナリオ2
    Bさんは、金融関係の会社のeラーニング担当マネージャーである。ある1つの部署では新しい商品を売り出そうとしているところである。この部署のマネージャーがやってきて、この新しいサービスの使い方についてユーザーに教えるためのeラーニングコースを開発してくれるよう依頼された。

    Bさんは、研修でどんな情報をカバーすべきか、期間、システムアクセス、SME(内容について良く知っている専門家)、システム仕様等について、社内のクライアントであるマネージャーと話し合った。その際に、評価と研修後のフォローアップの重要性についても説明し、研修後に製品の利用状況についてトラッキングすることを説得した。社内のLMSにホストされると、参加者の出席履歴、参加者の学習進捗状況のレポート、時間的にどのくらいオンラインにコースに参加し、研修に何回参加したかがわかるというようなことを説明すると、全員が乗り気になっていた。Bさんは、「研修のインパクトを測定することの重要性をわかってくれるビジネス部署の人物にやっとめぐりあえた」とすでにすっかりやる気になっていた。 両者は、プロジェクト・プランを協力してできるだけ早く作成することに同意した。さっそくBさんはプロジェクト・プランを手がけようと自分の机にもどったら、先ほどのマネージャーから電話がかかってきて、「ところで、聞き忘れていたんだけれど、このプロジェクトのコストはどのくらいかかるの?」とまだ興奮気味の声できいてきた。その後、マネージャーに対して、プロセス毎にかかるコストの詳細を書いたプランを承認してもらえば、すぐに自分のグループはこのプロジェクトにとりかかる、というメモをつけて送った。するとマネージャーから、三日目の午後に、彼と彼の上司をまじえた話し合いをしたいという連絡がきた。話し合いの議題は、「研修コスト」と書かれてあった。

    会議では、このプロジェクトのフェーズ毎にかかるコストについて詳細な説明をしたし、さらに全体のコストを10%削減できる方法まで説明した。「2-3日後に、今後どう取り組むかについて、マネージャーから連絡をする」ということで、会議を終えたが、その後 eメール を何度も出したが返事がないので、週末に入る前に留守電にもメッセージを入れておいた。ようやく月曜日に、マネージャーから eメールが入っていたが、「今度の製品には eラーニングは使わないことにした、今後ニーズがあったら連絡をする」というメッセージであった。その日の午後、たまたま他の社内会議で、このマネージャーと顔を合わす機会があったので、一体どうなっているのかについてきいてみた。すると「自分達は、新しいサービスがどんなものか知ってもらうための簡単な内容のものを考えていただけなの。レベル1とか何とかで履歴、フォローアップができる云々は確かにいいことだとは思うけど、ただ製品があることを知ってもらうだけのために、あれだけのコストはとてもじゃないけどかけられないわ。あなたたち研修関係者は、本当のビジネスのこと全然わかってないんじゃない。」と言われてしまった。
     
  3. シナリオから学んだこと
    2つのシナリオのAさんもBさんも、依頼者であるカスタマーのビジネスニーズを把握しきれなかったか、ニーズにあうものを提供できなかったことによりカスタマーを満足させることができなかったといえる。研修のビジネスへのインパクトを示そうとする姿勢は多少なりとも見られたが、ビジネスニーズを把握することについては、研修側からの方法で、ビジネス側が納得する方法ではなかった。問題を把握するために研修側で使っている方法は、研修担当者にとって大事なことを把握はできるが、ビジネス側のニーズを充分に把握できるとは限らない。また、研修プログラムに関わってくる重要な人達(ステークホルダー)にとって大事な問題を正しく把握するには、ビジネス側からの方法を使うべきである。また、ビジネスの担当者と効果的にコミュニケートするには、ビジネス用語で話すべきである。
 

ビジネスの世界でも通用する評価方法とは?

1.大切なビジネスニーズの把握
Total Quality Management (TQM)などビジネスニーズを把握するのに使われているビジネスモデルは数多くある。しかし、最近の多くの企業が好んで使っているのは、 Six Sigmaである。General Electric(GE)が歴史上、最も力を入れて取り組んだもの」と ジャック・ウェルチが述べたように、「GEの生き返り」の大きな要因として知られている。

Six Sigma については、5回目のレポートで簡単に説明をしたように、5段階方法 (DMAIC:define明確化, measure測定、 analyze分析, improve改善、 control管理)を使って研修がカスタマーのビジネスニーズにあっているかどうかを測定できるビジネス方法である。研修側とビジネス側との一番大きな隔たりは、シナリオを読んでおわかりのように、カスタマー(ビジネス側の)ニーズの把握の部分にある。

ビジネスニーズをしっかりと把握するためには、研修担当マネージャーはまず「カスタマーは誰なのか」を理解しなければならない。今までのやり方だと、研修担当者は研修プログラムを受けるエンドユーザーだけに焦点をあてていて、レベル1では学習者の気持ちを掴んだかどうか、レベル2では、学習者が何を学んだか、レベル3 では、学習者が学んだスキルを職場で応用しているかどうか、レベル4では、3つの測定結果とビジネスインパクトの何らかの関係を示そうとし、この段階ではじめてビジネスに直接関係している部分をつかもうとしている。(ちなみに、2002年のASTD's 産業別レポート によると、レベル4まで 測定しているのは、研修組織全体の11%のみだという。)

これに対して、Six Sigma は、プロセスのOutput indicators(成果指標)となるものをつかむことによって、プロセスに関連しているすべてのステ-クホルダー(研修側、ビジネス側の重要な関連者達)の見方を必ず取り入れるようになっている。Output indicatorsは測定可能なものであり、優先度が設定でき、ビジネスのステークホルダーと研修の受講生にとっての両方の大事なニーズをリスト化したものである。Output indicatorsを見つけるには、ビジネスの声 (VOB)とカスタマーの声 (VOC)をとらえることが必要となる。

2.カスタマーの声(VOC)
電話での会話、苦情の手紙、アンケート等を通して入手でき、カスタマーのキー・イシュー(重要な問題)としてカテゴリー化する。これらは、クリティカルなカスタマーのニーズ (CCR)あるいは、特定の測定可能なターゲットとして整理する。

eラーニングでのVOC応用例:
今、担当しているeラーニングのプログラムは長すぎるという電話なり、手紙での苦情を受けるとする。コースの長さ、テスト質問の数、ダウンロード時間についての苦情、コメントは「 わかっている時間」のカテゴリーに入れる。その後、カスタマーの立場にたって、コース、レッスンの長さはどのくらいがいいのかを、このカテゴリーの声等から捉える。もし、カスタマーが10分以内であるべきだという声が多いとすると、この時間は このコースをとっているエンドユーザーを満足させる Output indicatorsのひとつとなる。

3.ビジネスの声(VOB)
カスタマーの場合と同じプロセスを、 ビジネスのパートナー、役員、本部長、他のビジネスの重要な関連者に対して行う。インタビュー等をして、研修について彼等がどんな問題をもっているのかを捉える。例えば、企業ゴール、新しい試み等が問題として捉えられるだろう。これらの問題をロジカルなトピックとしてカテゴリー化し、測定可能なターゲットに変換する。

eラーニングでのVOB応用例:
ある企業は、企業ゴールとして「すべての製品開発コストの削減」をしようとしており、この企業の事業部の部長は、今までと同様の研修サポートを自分達の予算に合わせて、より低いコストで行って欲しいと考えている。このタイプの問題は「コスト削減」にカテゴリー化される。アンケートで調べると、ビジネスのステークホルダー達は、1時間のeラーニングプログラム開発に$2万6千ドル以上はかけたくないと思っていることが判明した。この測定可能なターゲットは ビジネス側からの満足を得るのに必要なOutput indicatorsのひとつとなる。

クリティカルなビジネスニーズを把握するひとつの簡単な方法としては、研修担当者に率直に「なぜ研修をしたいのですか」と聞くことである。この簡単な質問への回答が、何を測定すべきかにかなり役立つヒントを提供してくれることが多々ある。 例えば、回答が「コンプライアンスの 要請があるから」という場合には、生徒の出席人数をレポートするだけでビジネスインパクトを測定するには充分であるかもしれない。「研修結果として、利益を生み出したい」というのが回答だとすると、研修により創出される収入をレポートする必要がある。「もっと、優れた社員を養成したい」というのが回答だとすると、レベル2の評価の測定を行う意味がでてくる。また、ここにあげた例でも「何が重要」で「何を測定すべき」かは、すべて最終的にはビジネス・パートナーが決めるべきで研修担当者の仕事ではないことに留意すべきである。

4.Output Indicators
測定可能なカスタマーのニーズとビジネスニーズを優先的にリスト化したものが Output indicatorsとなる。 Output indicatorsをまとめて優先順にということは、すべてのカスタマー、事業部が同様の優先順のものを作成することにはならないことを忘れてはならない。このリスト化された output indicatorsは、研修プログラムについて測定されるべきものだけではなく、ビジネスのインパクトのある研修にするための測定可能なターゲットをみつけるのに役立つ。また、このリストは、研修担当者、エンドユーザーの立場から作成されたリストで、彼等にとってなじみのある言葉で書かれてあるので、分かりやすい。


研修担当者へのメッセージ:
上記のシナリオにもあるように、今日の経済事情では、企業がコストに対して極度に敏感になることはやむを得ないことである。最近のASTDの雑誌においても、教育担当リーダー達は「将来の成功を保証するには」次のことに留意すべきであると指摘している。

  1. 組織のビジネス、ビジネスモデルについて、その業界で、どのように収入を得るのかについて、理解しておくべき
  2. 信頼を得るには、彼らにとってなじみのある言葉で話すべき
  3. バランス・シートを理解し、ビジネスの成功を測定するのに、どう使われているのか理解しておくべき
今後、eラーニングの世界において、Six Sigma以外でも、「価値を評価」すると言ったような、カークパトリックの評価モデルにこだわらない新しい評価モデルを使った自動評価システムの必要性が増えてくるものと予測される。しかし現実は、高度な評価(カークパトリックのレベルを超えたような)になればなるほど、1つのLMS内では処理しきれなく、手作業の分野が増えるようである。データベースシステムのデータ互換性、標準化のスピードは、ビジネスニーズのスピードにはまだ追いついていないようである。システム的な問題はあるとしても、カークパトリック、フィリップス、7段階評価、Six Sigma、バランス・スコアカード、360度評価と、eラーニングの評価モデルの選択肢がでてきていることは、事実である。評価モデルの選択において大事なのは、どれが「良い悪い」をみつけることではなく、やはり「誰がデータを使うのか」、「そのデータを使って何をするのか」、「何を知りたいのか」、「何をレポートしたいのか」等を明確にしておくことのように思う。これらが、明確であれば、自然と方法は決まっていくのではないだろうか?  

参考資料

  • ROI Best Practices、2003年10月 - Jack J. Phillips, Ph.D.
  • トレーニング・ウワッチ誌 2004年2月18日、 Kaliym Islam
    Is Kirkpatrick Obsolete? Alternatives for Measuring Learning Success
  • トレーニング誌2003年12月号
    トレーニング誌2004年3月号
  • Kirkpatrick, Donald. (1998) 2nd edition. Evaluating Training Programs, Berrett-Koehler, San Francisco.
  • Phillips,Jack.(1997) Accountability in Human Resource Management, Gulf Publishing, Houston.
  • Rylatt, Alastair ( June 2003) Winning the Knowledge Game, McGraw-Hill, Sydney ( in Australia and New Zealand), Butterworth- Heinemann, London (Elswhere),
  • Beyond ROI - 7 Levels of Training Evaluation
    Alastair Rylatt

DLCメールマガジン購読者募集中

デジタルラーニング・コンソーシアムでは、eラーニングを含むデジタルラーニングに関するイベント、セミナー、技術情報などをメールマガジン(無料)で配信しております。メールアドレスを記入して『登録』ボタンを押してください。