受験生に毎年のように「捨ててもいいか」「諦めたほうがいいか」と聞かれる分野があります。1つ目がピンカスとミナハンの4つのシステム、2つ目が今回取り上げる「ロッシの5つの評価」です。
＊ピンカスも、推敲を繰り返し、すっきり理解してもらえるように完成させましたので、「捨てようか」「諦めようか」と思っている方、ぜひご参照ください。
この2点（ピンカス＆ミナハンとプログラム評価）については、私も苦手な部類の問題でした。正答自体は導き出せるものの、「なぜそれが答えになるのか」について、クリアに理由を説明するのが難しいと感じていました。
なぜなら、教科書や参考書を何冊読んでも、書いている人によって説明が違うのです。読み比べるほど、わからなくなりました。テキストだけではわからなかったので、解説系のブログもたくさん読みましたが、過去問題集の解説をそのまま書き写していると思われるワンパターンの文章がほとんどで、クリアに説明できているものには出会えませんでした。多くの解説は、他人の解説をベースに書いているように見えました。
そこで、この記事では、できるだけ原典に即して整理したいと思います。ただし、この記事は学術論文ではありません。国試の過去問が解けるようになることを目的に、①〜⑤の大きな階層構造にしぼって説明します。私も多くの解説等に目を通したつもりですが、細かい分類は教科書によっても書き方が分かれていました。そこで、問題が解けるようになるためにどこまでの知識が必要なのかを整理してまとめました。これを最後まで読んでくださった方は「遠回りなようでこの理解が一番タイパがいいし、応用力が高い」ことを実感できる記事になっています。
まず気をつけてほしい「単語の使い方」から
先にひとつだけ、意味を確認してほしい単語があります。日本語のカタカナの意味に引っ張られると、そこから理解が難しくなる単語です。ここさえクリアすれば、文章の見通しがよくなります。逆に、ここで躓いていると、どんな解説を読んでもわかりません。
「成果（アウトカム）」
日常の言葉で「成果」といえば、何でしょうか。
「利用者が増えた」「参加者が集まった」「予算内に収まった」などは、日常の日本語であればどれも「成果」と言えます。ところが、評価論でいうアウトカム（成果）は、そういう広い意味で使われる指標ではありません。とにかく「サービスを受けた人に、どんな変化が生じたか」です。
- 利用者数 → × アウトカム
- 予算内に収まった → × アウトカム
- 予定通りに実施できた → × アウトカム
まず、成果（アウトカム）の理解を切り替えましょう。
アウトカム＝「サービスを受けた人に、どんな変化が生じたか」
5つは並列ではなく「階層」です
質問です。あなたは、ロッシの5つの評価（①ニーズ評価②セオリー評価③プロセス評価④アウトカム評価⑤効率性評価）を同列の5つの評価方法だと思っていませか。
ロッシの5つの評価は、「今回の事例では③で評価するのが正解」「この事例では②より④の評価法が正しい」等、5つのパターンの中からどれが良いかを選ぶようなものではありません。
また「今期は①の方法で評価し、来期は⑤の方法で評価します」というように、評価方法を都度選ぶような話でもありません。
5つの評価は、5つの同列の評価方法ではなく、①から②へ、②から③へと思考を進めている評価の道順のようなものです。
① ニーズ評価 そもそも、必要とされているか
↓
② セオリー評価 目的に見合う設計になっているか
↓
③ プロセス評価 計画どおりに実施されたか
↓
④ アウトカム評価 受けた人に、どんな変化が生じたか
↓
⑤ 効率性評価 かけた費用に見合う成果だったか
①ができているからこそ、②を問う意味がある。②ができているからこそ、③を問う意味がある。そうやって、①から順番に積み上がっています。フローチャートのように、思考が進んでいくイメージです。
それでは順番にみていきましょう。
① ニーズ評価
そもそも、それは必要とされているのか。誰が、どれくらい困っているのか。
ここが土台です。ニーズがなければ、そのプログラムを作る意味がありません。
② セオリー評価
皆さんは野球をご覧になりますか。解説でよく、こういう会話があります。「この場面では、セオリー通りにいくと送りバントでしょうね」ここでの「セオリー通り」は、「野球の一般的な攻め方でいくと」という意味ですね。定石に沿っているかどうか、という話です。
でも、ロッシのセオリーは、そういう意味ではありません。ロッシのセオリー評価は、「プログラムの目標や内容のデザインが適切か」「この内容のプログラムで、対象者のニーズを満たすことができるか」ということを意味します。今回選んだ方法は目標を達成するにあたり、「正当性」がある方法かを問うのがセオリー評価です。
ニーズがあることはわかった→今回のプログラムは、そのニーズに応えるものになっているのか？と問いを積み上げていきます。確かにニーズがあっても、内容が的外れだったら、目標や目的を達成できません。だから、的外れな方法になっていないかを確認するのです。
③ プロセス評価
プロセス評価が問うのは、計画通り、企画した通りに実施されたかどうかです。
予定した回数、予定した人数、予定した内容通りに実施できたかを確認します。様々なトラブルで予定した回数実施できなかったり、予定していた人数の参加者が確保できなかった場合、急な講師の変更で予定していた内容通りに研修が実施できななかった場合は、「計画どおりに実施できなかった」ことになります。
ニーズはあるか→このプログラムは的外れではないか→計画どおりに進んでいるか、ということですね
④ アウトカム評価/インパクト評価
（※国試では「インパクト評価」という名称で出題されることもありますが、同じく「生じた変化を見るもの」と捉えて問題ありません）
ここで、最初に押さえたアウトカムが出てきます。「プログラムを受けた人に、どんな変化が生じたか」という評価です。
たとえば、ある地域で1年間の「いつまでも生き生き元気！体力アップ体操教室」を実施したとします。高齢者の参加人数は50人程度と予測していたのですが、計画以上の120人の高齢者が集まり、大盛況でした。1年間の参加者数だけを見れば、大成功です。
ところが、1年後に体力測定をしたら、筋力も歩く速さも、参加前とほとんど変わっていませんでした。また、腰痛や肩こりが軽減されたという回答もほとんど見られませんでした。どんなに大盛況でも、アウトカム評価としては、このプログラムは目標を達成できていなかったという評価になります。変化が生じているかどうかが「アウトカム」だからです。120人集まったことや大盛況だったことがアウトカムではありません。120人がどう変わったかが、アウトカムです。
⑤ 効率性評価
効率という言葉も、日常語と少々ずれます。「効率がいい」といえば、「無駄がない」という意味ですよね。いわゆるタイパはこの代表的な使い方です。
でも、ここでいう効率性は、成果とコストを見比べることです。どちらかというと「コスパ」ですね。かけた費用に対して、どれだけの変化が生まれたのかを評価します。
「成果が出ていた」として「コスパは良かったのか？」を問うものです。
ここで過去問
単語と階層を理解していれば、そのまま解けます。チャレンジしてみましょう。
第38回・問題23 「ロッシ（Rossi, P.H.）ら」による福祉サービスのプログラム評価における「成果」（アウトカム）の例として、次のうち、最も適切なものを1つ選びなさい。
1 サービスの利用者数
→× 何人使ったか、という数です。対象者に生じた変化ではないので、アウトカムではありません
2 サービスの費用対効果
→× かけた費用と成果を見比べたものなので、⑤効率性評価にあたります。アウトカムではありません
3 サービスの実施計画と実施された内容との適合性
→× 計画どおりに実施されたか、という実施状況なので、③プロセス評価にあたります。アウトカムではありません
4 サービスを受けた人々の生活の質（ＱＯＬ）の向上
→〇 サービスを受けた人に生じた変化です
5 サービスの予算額
→× いくら用意したか、という数です。受けた人に生じた変化ではないので、アウトカムではありません
成果（アウトカム）は生じた変化です。それを考えると４しか答えがないですね。５つの階層が見えると解きやすくなりませんか。
もう1問いきましょう。今度は事例です。ロッシという人名は出てきていませんが、プロセス評価、アウトカム評価、インパクト評価、セオリー評価等、出題されている単語は、同じです。
第37回・問題46 事例を読んで、Ａ市社会福祉協議会が開催したボランティア養成講座の評価に関する次の記述のうち、最も適切なものを1つ選びなさい。
〔事 例〕 Ａ市社会福祉協議会では、数年間にわたり民間企業との連携によるボランティア活動の活性化を目的として、地域住民向けのボランティア養成講座を開催してきた。ボランティア養成講座は、地元企業や地域住民からの寄付金で運営されており、開催目的に即した効果が得られているかを検証するため、Ｂ社会福祉士は、プログラム評価を実施することにした。
1 講座の内容が、計画どおりに実施されたかを検証するために、効率性評価を実施する。
→× 計画どおりに実施されたかを検証するのはプロセス評価です
2 講座を開催したことにより民間企業との連携によるボランティア活動が活性化しているかどうかを調べるため、アウトカム評価を行う。
→〇 ボランティアが活性化しているのが「変化」アウトカムですね。
3 講座の運営のために用いた寄付金が結果的に効果的・効率的に執行されたかを明らかにするため、プロセス評価を実施する。
→× 寄付金が結果的に効果的・効率的に執行されたかは効率性評価です
4 講座のカリキュラム内容が、開催目的と見合った内容であったかを検証するため、インパクト評価を実施する。
→× 開催目的と見合った内容であったかを検証するのはセオリー評価です
5 ボランティア活動に対する地域住民の意向を明らかにするために、セオリー評価を行う。
→× ボランティア活動に関する地域住民の意向を明らかにするのはニーズ評価です
プログラム評価の意義
プログラムは、単に実施することではなく、成果（変化）を出すことが目的です。もし成果が出なかった場合は、「どこに原因があったのか」を適切に検証しなければなりません。
そもそも①ニーズの把握がずれていたのか。②プログラムの設計（ロジック）に無理があったのか。それとも③計画通りに実施できなかったのか。
原因を探るとき、評価の視点がぶれていては正しい検証ができません。だからこそロッシは、①から⑤へと段階を追って評価する「ぶれない軸」を作りました。この手順で確認していけば問題点が明確になり、次により良いプログラムを作ることができるからです。
なお、成果が出た場合でも、最後にコストパフォーマンス（⑤効率性評価）の確認が必要です。いくら良い変化が出ても、費用がかかりすぎていては継続できないからです。
以上です。整理できたでしょうか。もし途中で混乱したら、少し時間を置いてから過去問と一緒に読み返してみてください。この記事で、プログラム評価に対する苦手意識や抵抗感が少しでも和らぐことを願っています。
コメント