テキストによって説明が分かれる分野です
受験生から毎年のように「捨ててもいいか」「諦めたほうがいいか」と聞かれる分野があります。1つ目がピンカスとミナハンの4つのシステム、2つ目が今回取り上げるロッシの5つの評価です。
この2つは、私も苦手な部類の問題でした。正答自体は導き出せるのですが、なぜそれが答えになるのかを説明するのが難しいと感じていました。教科書や参考書を何冊読んでも、書いている人によって説明が違うためです。読み比べるほどわからなくなりました。解説系のブログもたくさん読みましたが、過去問題集の解説をそのまま書き写したと思われる文章がほとんどでした。
そこでこの記事では、できるだけ原典に即して整理します。ただし学術論文ではありませんので、国試の過去問が解けるようになることを目的に、①から⑤の階層構造にしぼって説明します。細かい分類は教科書によって書き方が分かれていましたので、問題を解くためにどこまでの知識が必要なのかという観点でまとめました。
先に「成果（アウトカム）」の意味を確認します
先にひとつだけ、意味を確認してほしい単語があります。日本語の意味に引っ張られると、そこから理解が難しくなる単語です。
日常的な単語の使い方では「利用者が増えた」「参加者が集まった」「予算内に収まった」なども成果と言えます。ところが、評価論でいうアウトカムは、そういう広い意味で使われません。アウトカムは、サービスを受けた人にどんな変化が生じたかを見るものです。
- 利用者数 → × アウトカム
- 予算内に収まった → × アウトカム
- 予定通りに実施できた → × アウトカム
まず、成果（アウトカム）の理解を切り替えましょう。
アウトカム＝「サービスを受けた人に、どんな変化が生じたか」
5つは並列ではなく階層です
ロッシの5つの評価（①ニーズ評価②セオリー評価③プロセス評価④アウトカム評価⑤効率性評価）を、同列に並ぶ5つの評価方法だと理解している受験生が多くいるように感じます。
しかし、5つの評価は、「今回の事例では③で評価するのが正解」「この事例では②より④が正しい」というように、5つのパターンからどれがよいかを選ぶものではありません。「今期は①の方法で評価し、来期は⑤の方法で評価します」というように、評価方法をその都度選ぶ話でもありません（その点も誤解はないですか？）
5つの評価は、①から②へ、②から③へと思考を進めている評価の道順のようなものです。
① ニーズ評価 そもそも、必要とされているか
↓
② セオリー評価 目的に見合う設計になっているか
↓
③ プロセス評価 計画どおりに実施されたか
↓
④ アウトカム評価 受けた人に、どんな変化が生じたか
↓
⑤ 効率性評価 かけた費用に見合う成果だったか
①ができているからこそ、②を問う意味がある。②ができているからこそ、③を問う意味がある。そうやって、①から順番に積み上がっています。フローチャートのように、思考が進んでいくイメージです。
① ニーズ評価
そもそも、それは必要とされているのか。誰が、どれくらい困っているのか。ここが土台です。ニーズがなければ、そのプログラムを作る意味がありません。
② セオリー評価
野球の解説で「この場面では、セオリーどおりにいくと送りバントでしょうね」という言い方をします。ここでのセオリーどおりは、野球の一般的な攻め方でいくと、という意味です。定石に沿っているかどうかという話です。
一方、ロッシのセオリー評価は、プログラムの目標や内容のデザインが適切か、この内容のプログラムで対象者のニーズを満たすことができるかを問うものです。選んだ方法が目標の達成にとって正当性のある方法かどうかを問います。
ニーズがあることはわかった、それでは今回のプログラムはそのニーズに応えるものになっているのか、と問いを積み上げていきます。ニーズがあっても、内容が的外れであれば目標を達成できません。ですから、的外れな方法になっていないかを確認します。
③ プロセス評価
プロセス評価が問うのは、計画したとおりに実施されたかどうかです。予定した回数、予定した人数、予定した内容のとおりに実施できたかを確認します。トラブルで予定した回数を実施できなかった場合、予定していた人数の参加者を確保できなかった場合、急な講師の変更で予定していた内容の研修を実施できなかった場合は、計画どおりに実施できなかったことになります。
ニーズはあるか、このプログラムは的外れではないか、計画どおりに進んでいるか、と進んできました。
④ アウトカム評価・インパクト評価
国試ではアウトカム評価をインパクト評価という名称で出題されることもありますが、同じく対象者に生じた変化を見るものと捉えて問題ありません。ここで、最初に押さえたアウトカムが出てきます。プログラムを受けた人にどんな変化が生じたかという評価です。
たとえば、ある地域で1年間の「いつまでも生き生き元気！体力アップ体操教室」を実施したとします。高齢者の参加人数は50人程度と予測していたのですが、計画以上の120人が集まり、大盛況でした。1年間の参加者数だけを見れば大成功です。
ところが、1年後に体力測定をしたら、筋力も歩く速さも参加前とほとんど変わっていませんでした。腰痛や肩こりが軽減されたという回答もほとんど見られませんでした。この場合、アウトカム評価としては、このプログラムは目標を達成できていなかったという評価になります。変化が生じているかどうかがアウトカムだからです。120人集まったことがアウトカムなのではありません。120人がどう変わったかがアウトカムです。
⑤ 効率性評価
効率という言葉も、日常語とは少しずれます。日常語で効率がいいといえば、無駄がないという意味です（タイパが良いに近いでしょうか）。一方、ロッシのプログラム評価でいうところの効率性は、成果とコストを見比べることです（いわゆるコスパが良いかですね）。かけた費用に対してどれだけの変化が生まれたのかを評価します。成果が出ていたとして、その費用に見合っていたのかを問うものです。
過去問を解いてみましょう
第38回・問題23
「ロッシ（Rossi, P.H.）ら」による福祉サービスのプログラム評価における「成果」（アウトカム）の例として、次のうち、最も適切なものを1つ選びなさい。
1 サービスの利用者数
2 サービスの費用対効果
3 サービスの実施計画と実施された内容との適合性
4 サービスを受けた人々の生活の質（ＱＯＬ）の向上
5 サービスの予算額
解説
1 × 何人使ったかという数です。対象者に生じた変化ではないので、アウトカムではありません。
2 × かけた費用と成果を見比べたものなので、⑤効率性評価にあたります。
3 × 計画どおりに実施されたかという実施状況なので、③プロセス評価にあたります。
4 ○ サービスを受けた人に生じた変化です。
5 × いくら用意したかという数です。受けた人に生じた変化ではないので、アウトカムではありません。
第37回・問題46
事例を読んで、Ａ市社会福祉協議会が開催したボランティア養成講座の評価に関する次の記述のうち、最も適切なものを1つ選びなさい。
〔事 例〕 Ａ市社会福祉協議会では、数年間にわたり民間企業との連携によるボランティア活動の活性化を目的として、地域住民向けのボランティア養成講座を開催してきた。ボランティア養成講座は、地元企業や地域住民からの寄付金で運営されており、開催目的に即した効果が得られているかを検証するため、Ｂ社会福祉士は、プログラム評価を実施することにした。
1 講座の内容が、計画どおりに実施されたかを検証するために、効率性評価を実施する。
2 講座を開催したことにより民間企業との連携によるボランティア活動が活性化しているかどうかを調べるため、アウトカム評価を行う。
3 講座の運営のために用いた寄付金が結果的に効果的・効率的に執行されたかを明らかにするため、プロセス評価を実施する。
4 講座のカリキュラム内容が、開催目的と見合った内容であったかを検証するため、インパクト評価を実施する。
5 ボランティア活動に対する地域住民の意向を明らかにするために、セオリー評価を行う。
解説
1 × 計画どおりに実施されたかを検証するのはプロセス評価です。
2 ○ ボランティア活動が活性化していることが、生じた変化にあたります。
3 × 寄付金が効果的・効率的に執行されたかを明らかにするのは効率性評価です。
4 × 開催目的と見合った内容であったかを検証するのはセオリー評価です。
5 × 地域住民の意向を明らかにするのはニーズ評価です。
この問題ではロッシという人名は出ていませんが、プロセス評価、アウトカム評価、インパクト評価、セオリー評価と、出題されている単語は同じです。
プログラム評価の意義
プログラムは、実施することが目的ではなく、成果を出すことが目的です。成果が出なかった場合は、どこに原因があったのかを検証しなければなりません。
そもそも①ニーズの把握がずれていたのか。②プログラムの設計に無理があったのか。それとも③計画どおりに実施できなかったのか。原因を探るとき、評価の視点がぶれていては正しい検証ができません。ですからロッシは、①から⑤へと段階を追って評価する軸を作りました。この手順で確認していけば問題点が明確になり、次によりよいプログラムを作ることができます。
冒頭でお伝えしたピンカスとミナハンも、何度も推敲を重ね、もやもやがなくなる記事を目指しました。もちろん、直接説明したほうが伝わると思いますが・・・良かったら読んでみてください。
コメント