受験生に毎年のように「捨ててもいいか」「諦めたほうがいいか」と聞かれる分野があります。1つ目がピンカスとミナハンの4つのシステム、2つ目が今回取り上げる「ロッシの5つの評価」です。
＊ピンカスも、推敲を繰り返し、すっきり理解してもらえるように完成させましたので、「捨てようか」「諦めようか」と思っている方、ぜひご参照ください。
プログラム評価。ニーズ評価、セオリー評価、プロセス評価、アウトカム評価、効率性評価。・・・確かにわかりにくいですね。
講師としては不適切な発言かもしれませんが、この2点については、答えはなんとか導き出せるけれども、学生に「なぜそれが答えになるのか」をぶれずにクリアに説明することがなかなかできませんでした。なぜなら、教科書を読んでも、参考書を読んでも、書いている人によって説明が違うのです。セオリー評価の説明が本ごとに違う。アウトカムとインパクトの分け方も人によって変わる。読み比べるほど、わからなくなりました。
テキストではわからなかったので、解説系のブログもたくさん読みました。それでも、ワンパターンの文章で書いてあるか、人によって説明の仕方が違うかのどちらかで、クリアに説明できているものには出会えませんでした。
今ならなぜ何を読んでもわからなかったのかを理解することができます。多くの解説は、他人の解説をベースに書いているだけで、原典に当たらずに簡略版を書いているのです。そこで、今日は、ロッシらの原典の枠組みに戻って整理します。これを最後まで読んでくださった方は「遠回りなようでこの理解が一番タイパがいいし、応用力が高い」ことを実感できる記事になっています。
まず気をつけてほしい「単語の使い方」から
先にひとつだけ、意味を確認してほしい単語があります。日本語のカタカナの意味に引っ張られると、そこから理解が難しくなる単語です。ここさえクリアすれば、文章の見通しがよくなります。逆に、ここで躓いていると、どんな解説を読んでもわかりません。
「成果（アウトカム）」
日常の言葉で「成果」といえば、何でしょうか。利用者が増えた。参加者が集まった。予算内に収まった。・・・全部、成果ですよね。
ところが、評価論でいうアウトカム（成果）は、たったひとつに限定されています。
サービスを受けた人に、どんな変化が生じたか、です。
何人使ったか（利用者数）→×アウトカム
いくらかかったか（費用）→×アウトカム
計画どおりだったか（実施状況）→×アウトカム
日常語の「成果（アウトカム）」を持ち込むと、ほとんどの選択肢が正解に見えてしまいます。まず、成果（アウトカム）の理解を切り替えてください。
5つは並列ではなく「階層」です
これから、とても大切なことを質問します。
あなたは、ロッシの5つの評価を横並びの単語として理解しようとしたり、5つの評価方法があると考えて問題を解こうとしたりしていませんか。
ロッシの5つの評価は、5つのパターンの中からどれかを選ぶようなものではありません。また、「今回は②の方法でいきます、次回は③の方法で」というように、評価方法を選ぶような話でもありません。多くの人がここを勘違いしているので、どの解説もしっくりこないのです。
5つの評価は、5つの評価方法ではなく、階層です。
5つは、選ぶための選択肢ではなく、どこを見ているのかを示す位置なのです。
① ニーズ評価 そもそも、必要とされているか
↓
② セオリー評価 目的に見合う設計になっているか
↓
③ プロセス評価 計画どおりに実施されたか
↓
④ アウトカム／インパクト評価 受けた人に、どんな変化が生じたか
↓
⑤ 効率性評価 かけた費用に見合う成果だったか
①ができているからこそ、②を問う意味がある。②ができているからこそ、③を問う意味がある。そうやって、①から順番に積み上がっています。フローチャートのように、思考が進んでいくイメージです。
それでは順番にみていきましょう。
① ニーズ評価
そもそも、それは必要とされているのか。誰が、どれくらい困っているのか。
ここが土台です。ニーズがなければ、そのプログラムを作る意味がありません。
② セオリー評価
皆さんは野球をご覧になりますか。解説でよく、こういう会話があります。
「この場面では、セオリー通りにいくと送りバントでしょうね」
ここでの「セオリー通り」は、「野球の一般的な攻め方でいくと」という意味ですね。定石に沿っているかどうか、という話です。若い人に「セオリー」という言葉を使って例文を1つ作ってくださいとお願いしたら、おそらくスポーツの場面をイメージして、今のような使い方をする人がほとんどでしょう。
でも、ロッシのセオリーは、そういう意味ではありません。
ロッシのセオリーは、「この内容のプログラムで、この人たちに本当に届くのか」ということです。一般的な方法に合致しているかを問うものではないのです。
それで目的にたどり着けるのか。そもそも知ってもらえるのか。知ったとして、使ってもらえるのか。
そこを問うのが、セオリー評価です。
ニーズがあることはわかった→今回のプログラムは、そのニーズに応えるものになっているのか。と問いを積み上げていきます。
確かにニーズがあっても、内容が的外れだったら、プログラムを実施しても届きませんね。
だから、ニーズの次に、的外れな方法になっていないかを確認するのです。
③ プロセス評価
プロセスというと「過程」や「手順」を思い浮かべますが、ここでは意味がもっと狭くなります。計画どおりに実施されたか、という実施状況のことです。
過程や手順の良し悪しを問うているわけではありません。予定した回数、予定した内容で、きちんと実施できたのかを問います。
プログラムは内容がよくても、計画どおりに実施されていなければ、プロセス評価としては「できていなかった」という評価になります。全6回の予定だった講座が、講師の都合で3回しか開けなかった。内容そのものは申し分なかったとしても、プロセス評価では、そこが問われます。
ニーズはあるか→このプログラムは的外れではないか→計画どおりに進んでいるか、ということですね。
④ アウトカム／インパクト評価
ここで、最初に押さえたアウトカムが出てきます。
プログラムを受けた人に、どんな変化が生じたか。
プログラムが予定どおり実施されて、はじめて変化を測れます。だから、プロセスの次にアウトカム（成果）が出てくるのです。
たとえば、計画以上の100人の高齢者が、1年間の介護予防体操プログラムに参加したとします。参加者数だけを見れば、大成功です。
でも、1年後に体力測定をしたら、筋力も歩く速さも、参加前とほとんど変わっていなかったとしたら。アウトカム評価としては、このプログラムは目標を達成できていなかった、という評価になります。
100人集まったことは、アウトカムではありません。100人がどう変わったかが、アウトカムです。
⑤ 効率性評価
効率という言葉も、日常語とずれます。ふだん「効率がいい」といえば、無駄がない、手早い、という意味ですよね。いわゆるタイパはこの代表的な使い方です。
でも、ここでいう効率性は、成果とコストを見比べることです。どちらかというと「コスパ」ですね。かけた費用に対して、どれだけの変化が生まれたのか。
だから、これがいちばん最後にきます。
成果が出ていなければ、比べようがないからです。成果が測れて、はじめて費用と見比べられる。
効率性評価が最後に来る理由が、これでわかりますね。
ロジックモデルとは別のものです
この分野で混乱してしまうのが、ロジックモデルです。
ロジックモデルは、プログラムを作るときに使われる手法です。ロッシの5階層は、そのプログラムを評価するときに使うもの。使う場面が違います。
ところが厄介なことに、ロッシの問題の選択肢の中に、ロジックモデルで使われる概念が出てくることがあります。
でも、今日はとにかくロッシです。
中途半端にいろんな理論を頭に入れると、かえってうまくいきません。今日はロッシの5階層だけを入れて、過去問がすっきり解ける。それをイメージしながら読んでください。特に今回紹介する過去問は、5階層さえわかれば、すらすら解けます。
ロジックモデルは、組織と経営でも出題されていますので、別記事にまとめます。（現在準備中です。準備でき次第、こちらにリンクを貼ります）
ここで過去問
単語と階層を理解していれば、そのまま解けます。チャレンジしてみましょう。
第38回・問題23 「ロッシ（Rossi, P.H.）ら」による福祉サービスのプログラム評価における「成果」（アウトカム）の例として、次のうち、最も適切なものを1つ選びなさい。
1 サービスの利用者数
→× 何人使ったか、という数です。受けた人に生じた変化ではないので、アウトカムではありません（今回は扱っていない、ロジックモデルの考え方です）
2 サービスの費用対効果
→× かけた費用と成果を見比べたものなので、⑤効率性評価にあたります。アウトカムではありません
3 サービスの実施計画と実施された内容との適合性
→× 計画どおりに実施されたか、という実施状況なので、③プロセス評価にあたります。アウトカムではありません
4 サービスを受けた人々の生活の質（ＱＯＬ）の向上
→〇 サービスを受けた人に生じた変化です
5 サービスの予算額
→× いくら用意したか、という数です。受けた人に生じた変化ではないので、アウトカムではありません（今回は扱っていない、ロジックモデルの考え方です）
成果（アウトカム）は生じた変化です。
それを考えると４しか答えがないですね。５つの階層が見えると解きやすくなりませんか。
もう1問いきましょう。今度は事例です。
第37回・問題46 事例を読んで、Ａ市社会福祉協議会が開催したボランティア養成講座の評価に関する次の記述のうち、最も適切なものを1つ選びなさい。
〔事 例〕 Ａ市社会福祉協議会では、数年間にわたり民間企業との連携によるボランティア活動の活性化を目的として、地域住民向けのボランティア養成講座を開催してきた。ボランティア養成講座は、地元企業や地域住民からの寄付金で運営されており、開催目的に即した効果が得られているかを検証するため、Ｂ社会福祉士は、プログラム評価を実施することにした。
1 講座の内容が、計画どおりに実施されたかを検証するために、効率性評価を実施する。
→× 計画どおりに実施されたかを検証するのはプロセス評価です
2 講座を開催したことにより民間企業との連携によるボランティア活動が活性化しているかどうかを調べるため、アウトカム評価を行う。
→〇 ボランティアが活性化しているのが「変化」アウトカムですね。
3 講座の運営のために用いた寄付金が結果的に効果的・効率的に執行されたかを明らかにするため、プロセス評価を実施する。
→× 寄付金が結果的に効果的・効率的に執行されたかは効率性評価です
4 講座のカリキュラム内容が、開催目的と見合った内容であったかを検証するため、インパクト評価を実施する。
→× 開催目的と見合った内容であったかを検証するのはセオリー評価です
5 ボランティア活動に対する地域住民の意向を明らかにするために、セオリー評価を行う。
→× ボランティア活動に関する地域住民の意向を明らかにするのはニーズ評価です
こちらも解きやすさを感じてもらえるといいなと思いつつ、書いております。
最後にもう1回。
プログラムは、実施することに意味があるのではなく、成果があるかどうかが大切です。
そして、成果をもし出せていなかったとしたら、どこがダメだったのかということを検討しないといけません。そもそも①のニーズ調査がよくなかったのか。②のプログラムの筋が通っていなかったのか。③のプログラムを予定どおりに実施することができなかったのがダメだったのか、という感じです。
成果が出なかったのはどうしてなんだろうと考えるときに、評価軸がぶれないほうが評価しやすいですよね。
そして、それらを積み重ねていくと、次はきっと意味のあるプログラムを作ることができるはずなんです。だからロッシは、この軸をはっきりさせたんですよね。
そして、成果が出ていたとしても、やっぱりコストパフォーマンスは大切です。成果が出たとして、コストパフォーマンスがよかったかどうかということを確認する。これがロッシの5階層ですね。
皆さんが「あー、少しすっきりした」となっていることを願いつつ。
もしそれでも混乱するようだったら、少し時間を置いて、もう一度読んでみてください。
過去問を見て、もう1回記事を読み直してもらうのもいいですね。
この問題に対する「苦手意識」や「抵抗感」「恐怖心」がなくなりますように。
お疲れ様でした！
コメント