プログラム評価の指標はいつ決めるのか
受験生から次のような質問を受けました。
（皆さんは質問を送信したりする際、「どの問題か特定してから」とか「きれいな文章に整えてから送ろう」とか色々と思われるかもしれませんが、そんなことはまったく気にしなくて大丈夫です。皆さんが何が分からないのか、何を質問したいのかということは、簡単な文章からおおよそ読み取ることができます。下記のような内容で十分です。どんどん送信してくださいね。）
どの問題か忘れてしまったのですが、「プログラム評価の枠組みでは、サービスの効果を計測するための指標の設定は、サービスの質の向上を目的に行うため、サービスの実施前に行われる」という解説がありました。先生のプログラム評価の記事を読んで、だいたいのプログラム評価の内容は理解できたのですが、プログラム評価はどのタイミングで実施するのでしょうか。よろしければ解説お願いしたいです。
これは、第33回問題41の選択肢5で、「プログラム評価の枠組みでは、サービスの効果を計測するための指標の設定は基本的にサービスの実施後に行われる。」という記述が出題されましたので、恐らくこの解説に関するご質問だと思われます。
まず「評価の指標を決めること」と「評価すること」は別の作業です。指標はサービスの実施前に決め、評価はサービスの実施後に行うのが原則です。
指標を決めるのはサービスの実施前です
指標とは、効果があったかどうかを判断するための項目です。たとえば、ある地域で高齢者を対象に1年間の体操教室を実施する場合、参加者の筋力、歩く速さ、腰痛や肩こりが軽くなったかどうかが指標になります。
指標を前もって決めておくのは、実施前と実施後で同じ項目を比べるためです。体操教室を始める前に参加者の筋力や歩く速さを確かめておかなければ、1年後に変化が生じたかどうかを判断する材料がありません。
評価するのはサービスの実施後です
決めておいた指標に照らして評価するのは、サービスの実施後です。体操教室の例でいえば、1年後に参加者の筋力や歩く速さを確かめ、実施前と比べて変化が生じたかどうかを判断します。
ロッシのプログラム評価では、次の5つの評価を順に積み上げて確かめます。
①ニーズ評価
②セオリー評価
③プロセス評価
④アウトカム評価・インパクト評価
⑤効率性評価
特に成果が出なかったときは、そもそもニーズの捉え方がずれていたのか（①ニーズ評価）、プログラムの設計に無理があったのか（②セオリー評価）、計画どおりに実施できなかったのか（③プロセス評価）を、順にさかのぼって確かめます。
5つの評価それぞれの中身についての記事はこちら
→プログラム評価（ロッシ）がわからない？5つの評価は「階層」で考えるとスッキリ解ける
プログラム評価の目的
プログラム評価の目的は、①サービスの質の向上と、②プログラムの効果の計測です。
問題集の解説にある「サービスの質の向上のため」は、評価を行う目的にあたります。指標を実施前に決める理由は、実施前と実施後で同じ項目を比べるためです。
形成的評価と総括的評価
ここからは、これまで国家試験で出題されたことはありませんが、「いつ行うのか」という質問への答えとして添えておきます。国家試験でこれまで問われてきたのは、ニーズ評価から効率性評価までの5つの評価です。
ロッシのプログラム評価では、形成的評価と総括的評価という考え方も想定されています。形成的評価は、プログラムの実施の途中で内容を検証し、必要に応じて軌道修正するための評価です。総括的評価は、いわゆる一般的な事後評価で、市民等への説明責任を果たすためや、プログラムを続けるかどうかを判断するために行われます。
国家試験で問われてきた5つの評価は、実施後に行うのが一般的と理解して問題ないと思います。問題文の趣旨をよく見て解答してくださいね。
過去問を解いてみましょう
第38回・問題23
「ロッシ（Rossi, P.H.）ら」による福祉サービスのプログラム評価における「成果」（アウトカム）の例として、次のうち、最も適切なものを1つ選びなさい。
1 サービスの利用者数
2 サービスの費用対効果
3 サービスの実施計画と実施された内容との適合性
4 サービスを受けた人々の生活の質（ＱＯＬ）の向上
5 サービスの予算額
解説
1 × 体操教室でいえば、何人集まったかという数です。参加者の筋力や歩く速さがどう変わったかを示していないので、アウトカムではありません。
2 × かけた費用と成果を見比べたものなので、⑤効率性評価にあたります。
3 × 計画どおりに実施されたかという実施状況なので、③プロセス評価にあたります。
4 ○ サービスを受けた人に生じた変化です。体操教室の筋力や歩く速さと同じく、実施前と実施後で比べる項目にあたります。
5 × いくら用意したかという数です。受けた人に生じた変化を示していないので、アウトカムではありません。
第37回・問題46
事例を読んで、Ａ市社会福祉協議会が開催したボランティア養成講座の評価に関する次の記述のうち、最も適切なものを1つ選びなさい。
〔事 例〕 Ａ市社会福祉協議会では、数年間にわたり民間企業との連携によるボランティア活動の活性化を目的として、地域住民向けのボランティア養成講座を開催してきた。ボランティア養成講座は、地元企業や地域住民からの寄付金で運営されており、開催目的に即した効果が得られているかを検証するため、Ｂ社会福祉士は、プログラム評価を実施することにした。
1 講座の内容が、計画どおりに実施されたかを検証するために、効率性評価を実施する。
2 講座を開催したことにより民間企業との連携によるボランティア活動が活性化しているかどうかを調べるため、アウトカム評価を行う。
3 講座の運営のために用いた寄付金が結果的に効果的・効率的に執行されたかを明らかにするため、プロセス評価を実施する。
4 講座のカリキュラム内容が、開催目的と見合った内容であったかを検証するため、インパクト評価を実施する。
5 ボランティア活動に対する地域住民の意向を明らかにするために、セオリー評価を行う。
解説
1 × 計画どおりに実施されたかを検証するのは、③プロセス評価です。
2 ○ ボランティア活動が活性化していることが、講座の実施後に生じた変化にあたります。
3 × 寄付金が効果的・効率的に執行されたかを明らかにするのは、⑤効率性評価です。
4 × 開催目的と見合った内容であったかを検証するのは、②セオリー評価です。
5 × 地域住民の意向を明らかにするのは、①ニーズ評価です。
第34回・問題41
事例を読んで、N市社会福祉協議会の職員であるC社会福祉士が企画したプログラム評価の設計に関する次の記述のうち、正しいものを1つ選びなさい。
〔事例〕N市社会福祉協議会は、当該年度の事業目標に「認知症の人に優しいまちづくり」を掲げ、その活動プログラムの一つとして認知症の人やその家族が、地域住民、専門職と相互に情報を共有し、お互いを理解し合うことを目指して、誰もが参加でき、集う場である「認知症カフェ」の取組を推進してきた。そこで、C社会福祉士は、プログラム評価の枠組みに基づいて認知症カフェの有効性を体系的に検証することにした。
1 認知症カフェに参加した地域住民が、認知症に対する理解を高めたかについて検証するため、ニーズ評価を実施する。
2 認知症カフェの取組に支出された補助金が、十分な成果を上げたかについて検証するため、セオリー評価を実施する。
3 認知症カフェが、事前に計画された内容どおりに実施されたかを検証するため、プロセス評価を実施する。
4 認知症カフェに参加する認知症の人とその家族が、認知症カフェに求めていることを検証するため、アウトカム評価を実施する。
5 認知症カフェが、目的を達成するプログラムとして適切に設計されていたかを検証するため、効率性評価を実施する。
解説
1 × 参加した地域住民の理解が高まったかは、参加後に生じた変化なので、④アウトカム評価です。
2 × 支出した補助金に見合う成果が上がったかは、費用と成果を見比べる⑤効率性評価です。
3 ○ 計画どおりに実施されたかを検証するのは、③プロセス評価です。
4 × 認知症の人とその家族が何を求めているかを確かめるのは、①ニーズ評価です。
5 × 目的を達成するプログラムとして適切に設計されていたかを検証するのは、②セオリー評価です。
第33回・問題41
福祉サービスの立案及び評価に関する次の記述のうち、最も適切なものを1つ選びなさい。
1 パブリックコメントとは、利害関係者や学識経験者を集めて意見を聴き、予算や法律・規則の制定を行う手法のことである。
2 ニーズ推計とは、ニーズを一定の基準で分類し、その類型ごとに出現率の推計等を行い、それに対応するサービスの種類や必要量を算出する手法である。
3 福祉サービス第三者評価事業における第三者評価とは、利用者の家族等によって行われる評価のことである。
4 福祉サービスのアウトカム評価とは、福祉サービスが適切な手順と内容で利用者に提供されているかに着目する評価である。
5 プログラム評価の枠組みでは、サービスの効果を計測するための指標の設定は基本的にサービスの実施後に行われる。
解説
1 × パブリックコメントは、行政機関が政令や省令などの案を公表し、広く一般から意見を募る手続きです。利害関係者や学識経験者を集めて意見を聴く手法とは別のものです。
2 ○ ニーズ推計の説明として適切です。
3 × 第三者評価は、事業者でも利用者でもない、公正・中立な第三者評価機関が行う評価です。
4 × 適切な手順と内容で提供されているかに着目するのは、③プロセス評価です。アウトカム評価は、サービスを受けた人に生じた変化に着目します。
5 × 指標は、サービスの実施前に決めます。実施前と実施後で同じ項目を比べるためです。実施後に指標を決めても、実施前の状態を確かめていないので、変化が生じたかどうかを比べられません。
コメント