測定とは
アンケートには、いろいろな種類の質問があります。性別を「1 男性 2 女性」から選んでもらう質問、居住地を「1 〇市 2 △市」から選んでもらう質問、年齢や年収を数字で書いてもらう質問などです。回答用紙が集まったら、分析するために回答を数字に直して入力していきます。この、調べたい事がらに数値や記号を割り当てることを測定といいます。
測定するのは、年齢や身長のように数字で答えられるものだけではありません。皆さんが働く現場をイメージすると、介護職員の仕事へのやりがい、利用者の生活満足度、地域住民のつながりの強さなども測定の対象になります。ただ、これらは年齢や年収のように、明確な数字で答えてもらうことができません。
そこで、一般的に行われているのが、「今の仕事にやりがいを感じている」という質問文に対し、「とてもそう思う・そう思う・どちらともいえない・あまりそう思わない・まったくそう思わない」から選んでもらう方法です。このように、ある文に対する同意の程度を多段階で選んでもらう方法をリッカート法といいます。段階に5から1を割り当てれば、数字として集計できます。
数字でダイレクトに答えてもらえないことを測ろうとする以上、質問文の作り方しだいで結果が変わります。その質問文でよいのかどうかを確かめる必要があるということです。ここで出てくるのが信頼性と妥当性という概念です。
信頼性とは
信頼性とは、同じものを繰り返し測定した際に、同じ結果が出るかどうかということです。測定の安定性ともいいます。
例えば、「あなたは地域活動に積極的に参加していますか」という質問に回答する場合を考えます。ある回答者は、自治会の役員や防災訓練を思い浮かべて「あまり参加していない」と答えます。同じ回答者が1か月後に同じ質問に回答するとき、今度は町内の清掃やごみ当番、近所の子どもの見守りを思い浮かべて「参加している」と答えるかもしれません。
その1か月のあいだに、回答者の行動は何も変わっていません。変わったのは、地域活動という言葉から何を思い浮かべたかだけです。それでも、回答には差異が出てしまいます。
この質問では、どこまでを地域活動とするのかが示されていません。そのため、回答者が何を思い浮かべるかによって、回答が変わってしまいます。同じものを測っているつもりでも、結果が安定しないということです。信頼性がないというのは、この状態を指します。
妥当性とは
妥当性とは、「明らかにしたいこと」を実際に「明らかにできる質問になっているかどうか」を検討する概念です。測定の適切性ともいいます。
例えば、やりがいを感じる職場づくりのために「今の職場に不満はありますか」という質問項目を作ったとします。やりがいと不満は無関係ではありませんので、一見、適切な質問に見えます。
ところが、集まった回答を分析する段階になると気づきます。「不満はあるけれどやりがいは感じている」という回答者もいるでしょうし、「不満はないけれどやりがいは感じていない」という回答者もいるでしょう。ということは、不満の有無を尋ねただけでは、対象者がやりがいを感じて働いているかどうかはわからないということです。一見、適切に見えた質問ですが、明らかにしたいことを明らかにするための手段になっていないということがわかります。
過去問を解いてみましょう
第35回 問題87
社会調査における測定と尺度に関する次の記述のうち、適切なものを2つ選びなさい。
1 信頼性とは、測定しようとする概念をどのくらい正確に把握できているかを意味する。
2 妥当性とは、同じ調査を再度行ったときに、どのくらい類似した結果を得ているかを意味する。
3 順序尺度では、大小や優劣を測定できる。
4 間隔尺度の例として、身長や体重がある。
5 比例尺度の方が、間隔尺度よりも情報量が多い。
解説
正答は3と5です。
1 × 測定しようとする概念をどのくらい正確に把握できているかは、妥当性の説明です。
2 × 同じ調査を再度行ったときにどのくらい類似した結果を得ているかは、信頼性の説明です。
3 ○ 順序尺度は順序に意味がある尺度ですので、大小や優劣を表せます。
4 × 身長や体重は比例尺度です。0センチメートル、0キログラムが始点になります。
5 ○ 比例尺度は、間隔尺度でできる引き算に加えて、何倍かを表せます。
尺度水準についての記事はこちら
→ 尺度の4つの水準｜順序尺度は中央値出せるか？間隔尺度・比例尺度の違い
第31回 問題86
測定と尺度に関する次の記述のうち、最も適切なものを1つ選びなさい。
1 測定とは、一定の規則や基準を用いて、調べたい対象の経験的な特性に数値や記号を与える手続である。
2 信頼性とは、測定したい概念をどのくらい正確に測定できているか、という測定の適切性のことをいう。
3 妥当性とは、同じ調査をもう一度行ったときに同じ結果になる安定性のことをいう。
4 社会調査の測定では、信頼性と妥当性のどちらかが満たされていればよい。
5 名義尺度、順序尺度、間隔尺度、比例尺度という四つの尺度水準のうち、大小関係を測定することができるのは、名義尺度である。
解説
正答は1です。
1 ○ 測定の説明として正しい記述です。経験的な特性とは、実際に観察したり尋ねたりして確かめられる性質のことです。
2 × 測定したい概念をどのくらい正確に測定できているかは、妥当性の説明です。ここでいう概念とは、やりがいや生活満足度のように、直接測れない明らかにしたいことを指します。
3 × 同じ調査をもう一度行ったときに同じ結果になる安定性は、信頼性の説明です。
4 × どちらか一方ではなく、両方を備えている必要があります。
5 × 大小関係を測定できるのは、順序尺度、間隔尺度、比例尺度の3つです。名義尺度は分けることしかできません。
信頼性と妥当性の確かめ方
テキストには、信頼性と妥当性を確かめる方法も載っています。ひととおり確認しておきます。
信頼性を確かめる方法は次のとおりです。
・再テスト法は、同じ対象者に同じ調査を時間を置いて2回行い、結果がどれだけ一致するかを確かめます。
・折半法は、質問項目を2つに分けて、それぞれの得点がどれだけ一致するかを確かめます。
・クロンバックのα係数は、複数の質問項目が同じものを測っているかどうかを数値で表します。1に近いほど一貫していると判断します。
妥当性は、次の3つに分けられます。
・内容的妥当性は、質問項目が、明らかにしたいことの範囲をもれなく含んでいるかどうかを検討します。
・基準関連妥当性は、すでにある別の指標や、あとで分かる結果と、どれだけ一致するかを確かめます。
・構成概念妥当性は、明らかにしたいことについての理論から予想される関係が、実際のデータでも現れるかどうかを確かめます。
これらの用語は、第27回から第38回までの社会調査の基礎および社会福祉調査の基礎では出題されていません。出題されたのは、信頼性と妥当性がそれぞれ何を意味するのか、そして両方が必要かどうかの2点です。
練習問題（過去問ではありません）
ここまでの内容の確認です。実際に出題されたものではありません。
信頼性と妥当性に関する次の記述のうち、最も適切なものを1つ選びなさい。
1 再テスト法は、質問項目を2つに分けて、それぞれの得点の一致の程度を確かめる方法である。
2 折半法は、同じ対象者に同じ調査を時間を置いて2回行い、結果の一致の程度を確かめる方法である。
3 クロンバックのα係数は、値が小さいほど、複数の質問項目が同じものを測っていることを示す。
4 内容的妥当性とは、質問項目が、明らかにしたいことの範囲をもれなく含んでいるかどうかを検討するものである。
5 構成概念妥当性とは、すでにある別の指標との一致の程度を確かめるものである。
解説
正答は4です。
1 × 質問項目を2つに分けて得点の一致を確かめるのは、折半法です。
2 × 同じ対象者に時間を置いて2回行うのは、再テスト法です。
3 × クロンバックのα係数は、1に近いほど一貫していると判断します。
4 ○ 内容的妥当性の説明として正しい記述です。
5 × すでにある別の指標との一致を確かめるのは、基準関連妥当性です。
コメント