rSurveyAssign: tools for simulation of assignment in web surveys

rSurveyAssignパッケージは、web調査における対象者割付についてのシミュレーションを行うためのパッケージです。

このパッケージを使うと、ある種の対象者割付を行うweb調査について、必要な標本サイズを見積もったり、割付によって生じるバイアスを評価したりすることができます。また、すでに行った調査について、集計時にバイアスを取り除くためのウェイトを求めることもできます。

ここでは、rSurveyAssignパッケージの背後にある考え方と、パッケージの用途について説明します。

1. このパッケージが想定する調査

調査においては、調査対象者を異なる設問や提示物に配分することがあります。以下ではこれを対象者の「割付」と呼びます。また、提示物や設問を「刺激」と呼びます。

このパッケージは、次の４つの要件を持つ調査のためのパッケージです。

刺激ごとに割付可能な対象者が定義されており、それらの人々からから回答を集めたい
対象者を割り付ける刺激の数に上限を設けたい
各刺激について、目標とする割付人数を達成したい
調査対象者数をできるだけ減らしたい

1.1 事例: ブランド・イメージ調査

上記の４つの要件を持つ調査は、web調査の実務において数多く見られます。説明のため、もっともわかりやすい例を挙げましょう。

ある製品カテゴリにおける10個のブランドについて、消費者が抱いているイメージを調べたいと思います。

あるブランドのイメージを聴取する対象者は、そのブランドを知っている人であるとします。
調査負荷の観点から、ひとりの対象者に対して聴取できるブランドの数は2個までとしたいです。
各ブランドについて、少なくとも100人から回答を得たいです。
調査コストの観点から、調査対象者数をできるだけ減らしたいと思います。

このブランド・イメージ調査の手続きについて考えてみましょう。

調査手続き1. すべてのブランドに割り付ける
- 対象者にあるひとつのブランドを提示し、そのブランドのイメージについて聴取します。これを、10個すべてのブランドについて繰り返します。
- この手続きでは、各対象者にその人の知らないブランドについても聴取することになりますし、対象者はブランド・イメージについての回答を10回繰り返す事になります。すなわち、要件1,2が満たされていません。
調査手続き2. 2個のブランドに割り付ける
- それぞれの対象者について、その人に提示するブランドを2個選びます。すなわち、対象者を2個のブランドに割り付けます。
- 対象者に割り付けられた2個のブランドのうちひとつを提示し、そのブランドのイメージを聴取します。これを2個のブランドについて繰り返します。
- この手続きでは、要件2は満たされましたが、要件1はいまだ満たされていません。
調査手続き3. 知っているすべてのブランドに割り付ける
- それぞれの対象者に、10個のブランドのリストを提示し、知っているブランドはどれかを聴取します。それぞれの対象者を、その人が知っているすべてのブランドに割り付けます。いずれのブランドについても知らないと答えた人については聴取を終了します。
- 対象者に、割り付けられたブランドのうちひとつを提示し、そのブランドのイメージを聴取します。これを、その人が割り付けられたすべてのブランド(=その人が知っているすべてのブランド)について繰り返します。
- この手続きでは、要件1は満たされましたが、要件2が満たされていません。
調査手続き4. 知っているブランドのうち1個～2個に割り付ける
- それぞれの対象者に、10個のブランドのリストを提示し、知っているブランドはどれかを聴取します。
- それぞれの対象者を、その人が知っているブランドのうち1個～2個のブランドに割り付けます。いずれのブランドについても知らないと答えた人については聴取を終了します。
- 割り付けられたブランドのうちひとつを提示し、購入意向を聴取します。これを、割り付けられたブランドについて繰り返します。

こうして、要件1, 2を同時に満たす調査手続きにたどり着きました。

このように、対象者の回答(各ブランドを知っているかどうか)に応じてその後の設問を変更する手続きは、古典的な質問紙調査では困難でした。web調査ならではの調査手続きといえるでしょう。

1.2 調査手続きの性質

調査手続き4.は、いっけん良い手続きのようにみえます。しかしこの手続きは、次の2つの深刻な問題点を持っています。

必要な対象者数がわからない
回答の集計値がバイアスを持つ

問題点1. 必要な対象者数がわからない

それぞれのブランドについて、目標とする件数の回答を集めたとき(要件3を満たしたとき)、どの程度の対象者数が必要でしょうか。

調査手続き1.では、\(N\)人の対象者に調査すれば、各ブランドについて\(N\)件の回答が得られます。
調査手続き2.では、\(N\)人の対象者に調査すれば、全ブランドを通じて延べ \(N \times L\) 件の回答が得られます。ブランドへの割付をバランス良く行えば、各ブランドについて \((N \times L) / K\) 件の回答が得られるはずです。
調査手続き3.では、対象者があるブランドについて知っている割合を\(P\)としたとき、そのブランドについて \(N \times P\) 件の回答が得られます。事前に別の情報源から \(P\) を推測できれば、十分な件数の回答を得るために必要な対象者数を逆算することができるでしょう。
しかし調査手続き4.では、各ブランドについて何件の回答が得られるかを事前に推測することが困難です。

問題点2. 回答の集計値がバイアスを持つ

調査手続き4.によって得た回答がどのような性質を持つか、簡単な例を通じて考えてみましょう。

調査対象のブランドを{a,b,c}の3つとしましょう。aについて知っている対象者に注目すると、対象者たちは下表の4種類に分かれます。

aについて	bについて	cについて
知っている	知らない	知らない
知っている	知っている	知らない
知っている	知らない	知っている
知っている	知っている	知っている

調査手続き4.による調査を想定します。各対象者の割付ブランド数の最大値を2としたとき、aについて知っている人が aに割り付けられる確率はどうなるでしょうか。

仮に、割付ブランドをその対象者が知っているブランドのなかから等確率に選ぶとすると、下表となります。

aについて	bについて	cについて	aに割り付けられる確率
知っている	知らない	知らない	\(1\)
知っている	知っている	知らない	\(1\)
知っている	知らない	知っている	\(1\)
知っている	知っている	知っている	\(2/3\)

a以外のブランド(bとc)のうち、知っているブランドの個数が0から1の人は、必ずaに割り付けられます。いっぽう、個数が2の人(a,b,cのすべてを知っている人)がaに割り付けられる確率は\(2/3\) しかありません。

従って、この調査手続きで集めたaについての回答は、aについて知っている人々のうち、他のブランドを知らない人々の回答へと偏ることになります。

多くの場合、あるブランドについての知識や態度は、その製品カテゴリの他のブランドについて知っている程度と関連しているでしょう。たとえば、ブランドaに対する購入意向が、他に多くのブランドを知っているほど低いとしましょう。このとき、ブランドaの購入意向の回答は高めに偏ることになります。

このような、割付に起因する集計値の偏りを割付バイアスと呼ぶことにします。

割付バイアスの大きさは、各ブランドが知られている程度や割付ブランドの選び方によって複雑に変化します。そのため、推測するのは容易ではありません。

2 このパッケージの目的

調査対象者に刺激を提示し反応を測定したい一方、個々の対象者に提示できる刺激に制約があるという場面は、調査実務において珍しくありません。回答負荷や調査コストの削減のため、上記の調査手続き4.のような工夫をする場合も多いでしょう。その反面、このような工夫によって、事前の標本サイズ設計は困難になり、調査結果は割付バイアスを持ちます。

rSurveyAssignパッケージはこの問題に対処するためのパッケージです。

このパッケージでは、冒頭に挙げた4つの要件を持つ調査を想定し、さまざまな割付方法について検討することができます。このパッケージがカバーしている割付方法の範囲について、“1. How to assign subjects”を参照して下さい。

このパッケージの用途は次の3つです。

標本サイズ推定
- 上記の手続きによる調査を計画しているとき、各刺激について必要な回答件数を得るためにはどの程度の調査対象者数が必要かを推定する。
- 使用方法は“2. How to forecast sample size”を参照して下さい。
バイアス評価
- 上記の手続きによる調査を計画しているとき、調査結果が持つであろうバイアスを評価する。
- 使用方法は“3. How to estimate bias”を参照して下さい。
ウェイト算出
- 上記の手続きによる調査を行ったあとで、集計のためのウェイトを算出する。
- 使用方法は“4. How to compute survey weights”を参照して下さい。

なお、このパッケージはweb調査の機能を提供するものではありません。 web調査の実施時に対象者を刺激へと割り付ける機能は、web調査システム上で別途実装する必要があります。