あぶない！あぶない！！リサーチャーの陥りやすい「落とし穴」
「調査の信頼性を担保する」シリーズの第3回目はリサーチャーが陥りやすい「落とし穴」についてまとめてみました。「落とし穴」については、第11回のコラム「調査が予測を外す理由・・・新製品開発における落とし穴」で新製品開発プロセスにかかわる調査についてまとめてありますので、こちらもご参照ください。
この稿では、私がいままでに見聞・経験したいくつかのありがちな「あぶない」事例をまとめました。
調査設計における「あぶない」
図表1を見てください。パッケージ3案の直接比較テストです。ここではパッケージデザインの比較になっていますが、コンセプト調査でも同じです。Aのケースのように3つのデザインの方向性が異なっている場合の比較（方向性が異なっているか、いないかは担当者の主観にすぎないのですが・・・）はまだよいのですが、Bのケースのように方向性が偏っていると問題が起きる可能性があります。結果の数字だけをみると、BではRのパッケージが選ばれそうですが、ケースCのような調査設計を行うとRではなく、Pが選ばれる可能性が高くなります。調査設計により結論が異なってしまいます。また、Bのような状態の比較で、Pに比べQのデザインの出来上がりが悪いと（意図的に悪くすると）、Pが選ばれる可能性が高くなります。
同様に、FGIで難しいコンセプトの後に、同じような内容のわかりやすいコンセプトを呈示すると、そのコンセプトは実力以上に高い支持を得ることがままあります。
（筆者はパッケージテストでテスト案同士の比較テストはお勧めしません。私のコラムの第6回「パッケージ開発と調査」を参照ください）
集計・分析における「あぶない」
インターネット調査で特に問題となることが多いようです。ネット調査では特に指示をしないと回答者ベースで統計表がアウトプットされます。すると図表2のようなことが起きがちです。問題は集計のベースを全対象者にするか、回答者（質問した人）にするかです。図表2は極端な事例に見えますが、そんなことはありません。私自身レポートをチェックしていて、何回も経験したことがあります。例は2回連続のトラッキング調査で、ある銘柄の広告を見た人に、その広告内容を正しく想起したかどうかの集計で、回答者（広告を見た人）を集計のベースにしています。Aの統計表では、広告を見聞きした人（回答した人）をベースとして、広告の内容を正しく想起した人は72％⇒65％と下がっています（このとき対象ブランドの全体評価やブランドイメージは下がることがままあります。そんなところからもこのトレンドを正しいと納得してしまいがちです）。ところが全対象者をベースにしたBの統計表では36％⇒49％と上がっています。同じ調査結果のはずなのに、マーケティング上のディシジョンは全く違ったものになってしまいます。この状況を正しく書くとCの表のようになります。Cの表からは「広告の認知度も広告の内容を想起した人もふえていると読み取れます。
この例のように集計ベースを何にするかは、大きな問題です。筆者の経験では、外資系のクライアントはベースを割った見せ方はほとんどしないようです。
図表の下の例でもリサーチャーがクライアントをミスリードしてしまう可能性があります。
製品テストにおける「あぶない」
テストデザインにより、評価のレベルが違う・・・製品テストのデザインが違うと、同じ製品でも全体評価や購入意向のスコアを比べることはできません。当然ノームもデザインによって違ってきます。同じ製品をモナディックで調査した場合と比較するデザイン（ペアド・コンパリソン、サクセッシブ・モナディックなど）の場合では評価のレベルが違います。モナディックテストのスコアが（有意に）高くなります（隣接効果といいます）。比較テストでは、調査対象者は後に試す製品の評価が高いかも知れないので、先に試す製品を「保守的」に評価するためです。ですから、モナディックテストの評価とサクセッシブ・モナディックで最初に試す製品の評価でも比較はできません。
オーダー効果は消せるのか？・・・サクセッシブ・モナディックテストではP⇒Q、Q⇒Pのように対象者を同質の2つのセルに分けて調査し、その合算でオーダーバイアスを消そうとしますが、製品がよほど似ている場合（製品の組成を消費者にはわからないように変える場合など）を除いて、それは幻想です。（オーダーバイアスは一般的には先に試したほうが良い評価をとります。先に試したほうが味など刺激の「輪郭」がよりはっきりと感じられるからです。オーダーバイアスをはかる方法は同じ製品をサクセッシブ・モナディックでテストします）
味の強い製品（P）と味の弱い製品（Q）で比較テストした場合、味の強い製品を先にテストした場合P＞＞Qとなりますが、その逆の場合はQ＞Pのような結果になります。これを合算した場合P≧Qのようになります。比較の場合味の強い製品のほうが多くの場合有利になります。
コンジョイント分析における「あぶない」
コンジョイント分析の基本は、フルプロファイル法、ACA、CBCなどの分析技法にかかわらず、属性×水準の組み合わせからなる「商品」スペック（プロファイル）に順位をつけることです。属性とは商品の構成要素（PCならば、メーカー、サイズ、メモリの容量、価格、デザインなど）のことで、水準とは属性の具体的レベル（価格なら、1万円、2万円、3万円など）のことです。
属性・水準の選び方・・・ここで、ある属性の選び方や、水準の選び方で調査結果が変わってしまう危険性があります。たとえば価格の効用値や相対的重要度を高めたいと思うのなら、価格の水準の幅を非常に大きく取れば良いことになります。安い価格で順位を吊り上げ、非常に高い価格で低い順位をつけさせれば、効用値は大きくなってしまいます。
属性間はトレードオフの関係になっているか・・・コンジョイント分析では属性間のトレードオフが前提になりますが（補償型意思決定＝属性や水準を総合的に判断して選好を決める）、あるカテゴリーにおいては非補償型の意思決定（PCならばメーカーが最重要であり、そこで選ばれなかったメーカーのPCはどんな魅力的な属性があっても一切検討しない）がなされる場合があります。この場合コンジョイント分析の適用はできません。（補償型・非補償型については第17回コラムを参照ください）
違うニーズセグメントが隠れていないか？・・・コンジョイント分析において、効用値の値が顕著に出ない場合がままあります。相反するニーズを持ったクラスターが存在する場合このようなことが起こります。調査対象者ごとの属性効用値を用いてクラスター分析で異なったニーズクラスターを見出します。
次回は「リサーチャーは調査結果を操作できるか？」と「リサーチャーの倫理」についてまとめたいと思います。
