アンケートの回答時間と不正回答の関連性を検証

自由回答は5秒、SAマトリクスは1.7秒以下だと不正回答が多くなる

自由回答

意味のなさない文字列、悪口、設問の回答になっていない文字列を不正回答としてカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が19秒以内の回答に集約される。さらに、50%だと7.25秒以内、25%だと5秒以内の回答に集中している。
結果、不正回答は5秒以内の回答に多くみられ、19秒で回答精度は安定してくることがわかる。

マトリクス形式の複数回答

ストレートの回答（全て1、全て5等）を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が47秒以内の回答に集約、50%だと14秒以内の回答に集中している。
結果、不正回答は14秒以内の回答に多くみられ、47秒で回答精度は安定してくることがわかる。
当設問は、表側4項目、表頭10項目のヨコ回答マトリクスのため、選択肢10項目の複数回答が4問分の設問であると解釈できる。
これを踏まえると、14秒÷4で、1項目あたり3.5秒以内の回答は不正回答の可能性が高いと考えることができる。

マトリクス形式の単一回答

ストレートの回答（全て1、全て5等）を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が20秒以内の回答に集約、50%だと8秒以内の回答に集中している。
結果、不正回答は8秒以内の回答に多くみられ、20秒で回答精度は安定してくることがわかる。
当設問は、表側4項目、表頭10項目のヨコ回答単一回答マトリクスのため、選択肢10項目の単一回答が4問分の設問であると解釈できる。
これを踏まえると、8秒÷4で、1項目あたり2秒以内の回答は不正回答の可能性が高いと考えることができる。

マトリクス形式の5段階単一回答

ストレートの回答（全て1、全て5等）を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が27秒以内の回答に集約、50%だと17秒以内の回答に集中している。
結果、不正回答は17秒以内の回答に多くみられ、27秒で回答精度は安定してくることがわかる。
当設問は、表側10項目、表頭5項目のヨコ回答単一回答マトリクスのため、選択肢5項目の単一回答が10問分の設問であると解釈できる。
これを踏まえると、17秒÷10で、1項目あたり1.7秒以内の回答は不正回答の可能性が高いと考えることができる。

マトリクス形式の3択単一回答

ストレートの回答（全て1、全て5等）を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が29秒以内の回答に集約、50%だと18秒以内の回答に集中している。
結果、不正回答は18秒以内の回答に多くみられ、29秒で回答精度は安定してくることがわかる。
当設問は、表側10項目、表頭3項目のヨコ回答単一回答マトリクスのため、選択肢3項目の単一回答が10問分の設問であると解釈できる。
これを踏まえると、18秒÷10で、1項目あたり1.8秒以内の回答は不正回答の可能性が高いと考えることができる。

マトリクス形式の5段階単一回答

ストレートの回答（全て1、全て5等）を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が51秒以内の回答に集約、50%だと25秒以内の回答に集中している。
結果、不正回答は25秒以内の回答に多くみられ、51秒で回答精度は安定してくることがわかる。
当設問は、表側15項目、表頭5項目のヨコ回答単一回答マトリクスのため、選択肢5項目の単一回答が15問分の設問であると解釈できる。
これを踏まえると、25秒÷15で、1項目あたり1.7秒以内の回答は不正回答の可能性が高いと考えることができる。

総括

今回の検証は結論を出すことを目的としているわけではないため、明確な基準値を定めることはしないが、回答時間が早すぎると、不正回答である可能性が高まることは分かった。
設問形式によって判断基準となる時間も異なることも確認できた。

「早すぎる回答」の参考基準
自由回答なら5秒以内
マトリクス形式（複数回答）だと1項目あたり3.5秒
マトリクス形式（単一回答）だと1項目あたり2秒
マトリクス形式（5段階SA）だと1項目あたり1.7秒


今後、年代による検証、選択肢の数による検証、視線等の生態データによる検証も行い
不正と思われるデータを、恣意的ではなく根拠を持って一律に排除できる仕組みを構築していきます。