はてな人力検索のアンケートは、利用するだけ無駄です。

今年の5月にセアガーラに行かれた方に尋ねます。空港のサリドラルは咲いていましたか?
※セアガーラに行かなかった人は答えないでください※

http://q.hatena.ne.jp/1222330626

という質問に100人が回答を行った。


「セアガーラなんてねえよ。サリドリルって何だよ?」というツッコミはさて置き、答えてるのは誰だろうか?

この質問の発端

人力検索のアンケートの精度をテストさせてください。 以下の質… - 人力検索はてなのコメント欄にてq:id:drowsyさんが

例)犬と猫どちらが好きですか?
…このような質問であればかなり精度が高いものになると思いますが、
次のような質問を行った場合、残念な結果になると思う。
例)今年の5月にセアガーラに行かれた方に尋ねます。空港のサリドラルは咲いていましたか?
※セアガーラに行かなかった人は答えないでください※
1.咲いていた 2.咲いてなかった 3.サリドラルでなくチューリップに変わってた
もしくは、、、
例)ヴィシャス・ヴァイパーのスコヴィル値はいくらでしょうか?
1.2,000,000 2.656,000 3.50,000
※わからない、もしくは答えがないと思ったら回答しないでね※
こんなやつ。
ちなみに両方とも答えがないので、いつまでたっても誰も回答しない、が正解ですが…。

と言っていたのが発端。質問しちゃったのが、q:id:ootatmtさん。
つまり、元々答えないんですよ。不名誉にも予想通りの結果になってしまったわけだが。

データの信憑性は全くない

この質問に対して100人の回答が集まるということは、最低100人以上の役に立たない回答者が含まれているということになる。
仮に他のアンケートで100人未満の回答者を募った場合含まれるデータは全くの信憑性がないことになる。
何故なら100人とも役に立たない回答者である可能性が含まれるからだ。つまり、常に誤差が100%含まれていると考えてもいい。役立たずのデータだ。仮に質問を変えようが、この100人が含まれる可能性を取り除けないので誤差としては変わらない。

回答者のidを晒すべきである。

アンケートにおいても回答者のidを晒すべきだと私は思う。果たしてこの100人が誰なのか?今現状、一括して調べる方法はない。手当たり次第にidを漁っていくしかないのである。これで本当にいいのであろうか?これでは、アンケートを実施した人間がデタラメな回答者にポイントを配っているだけではないだろうか?

結論

今現状で、はてな人力検索のアンケートは利用するだけ無駄です。


さて、今度セアガーラに行ったことのある100人にそこにどうやって行ったか聞いてみようかな。サリドリルという新種の花を私も見てみたいし。まだ誰も新種登録してない筈なので実際に見て新種登録しなければ・・。何故、こんなにたくさんの人が知っているのに登録されてないんだろうか?