偏見征圧力

皆が作品を展示して、それぞれの作品を評価し、その評定によって1位を決める・・・

とてもオーソドックスな1位の決め方です。この評定方法も非常に正しいと思います。

実はこの選出要素をプログラムで自作して実行してみました。内容はこうです。

①20の参加者を準備し、作品に番号を1～20まで用意する。

②それぞれ、自分以外のすべての作品にたいして「良い(1)」「悪い(0)」の回答をする。

③全員の回答を集計し、良い(1)の総数がもっとも多い方、複数名いればそれらすべてが勝ち

・ランダムの場合

まずは、「良い(1)」「悪い(0)」の回答をランダムで決着させた場合です。要するに、「すべてのプレイヤーは作品の良し悪しに関わらず評価を行う」という場合です。優勝者は基本的に13票程度の良が入っていました。ここで面白いのは、「すべてのプレイヤーは平均点に多少依存した順位を取っている」ということです。

まあ考えてみてください。1位を獲得した作品に対して13/20票の良が入っています。そして最下位を獲得した作品は5/20の良が入っています。これの意味するところは、確率分布的に考えてなにも他意を含まないはずの二人の間に評定平均±((13-5)/20)という大きな差が開いているということです。

・条件者がいる場合

これは、数学的に見て正しいかどうかを検定するには不十分ですが、20人の参加者に1体のみ「必ず良をつける人」を導入しました。わずかですが、平均順位が下降しました。

なぜかはもう、お察しのことかと思いますが、自分自身が全員の平均点を底上げしておきながら、自分が得られる評価は底上げされていない、ということが一番の理由です。

その逆も成り立ちました。20人の参加者に1体のみ「必ず"良くない"をつける人」を導入したところ、わずかですが、平均順位が上昇しました。

これも、前述と同じ理由です。評定がランダムにつく場合には、このような「平均点を低く着ける人ほど有利」という結果が得られてしまいます。

・価値を持つ場合

20人の参加者の作品に0~100の価値を与えました。そして評価時は、「その作品の価値/100％の確率で良をつける」ということにしました。さすがに当たり前のことですが、作品の価値が高ければ高いほど順位が高くなることが明らかになりました。

・偏見を持つ場合

20人の参加者自身に0～100の偏見率を与えました。評価時は、「その作品の価値/100％の確率で良をつけ、その後、偏見率/100%の確率でその逆の評定をつける」ということにしました。すると、

作品の価値に関わらず、ほぼランダムに順位が決まってしまいました。

一体どういうことだ？と感じたのですが、これには明確な理由があって、偏見率が0~100でついていたからでした。要するに、「偏見を持っている人と持っていない人が半数した」ということです。

偏見征圧力50％の世界ですから、もうそりゃあランダムですよね。

仕切りなおして、20人の参加者自身に0～50の偏見率（偏見征圧力25％の世界）を与えました。偏見率がないときに比べてランダム要素が大きく増えたのですが、まだ傾向として作品の価値が高い人が上位に入る、というのはほぼ間違っていないと言えるレベルでした。

本当はこの「偏見率が高い参加者の順位の傾向」が知りたかったのですが、どうもまだこれだけの定義ではランダム配置にしか見えず、試みとしては失敗に終わってしまいました。

自動学習を用いて最善評価を選ばせても「全部良くないと言え」というとんでもない回答しか帰ってこず、まだまだプログラムでシミュレーションするには情報が足りなかったようです。

しかしながら、実際の大会を見ていても「平均点が低い評価をしている人が本当に上位か」と言われると、まったくそうではありませんし、もっと適切な判定方法を探さないと、この俺の偏見も

ほどけないままかもしれません。

この実験で得られた情報は、「偏見征圧力25％の世界では、もっとも価値の高い作品が1位になれる確率は偏見征圧力0％時の大体半分程度」である、ということでした。試行回数が少ないのですが、

この偏見征圧力というのは、統計を破壊するための侮れない要素のひとつだと、思っています。