Reading the statistics

twitter で、自分の興味、あるいは知りたい事に合致する target を follow して得られる customized headline とでも言うべきものは時々面白いものを教えてくれる。というわけで、今日は Daily Kos の面白い電話調査の結果を見つけたので、bookmark して、帰宅してからじっくりと読み解くことに。

* Daily Kos とはいわゆる political blog の一つで結構有名。スタンスとしてはリベラルで、民主党寄りだ。

この Daily Kos の Republican Poll という共和党支持者を対象にした電話調査の傾向が結構面白かった。(Original article)

いくつか抜き出してみると:

– QUESTION: Should Barack Obama be impeached, or not?

Barack Obama は弾劾されるべきか(正式な手続きを経て解任すべきか)どうか、という質問に対しては、全体の 39% が yes と答えている。

– QUESTION: Do you believe Barack Obama was born in the United States, or not?

この質問に対しては、全体の 36% が No。すなわち Barack Obama には大統領たる法的な資格は無い、と考えていることになる。実際はハワイ州当局が出生証明書を発行したと保障しているので、法的な問題は存在していない。

これよりも、大統領就任式当日の就任宣誓のほうがはるかに法的な問題があったにもかかわらず、こちらはあまり話題になっていない。(もっとも翌日宣誓自体をやり直していたはずなので今も法的に問題がある状態、という訳では無いはずだ)

– QUESTION: Do you think Barack Obama is a socialist?

これはなんと全体の 63% が Yes と答えている。アメリカ人は政治体制についてまともな教育を受けていない、というのが如実にあらわれているような気がする。歴史の教科書で、世界の歴史より、アメリカの歴史の textbook の方が 2.5 倍くらい分厚いという、どう考えてもそれはおかしいんじゃないかという教育の結果…なのだろう。

Barack Obama を socialist 呼ばわりするなら、アメリカの同盟国である、イギリスを除く殆どの NATO 諸国は共産主義国家の烙印を押されるだろう。

– QUESTION: Should public school students be taught that the book of Genesis in the Bible explains how God created the world?

この質問に対しては、さらに驚愕の 77% が Yes という回答。進化論を否定して、公教育ではキリスト教の天地創造の教えを教えるべきだ、などと言い出す人がこれほど多いとは!

この Daily Kos の調査結果をそのまま読むと、共和党支持者はどんどん極端な方向に走っている、という傾向を導き出しかねないのだけれど、これはある意味正しい部分もあるとはいえ、これをそのまま読んではいけないという非常に良い例では無いかと思う。

確かに、共和党自身が保守政党から、宗教政党へ変容しつつある、とは言われているし、民主党の下院議員に関しては結構な割合で中道保守的な、昔なら共和党員であったはずの主張をする議員が増えている。

穏健な中道保守からの支持を失いつつあるのは、Reagan 時代からの傾向といわれていて、最近までは穏健保守 + 宗教層の支持により民主党より優位に立っていたのが、どんどんと宗教層よりになっていき穏健保守が離れている。そういう全体的に言われている傾向に合致しないことも無いんだけれど、果たしてではこれほど極端になってしまったのだろうか?

合計 sample 数として約2000人ほどなので、統計、あるいは電話調査としての最低限の信頼性は確保されていることになる。しかし、二つの点でこの調査に対する正確性に対する大きな疑問が浮き上がる。

一つ目は、

– QUESTION: In the 2010 Congressional elections will you definitely vote, vote, not likely vote, or definitely will not vote?

という問いに対して、Definitely Vote、Vote と答えた人の割合が 83% になることだ。これは有権者に対する調査としては極めて高い特異な値を示している、といわざるを得ないだろう。これに関連して、調査は adult を対象にして、とはあるけれど registered voter を対象にとは書いていないので、投票資格の無い人が含まれている可能性もある。にもかかわらず 83% の人々が 2010 年の選挙で投票に行くと答えているのは異常だといえるだろう。

(通常の調査では 60% を超えるのは稀だ)

二つ目は、最初の方で抜き出したうちの一つの質問、

– QUESTION: Should public school students be taught that the book of Genesis in the Bible explains how God created the world?

共和党支持者の 77% が実際に、これに賛同するならもっと多くの School District で裁判が起こり、進化論を教えることを禁止するなどの措置が取られている可能性が高い。しかし、現実にはまだそれほど多くの学区でこうした措置が取られているわけではない。

Random に抽出した相手に対しての電話での聞き取り、という手法を使っているので、質問する側が特定の group を select した、とは考えないで置くと、結果としては、電話調査の質問を始めた段階で電話を切られて、結果的に filtering がかかってしまったという可能性が高いだろう。恐らく 2000 件の有効な回答を得るために、その 10 倍、20000 件以上の電話をかけているんじゃないかと思う。

その filter の結果、現実にきわめて強い不満を抱いていて、何か言わなければならないという層に偏った、というのが妥当なところでは無いかと思う。

この Daily Kos の結果を見て、素直に読んで、共和党支持者はと論説を始める media はまず存在しないと思う。恐らくは、これも一つの data として、分析してみる対象とはなるけれど、これが正しく『共和党支持者の』 ものであると勘違いするような人はそうした職には恐らく就けないだろうし、あるいはすぐに追い出されるだろう。

ところが、最近の blog media では、ある何かの数字を見て、自分の confirmation bias をたっぷり効かせて、何かの(自分の信じたい方向性に沿った)結論をでっち上げるのが好きなようだ。Private な blog で、意見としてならまだしも、その統計は正しくて市場はこう変わっていくのだ、と mislead するような blog media はお金でも貰っているのか? というところだ。(あるいは純粋に statistics を読む、数字を読む能力に欠けているのだろう)

Myxer という ring tone service の activities report を読んで、Android users は、と結論付けるとか、あるいは AdMob の report を market share と勘違いする愚かさもこれと同じ類の物だ。

そうした観点で言えば、Quantcast の mobile trend も Google Analytics もかなり怪しい data だ。両者とも、traditional な mobile gateway – web2go.com などの carrier が用意する gateway とそこを通る traffic、すなわち限定的な WEB 閲覧機能を持った cell phone による traffic を補足していない。もし、これが補足されていれば mobile users に最も人気のある service は yahoo.com という結論が出てくるだろう 。(理由は単純で、結構な数の cell phone で news や weather を gateway 経由で request すると yahoo.com から data を取得するのだ。)

あるいは、CLIQ や Neuxs One を使っていても、3G 接続が不安定な場所で行動している人たちはこうした mobile gateway を好んで使うだろう。(Nexus One は別として、CLIQ の browser を開くと最初に T-Mobile の gateway が表示される) さしあたり不必要な element を取り除いてくれるので、こうした gateway を使うのはあまり早くない回線で WEB 上の情報をちょっと確認したい時にはとても便利だ。(後は Mobile device の browser では見れない WEB でも、Gateway を通して加工してもらうと見えることも多い)

そしてそうした traditional な mobile traffic は未だに大きな割合を占めている(少なくとも米国では)。だから、そうした事実を考えずに Quantcast の report が実際の Mobile WEB Traffic の実態を反映していると考えるのはかなり問題がある。そういう意味では、Quantcast の report はいつの時点の物を見ても、traditional な mobile device まで含めて考えれば全く意味の無い data だ。20 年後くらいに、どんな cell phone を買っても full web browsing が可能な時代が来るのだとすれば、きっとそのころには意味のあるデータなのだろう。

同じ理由で、こと mobile という領域に関しては Google Analytics も役に立たない。PC にしか service をしない WEB serice の動向を Google Analytics から求めようと努力するのは、決して無駄な努力ではないだろう。しかし、Mobile も相手にした service に対して Google Analytics の data だけで分析を試みる、という行為がそもそも意味がないというか、無謀な行為というべきで、そこから導き出されるどんな結論も、全く意味が無いという事になるんじゃないかと思う。

Blog Media であっても、media を名乗る以上は、最低限 きちんと統計なり調査を読み取ることの出来る人に記事を執筆させて欲しいなと思うのは、贅沢なお願いなのだろうか。

広告

Reading the statistics」への2件のフィードバック

  1. 1.受けての問題。統計なり数字なりの見方をなんら教育されていない。
    2.流す側の問題。統計をとった時の取り方や取捨選択など詳細な周縁情報の開示が義務付けられていない

    つまり受け手がロクに判定手段を持たない環境で、流す側が恣意的に情報を加工して煽動する自由が過剰に認められている。

    しかも流す側はその自由な環境で多数をより強く煽動した者がのし上がるincentiveしかないのだから、上から下までmass mediaで起こる必然的な現象であり、構造の問題でしょう。

    #上と関係ないですがmail address入力必須は面倒ですね。自分がWordpressを運営している限りではSpam blockには何の関係もないですよ。

  2. Editorial staff のしっかりしている traditional news media なんかは、きちんとしているので、多分 blog 形式の online news media と称しているところがこういう傾向が多いのでしょうね。

    読む側が、必ずしも統計というものの性質に注意を払わないというのはその通りだと思うのですが、だからこそきちんと提示して欲しいなと思ったりします。数字を出している側はどういうmethodで出したものか、あるいは対象は誰なのか、というのをきちんと開示しているケースが多いのですが、それをあからさまに無視して、本来使ってはいけない使い方をして煽り立てるような結論を出す、というのはどうなんだろうという疑問が大きいです。

    そんな事をしていては、信頼できる media としての扱いは受けられないと思うのですが、それ以上に扇動的な文章を書いて注目を集める方が大事、というのは何かちょっと違うのではないかと思ったりもします。

    今は例えば Blog Author が特定の物、serviceなどを提供を受けて書く場合は、それを明示しなくてはならない、報酬があるのならそれも明示するべしとFTCがガイドラインを定めていたりしますが、そんな事を続けていては、さらに厳しいガイドが作られる事になっても、そうしたblog mediaには反論することすら出来ないのではないかと思えます。

    #email address は好きな文字列を入れてください。短くても大丈夫だと思います。Comment author must fill out name and e-mail に check を入れているのですが、このoptionを分離して欲しいところ。

    Comment author must have a previously approved comment という一度approveされたcomment authorにはcomment moderationがかからない設定があるのですが、ここは多分IPしか見ていないと思います。

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中