英語業界のおかしなランキングを考える会

おかしなランキングとは

 

英語業界にはびこるランキングの問題点は，大別して次の２つです。


ひとつは，恣意的な基準で社会や人々を序列化することです。ランキングの本質は，個々の事情を無視して一元的な序列を押しつけることです。必要悪として容認されている場合もありますが，特定のグループに負のレッテルを貼ったり，社会の分断を招くリスクを常に真剣に考えていなければいけません。


ただし，これは，実はかなり複雑な論点です。なぜなら，その是非，つまり，どういった競争＝序列ならば容認可能でどこからが有害なのかに関わる判断は，個人の価値観に大いに左右されるからです。


それに対し，シンプルな問題点が第2のものです。それは，データの分析・解釈の欠陥ゆえにランキングの質がそもそも低いことです。これは，価値観の相違と無関係な統計の誤用（しかも初歩的なもの）がほとんどであり，取り扱いは容易です。そして，だからこそ改善案の提示も簡単です。以下では，このデータ利用の問題点を中心に述べたいと思います。

データの不適切利用

データ分析には，結果を歪める様々なタブー（禁止事項）があります。特に重要なタブーが以下の２つですが，巷にまん延する英語ランキングでは，しばしばこれらに抵触しています。


代表性

第一が，専門的には代表性と呼ばれるものです。

簡単に言えば，特殊な人々からデータをとったなら，それを「普通の人々」の平均値（代表値）であるかのように扱ってはいけないというルールです。たとえば，オリンピックのメダル数（人口百万人当たりメダル数でもよいでしょう）で，各国民の平均的身体能力を議論するような誤りです。

英語力ランキングで，この代表性の誤りを犯しているのが，EF英語能力（EF-EPI）ランキング，そして，TOEFL国別スコアランキングです。どちらも特定のテストを受験した人の成績をもとに，各国民の英語力をランキング化したものですが，テストの受験者層がかなり特殊であるため，代表性が乏しく，適切なランキングとは言えません。実際，年によってスコアが乱高下している場合もあり，信用できる代物ではありません。


余談ですが，TOEFL国別スコアについては，運営元が「ランキングを作ってはいけない」と注意喚起しています。それにもかかわらず，ランキングを作成する人が後を絶たないのが困った事態です。


測定の妥当性

第二が，測定の妥当性と呼ばれるものです。簡単に言うと， 指標は，注目しているものからずれてはいけないという原則 で，こちらは直感的にもわかりやすいものでしょう。


たとえば，生徒の客観的な英語力を見たいのに，テストの点数ではなく，教師の主観的評価（「よくできる -- できる -- できない」等）を使った場合，妥当性が低くなります。

こうした誤りが典型的に見られるのが，文部科学省「英語教育実施状況調査」です。
この調査では，中学生・高校生の英語力が報告されていますが，実はこの数値は教員の主観的報告をもとにしています。そして，このデータをもとにマスメディアは都道府県ランキングを作成しています。

問題は，「主観だからブレやすい」だけにとどまりません。なぜなら，ある自治体は他の自治体よりも，学校現場により高い数値を報告するようにプレッシャーをかけているからです。つまり，この報告には，教育委員会の統制の度合いや現場の忖度文化の度合いなど，英語力と関係ないものが混入しているのです。


詳しくは

英語ランキングの問題点の概略は以上のとおりです。個々のランキングの具体的な問題点については，以下に参考になる記事を掲載しましたので，ご覧ください。


EF英語能力指数ランキングの問題点について

  •  「日本人の英語力は80位」という怪しいランキングを吹聴する人がいますが、マスメディアや識者は安易に飛びつかないようにして下さい。 - こにしき（言葉・日本社会・教育） https://terasawat.hatenablog.jp/entry/2022/11/17/102700


TOEFLランキングの問題点について




英語教育実施状況調査の問題点について