お話
このお話はフィクションです。
理系大学に通うAさんは、今まさに卒研発表をしています。Aさんは研究室に配属されてから約10ヶ月間、高校生の学力に関するデータサイエンス系の研究を行っています。
都内のB高校に協力いただき、ある学年の高校1年時の定期テストの大問ごとの得点、およびその学年の大学進学結果のデータを得ました。この学年は生徒100人で、高1時の定期テストの大問は全部で500問あり、いずれも20点満点でした。大学進学結果は、実際に進学した大学（学部）の偏差値がラベルされていました。
本研究は、「この問題が解ければ良い大学に行ける！」という問題を見つけることで学力向上施策に貢献することを目的としています。つまり、「偏差値が高い大学に進学した集団」と「偏差値が低い大学に進学した集団」で得点に有意な差があった”高1時の定期テストの問題”を抽出しました。
興味深い研究ね。将来の学力を分ける問題があぶり出せたら施策に活かせそうだわ。
まず、大学偏差値が60以上の生徒たちを「高偏差値集団」、40以下の生徒たちを「低偏差値集団」と定義しました。どちらも20人いました。次に、500問の各大問について、「高偏差値集団」と「低偏差値集団」の得点でｔ検定を行い、有意水準１%で有意差があるか調べました。
この結果、有意な大問が５問見つかりました。
この５問について、現役の高校教員３名に「どのような共通点があるか」を自由記述形式で質問しました。回答よると、どの問題も「文章から状況を把握する能力を問う」ことが共通点でした。
以上より、「文章から状況を把握する能力」が大学進学時の偏差値を左右することが示唆されました。「高1時にこの能力を重点的に伸ばすことで学力の底上げができる」という仮説が成り立つので、今後はこの仮説の検証が望まれます。
以上で発表を終わります。
はい、発表お疲れ様です。
審査教員からの質疑が始まります。
とても興味深い結果だと思うけど、ｔ検定で抽出された５問が本当にキーとなる問題なのか疑っているわ。何か対照実験はできませんでしたか？
この研究で対照実験はできません。生徒はすでに卒業していますし、同じ定期テストを受けた他の集団もいません。もし対照実験をするなら、現役の高１を２グループに分けて３年間追跡する必要がありますが、それは運用面からも倫理面からも現実的ではありません。
現役の高校教員３名へのヒアリングにより、どの問題にも共通する特徴が見つかりました。これはその５問に意味があったことの証拠だと考えています。
現役教員には何と言ってヒアリングを依頼したのですか？
研究の趣旨を伝え、５問の共通点を自由記述形式で考察してもらいました。問題はあらかじめシャッフルして渡しました。
こうして審査が続きましたが、後日、Aさんは教授から「不合格」の通知を受けてしまいました。審査教員は「比較対象がほしい」と考えており、Aさんは「対照実験はできない」と答えていたため、修正不可能と判断されたようです。
Aさんが見落としていたこと
さて、大学では「やってみたらこんなのできたよ」では基本的に卒業できません。卒論であれば情状酌量でなんとかなる場合もあったりなかったりするらしいですが、修論は厳しいでしょう。
Aさんの敗因①
「やってみたらできた」が喜ばれるのは企業だけで、研究では「何が要因でできたのか」を特定し、「その要因が効いた原理」を調べ、さらには「その原理は他の事象にも適用できるのか」を考察することが重要です。そのためにはまず対照実験を行い、「この要素があると成功する」を見つけなければいけません。
Aさんの敗因はズバリ、対照群（コントロール）を用意できなかったことです。コントロールにはネガティブコントロールとポジティブコントロールがあり、最低でもネガティブコントロールは必要で、できればポジティブコントロールも用意することが望ましいです。
Aさんの敗因②
こういったアンケートやヒアリングを用いた研究では、バイアスに注意して適切な調査を行わなければいけません。例えば企業がこういった戦略的な調査をやりがちなのですが、「自社商品Xと他社商品Yのどちらが美味しいか」を聞く場合に、勝たせたい商品を後に食べさせたり（後の方が強く印象に残るため）、もっとも評判が良かった年代だけを切り取って「40代の80%が美味しいと回答！」と（あたかも初めから40代を対象に調査したかのように）発表する方法です。要するにズルです。
研究ではそういったズルは一切認められません。ネガティブデータでは卒業できないと思われがちですがそんな事はありません。適切な実験・調査を行い、どんなデータが出ても正直に考察する必要があります。その意味で、Aさんは現役教員へのヒアリングの方法に問題があったといえます。
人文系研究の難しさ
人の能力や感情を対象にした人文系の研究なんだから、コントロールを用意したら２倍のコストがかかってしまうし、取得済みデータを解析する場合は今更コントロール実験なんてできないでしょ。そう思う人が多いです。人文系の研究テーマは一見理解しやすく楽しそうですが、学生にとっては実験の基本を見失いやすい道のようです。言い換えれば、「これは人文系の研究だから」という甘えが出やすいということです。実験台に向かって泥臭い実験をしていた学生の方が着実に卒業していくのは理系あるあるだと思います。
さいごに
後編ではAさんの研究で設計可能なネガティブコントロールを紹介し、対照実験を行ってみます。また現役教員へのヒアリング方法も悪かったので改善案を考えてみます。
