10/15(火)-10/19(土) 岐阜県(南濃温泉「水晶の湯」)で自動運転車の実証実験を行います☆彡

26-7. 人文系の研究で卒業できなかった卒論のお話(前編)

お話

このお話はフィクションです。

理系大学に通うAさんは、今まさに卒研発表をしています。Aさんは研究室に配属されてから約10ヶ月間、高校生の学力に関するデータサイエンス系の研究を行っています。

Aさん
Aさん

都内のB高校に協力いただき、ある学年の高校1年時の定期テストの大問ごとの得点、およびその学年の大学進学結果のデータを得ました。この学年は生徒100人で、高1時の定期テストの大問は全部で500問あり、いずれも20点満点でした。大学進学結果は、実際に進学した大学(学部)の偏差値がラベルされていました。

本研究は、「この問題が解ければ良い大学に行ける!」という問題を見つけることで学力向上施策に貢献することを目的としています。つまり、「偏差値が高い大学に進学した集団」と「偏差値が低い大学に進学した集団」で得点に有意な差があった”高1時の定期テストの問題”を抽出しました。

審査教員
審査教員

興味深い研究ね。将来の学力を分ける問題があぶり出せたら施策に活かせそうだわ。

Aさん
Aさん

まず、大学偏差値が60以上の生徒たちを「高偏差値集団」、40以下の生徒たちを「低偏差値集団」と定義しました。どちらも20人いました。次に、500問の各大問について、「高偏差値集団」と「低偏差値集団」の得点でt検定を行い、有意水準1%で有意差があるか調べました。

この結果、有意な大問が5問見つかりました。

この5問について、現役の高校教員3名に「どのような共通点があるか」を自由記述形式で質問しました。回答よると、どの問題も「文章から状況を把握する能力を問う」ことが共通点でした。

以上より、「文章から状況を把握する能力」が大学進学時の偏差値を左右することが示唆されました。「高1時にこの能力を重点的に伸ばすことで学力の底上げができる」という仮説が成り立つので、今後はこの仮説の検証が望まれます。

以上で発表を終わります。

審査教員
審査教員

はい、発表お疲れ様です。

審査教員からの質疑が始まります。

審査教員
審査教員

とても興味深い結果だと思うけど、t検定で抽出された5問が本当にキーとなる問題なのか疑っているわ。何か対照実験はできませんでしたか?

Aさん
Aさん

この研究で対照実験はできません。生徒はすでに卒業していますし、同じ定期テストを受けた他の集団もいません。もし対照実験をするなら、現役の高1を2グループに分けて3年間追跡する必要がありますが、それは運用面からも倫理面からも現実的ではありません。

現役の高校教員3名へのヒアリングにより、どの問題にも共通する特徴が見つかりました。これはその5問に意味があったことの証拠だと考えています。

審査教員
審査教員

現役教員には何と言ってヒアリングを依頼したのですか?

Aさん
Aさん

研究の趣旨を伝え、5問の共通点を自由記述形式で考察してもらいました。問題はあらかじめシャッフルして渡しました。

こうして審査が続きましたが、後日、Aさんは教授から「不合格」の通知を受けてしまいました。審査教員は「比較対象がほしい」と考えており、Aさんは「対照実験はできない」と答えていたため、修正不可能と判断されたようです。

Aさんが見落としていたこと

さて、大学では「やってみたらこんなのできたよ」では基本的に卒業できません。卒論であれば情状酌量でなんとかなる場合もあったりなかったりするらしいですが、修論は厳しいでしょう。

Aさんの敗因①

「やってみたらできた」が喜ばれるのは企業だけで、研究では「何が要因でできたのか」を特定し、「その要因が効いた原理」を調べ、さらには「その原理は他の事象にも適用できるのか」を考察することが重要です。そのためにはまず対照実験を行い、「この要素があると成功する」を見つけなければいけません。

Aさんの敗因はズバリ、対照群(コントロール)を用意できなかったことです。コントロールにはネガティブコントロールとポジティブコントロールがあり、最低でもネガティブコントロールは必要で、できればポジティブコントロールも用意することが望ましいです。

Aさんの敗因②

こういったアンケートやヒアリングを用いた研究では、バイアスに注意して適切な調査を行わなければいけません。例えば企業がこういった戦略的な調査をやりがちなのですが、「自社商品Xと他社商品Yのどちらが美味しいか」を聞く場合に、勝たせたい商品を後に食べさせたり(後の方が強く印象に残るため)、もっとも評判が良かった年代だけを切り取って「40代の80%が美味しいと回答!」と(あたかも初めから40代を対象に調査したかのように)発表する方法です。要するにズルです。

研究ではそういったズルは一切認められません。ネガティブデータでは卒業できないと思われがちですがそんな事はありません。適切な実験・調査を行い、どんなデータが出ても正直に考察する必要があります。その意味で、Aさんは現役教員へのヒアリングの方法に問題があったといえます。

人文系研究の難しさ

人の能力や感情を対象にした人文系の研究なんだから、コントロールを用意したら2倍のコストがかかってしまうし、取得済みデータを解析する場合は今更コントロール実験なんてできないでしょ。そう思う人が多いです。人文系の研究テーマは一見理解しやすく楽しそうですが、学生にとっては実験の基本を見失いやすい道のようです。言い換えれば、「これは人文系の研究だから」という甘えが出やすいということです。実験台に向かって泥臭い実験をしていた学生の方が着実に卒業していくのは理系あるあるだと思います。

さいごに

後編ではAさんの研究で設計可能なネガティブコントロールを紹介し、対照実験を行ってみます。また現役教員へのヒアリング方法も悪かったので改善案を考えてみます。

SNS等でお気軽にご連絡ください

※当ブログに関することは何でもご相談・ご依頼可能です(Servicesになくても)
※TwitterはFF外の場合はDMではなく返信orメンションでお願いしますm(_ _)m

情報発信しています

質問・コメントはSlackやDiscordでお気軽に

勉強会の告知はこちらで

[I] その他・雑記
この記事を書いた人

博士(理学)。専門は免疫細胞、数理モデル、シミュレーション。米国、中国で研究に携わった。遺伝的アルゴリズム信者。物価上昇のため半額弁当とともに絶滅寸前。

この記事をシェアする
Vignette & Clarity(ビネット&クラリティ)
タイトルとURLをコピーしました