特集 大学授業における生成AIの利活用と教育評価を考える
安野 舞子(横浜国立大学 教育推進機構准教授)
生成AIが、大学教育に大きな変化をもたらす新しい技術として期待と不安両方の側面から注目を集めている中、横浜国立大学教育推進機構(旧高大接続・全学教育推進センター)では、本学教員が、日々の教育活動でこうした生成AIをどの程度、またどのように活用しているのか、さらに、どのような困りごとがあるかを把握し、今後の教育活動に活かしていくことを目的に、2023年11月、「生成AIの活用等に関する教員アンケート」を実施しました。そのアンケート中で、「生成AIを授業(講義、演習・ゼミ、実験・実習)で活用している」と回答した教員に、より詳細な活用状況を聞き取り、翌年3月に実践事例集としてまとめたのが「生成AIの活用に関するグッドプラクティス集」[1]です。本稿では、その事例集に収められている、授業で「教員が利用する場合」と「学生に利用させる場合」の計8事例を紹介します。
(1)“世界的標準”を意識した授業設計とグループワークのファシリテーション準備
授業内容:
社会、企業組織、個人の活動に必要な情報の収集、蓄積、処理、伝達、利用に関わる一連の仕組み(情報システム)が、現代社会やビジネスにおける問題解決や価値創造という文脈において持つ意味を理解し、情報システムの企画、設計、構築、実施、運用における望ましい働きかけに関して、社会的組織的文脈や倫理的課題事項を踏まえた現実的提案を行うための分析視点を身につけることを目的とする。
活用している生成AI:ChatGPT
《活用法1》授業設計に活かす
授業で取り上げる学習項目や授業の構成に関する世界的標準を概観し、その結果を授業設計に活用している。
《具体例》
例えば、経営情報システム(MIS、Management Information Systems)という科目において、AIのビジネスにおける活用を教える場合、以下のようにプロンプトに聞く。
MISの授業において、AIのビジネスにおける活用を教える場合、どのような学習項目が世界的標準ですか。
回答は次の通り。
ChatGPT
MIS(Management Information Systems)の授業において、AIのビジネスにおける活用を教える際には、以下のような学習項目が世界的な標準とされています。ただし、これらの項目は変化する可能性があり、最新のトレンドや技術の進展に合わせてカリキュラムをアップデートすることが重要です。
1.基本的なAIの概念と原則:
2.ビジネスインテリジェンス(BI)との統合:
3.データ分析と前処理:
4.機械学習モデルの構築と評価:
5.ディープラーニング:
6.自然言語処理(NLP)と音声処理:
7.AIのビジネスアプリケーション:
8.セキュリティとプライバシーの考慮:
9.実践的なプロジェクト:
10.最新のトレンドと事例研究:
これらの学習項目は、学生がAIを理解し、実際のビジネス状況で活用できるようにするための基本的な要素を網羅しています。また、業界の変化に追随してカリキュラムを更新し、実践的な経験を積ませることも重要です。
この結果と、自身が当初用意していた内容とを比較し、新しく追加すべき項目があれば、さらにそれを詳細に調べていく。
《活用法2》グループワークのファシリテーションの準備に活かす
授業中に受講生に問いかけようとする質問事項に関して、予想される受講生からの回答をChatGPTにて事前に収集し、授業の円滑かつ効果的な進行に役立てている。
《具体例》
例えば、特定の企業やビジネスを選択してそれを調べさせるグループワークを受講生に行わせる場合、受講生が選びそうな企業をあらかじめChatGPTから取得しておくことで、グループワークのファシリテーションを効果的に行うことができる。一例として、「近年の(日本)企業の不祥事について取り上げ、授業で学んだいくつかの視点から論じなさい」というグループ討議課題を出す場合、学生等がどのような不祥事を取り上げるのかを、ChatGPTを使うことで事前に想定することができるとともに、どのような不祥事なのか(内容)と、どういった点が特徴的なのかを事前に把握しておくことで、より円滑にファシリテートすることができる。
(2)四択問題の誤答の生成で、毎回の小テスト作問労力が大幅に減少
授業内容:
情報のセキュリティにかかわる会社などの組織の取組みや、技術について理解する。
活用している生成AI:ChatGPT
《活用法》
自作の四択問題の作問において、誤答の作成をしてもらう。
《具体例》
授業の頭に、毎回の予習や復習の確認テストを行っており、また授業の終わりには受講の確認テストを行っている。期末テストは行わず、授業の毎回の小テストで評価している。この小テストの問題作成に活用している。ITパスポート試験などをイメージしており、四択問題を基本としている。授業の意図や狙いに沿ったことを回答してほしいので、問題とその正解択は簡単に作成できる。しかし、残りの誤答三択を作成するのは創造性や語彙力が求められるため非常に手間がかかる。この労力を軽減するためにChatGPTを使っている。
下記のような流れで問題作成と、その問題の妥当性の検証を行っている。
※ChatGPT3.5を利用。
あなた
という四択問題を作る予定です。誤った回答を5案あげてください。
ChatGPT
以下は誤った回答の5つの例です:
監査は企業の経済的な利益を最大化するための手法である。
監査は個人のプライバシーを侵害することを目的としている。
監査は組織内のコンフリクトや不和を解決するために行われる。
監査は将来の業績予測や市場トレンドの予測を行うために行われる。
監査は組織の信頼性や透明性を向上させるための手段ではない。
(上記案を見て、自分で問題に落とし込んで、学生が回答を正しくできるかチェックする)
あなた
監査について正しい説明文を選べ。
1.証拠に基づき、監査対象の有効性を利害関係者に合理的に保証すること。
2.証拠に基づき、企業の経済的な利益を最大化すること。
3.証拠に基づき、将来の業績予測や市場トレンドの予測を行うこと。
4.証拠に基づき、組織内のコンフリクトや不和を解決すること。
またそれぞれの選択肢について正答の理由も説明してください。
ChatGPT
正しい説明文は以下の選択肢です:
1.証拠に基づき、監査対象の有効性を利害関係者に合理的に保証すること。
正答の理由:
監査の主な目的は、ある事象・対象に関して遵守すべき法令や社内規程などの規準に照らして、業務や成果物がそれらに則っているかどうかを確認し、その証拠に基づいて監査対象の有効性を利害関係者に合理的に保証することです。この選択肢が正解です。
2.証拠に基づき、企業の経済的な利益を最大化すること。
誤りの理由:
監査は企業の経済的な利益を最大化することを目的としているわけではありません。監査の主な目的は、適切な規制遵守や業務の適正性を確認し、利害関係者に対して信頼性のある情報提供を行うことです。
3.証拠に基づき、将来の業績予測や市場トレンドの予測を行うこと。
誤りの理由:
監査は将来の業績予測や市場トレンドの予測を行うための手段ではありません。監査は過去の業績や実績に基づいて、適切な規制遵守や業務の適正性を評価することに重点が置かれます。
4.証拠に基づき、組織内のコンフリクトや不和を解決すること。
誤りの理由:
監査の主な目的は、組織内のコンフリクトや不和を解決することではありません。監査は遵守すべき規準に照らして業務の適正性を確認することを通じて、信頼性や透明性を向上させることが目的です。
以上のように、単に誤答を出してもらうだけでなく、生成された誤答案を確認した上で、「学生が回答を正しくできるかチェックする」という作業まで行うことが重要である。
(3)ChatGPTとのやり取りを題材として、記述型の試験問題を作成
授業内容:
本授業では、海洋空間のシステムデザインコースの主たる学問分野である船舶海洋工学で基本となる「波の無い静止流体中に浮いている物体に作用する力と静的安定性」について考え方や計算手法を学ぶ。学部1年生の必修科目である。
活用している生成AI:ChatGPT
《活用法》
記述型の試験で、専門用語に関するChatGPTとの会話的なやり取りを示した上で、その回答例の問題点を指摘するタイプの出題をした。
《具体例》
本授業では中間テストと期末テストを実施しており、中間テストの1つの設問をChatGPTを使って作成してみた。自分(担当教員)が質問者Q、ChatGPTが回答者Aの役割を担当する形で会話形式の文章を提示し、回答者Aの回答内容の誤りを修正させる、という問題を作成した。
大学で初めて接する専門用語について、学生がChatGPTを辞書代わりに使うかもしれないと思いつつ、こちらで対話をしてみると、案外、世間一般で間違う、あるいは、大学生がよく間違う間違いの回答をChatGPTがしてきた。そこで、「これなら、反面教師的に問題になるな」と感じ、問題文に採用してみることにしてみた。
記述型では、単に「○○の用語について説明せよ」よりも、「○○の用語についての記述を修正せよ」のほうが、少し理解の精度のハードルが高くなると考える。そこで、誤答の例を、“こちら側の創作”ではなく、ChatGPTにその役割を果たしてもらった、という感じである。まさに、反面教師としての役割をしてもらった。
<実際の試験問題文>
1.ChatGPTに、流体静力学に関係する質問Qをしたところ、次のような回答Aを得た。この題材をもとに回答せよ。
(ア)物体表面に作用する静水圧の微小な要素を考えます。微小な表面要素における静水圧は、その位置における液体の重さによって決まります。微小な表面要素の面積をdA、その位置の水深をhとすると、微小な要素にかかる静水圧はP = ρghとなります(ここで、ρは液体の密度、gは重力加速度です)。
(オ)物体表面全体にかかる静水圧の積分Fと浮力F_buoyantが等しいことを示すために、積分結果と浮力の関係を比較します。積分結果を評価すると、
F = ∬S (ρgh) dA = ρ_fluid * g * V_displaced = F_buoyant
以上の手順により、物体表面に作用する静水圧の積分が押しのけた水の重量に等しいことを証明できます。
(4)レポート採点時にAI生成物か否かを判断するためChatGPTでチェック
授業内容:
本講義は、建築学、都市基盤学、環境リスク共生学の基本的な考え方を英語で学び、科学的に都市を理解し、都市の創生を英語で考えることができる素養を身につける。
活用している生成AI:ChatGPT
《活用法》
学生のレポートがAI生成物か否かを判断するために、レポート課題文をChatGPTに入力して回答を確認。
《具体例》
主に1年生を主対象とした全学教育/教養教育科目において、提出されたレポートの中に論理が不自然かつ文章が冗長というAI生成物の特徴が顕著なものがあり、レポート課題文をそのままプロンプトに入力したところ、そうした不自然なレポート中に表れるキーワードが共通していたことに気付いた。なお、課題文は、技術士試験の2次試験問題を真似た以下のようなものである(英語の科目なので、実際は英文):
「〜という背景を踏まえ、あなたが〜の立場にあると想定して、以下の(1)から(3)の問いに答えよ。
(1) 〜
(2) (1)の回答に基づき〜
(3) (2)の回答に基づき〜」
課題文作成の際にChatGPT対策という意識は全くなかったが、採点の都合上、ある程度正解の方向性が絞られる課題文にしようという意識はあり、技術士試験の形式を真似ることを思いついた。
レポート課題文を全文そのままプロンプトに投げることを、4、5回ほど行った。ChatGPT3.5の回答は2、3パターンくらいに限定されているようであった。AI相手にせよ、人間相手にせよ「正解の方向性が絞られる課題文」の形式は似通ってくるのだと考える。
このような取組みを行った結果、ChatGPT利用と思わしきレポートは2割くらいあったように感じる。正直、かなり多いと驚いたが、
1.教養科目なので授業内容に興味は無いが、単位は欲しいという学生が少なくない。
2.大抵の日本人学生は英作文に慣れていないので、翻訳だけでなくいっそ内容もAIに書かせようという怠惰な考えに至りやすい。
3.AIが出力した不自然な英文を校正できるだけの英語力が無いのでボロが出やすい。
という辺りが原因ではないか、と想像している。
実際の採点では、内容はChatGPTの回答に類似しているものの、1ページに収まるように情報を取捨選択しているレポートは減点していない。フォーマットを整える過程で内容をある程度咀嚼していると期待しての判断である(独自性は乏しいので大抵は可、一部は良に相当する点数にした)。2ページ以上のレポートの殆どはAI丸投げが疑われる内容で、60点前後の点を付けた。本人にAI利用の確認はしていないが、「フォーマットを守ってないのは低評価で当然」というのが出題者としての言い分である(なお、当該授業は講義担当が毎週変わる形式だったので、筆者の配分は総得点の1/15だけである)。
(1)ディスカッションの活性化と調べ学習に活用
授業内容:
社会、企業組織、個人の活動に必要な情報の収集、蓄積、処理、伝達、利用に関わる一連の仕組み(情報システム)が、現代社会やビジネスにおける問題解決や価値創造という文脈において持つ意味を理解し、情報システムの企画、設計、構築、実施、運用における望ましい働きかけに関して、社会的組織的文脈や倫理的課題事項を踏まえた現実的提案を行うための分析視点を身につけることを目的とする。
活用している生成AI:ChatGPT
《活用法1》ディスカッションに活かす
グループディスカッションの際に、グループメンバーの一人として生成AIを加え、ディスカッションを活性化させている。
《具体例》
グループディスカッションのお題として、例えば「ソーシャルメディア上での紛争解決策として、運営者がアカウントを停止するといったケースがしばしば見られるようになってきた。今後、様々な紛争解決の手段としてどのようなものが考えられるか。」と出す。ChatGPTを利用させる以前は,グループ内でまったく意見が出ずディスカションが成り立たなかったことがあったが、ChatGPTにより無言で時間を過ごすことは無くなった。ChatGPTとともに、アイデアを「壁打ち」することによってそれを洗練させるということが効果的ではないかと感じている。
なお、生成AIを利用しても良いとは言うが、プロンプトへの尋ね方は指導せず、むしろ考えさせている。ファシリテーションの過程で、学生から「こんな回答が得られたのですけど、これって本当ですか?」という質問もある。その場合は、プロンプトに何と聞いたのかを確認するとともに、その聞き方について多少コメントすることもある。例えば、「日本語のデータが少ないので間違ったことを答えているね、英語で聞いてみたらどうなる?おそらく結果は正反対なのでは?」のように伝えている。
《活用法2》調べ学習に活かす
授業で取り扱う内容を事前に調べさせるときに使わせている。
《具体例》
次回の授業で取り扱う内容を深く理解するために、いわゆる調べ学習をさせており、例えば、以下のような課題を出している。
課題番号:IS2023-04 企業情報システムの発展
情報システムの発展の歴史について、まとめ(キュレーション)を作成しなさい。
・まとめ(キュレーション)の要件
冒頭に全体の要約を記載し、最後に全体の総括を記載する
・最低5つの記事等をまとめに含めるが、自身の見解を必ず含める
・一貫した文脈に沿って記事等を配置する(※アグリゲーションでは駄目)
・引用に際しては、引用箇所を明示した上で、必ず引用元のURLを明記する
・ChatGPTやBingを用いる場合は、使用したシステム(サービス)を明記するとともに、記載内容の真偽について、引用文献を提示しながら検討する
・Teamsチャネル:IS2023-04 企業情報システムの発展
・作成締切:2023/5/9 11:59 PM
上述のように、ChatGPTやBingを使った場合は、利用したことを明確にし、その結果の妥当性について、参考文献とともに検討することを義務付けている。ただ、生成AIを活用したと申告する学生は、教員側が想定したよりも圧倒的に少ない。毎回課題を提出する学生(60名程度)に対して、5%程度(2〜4名)といった状況である。利用した学生のうち、1〜2名は極めて慎重にAIの答えをチェックしていて、時折、AIの答えが間違っていることを指摘し、正しい答えに修正している。一方で、「時間がなかったのでAIを使ってみた」という学生も1〜2名はいる。成果物(提出された課題)を見れば、AIの回答を精緻に調べたかものと、そうでないものとの差は一目瞭然である。AIの回答をベースに課題を作成したと思われる課題は、概ね議論に深さがないという状況であった。
なお、授業アンケートの自由記述(この授業の良かった点や改善した方が良いと思った点について書いてください。)では、「ChatGPTの回答を検証していく方法は他の資料のどこに注目すれば良いかが明確なため理解をしやすい。今後もChatGPTの回答を検証していく方法を実践したい。」という回答があった。
(2)講義の中で実演し生成AIの有用性と有限性を伝える
授業内容:
船舶や海洋構造物は波浪の影響を受ける。実際の海の波は不規則波となり船舶・海洋構造物が受ける波浪の影響を知るためには不規則波中の応答を推定することが必要となる。不規則波中の応答を推定するためには、先ず平水中・規則波中での運動特性を知る事が必要となる。本講義では“浮体”の運動を理解することを目的とする。
活用している生成AI:BingAI
《活用法》レポート作成や授業に臨む上での情報収集
「調べ物」「長い文書の要約」「コーディング」で、生成AIがどのように誤った回答を返してくるか、正しい回答を返してくるかの具体例を講義で紹介し、利用する際は注意が必要であることを伝えている。
《具体例》
各回の講義で行っている雑談の中で、講義の内容と絡めてBingAIを使用している様子のスクリーン録画またはスクリーンショットを見せる形で実演している。
① 講義で紹介した船舶について調査する実演を行った。事前にBingAIを使った様子を録画しておき、それを講義で上映しAIの回答に対してその場でコメントしていくという形式で行った。AIが返してきた誤った回答に対しチャット上で誤りを指摘し、その後正しい回答を返すことができるかどうかの様子を示した。また、学期末に行う船舶に関する調査を行うレポート作成に活用できるかどうかについてもコメントした。
② ①とは別の内容の調査結果を一覧表にするという作業を実演した。①では誤った回答をしていたこともあり、表示された引用元から正しい結果を回答しているという事も確認し、自分で確認する作業(手間)が必要であるということを伝えた。
③ 語句説明について「あなたは○○です。××について分かりやすく説明してください。」という指示を「○○」を変えると回答の内容がどのように変化するかを何パターンか示した。また「分かりにくく説明してください。」という指示を出して分かりにくい回答を返せるかどうかについても示した。どういう説明の仕方をすると分かりにくいかを示したいという意図で行ったが、分かりにくい説明を返すことは無かった。
④ 「○○についての研究を10件教えてください」という指示を与え、それに対する回答がどの様になるかを示した。3年生の講義ということもあり、4年生で卒研着手をした際に先行研究の調査補助や、自身のテーマを考えるうえで使えそうかどうかを考えてもらいたいという意図で行った。また、現在実際に行われている研究なのかどうか不明であっても閃きを得ることには使えるかも知れないとコメントした。
⑤ 卒業研究等では参考文献としてウェブサイトを利用することもあり、情報量が多いウェブサイトと情報量が少ないウェブサイトを要約する様子を実演し、要約できている・できていない様子や、図・グラフについては対応できていない様子を示した。
⑥ Pythonでグラフを表示するコードを書かせる様子の実演を行った。グラフのデータとなる数値を並べてあるcsvファイルを用意し、BingAIの画面、csvファイルの中身、Pythonでの実行結果もスクリーンショットとしてスライドに表示し、⑤までの調査系の指示と比較して正確な結果を返してくる様子を示した。
⑦ PDFファイルの要約の実演として、同日提示した「運輸安全委員会の船舶事故報告書の要約」というレポート課題の説明をしたあとに、そのレポート課題にBingAIを使用するとどのような結果が返ってくるかを実演した。指定した事故とは全く異なる回答を返してきたことから、誤りを指摘し再度回答させたが正しい回答を返すことは無かった様子を示した。
(3)実演を通して「生成AIには技術的限界があり、正解を選ぶ際の知性が問われる」ことを強調
授業内容:
物理化学は化学・生命系学科で学ぶ化学のあらゆる分野の基礎であり、その取り扱う範囲は多岐にわたっている。この講義は、気体の性質や化学反応速度論などに関する専門基礎知識、および、それらを問題解決に利用できる能力を身につけることを目標とする。
活用している生成系AI:ChatGPT
《活用法》
《具体例》
講義時間内に少しずつ、長期間継続的にわたり実演した。時間の関係で講義中に学生たちにワークさせることはできなかったが、質問対応の形で学生の実施結果を授業中に何回か紹介している。
授業の中でChatGPTを取り扱っているのは、「技術的限界を示しつつも、生成AIを積極的に使いこなせるようになってもらいたいから」であるが、ChatGPTはWeb(wikiや検索)の出力を会話形式・画像/グラフ/プログラム出力などに機能拡張したものであり、Web(wikiや検索)と同様に、回答には不正確な情報が反映されてしまう傾向にある。
このような背景から、専門性の高い大学講義でChatGPTを直接利用するのは適さない。そこで、本授業では、ChatGPTには「技術的限界があり、入力方法の工夫や正解を選ぶ際の知性が問われる」ので、知識(wiki、検索)ではなく知性(自ら考え判断する力)を身に付ける重要性を強調している。
<実演例>
(4)生成AIを活用した授業づくりを学生に提案させることで「可能性」と「限界」を体感
授業内容:
中国の歴史書の原典に取り組むことによって、漢文の読解能力のレベルアップを目指す。併せて、歴史資料・作品の比較研究の面白さを知ってもらいたい。今年度は、『史記』の項羽と劉邦に関する記事を中心に読む。
活用している生成AI:ChatGPT
《活用法》
「授業者」として学生に授業案を考案させ、その際に「生成AIを児童・生徒に使わせる」ことを条件とした。その授業案の一部を実際の授業で実施し、教育活動における生成AIの効果的な使い方や限界について皆で検討した。
《具体例》
教育学部の学生が履修している本授業では、『史記』の内容を学ぶことで教材研究のための基礎的な力をつけることを目指している。授業では知識や考え方のインプットが中心になるため、一学期に二回レポートを課し、学修内容のアウトプットを行わせ、フィードバックとして提出された解答の紹介を行い、優れたアウトプットを共有した。本取り組みは、中間レポートの課題であり、課題文は以下の通り。なお、中間レポートは3つある課題のうちから1つ選ぶことになっており、この課題を選んだのは6名だった。フィードバックでは実際に提出された解答の中からいくつかを教室で実践し、「生成AIを使って教材を作るとき、実際にはどのような困難があり、どのような使い方が現実的か」を検討した。
*******************************
ChatGPTなどAIを活用した『史記』の授業を提案しなさい。
(学校種・学年は自由、AIを用いる狙いと長所短所に言及すること)
提出物:授業の説明A4一枚、図やイラスト、写真の使用可
*******************************
その後、提出された課題(中間レポート)を授業の中で紹介し、提案された活動の一部を実際に授業の中で実施してみた。以下、提出されたレポートと授業での活動例を紹介する。
<提出されたレポート>
<授業での活動>
上記レポートを紹介し、以下のプリントを用い、学生をグループに分け、どの仮説を支持するか根拠とともに検討させた。
「IF」の妥当性を議論する
高芝
もしも鴻門の会で劉邦が殺されていたら、項羽はその後どんな人生を送りましたか。4つの仮説を100字程度ずつで提案してください。
ChatGPT
劉邦の死によって項羽が最大のライバルを排除したことで、項羽はその勢力を拡大しました。彼は他の諸侯を征服し、中国を統一します。項羽は自らを皇帝と宣言し、新たな王朝を興すことに成功しました。
劉邦の死によって項羽は強力な支持者を失い、彼の勢力は弱体化します。他の諸侯が項羽の地位を脅かし、中国は再び分裂状態に戻ります。項羽は力を失い、その後の人生は苦闘と敗北に満ちたものとなります。
劉邦の死をきっかけに、項羽は自身の野心に反省を抱きます。彼は過去の行動を反省し、和平を模索する道を選びます。項羽は他の諸侯との交渉を重ね、戦乱の終結と中国の統一を目指すようになります。
劉邦の死により、項羽は深い悲しみと後悔に襲われます。彼は自身の選択が間違っていたことを痛感し、自己責任を感じます。項羽は人生の残りの期間を劉邦への追悼と自己反省に捧げ、慎み深い生活を送ることになります。
グループ討議の結果、仮説1が圧倒的な支持を集めた。仮説1以外は「それらしいことを言っているが説得力に欠ける」「AIには人間関係や感情が理解できていない」という指摘があった。一方、仮説3については「ロマンがあって好きだった」という意見があり、説得力があるものを選ぶ作業か、好ましいものを選ぶ作業かで、AIの使い方に幅が出ることがわかった。
関連URL | |
[1] | 横浜国立大学 高大接続・全学教育推進センター(現 横浜国立大学 教育推進機構) 「生成AIの活用に関するグッドプラクティス集」 https://www.yec.ynu.ac.jp/news/images/AI_good_practice.pdf |