特集　コロナ禍のオンライン学生支援

オンライン授業支援〜バーチャルTAによる
学生質問の自動回答システムの効果と課題

大谷　雅之（近畿大学 理工学部講師）

１．はじめに

　新型コロナウイルスの流行によって、多くの大学はそれまでの対面での授業形態からオンラインでの実施にシフトせざるを得なくなりました。一人の教員が多数の学生相手に知識を伝える座学による講義形式の授業については、講義中の様子の動画を撮影し配信するなどで、ある程度対応が可能です。一方で、学生に教材や実践の場とともに課題を与え、学生自らが問題解決をする課題達成型の実習形式の授業については、教材や場をどう与えるかということを含めて、様々な課題があります。特に、学習途上である学生の中には、最初から独力ですべての問題を解決できない人もいるため、課題の遂行が困難な場合には教員に質問し、アドバイスを受ける必要があります。しかし、学生と教員の接触を可能な限り減らす、という制約がこれを妨げています。
　多くの大学では、授業に関する学生からの質問対応について、電話やWeb会議システム、チャットツールなどを駆使することで対応することが通例です。これらの方法は、十数人規模の小さい授業など学生からの質問がそれほど多くない場合は問題ないですが、受講学生が百人近くなり個々の質問数も多い大規模実習では対応が困難になります。実習では、学生が抱えている問題の発生要因は個々の学生によって異なり、その原因究明が必要となります。これには、対話によるヒアリングが必要なため、オンラインのやりとりによる解決に時間を要することが問題となります。
　本学理工学部情報学科では、毎年後期（９月〜３月）に、情報学科３年生を対象とした情報系実習「情報メディアプロジェクトⅡ」を開講しております。本実習は受講数が約100名で、教員と大学院生TA（ティーチング・アシスタント）が合わせて10名程度担当する、２コマ連結の180分実習となっています。全15回の実習で学生から約1,000件程度の質問があり、グループワークや、実習の説明の時間を除くと、単純計算で、教員・TA１人当たり１つの質問に対応できる時間は15分程度となる計算です。実習課題はPCの操作を伴い、情報システムの専門的知識を要します。また、学生が自ら学ぶ実習という観点から、教員とTAはただ答えを教えるのではなく、学生自身が課題を解けるよう促していくことが重要です。そのため、対面はもとより、オンラインでのコミュニケーションツールを用いた場合は特に、15分は十分な時間とは言えません。
　一方で、学生からの質問は、常に対応が困難であるということはなく、定型的な回答で十分で、簡単な質問が問われる場合も多くあります。例えば、「クラウドプラットフォームとは何ですか」のような、授業で出たキーワードについて再度説明を求めるなど、授業資料の再掲示などで済む場合が該当します。情報メディアプロジェクトⅡではこの点に着目し、授業に関する学生からの簡単な質問に答える質問応答システム「V-TA（バーチャルTA）」を2018年度から授業に導入しております^[1]。このシステムは、SCSK株式会社で開発・運営されているAI問い合わせ対応サービス「manaBrain^[2]」に情報メディアプロジェクトⅡの授業資料から作成した質問回答データを適用したものです。これまでの運用から、ごく簡単な質問については回答が可能であり、業務コストを軽減できることが明らかになっています。しかし、問題も多く、特に、回答できる質問が一部であり、多数の質問は教員やTAに対面で聞いたほうが早いため、システムの利用頻度が低いという課題があります。
　本稿では、2020年度に実施されたV-TAのオンライン授業対応のための拡張とその結果について解説し、オンライン化された実習授業において、対話システムの導入にどのような利点・欠点があるのかについて解説していきます。

２．コロナ禍におけるオンライン実習

（１）情報メディアプロジェクトⅡ

　情報メディアプロジェクトⅡは、本学理工学部情報学科において毎年後期（９月〜３月）に開講されている情報メディアコース所属の学部３年生対象の実習です。情報メディアコースは各学年100名程度の学生が所属しており、本実習は必修授業であるため、コースのほぼすべての学生が受講します。授業内容は、クラウドプラットフォームを用いて音声対話システムを構築する方法の習得であり、クラウドプラットフォームを用いたWebアプリケーションや対話システムの開発方法、画像認識、音声合成・音声認識、IoTシステムとの連携方法の学習と、それらを用いた音声対話アプリケーションのグループによる開発の実践などを行います。毎週の授業では、まず冒頭に教員による音声対話システム構築に関する基礎知識について講義したのち、学生は各自で毎回の実習で与えられた課題に自ら取組みます。課題完了後、各学生は作成したプログラムやWebアプリケーションのスクリーンショットなどを記載したレポートを提出します。学生はクラウドプラットフォーム開発にそれほど慣れていないこともあり、独力で課題が解けず、教員やTAのアドバイスが必要な場合も多くあります。それゆえに、学生からの質問対応が最も労力が必要な業務となっています。実際、スタッフは教員３名、大学院生TAは６名、これに外部講師として招いたSCSK株式会社の技術者１名を加えた10名で授業を運営しており、質問対応を重視した体勢となっています。

（２）実習におけるオンラインツールの利用

　学生の質問対応については、2019年度以前はほぼ対面でやりとりをしており、実習中に挙手した学生の元にスタッフが出向いて答えています。しかし、コロナ禍の到来により、2020年度は本授業もオンライン対応が求められました。コロナ禍における本学の一般的な授業形態は、授業資料の掲示や連絡、課題の提出についてGoogle Classroom^[3]を用いてオンラインで行い、リアルタイムに行う講義は音声会議システムZoom^[4]を利用するという形式です。また、オンラインコミュニケーションツールSlack^[5]を全学で導入しており、学生からの質問相談など、双方向のコミュニケーションのために利用できるようになっています。なお、本学ではネットワークの不具合などで、正規の時間帯に受講できなかった学生のために動画資料などを利用するメディア授業が望まれています。本実習においても、予め撮影した30分程度の動画教材をGoogle Classroom経由で学生に配信し、学生は各自それを視聴した後、配信される課題に取組みます。課題が自力で解けない場合の教員やTAへの質問についてはSlackでやりとりします。

（３）コミュニケーションツールSlack

　Slackは、組織内のオンラインコミュニケーションを目的としたサービスです。インターネットを介したグループチャット、一対一のダイレクトメッセージ（DM）のやりとりができるようになっています。使用するためには、まず組織単位でユーザ登録を行い、ワークスペースと呼ばれるWeb上の空間を作成し、その組織の利用方法に合わせた設定やカスタマイズを行います。その後、そのワークスペースの管理者が、組織のメンバー宛てに招待メールを送り、招待を受け取ったメンバーはそれぞれ組織のワークスペースに対してユーザ登録を行います。Slackには指定したユーザだけが閲覧可能となるチャンネルと呼ばれるグループチャット機能があります。チャンネルには、誰もが閲覧可能なパブリックチャンネルと、指定したユーザしか閲覧できないプライベートチャンネルがあります。また、定型的なアクションなどを自動化するワークフローと呼ばれる機能も存在し、指定したプライベートチャンネルに閲覧権限がない学生からの文章を投稿することも可能です。本学理工学部情報学科の実習授業の多くは、この二つの機能を組み合わせ、学生からの質問を受け付けるワークフローを準備しています。
　対面実習の際は、学生は授業時間中か教員のオフィスアワーの時間帯に質問をしていました。しかし、コロナ禍によりSlackで24時間いつでも質問を投稿することができるようになった現在、授業時間やオフィスアワーに縛られることなく学生の質問が投稿されるようになりました。学生にとっては質問がしやすい環境になったと考えられますが、教員やTAにとっては、四六時中質問対応について悩まされることとなりました。実際、あまりに負担が大きすぎるため、2020年度後期の授業では「質問への回答は、授業時間帯もしくは教員のオフィスアワーに限定する」というルールができたほどです。学生にとっての利便性と教員・TAの負担軽減の両立が必要であると言えます。

３．学生質問の自動回答によるオンライン支援

（１）実習用質問応答システム「V-TA」

　情報メディアプロジェクトⅡでは、コロナ禍以前から、実習時の質問対応業務の効率化が検討されていました。実習中の質問は同時多発的に起こる上、同レベルの学力を持つ学生は大体が同じところで躓くため、似た質問が多く投稿されます。教員やTAの数は限られているため、これらの質問すべてに同時に答えることは困難で、どうしても学生を待たせる時間ができます。学生がその質問に関する問題で行き詰まっていた場合は、実習時間のロスに繋がります。
　このような問題に対応するため、2018年度後期の実習から、質問応答システム「V-TA」（バーチャルTA）を導入しました。このシステムは、株式会社JIEC（2018年当時、現在はSCSK株式会社に吸収合併）が開発し、運営しているAI問い合わせ対応サービス「manaBrain」に情報メディアプロジェクトⅡの授業資料のデータから作成した質問応答データを適用したもので、実習に関する質問を示したテキストを入力にとり、テキストで答えるWeb上のアプリケーションです。質問応答システムを含む、一般的な対話システムでは入力文に対してどのような文を出力するか判断するための計算モデル（対話モデル）を備えており、このモデルの精度で対話システムの良し悪しが決まると言っても過言ではありません。この対話モデルは大量の対話データ（質問文とそれに対する回答文の対）を元に、機械学習などを用いて構築され、対話データの量と質がモデルの精度に大きく影響します。manaBrainの特徴として、少量の対話データでも多様な質問表現に対応できる対話モデルを構築できるよう、質問文を自動生成する「増幅」という機能があります。これは、元の質問文（代表質問）に単語や語尾の言い回しを集めた独自の同義語辞書および日本語WordNetの単語を組み合わせて10程度の質問文を自動生成する機能です。例えば、「Visual Recognitionはどこにありますか？」といった質問文（代表質問）について、同義語辞書から、代表語「どこ」に結びついた類義語「場所」「見つからない」「アクセス方法」などを参照し、「Visual Recognitionが見つからない」「Visual Recognitionの場所を教えて」「Visual Recognitionのアクセス方法は？」などの質問文を自動で生成することができます。
　V-TAは対話モデルを効率的に構築するための方法が備わっているものの、そのまま教員やTAに取って代わることができる、というものではありません。授業内容は毎年アップデートされ、学生からの質問もまたその年によって変わっていきます。そのため、V-TAの運用体制も考慮する必要があります。本実習では、図１のような運用形態により実習を行っています。

図１　V-TAの運用

　まず、すべての元となる対話データは質問応答データベース（質問応答DB）に保存されています。大学院生のTAがデータの入力を行い、このDBにデータが蓄積されていきます。蓄積されたデータはV-TAの対話モデルの学習にその都度利用されます。最新状態の対話モデルに対して、Webページとして構築した対話インタフェースを用いて、学生が質問を行い、V-TAからの回答を得ます。この回答で問題が解決しない場合は、教員やTAに質問を行います。TAは、質問対応後に、受けた質問と回答した内容を対話文として質問応答DBに登録します。基本的な構造としてはこの繰り返しが行われることで、対話モデルが更新されていくことになります。なお、教員（講師）の役割は、TAと学生は毎年入れ替わりがあるため、TAには対話文の入力方法を、学生には質問がある場合にはV-TAに問い合わせて問題が解決しない場合にTAや教員に質問を行う旨と、V-TAに質問を行う際の適切な質問方法などについて指示を行っています。
　このような形態で、2018年度、および2019年度のV-TAの運用を行ったところ、約半数程度の質問について、V-TAが対応可能であるという結果が得られています。具体的には、2018年度に得られた授業に関する質問813件の中で、問題が解決できたと学生が答えたものが460件程度で、約半分となる、56％についてV-TAは適切に回答ができていました。

（２）Slack上のV-TA

　コロナ禍によって実習の質問対応の場がSlackに移ると、V-TAの在り方についても議論がなされるようになりました。2019年度までの運用によって、V-TAも多くの問題が明らかになっていました。まず、V-TAは利用率が低くデータが集まらないという問題がありました。これは、V-TAは一部の質問には答えられるものの、質問しても正しい回答が返る確率が、教員やTAよりも低いため、学生にとっては、教室にいる教員やTAに直接尋ねるか、SlackでDMを送る方が効率的だからです。また、第２節で説明したように、Slackでの質問対応では、教員・TAの授業時間外の負荷について問題になっておりました。これを受け、V-TAのインタフェースをSlack botを介し対応させる拡張を実施しました。具体的な仕組みを図２に示します。

図２　Slack上のV-TA

　V-TA本体についても改良があり、質問応答システムのベースとなるmanaBrainに加え、質問に関係する書類の検索が可能なmanaBrain Retrieverが追加されています。これにより、V-TAは質問に対し、解決に繋がる授業資料の提示なども行えるようになっています。V-TAのSlack上のインタフェースとして、V-TAというユーザが存在します。このユーザに直接DMを送信すると、Slack botを介し、V-TAに質問が転送され、V-TAはこのユーザを介して回答を直接質問者に返信します（図３）。回答には、受信した回答内容によって問題が解決したか、そうではないか答えられるボタンが付いており、これを押すことで回答内容の評価が可能です。なお、受けた質問に対しV-TAが作成した回答候補について、いずれも確信度が低く、回答候補を絞りきれない場合は、回答ができない旨を質問者に送信します（図４）。2020年度の実習においては、質問があった場合はこのユーザに質問をするよう学生に指示し、それでも問題解決ができなかった場合は、解決しなかったという評価をすることで教員とTAに伝わり、その後返信されるという旨についても説明しています。

図３　Slack上のV-TAへの質問と回答例

図４　V-TAが回答できない質問例

　V-TAは受けた質問について、「全質問」「回答不能質問」「悪評価質問」の三つの質問管理チャンネルに転送するようになっています。「全質問」については、V-TAに送信された質問すべてを転送します。「回答不能質問」については、回答ができなかった質問を送信します。「悪評価質問」については、V-TAが回答した内容について、学生が「問題が解決できなかった」と答えた質問を、回答内容を含めて転送します。この三つのチャンネルは教員とTAのみが閲覧可能になっており、特に「悪評価回答」と「回答不能質問」に転送された質問について、教員とTAが回答を行います。
　Slack上のV-TAの運営に際して、学生にはV-TAに質問するようにと伝えていますが、別のチャンネルで質問をする学生が一定数存在します。もしくは、別チャンネルで学生とのやりとりの途中で質問が投稿されることもあります。これらの質問についてもV-TAが回答できるよう、既存の投稿に特定のリアクションを行うことで、V-TAにその投稿が質問として送信され、V-TAから投稿者に回答が送信される機能も実装しています（図５）。これにより、できるだけすべての質問がV-TAに投稿され、データとして回収できるようになっています。

図５　リアクションによるV-TAへの質問転送

４．結果と今後の課題

（１）Slack上のV-TAの運用結果

　2020年度のSlackを活用したV-TAの運用結果について、2020年12月14日時点の結果について報告します。なお、本学では冬期に新型コロナウイルスの影響が強くなることを見越して、授業の実施を前倒しにしており、本実習についても12月前半でほぼすべてのカリキュラムを達成するようにしていますので、この結果は本年度全体の結果と言えます。まず、月別に得られた質問数については、表１の通りとなりました。

表１　2020年度の月別質問数

　９月の質問が多いですが、授業開始直後で、クラウドプラットフォームのユーザ登録や、環境構築に手間取る学生が多く、クラウド環境にも慣れてないため、毎年初回から数回は質問が多い傾向にあります。11月後半から12月にかけて質問が多いのは、11月までで基本的な演習は終了し、グループワークに入り独自のアプリケーションを構築するため、授業の復習を要しているためと考えられます。また、この時期は出欠や成績評価に関しての質問も増加します。2018年度の813件の質問に対し、１割強程度しか質問が増えていないように見えますが、以前までのV-TAは利用率を上げるために、毎実習で質問したい事項を各自３件程度投稿するよう依頼しておりましたので、それがなければ非常に低い利用率になっていた可能性があります。今回は、V-TAを窓口とするだけで944件の質問が収集できた点が大きな成果であると言えます。
　また、回答不能質問数と、悪評価質問数については、それぞれ478件、159件となっており、V-TAが正しく答えられた質問数が307件（944-478-159）となり、約33％の質問が学生の役に立った可能性があることを意味しています。結果としては2018年度の56％に対し、低くなっているように見えます。ただし、これは、2018年度はV-TAには答えられない質問は直接教員やTAに質問が来るようになっていたのが、Slackですべての質問をV-TAが受け取るようになり、難易度の高い質問もV-TAを介して収集されるようになったことが原因と考えられます。なお、数字上は多くの質問が回答不能質問となっていますが、manaBrain Retriverの機能により、回答ができなくても回答が含まれる可能性のある授業資料の提示なども行っており、この資料が参考になった例が考えられます。実際に、回答不能質問について、V-TAが提示した授業資料がヒントとなった例も報告されております（図６）。

図６　V-TAの資料提示がヒントとなった例

（２）考察・展望

　V-TAとSlackの連携によって、特に質問データ収集が劇的に改善されましたが、まだ様々な課題が残っています。具体的には、質問データの収集効率の向上に比べて、回答データの収集が困難な点があげられます。これまで解説したように、すべての質問はV-TAを介するため、質問データの収集は容易です。一方で、教員やTAとのやりとりはDMであるため、教員やTAによる回答内容の収集は、後日ヒアリングやDMログの提出などにより行う必要があり、効率的ではありません。今後はこの部分をV-TA経由で行えるよう改良する必要があります。例えば、質問管理チャンネルで、投稿された質問に対し返信することで、システムとユーザに回答が返信されるようにする、などが考えられます。この仕組みの副次的効果として、講師やTAの誰がどの質問に回答中であるか、という管理が容易になるという利点があります。この仕組みはある程度開発済みであり、テスト環境で検証中です。
　また、今回、質問に画像を添付して投稿してくる学生が少なくないということが確認されています。現在のV-TAは画像内容を分析して回答する機能は実装されていないため、画像を分析してテキスト化する機能なども必要です。動画分析についても、実際の学生との質問対応のやりとりでは、学生に画面を操作してもらって、問題が起きている箇所の再現させる、ということも行っています。そのため、画面遷移の様子を動画データとして記録し、そのデータを用いた回答作成なども将来的には必要になると考えられます。
　また、V-TAの構想としては、単なる質問応答システムとしてだけではなく、実習授業全体の管理補助をするシステムになることも期待しています。例えば、学生のグループワークを参与観察し、採点補助に利用することや、ファシリテーションを行って、グループワークが円滑に回るようにするなどの展望も考えられます。

５．おわりに

　本稿では、実習用質問応答システムV-TAについて、2020年度の本学理工学部情報学科の実習「情報メディアプロジェクトⅡ」による運用結果に基づいて報告しました。その結果、Slackを窓口とすることで、ほぼすべての質問が自動収集できる機構を構築できました。また、約33％の簡単な質問についてV-TAが回答することができ、回答困難な質問についても、関連する授業資料の提示などが学生へのヒントとなることが明らかとなりました。
　今後は、回答データの自動収集機構はもとより、実習全体のサポートができるシステムとして発展して行くことが期待されます。