設定ファイルの共通行とコマンド履歴による生成AIでの実習の質問メールの返信時間の短縮

東京工科大学コンピュータサイエンス学部先進情報専攻では，先進情報プロジェクト実習[IT・3] の実習が開かれている．実習を受ける学生は実習中に班のメンバと協力しながら実習課題に取り組み，実習課題を完了できなかった学生は翌週の実習までに宿題として実習課題を完了させる必要がある．学生は，実習の時間外で実習課題に分からないことがあった場合，実習で扱うサーバや実習課題の管理をしているTA に分からない内容について質問のメールを送信する．課題は，学生が質問メールを送信してからTA が返信を始めるまでに時間がかかるため，学生の学習が滞ることである．時間がかかる要因は，TA の他の授業の受講時間や研究室の作業時間により，すぐには返信できない時間が生じるからである．基礎実験として，実習でTA に送られたメールとその返信内容を集め，メールが返信されるまでにかかった時間を計測した．結果としては，学生が質問メールを送信してから返信されるまで1 日以上時間がかかる場合は21件中4 件の約19%あり，2 日以上返信に時間がかかる場合が21 件中1 件の約5%あるため，この学生の待ち時間を短縮する必要がある．提案手法は，質問メールの内容と実習を受けている全学生のコマンド履歴とファイルの内容を提案ソフトウェアに入力し，メールの返信を出力する．提案ソフトウェアは，ファイル特定フェーズ，初期プロンプト生成フェーズから生成AI で返信内容と修正済みの質問者のファイルを作成し，出力結果評価フェーズで網羅率を使い評価を行う．出力結果評価フェーズで網羅率が1.0 に満たない場合，改善プロンプト生成フェーズでプロンプトを再入力して再度評価を行い，網羅率が1.0 になった時点で返信内容を出力する．評価方法は，2 つの指標を用いる．1 つ目は提案ソフトウェアの出力結果評価フェーズで網羅率が1.0 になるまでに入力された改善プロンプトの回数であり，2 つ目は提案ソフトウェアが生成した返信内容と，TA が実際に作成した返信内容との意味的な類似性をSentence BERT とコサイン類似度により数値化し評価を行う． ...