ChatGPT-4は税理士試験の問題を解けるか？

2023年5月、人工知能チャットボットであるChatGPT-4が米国の会計士試験や税理士試験を突破したことがニュースになっていました。
前回バージョンであるChatGPT-3.5のスコアから大きく成績を伸ばしたようです。では、そんなChatGPT-4に日本の税理士試験を解かせてみたらどうなるか、試してみました。

AIの解答

まず国税庁が公開している令和4年度税理士試験のPDFを、ChatGPT-4の拡張機能を使って読み込ませて解いてもらおうと思いましたが、PDFが画像ベースであったためにうまくいきませんでした。

やはりチャットボットということなので、まだまだテキストベースでの機能がメインとなっているようです。そこで試しに一問、テキストに起こして簿記論から計算問題を出題してみることにしました。

今回は第二問の問2から、有価証券の問題を一部抜粋してみます。

ある社債を満期保有目的で購入した。以下の条件に基づき満期日の仕訳を答えよ。
  
　•取得価格2,831,901円で、額面は3,000,000円である。
　•差額は償却原価法の利息法に基づき調整する。その際の実行利子率は3.5％である。
　•クーポン利子率は1.5％、利払日は12月31日（期末）の年一回である。
　•購入日はX1年1月1日（期首）、満期日はX3年12月31日である。
　•勘定科目は、「現金」「有価証券」「受取利息」を使うものとする。
　•計算で1円未満の端数が出た場合は、その都度四捨五入する。

これに対するChatGPT-4の解答は以下の通りになりました。

以下に、あなたが指定した条件に基づいて満期日の仕訳を記載します。なお、Xを具体的な数値（例えば2000など）に置き換えて計算しています。また、1円未満の端数は四捨五入に従って処理します。
    
満期日：X3年12月31日
償却原価法の利息法により、差額は毎年少しずつ償却されます。償却額は取得価格に実行利子率を乗じて得られ、その結果から毎年のクーポン利息を引いたものです。
ただし、この計算は毎年行われ、その結果は翌年の償却額の計算に影響します（取得価格に償却額を加算したものが新たな取得価格となります）。
    
X1年12月31日：  
利息収入：有価証券（2,831,901円）× 実行利子率（3.5％）= 99,117円
クーポン利息：額面（3,000,000円）× クーポン利子率（1.5％）= 45,000円
償却額：利息収入（99,117円） – クーポン利息（45,000円）= 54,117円
    
X2年12月31日：  
利息収入：有価証券（2,831,901円 + 54,117円）×実行利子率（3.5％）= 101,534円
クーポン利息：額面（3,000,000円）×クーポン利子率（1.5％）= 45,000円
償却額：利息収入（101,534円） – クーポン利息（45,000円）= 56,534円
    
X3年12月31日（満期日）：  
利息収入：有価証券（2,831,901円 + 54,117円 + 56,534円）×実行利子率（3.5％）= 104,118円
クーポン利息：額面（3,000,000円）×クーポン利子率（1.5％）= 45,000円
償却額：利息収入（104,118円） – クーポン利息（45,000円）= 59,118円
  
つまり、X3年12月31日に以下の仕訳を行います。
  
有価証券 168,769円（= 54,117円 + 56,534円 + 59,118円）
現金 3,000,000円
受取利息 45,000円
有価証券 2,831,901円
  
ただし、これらの計算は四捨五入を含むため、少々の誤差が含まれている可能性があります。また、年度末の仕訳や具体的な年度数についての詳細が必要な場合は、詳しくお問い合わせください。

AIからの解答を解説

結構おしいのですが、まだ完璧な答えとはいえず「不正解」です。

ただ解法として、毎期末に割引部分を調整することは理解しているようで、最初に提示してくれた償却原価法の考え方はしっかり合っていました。
比較対象としてChatGPT-3.5に解かせてみると、そもそも割引部分については触れてくれず、単に満期日に利息を乗じる処理をしてくれるのみだったので、解き方は大きく進歩していることがわかります。

一方で、そもそも貸借が一致していなかったり、実行利子率とクーポン利息の差額の計算方法が違っていたり、そもそも掛け算を間違えていたりと、まだまだ詰めが甘いところが目につきます。

質問の聞き方や文章を変えれば、あるいは……と思い、何回か試してみましたが、完璧な解答はしてくれませんでした。最近追加された新機能として、リアルタイムにWebで検索して最新情報を取得してくれる機能（2023年7月28日現在は一時的に公開停止されています）もありましたが、これを使ってみてもやはり正確な解答はしてくれませんでした。

ChatGPTはなぜ間違えるのか？

この結果だけを見ると、ChatGPT-4もまだ日本の税理士試験を突破するほどの能力を有しているとはいえないかもしれません。ただ、今回の有価証券の問題はそこまで難しいものをチョイスした訳でもありません。

各予備校の解説でいえば、基本的な論点として扱われ、まず得点すべしと言われているような箇所になります。昨今のAIの発達ぶりを鑑みると、この程度なら正解できても不思議ではない気がします。

そこで考えたいのが、そもそもChatGPTはどのように答えを導き出しているのかということです。
実はChatGPTは取り込んだ事前学習データを基に、確率的なプロセスによって質問内容を処理しています。膨大な学習データの中から、確率的に答えとなる可能性が高いものを割り出し、引っ張ってきているわけです。

つまり人間の脳のように、論理的な思考から答えを導いているわけではないということになります。そのため、貸借が一致しない仕訳を答えてしまったり、償還日に有価証券の帳簿価格と額面が一致していなかったりと、論理的に考えればおかしなことであっても、それに気づくことができずミスをしてしまうわけです。
この部分に関してはこれまでのところ、AIに論理的な思考を身に着けさせるというよりは、より多くのデータを学習させることで精度が高まってきたようです。

ChatGPTの学習データが英語なので、日本語はやや苦手？

するとやはり大切なことは、事前学習データの中身ということになります。最新版であるChatGPT-4について詳細は公開されていないようですが、3.5までのモデルでは主に英語の学習データを取り込ませていたようで、日本語より英語の質問に答える方が得意な傾向があります。

したがって、ChatGPTからすれば、日本語の税理士試験より英語の会計士試験の方が答えやすい可能性があります。この問題については現在、国産AIの開発が盛んになってきており、日本語で、かつ、より専門性の高いAIの開発が進められていますので、いずれ対応してくれるAIの登場に期待できます。

学習データを特化させると専門分野にも強くなる？

また、ChatGPTはあらゆる分野について学習しており、その守備範囲がかなり広域であることは確かですが、一方で専門性の高い質問については十分に答えてくれないという指摘も多いです。有り体にいえば「広く浅く」という感じになります。これについては逆説的に、より専門性の高いデータに特化して学習したAIであれば、飛躍的に答えの精度が高まるのではないか？というふうに予想できます。

今回の例でいえば、学習データを会計分野に特化させることで、簿記論で扱うような会計処理や、より専門的なこともこなしてくれるのではないか？というふうに考えられるわけです。

専門性の向上についてはまさにChatGPTをはじめとして、多くのAIが課題として改善に取り組んでいる部分であり、バージョンアップで徐々に改善されている印象です（実際に3.5から4へのバージョンアップでは、大分改善がみられたように思います）が、現段階ではそれでもまだ多くの改良の余地があるように思います。

これらの問題が解決されれば、おそらく正解に辿り着いてくれるのではないか？という期待を持たせてくれる程度には、AIは発達してきているように思います。

おわりに ～AIが間違えてくれると、ヒトは安堵する？

「AIに仕事を奪われるのではないか？」という問題提起は、もはや珍しいものではありません。私たち税理士業界でも、決算書や申告書の作成は今後AIに取って代わるのではないか？と言われたりします。
だからこそAIがミスをすれば、「AIもまだまだだな」なんて、安堵のため息とともに胸をなでおろしたりする人もいるかもしれません。今回のトピックにおいても、「AIにまだ簿記論の問題は解けない」という結末を期待していた方が、ひょっとしたらいるかもしれません。

しかしAIの能力と限界を正しく知ることによって、現時点での活用法や問題点、そしてそれに基づく将来的な変化も見えてきます。そうしていつかやってくる変化の波に対応できるよう、常に備えを怠らないようにしたいものです。

＜参考サイト＞
【国税庁】令和4年度（第72回）税理士試験　試験問題、答案用紙及び正誤表
【OpenAi】ChatGPT