公益法人向けAIチャット「全国公益AIナビ」の仕組み――7本の経路とAIに任せなかった判断

全国公益AIナビは、当財団が無料で公開している、公益法人の実務の質問に答えるAIチャットです。ただし、1つのAIが何でも答える作りではありません。質問の中身によって、参照する資料と回答を書くプロンプトを7本の経路に振り分けています。稼働から9か月で1,929件の質問を受け、直近1か月に寄せられた質問は6割近くが会計税務に関するものでした。

公開してから、これはどういう仕組みで動いているのですかという質問を、たびたび受けるようになりました。無料で使えるチャットが公益法人の制度をどう答え分けているのか、中身が見えないと気になるのだろうと思います。その問いに一度まとめてお答えしておこうと考えて、この記事を書くことにしました。使っている道具、AIに任せた場所、あえて任せなかった場所、そしてうまくいかずに作り直した部分まで、実際の稼働の数字とあわせて解説しておきます。

黒字が出ると何か問題になるのでしょうか。公益法人の事務局からよく寄せられる質問です。ところがこの問いは、聞いている法人がどの類型なのかを決めないと答えられません。公益法人であれば中期的収支均衡の話になります。公益目的支出計画を実施中の移行法人であれば、むしろ計画どおりに財産を使っているかどうかが問われます。公益認定を受けていない一般法人なら、制度上の問題は生じません。同じ日本語の質問に、3通りの正解があるのです。

素のチャットAIに同じことを聞くと、たいてい公益法人を前提にした答えが1つだけ返ってきます。しかも、その答えが自分の法人には当てはまらないということに、聞いた側は気づけません。全国公益AIナビを作るときに最初に決めたのは、この取り違えを文章の工夫ではなく構造で防ぐ、ということでした。

1つのAIではなく7本の経路に分けた理由

仮想専用サーバーに設置したDify

全国公益AIナビの中身は、Difyというオープンソースのアプリ基盤の上に組んだワークフローです。現在の版は37個の処理ノードと45本の接続からできており、上の画面がその全体像です。

Difyには提供元が運営するクラウド版もありますが、当財団はそちらを使わず、エックスサーバーのVPSを1台借りて、そこに自分たちでDifyを建てて動かしています。手元にサーバー機を置いているわけではありませんが、コストが安いことや資料も会話の履歴も自分たちが管理する領域に置いておきたかったので、この形にしました。

前段・分類・経路という3段構え

処理は3段構えになっています。まず入力を質問文の形に整える前段があり、次にその質問がどの分野のものかを判定し、最後に分野ごとに用意した経路へ流します。経路は法令、会計税務、移行法人、一般法人、公益信託、協会財団、挨拶や雑談の7本です。経路ごとに、参照する資料の束と、回答を書くプロンプトが別々に用意されています。最後は1点に合流して、利用者の画面に返ります。

要するに、賢い1人の相談員に何でも聞かせるのではなく、受付で用件を聞いてから担当者に回しているわけです。組織の相談窓口とほとんど同じ作りと言えます。

単語だけの入力を整えてから分類する

単語だけの入力が普通である理由

利用者が実際に打ち込むのは、ひと続きの文章とは限りません。「設立」「収支均衡」「理事」と単語だけを入れて送信する方が、むしろ普通です。

これは考えてみれば当然のことです。インターネットで調べものをするときは、検索窓に単語を並べて入れるのが当たり前になっています。長い文章を打ち込んでも検索結果はかえって絞られてしまいますから、単語で入れるのが正しい使い方でした。AIチャットに慣れていない方ほど、同じ調子で単語を打ち込みます。ところがAIは、質問の形になっていないと何を聞かれているのかを判断できません。「収支均衡」の3文字だけを渡されても、要件を知りたいのか、計算方法を知りたいのか、自法人が抵触していないかを心配しているのか、区別がつかないのです。

単語を質問文に展開する前段のAI

そのままでは資料の検索も分野の判定もヒットしませんので、手前に小さなAIを1つ置いて、公益法人制度の文脈での質問文に書き換えさせています。

挨拶という分類を足した理由

3つめのように、挨拶やお礼はそのまま通します。質問でないものを質問に仕立て直すと、今度は挨拶に長い解説が返ってしまうからです。

この扱いは、最初から決めていたわけではありません。作りはじめた当初は、公益法人に関する相談を受けることだけを前提にしていましたから、挨拶という入口を用意していませんでした。そこへ利用者が「こんにちは」「ありがとう」と送ってくると、AIはそれを相談の中身として受け取ってしまいます。感謝の言葉を広める活動についての相談だろうか、挨拶を励行する運動のことだろうか、と解釈して、そうした普及啓発の取組みが公益目的事業に当たるかどうかという話を、勝手に組み立てて長々と答え始めるのです。

出力を読み返すと笑ってしまうのですが、そのままにはしておけません。挨拶を挨拶として分類し、挨拶として短く返す経路をわざわざ1本用意したのは、これに困ったからです。7本の経路のうち1本が挨拶や雑談に充てられているのは、設計として美しいからではなく、実際に起きたことへの手当てだからです。

文脈を引き継ぐルール

この前段には、文脈を引き継ぐルールも書き込んであります。直前まで移行法人の話をしていた会話で「計算方法は」とだけ聞かれたら、移行法人の文脈のまま展開します。ここで公益認定法の語彙に化けさせてしまうと、以降のやり取りが丸ごと別の制度の話になります。展開のしかたを間違えると後段が全部ずれる、という意味で、この前段は見た目より重い処理です。

分類は6つ・経路は7本

整えられた質問文は、次に分類にかけられます。分類は法令、会計税務、移行法人、協会財団、挨拶や雑談、そして公益信託の6つです。経路は7本あるのに分類は6つしかありませんが、これは一般法人の経路にだけ、分類とは別の入口が用意されているからです。

AIに判断させなかった1か所――法人タイプの判定

分類はAIに任せていますが、1か所だけ、意図的にAIに判断させていない場所があります。相手が公益法人なのか移行法人なのか一般法人なのかという、法人タイプの判定です。

なぜ推論に任せないのか

冒頭で述べたとおり、ここを取り違えると回答は根本から狂います。しかも、狂っていることが利用者からは見えません。したがってこの判定だけは、AIの推論ではなく、Pythonで条件を書き下したコードで処理しています。Difyのワークフローには任意のPythonを実行するノードを置けるので、そこに判定のルールを直接書き、法人タイプのラベルを返させています。同じ入力に対して必ず同じ結果が返る、ゆらぎのない分岐です。

自己申告による法人タイプの固定

既定は公益法人です。会話のなかで「うちは移行法人です」「公益認定は取っていません」といった自己申告があると、その法人タイプを会話全体に固定します。以後は分類をやり直さず、専用の経路へ直行します。一度名乗ってもらえば、次の質問から聞き返さないという設計です。ただし「移行法人とは何ですか」のような一般論の問いでは固定しません。制度を知りたいだけの人を、その制度の当事者として扱ってしまわないためです。

稼働記録から見た固定の効き方

この固定がどれくらい効いているかは、実際の稼働記録から数えられます。2026年8月に前段の処理は697回動きましたが、分類は586回しか動いていません。差の111回、つまり全体の16%は、法人タイプが固定済みで分類を通らずに専用経路へ入ったやり取りです。6回に1回は、聞き返さずに済んでいる計算になります。

質問ごとに渡す資料を組み替える

回答の正確さを支えているのは、モデルの賢さよりも、その都度どの資料を渡しているかです。全国公益AIナビは12のナレッジベースを持ち、経路ごとに組み合わせを変えて渡しています。

経路ごとに違う資料の束

整備法が独立して並んでいないのは、整備法の条文を移行法人の資料のなかに収めているからです。移行法人の相談で整備法だけを単独で引く場面はほとんどなく、移行法人向けの解説と同じ束から出てきた方が使いやすいという判断です。ナレッジベースの切り方は、法令の体系ではなく相談の来かたに合わせています。

同じナレッジベースを複数の経路で共有している場合もあります。税法は4つの経路が、会計基準の資料は3つの経路が、同じものを参照しています。会計基準を移行法人と一般法人の経路にも入れているのは、これらの法人でも会計基準に沿った処理が問題になる場面があるからです。経路ごとに同じ資料を登録し直せば、改正のたびに何か所も直すことになり、いずれ食い違いが出ます。共有できるものは共有しておくのが安全です。

検索した5件を並べ替えるリランク

検索の設定は全経路で共通です。まず質問文を数値のベクトルに変換し、意味の近さで探す検索とキーワードの一致で探す検索を併用して、資料のなかから質問に近い箇所を上位5件まで引きます。

ただし、ここで引いてきた5件は、並び順までは信用できません。意味の近さは語の重なりに引きずられますから、たまたま同じ言葉が使われているだけの箇所が上位に来ることがあります。そこで、検索結果をそのまま回答用のAIへ渡さず、あいだにリランクという工程を挟んでいます。全国公益AIナビでは、Cohereというサービスが提供している多言語対応のリランクモデル（rerank-multilingual-v3.0）を組み込み、引いてきた5件を質問との関連の強さで採点し直して、重要な順に並べ替えたうえで回答用のAIへ渡しています。候補を漏らさず集める役目は検索に、そのなかで順位を決める役目は別のモデルに持たせる、という分担です。

この工程が要るのは、回答を書くAIが、渡された資料のうち前に置かれたものを強く参照する傾向があるからです。いちばん関係の深い条文が3番目や4番目に埋もれているだけで、回答の焦点はぶれます。リランクは目に見えない地味な処理ですが、同じ資料・同じプロンプトのままでも回答の当たり方が変わる部分です。

法令を条単位に切って登録する

法令については、条ごとに区切って登録しています。第何条を答えさせるには、条の切れ目で資料が切れている必要があります。たとえば税法は、18の文書を2,555の断片に分けています。

資料を増やすほど精度が鈍る理由

そして、ナレッジベースを12に分けているのは、はじめからそう設計したからではありません。当初は1つのナレッジベースに資料を全部入れていました。手元にある資料をすべて渡しておけば、どんな質問にも答えられるはずだと考えたからです。ところが、実際には逆でした。渡す資料の量を増やすほど、回答の精度はむしろ鈍ります。関係の薄い条文や別制度の解説が一緒に入ってくると、AIはそれも手がかりとして読んでしまい、焦点の合わない答えを書くのです。的確な資料だけを渡した方が、つまり渡す量が少ない方が、回答は正確になります。

そこで、質問の分野ごとに参照先を切り分けました。とはいえ、細かく分ければ分けるほどよいというものでもありません。束の数が増えると、今度はどの束を渡すかという判定を間違える確率が上がります。求められるのは、渡す資料が絞られていて、しかも渡し先の判定を外さないという状態です。この兼ね合いをどこに置くかが悩みどころで、増やしたり戻したりを繰り返した末に、現在の12という分け方に落ち着いています。

AIが賢いから答えられるのではありません。正しい資料をその都度渡しているから答えられるのです。

出典の作り話をどう止めたか

回答用のプロンプトは経路ごとに別々ですが、いちばん行数を割いているのは、どこも同じ項目です。出典を作らせないための禁止規定でした。

出典を書かせる条件を3つに絞る

出典は、資料の正式名称と該当箇所を確実に特定できるときだけ書かせます。取得した資料に条番号やページ数が明記されている場合に限って記載させ、推測では書かせません。実在しない資料名は挙げさせません。この3つを、経路ごとのプロンプトすべてに置いています。禁止の書きぶりが具体的なのは、実際に出てしまった架空の資料名を1つずつ記録して、名指しで禁じてきたからです。内閣府が公表しているのはFAQであってQ&Aではない、という水準まで書いてあります。そして、資料に根拠が見つからないときは、それらしい答えを作らずに全国公益法人協会へ問い合わせるよう案内させています。

用語を現行制度にそろえる

用語の統一も同じ場所で担保しています。令和6年改正で収支相償は中期的収支均衡に、遊休財産は使途不特定財産に改まりましたから、現行制度の説明では必ず新しい語を使わせます。一般社団法人・一般財団法人の設立の根拠は民法ではなく一般社団・財団法人法だと明記させます。整備法や整備規則を公益認定の根拠として引かせません。

旧制度の情報ばかり学んでいるAI

実のところ、ここが作っていていちばん手を焼いた部分です。AIは過去に書かれた文章から学びます。平成20年に始まった旧制度については、その後の十数年にわたって書かれた解説、書式例、質疑応答がインターネット上に積み上がっていて、AIはそれを大量に読み込んでいます。一方、令和6年改正に関する情報は、まだごくわずかしか世に出ていません。つまりAIは、旧制度についてはよく知っていて、現行制度についてはほとんど知らない状態のまま、相談に答えようとするわけです。

その結果、放っておくと収支相償や遊休財産といった旧制度の用語がすぐに顔を出します。しかも困るのは、用語が古いだけで済まないことです。その語に紐づいた古い考え方のまま、単年度で収支が均衡していなければならないという前提で説明が組み立てられてしまいます。プロンプトで新しい語を指定し、現行制度の資料を条単位で渡し、旧語が出てしまった回答を見つけては禁止の書きぶりを足してきました。学習量の差そのものは埋められませんから、渡す資料と与える指示の側で押し返すほかありません。ここを直しきるのに、いちばん時間を使いました。

絵文字と表を使わせない理由

表示の決まりごとも書いてあります。絵文字は使わせません。太字やイタリックは使わせず、強調はかぎ括弧で行わせます。段落と箇条書きの各項目のあいだには必ず空行を入れさせます。そして、表を使わせません。この最後の1つには実務的な理由があります。回答の本文は、チャットの画面のほかに、書式が解釈されない環境へそのまま渡ることがあります。そういう場所ではMarkdownの表が縦棒の羅列になって読めなくなります。比較を示したいときは、観点を見出しにして対象ごとに1行ずつ書かせています。読める形は、届く先の環境まで含めて決めるほかありません。

回答のログは管理者が改善のためにチェック

7本の経路は最後に1点へ合流します。そこを通った質問と回答は全件がログとして残る作りにしてあり、管理者である筆者が目を通しています。誤った回答が出ていれば、その場で分類の設定や回答プロンプトに手を入れ、次は同じ間違いをしないようにフィードバックしていきます。この繰り返しで直してきました。この記事で挙げている禁止規定や用語の指定も、机の上で考えたものではなく、ログで見つけた1件から起こしたものがほとんどです。

評価ボタンが品質指標にならない理由

全件に人が目を通す運用にしているのは、AIの品質を機械的に測る手立てが、実際にはほとんど機能しないからです。回答には親指の上げ下げで評価するボタンが付いていますが、9か月で4,805件のメッセージに対して押されたのは12件だけでした。率にして0.25%です。良い回答が出ても悪い回答が出ても、利用者はまず押しません。評価ボタンを品質指標として運用計画に組み込むのは、無理があると言わざるを得ません。

ログから見えてくる相談の偏り

読むことで分かることもあります。2026年8月に分類を通った586件の内訳は、会計税務が338件、法令が225件。この2つで96%を占めました。6月も7月も同じ比率です。公益法人の事務局が日々手を止めているのは会計と税務のあたりだということが、あらためて集計するまでもなく見えてきます。窓口をどこに厚くするかを、印象ではなく件数で決められます。会話の長さも読めます。平均は2.6往復で、56%は1往復で終わります。一方で3か月のあいだに20往復を超えた会話が8件あり、最長は55往復でした。調べものと、腰を据えた相談と、両方の使われ方をしています。

制度が変わったら経路を1本足す

2026年4月に新しい公益信託制度が始まりました。旧法の許可制から行政庁の認可制へ変わり、旧法の信託には施行日から2年の移行期間が置かれています。全国公益AIナビには、この制度に対応する経路を2026年8月14日に追加しました。

経路を追加するための3つの作業

作業は3つです。まず分類を5つから6つに増やし、公益信託の知識ノードと回答プロンプトを作って既存の合流点につなぎました。次にナレッジベースを2つ新設し、解説資料9文書と、法令4本を条単位に分けた153の断片を入れました。そして回答プロンプトに制度の前提を書きました。施行日、認可制であること、移行期間が2年であることです。とりわけ念を押したのは、公益認定法の規定で代用して答えないという1点です。公益法人の資料は大量にありますから、放っておくとAIは似た条文を引いて、それらしい答えを作ってしまいます。

分類を直したら反対側を確かめる

公開前の検証で、1件の誤りが見つかりました。「公益信託に不動産を拠出したときの税金は」という質問が、公益信託ではなく会計税務の経路へ流れていたのです。分類の側に、みなし譲渡所得税の非課税承認や寄附金控除といった税制の語を足して直しました。ここで大事なのは、直した後にもう一度、反対側を確かめたことです。公益法人のみなし寄附金に関する質問が、今度は公益信託の経路へ引っ張られていないかどうかを見ました。分類の調整は、片側を引き寄せると反対側が緩みます。直したつもりで別の場所を壊していないかを、毎回確かめるほかありません。AIを業務に組み込むときに、いちばん見落とされる工程だと思います。

件数が少なくても先に作っておく意味

公開後、公益信託の質問は8月に3件でした。件数としては多くありません。それでも、制度の施行に合わせて答えられる状態を先に作っておけたことには意味があります。

同じ作りを自分たちの窓口に置くとき

持ち帰れる設計の指針

ここまでの話は、そのまま設計の指針になります。誰に向けた答えなのかを先に決めて、その判定はAIの外で固定すること。手元の正しい資料を、条ごとや項目ごとに切れ目を入れて、必要な分だけ渡すこと。出力が全件残る場所を1か所作って、管理する人が目を通すこと。この3つです。

画面の表示と利用規約をそろえる

公開するのであれば、もう1つ、画面の表示と規約を合わせておく必要があります。全国公益AIナビでは、2026年8月27日に利用規約を施行するのに合わせて、チャット冒頭の文言を書き直しました。それまでは一切の責任を負わないという包括的な免責を掲げていましたが、消費者契約法第8条・第10条により無効と判断されうる書き方です。規約の側で、故意または重大な過失による場合を除き、通常生ずべき直接の損害に限るという線を引き、画面の表示もそれに合わせました。画面に残したのは、回答はAIが生成した参考情報で誤りを含むことがあること、個人情報や機密情報を入力しないこと、利用規約へのリンクの3点です。無料で提供しているサービスであっても、ここは整えておく必要があります。

この構造が当てはまる窓口

この構造そのものは、公益法人制度に固有のものではありません。寄せられる相談が分野で分かれていて、分野ごとに参照すべき資料が違います。相手の属性によって同じ質問の答えが変わります。この2つが当てはまる窓口であれば、作りは変わりません。業界団体の会員向け相談、行政の窓口に寄せられる照会、法人の中の経理ヘルプデスク。どれも、受付で用件を聞いてから担当に回すという点では同じです。

資料と履歴を自分たちの側に置く

基盤を自分たちが管理するVPSに置いていることも、転用のしやすさに効いています。どの資料をどこに置き、誰が触れ、履歴をどこに残すかを、外部サービスの仕様に合わせずに決められるからです。入力した内容を学習に使わないことは、AIの提供元がAPI利用の規約で約束しています。ただ、資料と履歴の置き場所まで自分たちの側に置けるかどうかは、扱う情報によっては別の重みを持ちます。

手間がかかるのはAIではない部分

制度改正への追随も、資料の差し替えで済みます。公益信託の経路を足したときの作業も、分類を1つ増やし、資料を入れ、前提を書くだけでした。AIの側を作り直したわけではありません。逆に言えば、資料を差し替えなければ古いまま答え続けます。作った後に誰が資料を見るのかを決めておかないと、半年で使いものにならなくなります。

基盤を立てて動かすところまでは、いまはさほど難しくありません。手間がかかるのは別の場所です。公益法人と移行法人を取り違えない分岐を書くこと。出典を作らせない禁止規定を、実際に出た誤りから1つずつ積み上げること。改正のたびに資料をそろえ直すこと。どれも、その分野の実務を知らなければ書けません。AIを入れる仕事の大半は、AIではない部分にあります。

現在の版に残っている制約

正直に書いておくと、現在の版にも積み残しがあります。会話が移行法人や一般法人で固定されている状態で公益信託について聞かれると、固定先の経路が答えてしまいます。頻度が低いため、今の版では割り切りました。公益信託の解説資料は行政の資料をPDFから機械的に変換したものですから、逐語の正確さが要る場面では原本の確認を促す運用にしています。対照表の類は、変換すると縦横の対応が失われるため、あえて入れていません。ワークフローには、条件が変わって現在は到達しなくなった分岐も残ったままです。

β版と名乗り続けているのは、こうした状態を承知のうえで動かしているからです。9か月で1,929件の会話を受け、そのたびに直すべき場所が見つかっています。

全国公益AIナビβ版は、当財団のサイトと、全国公益法人協会が運営する「じぶんでできる公益法人」から、無料でご利用いただけます。おかしな答えが返ってきた場合は、当財団のお問合せフォームからお知らせください。分類の調整もプロンプトの修正も、実際に届いた1件から始まっています。

個別の法人の事情に踏み込んだ判断は、AIの守備範囲の外にあります。中期的収支均衡の見通しや、公益目的支出計画の実施状況の評価など、自法人の数字を前提にした検討が必要な場面では、当財団の担当者がご一緒に整理いたします。

そして、同じ作りのものを自分たちの窓口にも置きたいというご相談も承っています。手元にどの資料があるか、寄せられる相談がどの分野に分かれるか、出てきた回答を誰が確認するか。この3つが決まれば、あとは組み立ての作業です。当財団の担当者が、現在の相談の受け方を伺ったうえで整理いたします。お気軽にお問合せください。

AI活用支援について問い合わせる