比べる軸は「始めやすさ・精度・直しやすさ」
運用担当の方にとって大事なのは、動いた後に誰がどう手を入れるかです。そこで軸を三つにします。始めるまでの手間とコスト、答えの精度の出方、困ったときの直しやすさです。ここでは始めてから回り始めるまでの順に見ていきます。
RAG・ファインチューニング・併用を並べる
| 軸 | RAG | ファインチューニング | 併用 |
|---|---|---|---|
| 始めるまで | 文書を整えて検索の仕組みを用意 | 学習用の質問と回答を大量に用意 | 両方の準備が必要 |
| 初期コスト | 低〜中 | 中〜高 | 高 |
| 精度の出方 | 根拠の文書しだいで決まる | 口調や形式がそろう | 知識と形式の両方を狙える |
| 情報が古くなったら | 文書を差し替えれば済む | 再学習が必要 | 知識は文書、形式は学習で分担 |
| 間違えたとき | 検索結果を見れば原因を追える | 原因が見えにくい | 切り分けが二段になる |
どんなときにどれを選ぶか
結論から言うと、最初はRAGを選ぶのが無難です。理由は、動かし始めてからの手間が読みやすいからです。
たとえば社内規程への問い合わせに答える仕組みを作るとします。規程は改定されます。RAGなら文書を入れ替えるだけで、答えも変わります。誤答が出ても、どの文書を拾ったかを見れば直す場所が分かります。
ファインチューニングは、知識を覚えさせる目的には向きません。向いているのは、回答の書式や口調を毎回そろえたいときです。たとえば定型の報告文を決まった形で出したい場合です。学習データの作成と再学習の手間がかかるので、本当に必要か見極めてから選んでください。
併用は、RAGで運用が回り、なお形式のぶれが残ったときの選択肢です。最初から両方に手を出すと、誤答の原因が切り分けにくくなります。
まずRAGで小さく始め、誤答の記録を取ります。その記録が、次に何を直すかを決める材料になります。