Lucius AI、入札文書を書くAIに「嘘をつくことを拒否」させる手法を提案――根拠のない内容の捏造を防ぐ
スタートアップのLucius AIが、入札文書作成を支援するAIの設計思想を公開。根拠となる情報がない場合には「書くことを拒否」するようシステムに教え込み、内容をでっち上げさせないアプローチを採用
入札文書(Tender/Bid)の作成にAIを活用する際の大きな問題は、AIが「ハルシネーション」を起こし、内容をもっともらしく見せるために虚偽の情報を捏造してしまうことだ。入札の場面ではこれが致命的となり、企業が信用を失ったり、入札資格を剥奪されたりする恐れがある。
Lucius AIの創業者Davor Jerkovićは同社ブログで、チームがこの問題に異なるアプローチで取り組んだと説明している。AIに常に完全な内容を書かせようとするのではなく、裏付けとなる情報がない部分については「書くことを拒否」(Refusal)するようシステムを設計したという。
仕組みとしては、執筆を始める前に入札者の実際の能力と文書の要求事項を照合する。十分な裏付けがない部分が見つかった場合、システムは捏造せず、その部分を「パートナースロット」(Partner slot)に記載。文書冒頭に未確認項目(特定分野の資格不足など)があることを知らせる警告バナーを表示し、チームがパートナーを探して補完できるようにする。
さらに興味深いのは、システムが「勝ち目がない」、あるいは応札する価値がないと評価した場合、最初から文書のドラフト作成自体を拒否する点だ。見た目は立派だが真実性に欠ける文書が生まれるのを防ぐためである。
この考え方は、法務テクノロジーや入札業界の分析とも一致している。高い正確性が求められる業務では、AIにとって「知らないことは書かない」という特性は、何でもこなせるように見せかけるよりも重要で不可欠だという見方だ。ただし、この情報は開発元自身のブログが唯一の情報源であるため、企業の製品プロモーションの一環である可能性を踏まえ、慎重に受け止めるべきだろう。
官民の入札に参加する多くのタイ企業がAIによる文書作成支援の利用を始めている。この考え方が示すように、実際の情報がないときに「拒否」できるAIを選ぶことは同じくらい重要だ。たった一箇所の虚偽情報でも、入札資格の剥奪につながり得るからだ。