技術や仕組み

03 嘘をつくAI

03 嘘をつくAI
監修者情報
監修者アイコン
蕏塚 昌大

大学院では物理学の国際共同実験に携わり、機械学習を活用したソフトウェアモジュールを開発。2017年に新卒として株式会社SHIFT SECURITYに入社。標準化エンジニアとしてWebアプリケーションやクラウドの診断をはじめとする各種セキュリティ診断サービスの標準化を推進。週末は庭の雑草抜きに勤しむ。好きな言葉は「根こそぎ」。

どのように社内にChatGPTを導入し、活用できるか。
セキュリティ面の制約を踏まえながら、検討が続いた。

検討が進むなかで、ChatGPTの高い性能に驚く一方、取り扱いの難しさを実感していた。

導入を難しくしている最も大きな要因のひとつが、

「ハルシネーション」(幻覚)

と呼ばれる現象だった。
もっともらしい回答を出力するが、その内容が事実に基づいていないというものだ。

実際に「さいたま市内のおいしいラーメン屋を3つ教えてください」と質問してみると、
人気のラーメン店として3つの店名・住所・特徴を挙げてくれた。
しかし、実はどれもでっちあげで、そのような名前の店はなく、その番地も存在しないものだった。
おかげで夕飯にありつくのが遅れてしまった。

本来、期待していた動きは
1 ChatGPTに質問する(おいしいラーメン屋を聞く)
2その回答を根拠に行動する(ラーメン屋の情報を得て、行く)
3最適な結果を得られる(おいしいラーメンが食べられる!)

であるが、ハルシネーションのあるChatGTPの回答を根拠にするためには、
「その回答が正しいかどうか」を検証するステップが必要となる。
うまく使えばタスクを楽にできるが、かえって手間が増えているようにも思える。

少なくとも、ChatGPTの回答だけでは何かを判断して進めることはできない。
どのような役割として活用するのが効果的か。
人間とChatGPTの役割分担を整理して考えてみることにしたのだった。

そして、「人間とChatGPTの役割分担を整理する」ことがこのプロジェクトの大きな分岐点となった。

次の話 04 AIになにを任せよう?

生成AI活用システムの脆弱性診断はSHIFT SECURITYにお任せください

生成AI活用システムの脆弱性診断

ChatGPT等の生成AIを活用した
システム固有のセキュリティリスクを可視化します

生成AI活用システム診断ページはこちら
\ 記事をシェアする /

こちらの記事もおすすめ

Contact

お見積り・ご相談など、お気軽にご相談ください

ご相談・ご質問はこちら

お問い合わせ

お見積り依頼はこちら

お見積り依頼

資料請求はこちら

資料請求

お電話でのご相談はこちら
(平日10:00~18:00)

TEL.050-1707-3537
サイトTOPへ