前回、生成AIの役割として、設計アシスタントの可能性について考察した。
考察内容としては、一般常識に基づき作業できるようにする特徴をもつ”標準化”の取り組み背景から、生成AIによる画面の属性判定作業の実施可能性を見出した。

これを実現するためにはどのような仕組みが必要だろう？
アシスタントとして活躍するために、生成AIが人間と同じ結果を出せる性能が必要だ。
ここで、人間の画面属性の判定作業をシステム的に「入力」「処理」「出力」に分けて捉えてみる。

「出力」は画面属性の判定結果だ。
たとえば簡単なものだと、Webサイト内のどこにログイン画面と判定したページがあるか？になる。

では「入力」「処理」はどうあるべきだろうか。

たとえば、あるページに対して「これはログイン画面だろうか？」と画面属性を判定しようとするとき、人間の頭には（たぶん）入力情報とロジックの二種類が入っている。
ページに書いてある情報やフォームに入力する情報、URLに含まれる単語、
サイト内のページ構成、次に進むための操作方法など、
膨大な要素を無意識的に組み合わせて瞬時に判断している。

その判断には、その人の積み上げた経験が活かされている。
これは業務の経験という意味ではなく、生まれてからこれまでの間、
学校で習ったり日常的な会話から得た日本語としての知識や、スマホやPC、
ゲームで触れた身の回りのWebサービスといったありとあらゆる経験が含まれる。

そのうち、ほとんどの人に経験され、その人のなかに知見として蓄積された情報を、
標準化の取り組みの中で「一般常識」と呼んでいる。

前回の繰り返しにもなってしまうが、
「一般常識」は生成AIもインターネットにある膨大な学習データから獲得できる情報である。
よって、ページや文脈から得られる「入力」に対して
一般常識で判断する「処理」に生成AIを利用するという構造で、
人間と同様の作業を行う仕組みを実装できそうだ。

イメージができたことで、
次はこの仕組みを形にするプロトタイプを作っていくことにした。

次の話 08 生成AIによるWebページの属性判定アシストをどう組み込む？