ノンテクニカルスキル×生成AI Day5〜動画（非テキスト）情報の理解と動画生成〜

文字（テキスト）のみを入力するほうが、動画と文字の両方を入力するよりも理解度が高いというのは意外でした。ChatGPTに問題解決プランを作成してもらうためには、しばらくは、特に言葉（文字）にこだわっていくことが大切になりますね。

そして、しばらくは、言葉（文字）を映像の世界である現実世界に引き寄せるのは、人間が中心に行っていかなくてはならないようです。

医療現場の問題解決における、人間とAIそれぞれの役割が少しずつ見えてきました。

今回（Day5）の会話 ******************** 【佐藤】先ほど私は、「現実世界で起こっている出来事を正しく理解するためには、文字よりも動画や画像を入力したほうがよいかもしれません」とお伝えしました。これからしばらく、私とあなたの議論は、基本的には入力や出力の情報は文字（文章）を前提に進めていきますが、私はいずれ、「現状」や「あるべき姿」も動画やAR、VRなどを使って表現していくべきだと考えています。現実世界を文字だけで表現するのには限界があると考えているからです。

そこでお伺いしたいのですが、

①ある出来事の場面を撮影して動画にし、それを情報として入力することによって、あなたはその動画の内容を通じて「現状」を理解することはできますか？

②人間側が入力した「現状」を表現した動画に対して、あなたは「あるべき姿」を表現した動画を作成することはできますか？

【ChatGPT】私は、動画や画像、AR、VRなどの非テキスト情報を処理する能力は限定的ですが、ある程度の理解や生成は可能です。

①ある出来事の場面を撮影して動画にし、それを情報として入力することによって、私はその動画の内容を通じて「現状」を理解することができます。ただし、私の理解は、動画内で発話されている言葉や、映像に映る物体や行動を検出・認識する程度です。これらの情報を基に、「現状」に関するテキスト情報を生成し、分析・判断を行います。

②人間側が入力した「現状」を表現した動画に対して、「あるべき姿」を表現した動画を作成することは、私の現在の能力では難しいです。私は主にテキスト情報を生成するように設計されており、動画や画像などの非テキスト情報の生成は得意ではありません。ただし、「あるべき姿」に関するテキスト情報を生成し、それをもとに人間側が動画を作成することは可能です。

将来的には、私の技術が進化し、動画や画像などの非テキスト情報の処理や生成がより高度になる可能性があります。それにより、よりリアルな「現状」と「あるべき姿」を表現・理解することができるようになるでしょう。

【佐藤】では、

①文字（テキスト）のみを入力する ②動画のみを入力する ③動画と文字の両方を入力する

上記の3種類の情報を入力することに関して、それぞれのあなたの理解度を数値で示すことはできますか？

【ChatGPT】理解度を数値で示すのは難しいですが、私の能力を相対的に比較することで、それぞれの入力情報に対する理解度をおおよそ説明できます。

①文字（テキスト）のみを入力する 私はテキスト情報を処理するように設計されており、テキストを入力することで最も高い理解度を発揮します。私の能力の中で最も得意な分野です。

②動画のみを入力する 私は動画情報をある程度処理できますが、テキスト情報ほどの理解度はありません。動画内で発話されている言葉や、映像に映る物体や行動を検出・認識する程度です。理解度はテキストに比べて低いです。

③動画と文字の両方を入力する 動画と文字の両方を入力することで、理解度はテキストのみを入力する場合よりも向上する可能性があります。動画から得られる情報と、テキストから得られる情報を組み合わせて解析することで、より正確な理解ができることがあります。ただし、動画情報の理解度がテキストに比べて低いため、全体的な理解度はテキストのみを入力する場合に比べて若干低いかもしれません。

これらの比較から、私の理解度は、① > ③ > ② の順で高いと言えます。ただし、具体的な数値で表すことは難しいです。