Bing Chatbot のまやかし


 Bing AI Chatbot(チャットボット、現 Copilot)を使って何日か遊んでみたが、現在(2023年2月末)のところ、あまり性能はよくないようだ。
 ためしにこのサイトのページの要約を作るように言ってみたところ、このようなデタラメを書いてよこした。
お花畑平和主義の要約

 青空文庫に全文が載っている服部之総の「せいばい」を要約させてみても、このありさまである。
せいばいの要約

 この結果を見るに、Bing は対象のサイトの内容を理解していない。
 何をやっているのかというと、対象のサイトの題名だけを見てキーワードを抽出し、そのキーワードで Wikipediaと twitterを検索して、それを雑にまとめるのが関の山で、それができない時は、出所不明のデタラメでごまかしているのだ。
 内容を読まずに言葉尻を誤解してクソリプを送って来る困ったツイッタラーのようなことをしているわけで、こんなものに intelligence を名乗る資格はないと思う。

 一見、要約が得意なように見える Bingだが、その実は Wikipediaの冒頭部分をカンニングしているにすぎないのだ。えらいのは BingのAIではなく、人力で作られた Wikipediaの方なのである。

 Wikipediaを引くにしても、日本語で聞くと日本語Wikipediaしか引かないという怠慢なことをしてくれる。
(日本語で聞いた例、内容は間違いである)
ドレイクの沈没、日本語
(同じことを英語で聞いた例、内容は正しい。英語Wikipediaに記載があるため)
ドレイクの沈没、英語

 せめて各国語のWikipediaを横断的に検索して、翻訳した結果を要約するくらいはしてもらわないと、調べ物の役には立たない。
 一段の努力と改善を要望するところである。

(ここまで24. Februar 2023)



 Bing Chatbot, 3月に入って多少改善の傾向が見られる。
 まずは「創造的」「バランス」「厳密」の切り替えスイッチが入ったのは、用途によって使い分けられるのでひとつの進歩だろう。
 回答の過程と内容を見ると、一応英語Wikipediaを引くようになった。ただし中身を正確に読むには至っていない。
(日本語wikipediaにはない機体の解説。使用したエースのデータはデタラメである)
ソッピース・ドルフィン

 また、反実仮想問題にもある程度対応するようになった。
 それを踏まえて感想を述べると、史実があるものに関しては、史実が一番妥当な流れだった、というスタンスをとるようだ。まあ無難ですな。
 ただ、8インチ重巡と6インチ大型軽巡の比較の話を振ると、どういうわけか6インチ巡洋艦の方が優れていたという意見を述べる。クォーターデッキ/ホビージャパンの「アイアンボトムサウンド」をやり込んだゲーマーかお前は。
巡洋艦の比較
→と思っていたが、3月3日に再度同じような質問をしてみると、今度は8インチ砲重巡の方が優れていたと意見を変えてきた。
ソロモンでの巡洋艦
日々刮目して見なければならないようだ。

 日本語ウィキペディアにない項目を聞いてみようと思って、ポーランドの将軍について聞いてみたら、やけにくわしく教えてくれた。お前、出典は日本語版じゃなくて英語版だろう。
サピエハ将軍

(ここまで 3. März 2023)



 要約させた例、さらに。「法窓夜話」序文
法窓夜話
 「ナチ責任押し付け論」ページ。
ナチ押し付け
 道浦俊彦さんのコラム
付け人
 どいつもこいつも、冒頭だけつまんできて「要約」も何もないだろう!

 「光る君へ」キャスト。ん?安倍晴明?
光る君へキャスト

 もしかして I got it. と言いたかったのか?
手に入れました

 そういうことを「会話を打ち切る」と言うのだ。 会話を打ち切る

(この節追加 25. Februar 2024)



 「もっともらしい」嘘。
最もと尤も

ブリュンヒルト
 ヴィルヘルム・ヴェルナーは第一次大戦のUボートエースで、U55の艦長。当時の階級は大尉。ルートマンの方はだれだかわからない。帝政ドイツに Brunhild という軍艦はいない。

ジース大尉
 フリーザって誰だ。
 本物のジース大尉についてはこのリンクから。

(この節追加 13. März 2024)



目次へもどる