Bing AI Chatbot（チャットボット、現 Copilot）を使って何日か遊んでみたが、現在（2023年2月末）のところ、あまり性能はよくないようだ。
ためしにこのサイトのページの要約を作るように言ってみたところ、このようなデタラメを書いてよこした。
青空文庫に全文が載っている服部之総の「せいばい」を要約させてみても、このありさまである。
この結果を見るに、Bing は対象のサイトの内容を理解していない。
何をやっているのかというと、対象のサイトの題名だけを見てキーワードを抽出し、そのキーワードで Wikipediaと twitterを検索して、それを雑にまとめるのが関の山で、それができない時は、出所不明のデタラメでごまかしているのだ。
内容を読まずに言葉尻を誤解してクソリプを送って来る困ったツイッタラーのようなことをしているわけで、こんなものに intelligence を名乗る資格はないと思う。
一見、要約が得意なように見える Bingだが、その実は Wikipediaの冒頭部分をカンニングしているにすぎないのだ。えらいのは BingのＡＩではなく、人力で作られた Wikipediaの方なのである。
Wikipediaを引くにしても、日本語で聞くと日本語Wikipediaしか引かないという怠慢なことをしてくれる。
（日本語で聞いた例、内容は間違いである）
（同じことを英語で聞いた例、内容は正しい。英語Wikipediaに記載があるため）
せめて各国語のWikipediaを横断的に検索して、翻訳した結果を要約するくらいはしてもらわないと、調べ物の役には立たない。
一段の努力と改善を要望するところである。
（ここまで24. Februar 2023）
Bing Chatbot, 3月に入って多少改善の傾向が見られる。
まずは「創造的」「バランス」「厳密」の切り替えスイッチが入ったのは、用途によって使い分けられるのでひとつの進歩だろう。
回答の過程と内容を見ると、一応英語Wikipediaを引くようになった。ただし中身を正確に読むには至っていない。
（日本語wikipediaにはない機体の解説。使用したエースのデータはデタラメである）
また、反実仮想問題にもある程度対応するようになった。
それを踏まえて感想を述べると、史実があるものに関しては、史実が一番妥当な流れだった、というスタンスをとるようだ。まあ無難ですな。
ただ、8インチ重巡と6インチ大型軽巡の比較の話を振ると、どういうわけか6インチ巡洋艦の方が優れていたという意見を述べる。クォーターデッキ／ホビージャパンの「アイアンボトムサウンド」をやり込んだゲーマーかお前は。
→と思っていたが、3月3日に再度同じような質問をしてみると、今度は8インチ砲重巡の方が優れていたと意見を変えてきた。
日々刮目して見なければならないようだ。
日本語ウィキペディアにない項目を聞いてみようと思って、ポーランドの将軍について聞いてみたら、やけにくわしく教えてくれた。お前、出典は日本語版じゃなくて英語版だろう。
（ここまで 3. März 2023）
要約させた例、さらに。「法窓夜話」序文。
「ナチ責任押し付け論」ページ。
道浦俊彦さんのコラム。
どいつもこいつも、冒頭だけつまんできて「要約」も何もないだろう！
「光る君へ」キャスト。ん？安倍晴明？
もしかして I got it. と言いたかったのか？
そういうことを「会話を打ち切る」と言うのだ。
（この節追加 25. Februar 2024）
「もっともらしい」嘘。
ヴィルヘルム・ヴェルナーは第一次大戦のＵボートエースで、U55の艦長。当時の階級は大尉。ルートマンの方はだれだかわからない。帝政ドイツに Brunhild という軍艦はいない。
フリーザって誰だ。
本物のジース大尉についてはこのリンクから。
（この節追加 13. März 2024）
豆腐メンタルなCopilot。
（この項追加 29. März 2024）
Bing Copilot の要約能力だが、やり方によってはかなり精度の高い要約を行う能力があることがわかった。
目標のページをEdgeで表示し、サイドバーからCopilotを起動して、「ページの概要を生成する」を押すと、この通り、かなり高い精度の要約をやってくれる。
（弊サイト「特攻は無駄死にか」の要約）
うーん、進歩もしてるのか。
……ところが、これに対してはこう。
冒頭部分のつまみ食いである。仕事にむらがあるぞ。
（この項追加 8. April 2024）
「生成AIは嘘をつくので宿題には使えません」と言うかと思ったのに。
（この項追加 19. April 2024）
一人おかしいのがいるぞ。
ネタにしてはまじめすぎる。
こっちはさらりとかわすのに……
こっちは罠にはまるのは詰めが甘い。答えは「目」だよ。
（この項追加 1. Oktober 2024）
この項ではCopilotの画像生成機能 Designer の限界を示す。
まずはこのツイートを見てほしい。
本当かな、と思って、まずこのプロンプトを試してみた。
「画像を生成してください。学校の机の上。mono消しゴム。シャープペンシル。赤いuniポスカ。布の筆入れ。開いたB5のノート。背景は黒板のある教室。」
出てきた画像がこのふたつである。
商品名は全く理解していない。「シャープペンシル」を「鋭く削った鉛筆」と思っている。「筆入れ」と「筆立て」を混同している。
次にこのプロンプト。
「キッチンのテーブルの上に「紀文 皮までおいしい生ちくわ5本」が置いてある画像を生成してください。」
画像はこの通り。
検索すれば紀文のサイトから容易に入手できる画像を利用せずにでたらめを作画している。
その一方で、このプロンプトでは……
「キッチンのテーブルの上にキャンベルの缶入りミネストローネとマギーブイヨンキューブの箱が置いてある画像を生成してください。」
ちゃんと商品を理解している。アメリカにあるものは理解できるのだ。
検索汚染に影響されることを恐れたのか、検索しないで生成することを選んだ Designer の限界がこれである。
（この項追加 18. Okt. 2024)