Nishika AI News Letter - Issue #46
「ChatGPTの性能が悪化している」という検証結果はセンセーショナルなものでした。実用上は大きな問題があるとはいえず、他LLMに対してGPT-4の圧倒的に高い性能は変わらないです。ただ、もし人間の手によるアラインメント学習でこの性能変化がもたらされているのだとすれば、全てのタスクにおいて過去最高を更新し続ける難しさを表しているかもしれません。
Promotion
Nishikaがデータ分析コンペティションを通じて蓄積した画像検索AIに関する知見をもとに開発した、最高水準の精度を誇るEC向け画像検索AI「Nishika Image Finder」をリリースいたしました！
約50万件の商品をお持ちのあるEC事業者様のデータを活用した検証にて、MRR (Mean Reciprocal Rank), Recallのいずれの指標でも、GoogleのVision API Product Searchの水準を10ポイント近く上回りました。
AI News Letterでは各社の提供する最先端AIをご紹介し続けていますが、News Letter中でも何度か取り上げている、音声認識AI OpenAI Whisperを搭載したソフトウェア “SecureMemo” をリリースいたしました！
Whisperを搭載・チューニングし、名実ともに世界最高水準の精度を示しながら、オンプレミス・オフライン環境で利用可能でありセキュアな用途に有用な点が特徴です。
ChatGPTの使い方について、とても追いきれないほどの速さで日々報告がされる中、結局ビジネスで使える使い方は何なのか？とお考えの企業の皆様向けに、ChatGPT研修を提供することとしました！
ChatGPTの基本原理から、有用性だけではなく把握しておくべき危険性、業務で効果を生み出す活用方法までお伝えした上で、ワークショップ形式でお客様自身にとって有益なChatGPTの使い方を編み出すプログラムです。
弊社が実際に日々行なっている活用方法をお伝えしたり、コンペを通じて蓄積した危険性に関する知見をお伝えするなど、弊社独自の実践的コンテンツとなっております。
ご関心あれば、是非お声がけください！
Application
Metaが、LLM「Llama2」をオープンソース化して提供開始しました。前のverであるLlamaもオープンソースでしたが、大きな違いが2点あり、注目を集めています。
1点目が、ソースコードだけでなく、ニューラルネットワークの重み付けデータまでオープンソース化された点です。Llamaではデータは研究者向けにだけ提供されていましたが、その制限が取り払われました。2点目が商用利用が可能なライセンスとなった点です。それも一部例外を除き無料というものです。
これを受けて、多くの企業や個人開発者がLlama2を利用したアプリを提供し始めています。
MicrosoftがBingのAIチャットに企業データ保護の機能を加えた「Bing Chat Enterprise」を発表。これまでは、企業データ保護に優れたAzure OpenAI APIを利用したチャットサービスを自前で開発する必要があったが（そのため「法人GPT」サービスが乱立していたが）、今後はその必要もなくなる。
メルカリ、「Mercari ChatGPTプラグイン」の提供を開始
メルカリがChatGPT Pluginを開発。欲しい商品の概要や価格を伝えるだけで、商品をいくつか提案してくれる。
LLMをゲームのNPCの会話機能に実装したり、挙句の果てにLLMにゲームをプレイさせるなど、ゲーム業界でもさまざまなLLM活用事例が報告されており、本記事で紹介。
Technology
Towards Generalist Biomedical AI
Googleが汎用的な生物医学用の生成AI「Med-PaLM M」を発表 。画像、テキスト、ゲノミクスを含む複数モダリティにわたる生物医学ベンチマーク「MultiMedBench」の全てのタスクで特化モデルに匹敵するスコアを出している。
How Is ChatGPT’s Behavior Changing over Time?
「ChatGPTの性能は以前より低下しているのでは？」という、なんとなく感じられている仮説について実際に検証した研究。結論は、確かに下がっているタスクはあり、コード生成や質問解答の一部タスクで10分の１以下の性能となっている。細かい検証記事もこちらに出ている。原因は明らかではなく、人間によるアラインメント学習の影響か、単純により軽量なモデルに置き換えられただけなのか、わからない状況ではあります。
Editor Picks
サイバーエージェントのGitHub CopilotのAnalyticsデータを公開！利用開始から約3ヶ月でエンジニアの生産性は向上したのか？
サイバーエージェントが、コードの自動生成を行うLLM「GitHub Copilot」の活用状況を公開。2023年4月下旬から導入し、現在は500名以上のエンジニアがGitHub Copilotを利用しており、コード推薦の採用率は32.1%。徐々に採用率は上がっており、費用対効果は良いと考えられているとのこと。