の発表があった。ストロベリーOpenAIが発表した「Strawberry」は、言語モデルの基本的な限界にスポットライトを当てた。この弱点は、言語モデルがどのように機能するかについて、深い側面を明らかにしている。

カウントの問題

ChatGPTが'strawberry'という単語の'r'を数えるように指示されると、モデルはしばしば間違える。この間違いは知性の欠如からではなく、言語モデルがテキストを分析する方法から生じている。その理由を理解するには、次の概念を知る必要がある。 トークン化.

トークンから見える世界

言語モデルは単語を文字の並びとしてではなく、「トークン」、つまり意味の単位を数字に変換したものとして捉える。それは、各単語が数値コードに置き換えられた本を読むようなものだ。たとえば「schoolbooks」という単語は、「school」と「books」という2つのトークンに分割される。これは、モデルがこの単語の'o'を正しく数えるのに苦労する理由を説明する。

示唆に富む例

学校」という単語が常に「412」という数字で表される言語を学ぶことを想像してみてほしい。412'には'o'がいくつあるかと聞かれても、私たちはその単語を一度も見たことがなければ、正しく答えることはできないだろう。言語モデルも似たような状況にある。言葉の文字通りの構成にアクセスすることなく、数字を通して意味を処理するのだ。

複合語への挑戦

複合語の場合、問題はさらに悪化する。Timekeeper」は別々のトークンに分割されているため、モデルが「and」の正確な位置を判断することが難しくなっている。この断片化は文字カウントだけでなく、単語の内部構造の理解にも影響する。

イチゴ問題の解決策（たぶん）

この将来のOpenAIモデル「Strawberry」は、テキスト処理に革新的なアプローチを導入することで、この制限を克服する必要がある。伝統的なトークン化だけに頼るのではなく、個々の文字のレベルで単語を分析し、より正確なカウントと分析操作が可能になるはずだ。

将来への影響

この問題の重要性は、単純な文字カウントにとどまらない。このきめ細かな分析能力は、AIモデルの言語理解を大幅に向上させ、文字レベルでの詳細なテキスト分析を必要とする問題に取り組むことを可能にする。

この技術の統合は、統計的なパターンだけでなく、言語の基本的な詳細について「推論」できる言語モデルの方向性において、大きな前進となるだろう。

‍