大規模言語モデル(LLM)の基盤となる、グーグルで開発されたディープラーニング(深層学習)のアーキテクチャのことです。
このTransformerによって、従来の深層学習で用いられてきた「RNN(再帰型ニューラルネット)」や「CNN(畳み込みニューラルネット)」では難しかった長文の理解や並列処理を、効率よく・高精度に実現することができるようになりました。
従来のRNN(再帰型ニューラルネット)は「文章を1単語ずつ順番に読む」処理が必要で、長い文脈を保持することができませんでしたが、Transformerは「どの単語が他のどの単語と関係しているか」を並列に処理しながら見るという「Attention(注意機構)」を使うことで、文全体の意味を同時に把握することができるようになったのです。
このTransformerが登場したことで機械翻訳・要約・文章生成などの精度が大きく向上し、現在のChatGPTやGeminiなどの生成AIツールができるようになりました。
【関連ワード】
「選ばれる理由」が見えるから新たな価値が生み出せる
DAYS GRAPHY(デイズグラフィ)
生成AIを使って顧客像を描き出し、購買場面を把握することで顧客理解を深める仕組みをご紹介します。
