Transformerとは
現在の大規模言語モデルの土台となっているニューラルネットワークの構造。
解説
Transformer は、文中の離れた単語どうしの関係を効率よく捉える「アテンション（注意機構）」を中心にした構造です。これにより、長い文脈を踏まえた高精度な言語処理が可能になり、現在の大規模言語モデルのほとんどがこの構造を基礎にしています。並列計算がしやすく、大規模な学習に向いている点も普及の理由です。
試験での出方
Transformer が現在のLLMの基礎であること、アテンションが文中の関係を捉える仕組みであることが問われます。