PR
PR
LLMとは
LLMは、大量の自然言語テキストを読み込んで学習した、ニューラルネットワーク型の言語モデルです。文章の理解や生成、要約、校正、翻訳、対話などをこなします。利用者の指示に合わせて文章を作る、生成AIの代表例として用いられます。
仕組みの要は、続く語を確率で予測して文を組み立てることです。文の一部を隠して当てる自己教師あり学習で、テキストのパターンを自力で獲得します。現在はTransformerが主流で、アテンションで文脈の要点に重み付けし、並列計算で効率よく学習できます。代表例にBERTやGPTがあります。
規模はパラメータ数で表され、数億〜数百億が一般的です。大きいほど表現力は増しますが、計算資源も多く要ります。LLMは人の言葉を扱う基盤として、検索支援や文書作成、要約、質問応答、コード補助まで幅広く役立ちます。
