IT用語入門：再帰的ニューラルネットワーク【過去の状態を活かす時系列に強い学習モデル】

再帰的ニューラルネットワークとは

再帰的ニューラルネットワーク（RNN）は、前の時点の内部状態を持ち回しながらデータを順番に処理するディープラーニングのモデルです。過去の情報を参照できるため、文章、音声、株価などの時系列データのパターンを捉えるのが得意です。

従来の全結合ネットワークは各入力を独立に扱うため、前後関係を反映しづらい弱点がありました。RNNは時刻t−1の中間層（隠れ状態）を、時刻tの計算に再利用します。これにより、直前の文脈を次の判断に生かせます。

一方で、系列が長くなると勾配が消えたり膨張したりし、昔の情報が学習に届きにくくなる長期依存性の問題が起きます。これを補うために、不要な情報を忘れ、重要な情報を通すゲートを備えたLSTMやGRUといった拡張モデルが広く使われます。

RNNの役割は、順序や文脈を考慮した予測や生成を実現することです。短〜中程度の文脈を扱う自然言語処理、音声認識、時系列予測などで基礎技術として活躍します。