Echo State Network（ESN）について

エイシングのリサーチ＆デベロップメント部でリサーチャーを担当し、制御技術及びAIアルゴリズムの研究開発などに取り組んでいます。

工場や生産プラントでは、現在値だけでは説明しきれない現象が少なくありません。品質や濃度、振動異常は、直前までの入力や状態の積み重ねに左右されるためです。こうした時系列問題に機械学習を用いるとなると、精度の観点から、まずはCNNやTCN、Transformerといったモデルを試すことが多いかと思います。

本記事では、リザバーコンピューティングの代表例であるEcho State Network（ESN）を取り上げます。ESNでは内部の再帰結合を固定し、最後の出力層だけを学習します。ESNは2001年前後に整理され、Liquid State Machine（LSM）と並ぶ初期の代表的なリザバーコンピューティング手法として発展してきました。大規模モデルほどの表現力は期待しにくい一方で、学習時間、実装のしやすさ、再学習のしやすさ、エッジでの扱いやすさは、今でも魅力です。

本記事では、リザバーコンピューティングの考え方を押さえたうえで、その代表例であるEcho State Network（ESN）の構造、設計パラメータ、現場での使いどころ、近年の発展までを紹介します。

あわせて、ESNの基本的な実装と主要パラメータの違いを確認できるColab notebookも用意しています。本文を読みながら実際の挙動を確認したい場合は、以下を参照してください。

• ESNの最小実装
• ESNの主要パラメータ比較

1. リザバーコンピューティングとは何か

リザバーコンピューティングは、入力信号をリザバーとフィルタに通し、その状態を統合して出力を作るという考え方です。入力された時系列は、内部の多数のノードが生み出す高次元のダイナミクスへ写されます。Echo State Network（ESN）では、このリザバーとしてランダムに結合された再帰ネットワークを用います。内部状態には、現在の入力だけでなく過去の入力の影響も残るため、瞬時値だけでは表せない履歴情報を扱えます。こうした入力の影響が内部に残り続ける様子が、貯水面に広がる波紋になぞらえられ、リザバーコンピューティングと呼ばれています。

この手法の要点は、何を学習するかを切り分けている点にあります。通常のRNNでは、入力重み、再帰重み、出力重みをまとめて学習します。これに対してリザバーコンピューティングでは、入力重み、リザバーは固定し、その状態から最終出力を作る出力層だけを学習します。時間方向に誤差をさかのぼらせる重い学習を避けやすいのは、この切り分けによるものです。

2. なぜESNを使うのか

時系列モデリングの候補は、Transformer系、TCN系、LSTM/GRU系、状態空間モデル系まで幅広くあります。ESNが特に候補になりやすいのは、学習を軽く回したい、GPU前提にしたくない、再学習を頻繁に行いたい、推論遅延や実装コストを抑えたいといった条件があるときです。一方で、巨大データで表現学習を強く効かせたい場合や、極端に長い依存関係を扱いたい場合は、深層系列モデルのほうが有利になることがあります。ただし、現場では理論上一番精度の出せるモデルより、制約の中で安定して回せるモデルのほうが価値を持つことが少なくありません。そうした事情を踏まえると、ESNは必要十分な性能をどれだけ軽く出せるかという軸で見たときに、よい選択肢だと考えます。

ESNが扱いやすい理由は単純で、学習において出力層を線形回帰系の手法で更新できることにあります。内部重みを固定してしまえば、基本的に学習で求めるのは出力重み \(W_{out}\) だけです。したがって、学習対象が少なく、再学習やモデル更新を比較的軽く回しやすい点がESNの大きな利点です。

ただし、学習が軽いからといって設計まで簡単になるわけではなく、内部重みを学習しない分、リザバー側が対象に合ったダイナミクスを最初から持っている必要があります。記憶長、非線形性、安定性などを考慮して、スペクトル半径、入力スケーリング、リーク率といったハイパーパラメータを試行錯誤しながら設計しなければなりません。

3. Echo State Network（ESN）の構造

図1: ESNの基本構造

ESNの基本構造は、入力層、リザバー層、出力層の3つです。入力 \(u(n)\) が入ると、リザバー内の多数のノードが再帰結合を通じて状態 \(x(n)\) を更新し、その状態から出力 \(y(n)\) を作ります。図1に示す通り、ESNは、再帰接続を持つ内部ネットワークで状態を更新しつつ、学習対象を出力結合だけに限定する点で、SimpleRNNを単純化したような構造と捉えるとイメージしやすいかと思います。標準的なleaky ESNの更新式は、簡略化すると次のように書けます。

$$
\tilde{x}(n)=\tanh\left(W_{in}u(n) + W x(n-1)\right)
$$

$$
x(n)=(1-\alpha)x(n-1)+\alpha \tilde{x}(n)
$$

$$
y(n)=W_{out}[u(n);x(n)]
$$

式中の記号はそれぞれ以下のような意味を示します。

記号	意味
\(u(n)\in\mathbb{R}^{N_u}\)	時刻 \(n\) の入力ベクトル。\(N_u\) は入力チャネル数
\(x(n)\in\mathbb{R}^{N_x}\)	時刻 \(n\) のリザバー状態ベクトル。\(N_x\) はリザバーサイズ
\(\tilde{x}(n)\)	現在の入力と直前状態から計算する候補状態
\(y(n)\in\mathbb{R}^{N_y}\)	時刻 \(n\) の出力ベクトル。\(N_y\) は出力次元
\(W_{in}\in\mathbb{R}^{N_x\times N_u}\)	入力からリザバーへの重み行列
\(W\in\mathbb{R}^{N_x\times N_x}\)	リザバー内部の再帰結合を表す重み行列
\(W_{out}\in\mathbb{R}^{N_y\times (N_u+N_x)}\)	入力とリザバー状態から出力を作る出力重み行列
\(\alpha\)	リーク率。直前状態と候補状態をどの割合で混ぜるかを決める係数

(※実装では上記に加え、バイアス項、出力フィードバック、出力層の定数項を含めることがあります。)

\(W_{in}u(n)\) は現在の入力がリザバーへ与える寄与、\(Wx(n-1)\) は一時刻前のリザバー状態が再帰結合を通じて戻ってくる寄与を表します。\(\tanh\) はベクトルの各要素に適用される活性化関数です。ここで活性化関数としてtanhを用いているのは、ESNでよく使われる標準的な選択であり、非線形性と安定性のバランスを取りやすいためです。スペクトル半径との関係も含めて挙動を議論しやすいという利点があります。

\(\tilde{x}(n)\) は現在の入力と一時刻前の内部状態から計算した候補状態、\(x(n)\) はそれをどのくらい反映するかをリーク率で調整した実際の状態です。リーク率 \(\alpha\) は、過去の状態をどれだけ保持するかを決め、リザバー自身を速い応答系にするか、遅い応答系にするかを左右する調整パラメータです。

出力層の学習は、標準的な回帰タスクでは最小二乗法、リッジ回帰などで行われます。オンライン適応が必要な場合はLMSやRLSが使われることもあります。ここでは代表例としてリッジ回帰を示します。

$$
W_{out}=Y_{target}X^T(XX^T+\beta I)^{-1}
$$

ここで、学習に使う時刻数を \(K\) とし、各時刻の特徴量を \(z(n)=[u(n);x(n)]\) と置くと、\(X=[z(1),z(2),\ldots,z(K)]\) は特徴量を列に並べた行列です。\(Y_{target}\) は、各時刻で目標とする教師出力を同じ順序で列に並べた行列です。また、\(\beta\) は正則化係数を示しています。

これらの式からも、ESNでは複雑な学習をリザバー内部に持ち込むのではなく、リザバーで時系列の履歴を状態として展開し、その状態から出力を読むという役割分担を取っていることが読み取れます。

次に、設計手順を考える前提になる概念を先に整理します。

4. Echo State Property（ESP）

図2: Echo State Property（ESP）のイメージ

ESNを理解するうえでまず押さえたいのがEcho State Property（ESP）です。直感的には、十分時間が経ったとき、内部状態が初期値ではなく主に入力履歴によって決まる、という性質です。これは、初期条件の影響が時間とともに消えることと捉えると、わかりやすいと思います。

図の式は、同一の入力系列を与え続けると、異なる初期状態から始めたリザバー状態の差が時間とともに 0 に収束することを表しています。

よくある誤解として、内部結合行列 \(W\) のスペクトル半径 \(\rho(W)\) を1未満にすればESPが成り立つとされることがありますが、これは便利な出発点ではあっても、一般には必要十分条件ではありません。とくにleaky ESNでは、挙動は \(W\) 単体ではなく、リーク率を含んだ実効的な再帰の強さに左右されます。さらに、同じリザバーの内部結合行列 \(W\) から計算される最大特異値が1未満である条件は、より保守的な安全側の目安として使えますが、実際の性能最適点をその条件だけで決められるわけでもありません。実務では、ESPを壊さない範囲で、必要な記憶長、非線形性、安定性のバランスが取れる領域を検証で探すという理解が適切です。

ESPに関連してよく出てくる概念に、Edge of Chaosがあります。これは、秩序的なダイナミクスとカオス的なダイナミクスの境界近傍で、計算性能や情報処理能力が高まりやすいという考え方です。ただし、これは動作領域を考えるための補助的な視点と捉えるほうが適切です。実務では、Edge of Chaosそのものを目標にするよりも、ESPを崩さず、十分な記憶と非線形性が得られる領域を検証で探すほうが、安全に設計できます。

5. 設計手順と学習手順

図3: ESNの設計と学習の流れ

ESNでは、乱数でリザバーを作って最後に回帰を解く、という1回の処理だけで十分なモデルができるわけではありません。基本的なESNでは、Echo State Property（ESP）が保たれるように固定リザバーを用意し、その内部状態を利用して出力層だけを学習しますが、リザバーの構造はそのままでよいとは限らず、検証を繰り返してタスクに応じたハイパーパラメータの調整と再設計が必要になります。したがって、一般的なESNの設計と学習は、何を予測・分類するのか、どの時刻の何を教師信号として置くのかを先に定めたうえで、それに合うリザバーを設計し、出力層を学習し、検証を通じて作り直していく反復的な手順として捉えるのが適切です。

5.1 前準備

ESNは入力の履歴を内部状態に写し取るモデルなので、入力時系列の整列は非常に重要です。サンプリング周期がばらばらならそろえ、欠損を処理する、といった前処理は先に済ませます。チャネル間のスケール差が大きい場合は標準化や正規化をしておくと扱いやすくなります。ただし、これは前処理の話であり、ESNでいう入力スケーリングとは別です。入力スケーリングは、通常は入力重み \(W_{in}\) の大きさを調整する設計パラメータを指します。

同時に、リザバーにおいて時定数としてどの程度の過去を覚えていればよいかも考えます。必要な記憶長のおおよその見当から、リザバーサイズやスペクトル半径、リーク率の当たりをつけるという見方は有効です。ESNの設計は結局、過去情報をどれだけ残し、どれだけ非線形に混ぜるかの調整なので、事前に時定数の見当をつけておくことが後のパラメータ選定の土台になります。

5.2 リザバーを設計する

リザバー設計で大事なのは、入力の違いを区別しやすい内部状態を作りつつ、必要な長さだけ過去の情報も残せるようにすることです。過去を長く残しすぎると新しい入力への反応が鈍くなり、逆にすぐ忘れすぎると履歴依存のある問題を扱えません。ESNの設計は、このバランスを対象の時間スケールに合わせて調整する作業だと考えるとわかりやすいです。

実際の設計では、リザバーサイズ、内部結合の疎さ、スペクトル半径、入力スケーリング、リーク率などを決めます。古典的な出発点としては、疎でランダムな \(W\) を作り、そのスペクトル半径を所望の値に合わせてスケーリングする方法です。入力重み \(W_{in}\) もランダムに置きますが、ここで重要なのは乱数そのものより、各入力がどの程度の強さでリザバーに入るかです。入力スケーリングはこの強さを調整するもので、スペクトル半径やリーク率と組み合わさってリザバーの応答を変えます。万能の設定値はなく、タスクの時間スケールと必要な非線形性に応じて決めていく必要があります。

また、ESNの設計は一つの乱数試行で決め打ちするものではないため、主要パラメータの探索は小さめのリザバーで始め、よい設定が見えたらより大きなリザバーへスケールするのが実務的です。さらに、同じパラメータでも乱数シードが変われば性能が多少変動するため、単発の評価を利用しないことも重要です。

5.3 出力層を学習する

ESNでは、リザバーが作る内部状態を特徴量として出力層を学習します。そのため、初期状態の影響が学習に影響を与えないよう、長い系列では先頭区間をウォッシュアウト（washout）として外すことがあります。

回帰タスクでは、リザバーに入力を流して得た内部状態列 \(X\) と教師信号 \(Y_{target}\) を対応づけ、出力重み \(W_{out}\) を学習します。ここは線形回帰として解けますが、実際には単純な最小二乗よりリッジ回帰を使うことが多いです。正則化係数 \(\beta\) を入れておくと、過学習を抑えやすいだけでなく、\(W_{out}\) が過度に大きくなるのを防ぎ、微小な状態の違いに過敏な不安定解を避けやすくなります。

回帰ではリッジ回帰が標準的ですが、分類ではロジスティック回帰などを用いることがあります。また、オンライン適応ではLMSやRLSによる更新がよく使われます。時系列分類では、各時刻の出力をそのまま使うのではなく、時間方向に平均・最大・重み付き和を取って最終判定に使う構成も実務では有用です。

5.4 検証しながら作り直す

ESNでは、出力層の学習が軽いため、リザバーの良し悪しは検証を通じて判断します。実際に出力層を学習して検証誤差を比べながら、どのハイパーパラメータがタスクに合うかを見極める必要があるため、設計と検証を繰り返すことになります。

検証では、誤差だけでなく、内部状態や出力重みの振る舞いも見ます。内部状態がほとんど変化しないなら、入力スケーリングや内部結合が弱すぎる可能性があります。逆に、多くのユニットが飽和していたり自励的な振る舞いが見えたりするなら、入力重みや内部結合が強すぎるのかもしれません。\(W_{out}\) のパラメータが極端に大きい場合も、無理な当てはめになっている兆候です。

また、評価では単一の誤差指標だけでなく、乱数シードを変えたときのばらつき、再学習時間、推論遅延、長時間運用時の安定性も確認する必要があります。

6. 主要な設計パラメータ

ここではESNの調整対象になる主要設計パラメータの役割を整理します。

リザバーサイズ

リザバーサイズ \(N_x\) は内部状態の次元数です。大きくすると、状態表現の次元が増え、より多様な動的特徴を分離しやすくなり、記憶容量の上限も一般に上がりやすくなります。ただし、サイズを増やせば必ず性能が伸びるわけではなく、乱数シード依存のばらつきや過剰自由度も増えるため、検証を伴う選定が必要です。小さすぎると表現力が足りず、大きすぎるとランダム性由来のばらつきや不要な自由度が増えるため、闇雲に増やせばよいパラメータではありません。

スペクトル半径

スペクトル半径 \(\rho(W)\) は、リザバー内部で情報がどの程度残るかに強く関わります。一般に、長い記憶が必要なタスクではスペクトル半径をやや大きめ、短い記憶でよいタスクではやや小さめから試す、という経験則がよく使われます。ただし、leaky ESNでは、記憶特性は \(\rho(W)\) だけでは決まりません。実際の応答速度や記憶長は、リーク率、入力スケーリング、活性化の飽和の程度と強く相互作用します。そのため、\(\rho(W)\) を単独で最適化するのではなく、リーク率とセットで探索するほうが実務的です。

入力スケーリング

入力スケーリングは、入力重み行列 \(W_{in}\) のスケールです。入力が状態更新にどの程度効くかを決めます。小さいと現在入力の影響は弱くなり、大きいと強くなります。強すぎると活性化が飽和し、小さな差が状態に反映されにくくなることがあります。スペクトル半径との兼ね合いによって、現在の入力と内部の履歴のどちらが効きやすいかも変わります。必要なら入力ごとに重みスケールを変えて調整します。

リーク率

リーク率 \(\alpha\) は、内部状態をどのくらいの速さで更新するかに関わる調整パラメータです。\(\alpha\) を小さくすると状態変化はゆっくりになり、大きくすると新しい入力を強く反映しやすくなります。連続時間系との対応で内部時定数に近い量として見ることもできますが、実際の応答速度はスペクトル半径や入力スケーリングとの組み合わせでも変わります。

スパース性

スパース性は、リザバー内部の結合をどの程度まばらにするかを決める設計項目の一つです。古典的なESNでは、リザバー結合を疎なランダム行列にするのが一般的です。主な理由は計算効率で、各ノードの接続数を少数に抑えれば、リザバーを大きくしても更新計算を軽くしやすくなります。実務上はまずリザバーサイズ、入力スケーリング、リーク率、スペクトル半径を優先して詰めることが多いものの、性能が頭打ちになる場合には構造自体も調整対象になります。

正則化

正則化は、出力重みの大きさを抑えて汎化性能を保つためのパラメータです。ESNの出力層は通常リッジ回帰で学習し、正則化係数 \(\beta\) は訓練誤差を下げることと、出力重み \(W_{out}\) を大きくしすぎないことのバランスを取ります。\(\beta\) が小さすぎると、微小な状態差やノイズまで強く増幅する大きな \(W_{out}\) が出やすくなり、過学習や不安定化につながります。逆に大きすぎると出力層が縮みすぎて精度が落ちます。

7. ESNは何が得意で、何が苦手か

ESNが力を発揮しやすいのは、中規模データに対する時系列回帰・分類や、履歴依存のある連続プロセスです。特に、直接測れない状態量を既存センサ群から推定するソフトセンサ、振動・電流・温度・圧力など複数信号の履歴を用いて予測残差にもとづく異常検知や故障クラスの分類を行う用途、少し先の外乱や負荷を予測して監視や制御の補助に生かす用途では、ESNの特性が生きやすいです。精度だけを突き詰めるというより、短時間で学習し直せること、CPUやエッジ計算機で無理なく運用できること、データ量に対して過大なモデルを持ち込みたくないことが重要な現場では、特に候補になります。ソフトセンサのように、説明変数は多い一方で教師データはそれほど大量ではない問題にも適しています。設計上の調整点はありますが、出力層の学習自体は軽量です。

一方で、苦手な点もあります。超長期依存や極めて複雑な表現学習が必要な場合は、より大規模な深層モデルのほうが有利なこともあります。加えて、制御ループへ直接組み込む用途では、予測精度だけでなく、安定性、安全性、遅延まで含めた検証が必要になります。そのため、導入の初期段階では、まず監視補助や外乱予測のような位置づけから使い始めるほうが現実的です。ESNは強力ですが、万能ではありません。

また、ESNは内部のリザバー層を固定してしまう以上、対象に対してリザバーの性質が根本的に合っていないと、出力層だけでは補いきれません。現場導入では、ESNを使うかどうかより先に、その対象が本当に履歴依存を持ち、軽量な時系列モデルの利点が出るかを見極めるほうが大事です。ここを外さなければ、ESNはかなり実務的な選択肢になります。

8. ESNの発展

ここまでは基本的な形のESNについて説明してきました。研究ではこの基本形をそのまま使うだけではなく、いくつかの方向へ発展が進んでいます。大きく見ると、多層化して時間表現を階層化する方向、複数のリザバーを組み合わせて異なる応答性を使い分ける方向、さらにリザバーそのものを自動設計・適応させる方向に整理できます。

8.1 深くするESN

図4: DeepESNの概念図

一つのリザバーだけで、速い揺れにも遅い変化にも同時に対応するのは、簡単ではありません。DeepESNでは、層を重ねることで異なる時間スケールの表現が自然に分化しやすいことが知られています。しばしば下位層は高周波成分に、上位層はより遅い成分に反応しやすい傾向を示しますが、その現れ方は設計によって変わります。単一リザバーで複数時定数を同時に扱いにくいとき、DeepESNは有力な選択肢になります。

しかし、深くすると設計自由度が増えるため、層数や各層のサイズ、リーク率などの調整は難しくなります。そのため、問題がそこまで複雑でなければ通常のESNで十分なことも多いです。単一リザバーの調整だけでは複数の時間スケールをうまく捉えにくいと感じたときには、DeepESNは有力な次の候補になります。

8.2 複数リザバーを使うESN

図5: 複数リザバーを用いるESNの概念図

別の方向として、複数のリザバーを並列に用いて、異なる記憶特性や応答特性を分担させる方法があります。この系統では、速い変化に強いリザバーと遅い変化に強いリザバーを分けて用意したり、構造の異なる複数の小リザバーを組み合わせたりします。層を深く積む方法に比べると、各リザバーを比較的標準的にESNとして扱えるため、どのモジュールにどの役割を持たせるかを設計しやすいという利点があります。

複数リザバーを用いる手法においては、ランダムに作った小リザバーを並べるだけでなく、どのような接続構造にするか、どのように役割分担させるかまで含めて検討されるようになっています。

8.3 リザバーの自動設計

近年のESN研究で特に重要なのは、リザバーの構造や結合をデータに合わせて調整する流れです。従来のESNは、ランダムに初期化したリザバーに大きく依存することから、同じ設定でも乱数シードによって性能が揺れやすく、設計の見通しがやや持ちにくい側面がありました。最近は、入力系列の性質に合わせて重みやリザバーの構造を設計する研究や、可塑性ルールによってリザバー構造を自己組織化させる研究が進んでいます。ここで狙われているのは、単に精度を上げることだけではなく、再現性や設計のしやすさを高めることです。

8.4 物理リザバーコンピューティング

なお、ESNそのものの直接の派生とは少し違いますが、リザバーコンピューティング全体の広がりとして重要なのが物理リザバーコンピューティングです。これは、物理系がもともと持つ非線形応答や短期記憶をそのまま計算資源として利用しようという発想であり、光学系、アナログ回路など、多様な実装が研究されています。この分野の面白さは、センシングと計算を近い場所で行えること、低消費電力のエッジ処理に向くこと、そして従来のデジタル計算とは異なる形で時系列処理を実現できることにあります。

9. まとめ

時系列モデルの選択肢が広がった今でも、ESNはなお有力な選択肢です。Transformer系やTCN系、あるいは状態空間モデルが向く場面は多いものの、履歴はしっかり扱いたいが、学習や運用は重くしたくないという条件では、ESNの利用は十分に現実的です。内部の再帰ネットワークを固定し、出力層だけを学習することで、時系列の履歴を扱う力と、線形回帰ベースの扱いやすさを両立できます。

ただし、軽量だからといって設計まで雑でよいわけではありません。ESPの理解、スペクトル半径への過信を避けること、入力スケーリングやリーク率の調整、乱数シードごとのばらつき確認、ウォッシュアウトの設定、正則化の扱いなど、押さえるべき勘所があります。こうした点を丁寧に見ていけば、ESNはソフトセンサ、異常検知、故障診断、外乱予測といった用途で十分にエッジデバイスに実戦投入できます。

また機械学習モデルの評価においては、精度だけを判断材料にするのは十分ではありません。再学習にかかる時間、データ更新時の手戻りの少なさ、CPUやエッジ計算機で無理なく運用できるかまで含めて判断する必要があります。ESNは精度を突き詰めるモデルというより、短時間で学習と更新し続けられることまで含めて価値を発揮するアーキテクチャです。

---

ここまで、ESNについて、基本構造、設計の勘所、実務での向き不向き、発展の方向性を整理してきました。深層系列モデルが強力な選択肢になった現在でも、学習と運用の軽さを重視する場面では、ESNは十分に検討に値する手法です。

今後もエイシングは、深層モデルだけではなく、ESNをはじめとした軽量モデルも含め、実運用の要件に即したAI技術の活用を進めていきます。

執筆者：S.T. (リサーチ部)

参考文献

[1] Jaeger, H. (2001). The “echo state” approach to analysing and training recurrent neural networks. GMD Report 148, German National Research Center for Information Technology.

[2] Maass, W., Natschläger, T., and Markram, H. (2002). Real-time computing without stable states: A new framework for neural computation based on perturbations. Neural Computation, 14(11), 2531-2560.
https://doi.org/10.1162/089976602760407955

[3] Lukoševičius, M., and Jaeger, H. (2009). Reservoir computing approaches to recurrent neural network training. Computer Science Review, 3(3), 127-149.
https://doi.org/10.1016/j.cosrev.2009.03.005

[4] Lukoševičius, M. (2012). A practical guide to applying echo state networks. In G. Montavon, G. B. Orr, and K.-R. Müller (Eds.), Neural Networks: Tricks of the Trade (2nd ed.). Springer.
https://doi.org/10.1007/978-3-642-35289-8_36

[5] Yildiz, I. B., Jaeger, H., and Kiebel, S. J. (2012). Re-visiting the echo state property. Neural Networks, 35, 1-9.
https://doi.org/10.1016/j.neunet.2012.07.005

[6] Jaeger, H., and Haas, H. (2004). Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication. Science, 304(5667), 78-80.
https://doi.org/10.1126/science.1091277

[7] Gallicchio, C., and Micheli, A. (2017). Echo State Property of Deep Reservoir Computing Networks. Cognitive Computation, 9(3), 337-350.
https://doi.org/10.1007/s12559-017-9461-9

[8] Gallicchio, C., Micheli, A., and Pedrelli, L. (2018). Design of deep echo state networks. Neural Networks, 108, 33-47.
https://doi.org/10.1016/j.neunet.2018.08.002

[9] Qiao, J., Li, F., Han, H., and Li, W. (2017). Growing Echo-State Network With Multiple Subreservoirs. IEEE Transactions on Neural Networks and Learning Systems, 28(2), 391-404.
https://doi.org/10.1109/TNNLS.2016.2514275

[10] Stepney, S. (2024). Physical reservoir computing: a tutorial. Natural Computing, 23(4), 665-685.
https://doi.org/10.1007/s11047-024-09997-y

[11] 田中剛平・中根了昌・廣瀬明. (2021). 『リザバーコンピューティング: 時系列パターン認識のための高速機械学習の理論とハードウェア』. 森北出版.

---

メルマガ登録

ダウンロード資料、ブログ更新、セミナー・イベント情報をはじめ、製造業×AIに関する最新情報や現場改善のヒントを、定期的にお届けします。メルマガへの登録は以下フォームよりお申込みいただけます。