java - ニューラルネットワークのバックプロパゲーション:バイアスは無限大に向かいます

java artificial-intelligence

バックプロパゲーションを行うためのニューラルネットワークを取得しました。

非表示レイヤーの重みの更新に次を使用しています

Δwji=η×δj×yi

ここで、δjはφ '(vj)* ejであり、ここでvj =Σiwjiyiであり、出力層の場合はφ'(vj)* sum(δk* wkj)は前の層の場合

ただし、隠れたユニットのバイアスの1つは常に無限大になります。それの意味は何ですか?

編集:

Infinityに行く値は、いくつかのニューロンからの入力値vjであることがわかります。つまり、これの意味は、私のNNは特定のニューロンが常に発火するという事実を補強しているだけなのでしょうか。

また、トレーニング時にこれらの特定の入力に関するさまざまな例がないことを意味するのでしょうか?
答え
逆伝搬学習の収束は、すべての問題およびすべての条件で保証されているわけではありません。たとえば、無限に減少する重み空間にある方向が存在する場合、アルゴリズムは発散する可能性があります。

学習率ηを減らしてみたり(この値が高すぎると、ANNが完全に発散することが多い)、問題のエンコーディングを変更したり、トレーニングセットの種類を増やしたりできます。
関連記事

java - @GeneratedValue(strategy = GenerationType.AUTO)はランダムではありません

java - Linux OSでのシリアルポート通信

java - ダイアログへのonContextItemSelected

c# - JavaリストXMLをC#にインポートする方法

java - 文字列の重複を見つけるための私のプログラムの効率に関する入力が必要

java - maven:同じ2つのアーティファクトを追加しますが、バージョンが異なります

java - Java Scripting Engineクラスのインスタンス化

java - AndroidのようなContextMenu

java - パス文字列がJavaのローカルマシンかリモートマシンかを判別する方法

java - xAuth for Java?