バイアス項Bias Term
入力に関わらず常に加わる基本値
- バイアス項は入力が何であっても常に加わる基本値です。重みのように何かに掛けられるのではなく、そのまま一度乗るだけです。
- 役目はしきい値をずらすことです。基本値が大きければ少し入っただけでオンになり、小さければ強く入らないとなかなかオンになりません。
- バイアス項がないと、ニューロンは入力がすべて0のとき必ず0を出さなければなりません。表現できる判断の幅がその分狭くなります。
- ニューロンごとに一つずつ付きます。数は重みよりずっと少ないですが、なければ学習が目に見えて遅くなります。
- 名前はバイアスですが、差別やデータの偏りを指すバイアスとは別の言葉です。計算に乗せる定数にすぎません。
目次
1たとえで理解する
タクシー料金は、ドアを開けて座った瞬間からすでに決まった金額で始まります。一ブロックだけ進んでも、信号待ちでその場に止まっていても、初乗り運賃はかかります。その上に走った距離の分だけ料金が加わっていきます。
この初乗り運賃は、料金全体をまるごと上下にずらすつまみです。深夜割増で初乗りが上がれば、同じ距離を走っても料金は一段高いところから始まります。3,000円という予算を決めて乗るなら、初乗りが高い日には少し走っただけで予算を超え、安い日にはかなり遠くまで行って初めて超えます。距離あたりの料金はそのままなのに、超える地点だけが前後にずれるわけです。
バイアス項はまさにこの初乗り運賃です。入ってきた値に掛けられる重みが距離あたりの料金だとすれば、バイアス項は何も乗らなくても付いている出発金額です。ニューロンがオンになる地点を前に引くか後ろに押すかを担っています。
2くわしく
掛けずに足すだけです
ニューロンは入ってきた値それぞれに重みを掛けてすべて足したあと、最後にバイアス項をもう一度足します。ほかの数字と違い、バイアス項には対になる入力がありません。いつも一人で乗ります。
だから入力がすべて0の状況でも、ニューロンは0でない値を出せます。バイアス項がなければ、何の信号も入ってこないときの結果は必ず0になり、ニューロンが作れる判断の形が原点を通るものだけに縛られてしまいます。
しきい値を前後に押すつまみ
活性化関数にはオンになる基準線があります。この基準線自体は関数が決めていて変わりません。代わりにバイアス項が入ってくる値をまるごと上か下にずらして、基準線を超えやすくも超えにくくもします。
バイアス項を大きく取ると、そのニューロンはちょっとした信号にもよく反応する敏感な検出器になります。逆に大きな負の値を取ると、めったなことでは反応しない気難しい検出器になります。同じ層の中でもニューロンごとにこの基本値が違うので、あるニューロンはよくある信号に、あるニューロンはまれな信号にだけ反応するよう役割が分かれます。
なければ学習が難しくなります
バイアス項を抜いてもモデルは動きます。ただし、すべての判断境界が原点を通らなければならないという制約が生まれます。データが原点から遠く離れたところに集まっていると、モデルは境界を動かせないまま重みだけを無理に大きくして合わせようとします。その結果、学習が遅くなり値も不安定になります。
バイアス項を一つ足すだけでこの問題は消えます。境界をまるごと動かせるので、重みは向きと傾きだけを担えばよくなります。バイアス項の数はニューロンの数だけなので全体のパラメータに占める割合はごくわずかですが、ほとんどのモデルがあえてこの値を置いている理由です。
学習でともに調整されます
バイアス項も重みとまったく同じ学習の対象です。最初は0かごく小さな値から出発して、正解とのずれの分だけ少しずつ動かされます。人があらかじめ決めるハイパーパラメータではなく、モデルが自分で見つけていく値です。
学習が終わったモデルを開いてみると、バイアス項がニューロンごとにばらばらなのがわかります。ある値は大きな負の数で、そのニューロンがほとんどの入力に沈黙していることを意味し、ある値は正の数で、いつもある程度オンになっていることを意味します。
バイアス項が外れる場所もあります
層ごとに値の大きさをそろえる仕組みを一緒に使う場合には、バイアス項を省くこともあります。その仕組みがすでに値をずらす役目を担っているので、バイアス項を別に置くと同じことを二度することになるからです。
巨大な言語モデルでは、計算を少しでも減らそうと一部の層のバイアス項をあえて外すこともあります。外したほうが性能の差はほとんどないまま計算が軽くなったという実験結果が積み重なっているためです。基本値は常に必須というわけではなく、その役目を代わりに担う仕組みがあれば場所を譲ることもあります。
3もう少し正確に
バイアス項は、ニューロンの計算に加わる定数です。直線の式で見ると、傾きを決めるのが重み、縦軸と交わる地点を決めるのがバイアス項なので、切片とも呼ばれます。学習の過程で重みと並んで調整され、ニューロン一つに一つずつ付きます。
タクシー料金のたとえがずれる点もあります。初乗り運賃はいつも正の値ですが、バイアス項は負の値になることがとても多いです。むしろ負のバイアス項は、ニューロンをほとんど沈黙させ強い信号にだけ反応させる仕組みとしてよく使われます。また料金は人が政策で決めますが、バイアス項はデータに応じて自然に決まります。
名前のせいで生まれる混同も押さえておく必要があります。学習データが一方に偏り特定の集団に不利な答えを出す問題も日本語でバイアスと呼びますが、それはデータや社会に関する話で、ここでいうバイアス項は計算式に乗せる数字一つです。英語でもどちらの場合も同じ単語を使うため、文脈で見分ける必要があります。
4やってみる
5よくある誤解
バイアス項がデータの偏りを指すバイアスと同じものだと思われがちですが、実際には計算に加わる定数にすぎず、名前が同じだけです。
バイアス項はあってもなくてもよい値だと思われがちですが、実際には判断境界を動かす唯一のつまみなので、抜くと学習が目に見えて難しくなります。
バイアス項も入力に掛けられると思われがちですが、実際には対になる入力なしに最後に一度足されるだけです。
7ひとこと要約
つまりバイアス項は入力に関わらず常に加わる基本値で、ニューロンがオンになるしきい値を前後に押す役目を果たします。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02