「活性化関数」の解説 〜 ITパスポート R5年 問91 〜

活性化関数とは、AI／機械学習のニューラルネットワークにおいて、あるニューロンから次のニューロンへの出力過程において、入力された数値を特定の方法で変換し、その結果を出力する関数のことです。

活性化関数とは？

あわせて読みたい

「ニューラルネットワーク」の解説〜ITパスポート R5年 問74〜 ニューラルネットワークとは、人間の脳内にある神 経細胞（ニューロン）とその繋がり、つまり、神経回路網を人工ニューロンという数式的なモデルで表現したものです。 ...

活性化関数の役割

活性化関数（activation function）は、ニューラルネットワークにおけるニューロンと呼ばれる情報処理単位で、入力を処理して出力を決定する関数になります。ニューロンは、生物学における脳神経細胞を模倣したもので、複数の入力を受け取り、それらを重み付けして合計します。そして、活性化関数を通すことで、最終的な出力を生成します。

なお、活性化関数の主な役割は以下の3つが挙げられます。

1. 非線形性を導入する：線形な変換だけでは、入力と出力の関係を正確に表現できない複雑なタスクも存在します。活性化関数は、非線形な変換を導入することで、こうした複雑な関係を表現することができます。
2. 学習を可能にする：ニューラルネットワークは、入力と出力の関係を学習することで、未知のデータに対する予測を行うことができます。活性化関数は、ニューラルネットワークのパラメータを更新していく学習プロセスにおいて、重要な役割を果たします。
3. 情報の伝達を制御する：活性化関数を用いることで、どの情報が重要なのかを判断し、その情報だけを次の層へ伝達することができます。

活性化関数の種類は様々ですが、それぞれ異なる性質を持ち、ニューラルネットワークの性能に影響を与えます。そのため、適切な活性化関数を選択することは、学習の精度や効率を左右する重要な要素となります。

代表的な活性化関数の種類

ここでは、代表的な活性化関数の種類を紹介していきます。

シグモイド関数

シグモイド関数（sigmoid function）は、入力値を0から1の間に変換する関数になります。生物学における神経伝達物質の放出確率を表現するために用いられたことから、この名前が付きました。シグモイド関数は、二値分類タスク（例：画像が猫であるかどうかの判別）によく用いられます。

ハイパーボリックタンジェント関数

ハイパーボリックタンジェント関数（hyperbolic tangent function）は、シグモイド関数と似ていますが、出力値が-1から1の間に変換されます。シグモイド関数よりも緩やかなカーブを持つため、勾配消失問題が発生しにくく、学習が安定しやすいという特徴があります。

ReLU関数

ReLU関数（Rectified Linear Unit function）は、入力値が0以下の場合は0、0より大きい場合はそのまま入力値を出力する関数です。近年、最も一般的に用いられている活性化関数の一つであり、計算が速く、勾配消失問題が発生しにくいという特徴があります。

Leaky ReLU関数

Leaky ReLU関数（Leaky Rectified Linear Unit function）は、ReLU関数に改良を加えた関数です。入力値が0以下の場合でも、微小な値を出力することで、勾配消失問題を完全に抑制することができます。ReLU関数よりも性能が向上することが多く、近年注目を集めています。

クリアデスクに関する問題（令和5年問91）

AIに利用されるニューラルネットワークにおける活性化関数に関する記述として適切なものはどれか。

　ア.  ニューラルネットワークから得られた結果を基に計算し，結果の信頼度を出力する。

    イ.  入力層と出力層のニューロンの数を基に計算し，中間層に必要なニューロンの数を出力する。

    ウ.  ニューロンの接続構成を基に計算し，最適なニューロンの数を出力する。

    エ.  一つのニューロンにおいて，入力された値を基に計算し，次のニューロンに渡す値を出力する。

出典：令和5年度  ITパスポート試験公開問題 問91

正しいと思う選択肢をクリックしてみてください！！！