T-Square v c c 1 From AutoEncoder?...x: input image De(・) : Decoder En(・) : Encoder m: Minibatch...

1
少数不良品サンプル下における深層学習による 正常モデル生成と異常品検出 工学部 電気電子情報工学情報コース 加藤 邦人 [email protected] アイデア 不良品が少ない状況において,有効なDeep Learningを用いた外観検査手法 AAE(Adversarial AutoEncoder)による正規分布に従う低次元特徴量の抽出 抽出された正規分布特徴から異常度を算出,異常度に対して1次元のしきい値設定 Adversarial AutoEncoder 特徴抽出に用いられるAutoEncoderがベースモデル AutoEncoderに敵対的学習を組み込んだ枠組み 抽出する特徴量を任意の分布に従わせることができる Training Reconstruction phase 入力をうまく再構成できるようにMSEを最小化するようにAutoEncoderを更新 Regularization phase 対象の分布由来なのか,AutoEncoder由来なのかを Discriminatorがうまく識別できるようにDiscriminatorを更新 Discriminatorを騙すように,抽出する特徴を 対象の分布からサンプリングされたようなベクトルに近づけるようにEncoderを更新 2 1 2 1 m i AE En De L i i x x m i i m i i Dis En D m D m L 1 1 ))) ( ( 1 log( 1 ) ( log 1 x z m i i En En D m L 1 ))) ( ( log( 1 x Hotelling’s T-Square 正規分布に従っているデータに対して強力な異常検知手法 平均μ と分散Σ から未知データの異常度マハラノビス距離)を推定 異常度は,サンプル数が特徴次元数より圧倒的に大なら,カイ2乗分布に従う Convolutional Layer Pooling Layer Upsampling Layer Reshape & FC 実験 しきい値 98%は正常と認める 2%しか出てこない製品は 異常品だろう x : input image De() : Decoder En() : Encoder m : Minibatch size z : noise vector D () : Discriminator μ x Σ μ x Σ μ x x 1 ) , | ( ln T N a 未知データx’に対する 異常度 マハラノビス距離 x : training data μ : mean vector Σ : covariance matrix x’ : unknown data 正常データ 異常データ 異常度が小さいデータ 異常度が大きいデータ 抽出された 1~4次元目の特徴 ROC曲線 AUC: 91.9% 白米データセット 29164枚の白米データセット 6%ほどの異常が含まれている 64✕64のグレースケール画像 16次元の標準正規分布 MNIST 正常データ”0” (4950枚) 異常データ”1” (10, 100枚) 2次元の標準正規分布 正常品:圧倒的に多い 異常品:少ない Dataset AAEによる 正規分布特徴抽出 Hotelling’s T-Square を用いた異常検知 正常 異常 異常 異常10枚 異常100枚 赤円は,異常の見逃しが0となるようなしきい値 x x x T a μ : o 零ベクトル Σ : I 単位行列 標準正規分布の際の 異常度 原点からのユークリッド距離 Dataset 異常10枚 Hotelling’s T-Square を適用 Input From distribution? From AutoEncoder? Input Output Encoder Decoder Discriminator 正常品画像 正常品画像 特許出願中 [email protected]

Transcript of T-Square v c c 1 From AutoEncoder?...x: input image De(・) : Decoder En(・) : Encoder m: Minibatch...

Page 1: T-Square v c c 1 From AutoEncoder?...x: input image De(・) : Decoder En(・) : Encoder m: Minibatch size z: noise vector D (・) : Discriminator x x x x v c c c c 1 ln ( | , ) T a

少数不良品サンプル下における深層学習による正常モデル生成と異常品検出工学部 電気電子・情報工学科 情報コース 加藤 邦人

[email protected]

アイデア

不良品が少ない状況において,有効なDeep Learningを用いた外観検査手法

AAE(Adversarial AutoEncoder)による正規分布に従う低次元特徴量の抽出

抽出された正規分布特徴から異常度を算出,異常度に対して1次元のしきい値設定

Adversarial AutoEncoder

特徴抽出に用いられるAutoEncoderがベースモデル

AutoEncoderに敵対的学習を組み込んだ枠組み

抽出する特徴量を任意の分布に従わせることができる

Training

Reconstruction phase

入力をうまく再構成できるようにMSEを最小化するようにAutoEncoderを更新

Regularization phase

対象の分布由来なのか,AutoEncoder由来なのかを

Discriminatorがうまく識別できるようにDiscriminatorを更新

Discriminatorを騙すように,抽出する特徴を

対象の分布からサンプリングされたようなベクトルに近づけるようにEncoderを更新

2

12

1

m

i

AE EnDeLii

xx

m

i

i

m

i

iDis EnDm

Dm

L11

)))((1log(1

)(log1

xz

m

i

iEn EnDm

L1

)))((log(1

x

Hotelling’s T-Square

正規分布に従っているデータに対して強力な異常検知手法

平均μ と分散Σ から未知データの異常度(マハラノビス距離)を推定

異常度は,サンプル数が特徴次元数より圧倒的に大なら,カイ2乗分布に従う

Convolutional Layer Pooling Layer Upsampling Layer

Reshape & FC

実験

しきい値

98%は正常と認める

2%しか出てこない製品は

異常品だろう

x : input image

De(・) : Decoder

En(・) : Encoder

m : Minibatch size

z : noise vector

D (・) : Discriminator

μxΣμx

Σμxx

1

),|(ln

T

Na

未知データx’に対する異常度

マハラノビス距離

x : training data

μ : mean vector

Σ : covariance matrix

x’ : unknown data

正常データ 異常データ

異常度が小さいデータ

異常度が大きいデータ

抽出された

1~4次元目の特徴

ROC曲線

AUC: 91.9%

白米データセット

29164枚の白米データセット

6%ほどの異常が含まれている

64✕64のグレースケール画像

16次元の標準正規分布

MNIST

正常データ”0” (4950枚)

異常データ”1” (10, 100枚)

2次元の標準正規分布

正常品:圧倒的に多い

異常品:少ない

Dataset

AAEによる

正規分布特徴抽出

Hotelling’s T-Square

を用いた異常検知正常

異常異常

異常10枚 異常100枚

赤円は,異常の見逃しが0となるようなしきい値

xxx Ta

μ : o 零ベクトル

Σ : I 単位行列

標準正規分布の際の異常度

原点からのユークリッド距離

Dataset

異常10枚

Hotelling’s T-Square

を適用

In pu tFrom d istr ib u tion ?

From Au toEn coder?

In pu t Ou tpu tEn coder Decoder

Discr im in a tor

正常品画像 正常品画像

特許出願中 [email protected]