WU Ë ¨© © ? ¸ 8 v Ç ó ¬ s ö ¦ ¦ ¸ î² C o \ } ¤ ¥ ô ó ò V z Þ ê s u } ó ñ í...

1
6 6 宇宙船ＡＩ ～強化学習に挑む～ 福井県立高志中学2年 森本 新太郎 ポイント② １．これまでの研究 【オセロＡＩ①】 アルゴリズムＡＩ 手動でデータ分析 【オセロＡＩ②】 パーセプトロンによる機械学習 データ分析を自動化 【オセロＡＩ③】 ニューラルネットワーク による機械学習 +独自の アルゴリズム ●●● ●● ● ● ●●● 〇〇● 〇 機械学習ができる独自のアルゴリズムを設計できた データ分析の精度を高めることができた。 教師データなしで学習する強化学習ＡＩを設計する。 ランダムフォレストを用いた強化学習を作る。 回帰木は難易度が高いので、分類木を使った決定木を作る。 ステージの状態を毎フレーム８項目で評価し、 データを蓄積する。 （１）データをためる 初めからＡＩが宇宙船を動かすことも可能だが、実験の効率を上げるため、 最初に人が操作したデータをためる。 ８項目の要素を設定する 1 2 3 4 5 6 説明変数 （２）決定木を作る 全データ ランダムに油出し て、毎回データ数 を一定にする サンプルデータ 1 説明変数 ＞または＜ ランダムな数 >01 ×100 >52 >24 <99 サンプルデータ 不純度を 求める 0.32 0.15 0.005 0.9 不純度が最も0に近い ノードの候補を選ぶ ノードの 候補 0.005 決定木のルートノード （最初のノード）にする サンプルデータ ルートノードの条件に合うデータのみを サンプルデータから油出する 絞り込んだサンプルデータ このデータを使って再度 ノード候補、不純度を求め直し、 次のノードを決める >51 4＞24ではない サンプルデータ 条件は 4＞24かつ3＞5な サンプルデータ と を使用し、同じように ノードを作り、並べていく ※ 先にノードを作らない場合、使ったサンプルデータの中で、最も多い方向を選別する。 （３）決定木に沿って動く 作った決定木をフローチャートの要領で進んでいき、先にノードの続かないところに到達したら、 そこで選別された方向がその決定木の予想する方向となる。 ※ 不純度が0で、使用したサンプルデータをその条件で、目的変数0か1で完全に分けられる場合か、ノードの数が規程の20個に達した場合、その先にノードは作らない。 4>54 3>84 2<34 5<85 4>4 決定木① ↑ 決定木② → 決定木③ ↑ 決定木の出した方向の多数決をとり、最終的に動く方向を決める。 6 ・データをためてもステージの端によってしまい、 出てくる隕石を避けれず当たってしまうことが多く、 思うような結果が出せなかった。 ・データ数が600の時と、6000の時の、避け続けた フレーム数を比較すると、それぞれ100、103となり、 データが増えてもほとんど変化はなかった。 ・実験中、始めは隕石が迫っても、隕石の方に動い たり、動かずにとどまっていたりして、すぐにぶつ かっていたが、学習が少し進むと、自機に近づいて くる隕石を、方向転換して避ける動作が、ほぼ毎回 みられた。 ポイント① データの蓄積 ① ブーストラップサンプリング 1 自機のステージ中心との距離 隕石Aの自機との距離 3 隕石Aの進行方向と隕石から 見た自機の角度の差 4 隕石Bの自機との距離 5 隕石Bの進行方向と隕石から 見た自機の角度の差 7 隕石にぶつかった かどうか ぶつかったときの 評価値 2 ② ランダムにノード （決定木の分岐条件）の候補を作る ③ 各ノード候補の 不純度を求める ④ ノードを決める ⑤ サンプルデータの絞り込み ⑥ 次のノードを決める（②～⑤を繰り返す） ⑦ 決定木を作る 5>8 1<99 2>24 2>25 5<24 1<4 2<98 1>15 3<3 5<87 不純度は、ノードの有用性を、 評価する値で、条件で、データ を目的変数0か1に分割できるも のの値が0に近くなる 8 この決定木の 予測する方向 始めに人がデータを 取った時と同じように 8種類のデータを取り、 隕石にぶつかるまで これを繰り返す。 ↑ オセロ対戦ＡＩの設計を通して、 機械学習の研究を積み重ねてきた。 ５． 研究考察 ４．研究結果 成果 課題 ステージの端からランダムに出てくる隕石を、 宇宙船を動かして避ける、弾幕ゲームを作る。 ＡＩは、宇宙船を8方向に 動かすことができる。 ２．研究の概要 1フレーム → 0.1秒 ポイント② 決定木の作成 データをとる→決定木にそって動く→増えたデータを使って決定木を更に強化する。 以上を繰り返し、学習後の宇宙船の動きを評価する。 ３．研究のポイントについて 目的変数 6 自機の動いた方向 演題番号 ４２ <過学習について＞ ブーストラップサンプリングにより、各決定木がそれぞれ違う方向を示していたため、過学習は防げていると思われる。 研究結果から、データの数は学習に大きく影響はせず、データのとり方などが大切だと分かった。 ランダムフォレストなどの、基本的な仕組みはできたが、データの中で方向が偏ってしまっていたため、取る説明変数の種類に改善の余地があると思う。 ＜説明変数の取り方＞ 今回は、決定木で、最終的に8方向を出すＡＩだったが、隕石に当たらない空間を探し出し、そこに向かって動くようにするなどの方法が考えられる。 説明変数は、今回距離と角度だったが、それを隕石同士の位置関係や、自機の座標にするなど、改善することができると思う。 ＜これまでの研究を通して＞ これまでの研究で、パーセプトロンやニューラルネットワーク、ランダムフォレストについて学んで、ＡＩを使う用途に合わせて、これらの手法を適切に選択すること が大切だと分かった。また、今回の研究をとおして、そういった手法だけでなく、ＡＩに取り込む説明変数などのデータの種類なども同じように大切だと分かった。これ からＡＩを開発することがあれば、それらも大切にしたい。 ①～⑤を繰り返し、 決定木を複数作る ⑧ 繰り返す ＜７８ 0 54 15 31 14 54 1 0 0 1 64 11 64 58 28 5 0 0 2 31 6 7 14 65 8 0 0 52 55 91 41 15 25 3 0 0 53 48 34 82 25 48 1 0 1 54 73 87 37 26 17 4 1 2 73 54 72 73 58 21 7 1 18 74 46 24 47 73 97 3 1 19 75 38 98 54 95 84 1 1 20 76 5 71 26 18 51 3 0 0 ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ 6 1 3 4 5 7 8 2 ぶつかる直前の２秒前までの を1とするため、75フレームで、 ぶつかり、54フレームまでを１にする。さらにその２秒間の間でも、 1～20の評価をつける。（ ）76からは２ゲーム目となる。 8 7 5 1 4 1 >01 >52 >24 <99 5 1 4 1 >24 4 >24 4 >24 4 >24 4 3 >24 4 >51 3

Transcript of WU Ë ¨© © ? ¸ 8 v Ç ó ¬ s ö ¦ ¦ ¸ î² C o \ } ¤ ¥ ô ó ò V z Þ ê s u } ó ñ í...

  • 6

    6

    宇宙船ＡＩ～強化学習に挑む～ 福井県立高志中学2年森本新太郎

    ポイント②

    １．これまでの研究

    【オセロＡＩ①】

    アルゴリズムＡＩ

    手動でデータ分析

    【オセロＡＩ②】

    パーセプトロンによる機械学習

    データ分析を自動化

    【オセロＡＩ③】

    ニューラルネットワーク

    による機械学習

    +独自の

    アルゴリズム● ● ●● ● ●●

    ● ● ●〇 〇 ●〇

    機械学習ができる独自のアルゴリズムを設計できたデータ分析の精度を高めることができた。

    教師データなしで学習する強化学習ＡＩを設計する。

    ランダムフォレストを用いた強化学習を作る。

    回帰木は難易度が高いので、分類木を使った決定木を作る。

    ステージの状態を毎フレーム８項目で評価し、

    データを蓄積する。

    （１）データをためる 初めからＡＩが宇宙船を動かすことも可能だが、実験の効率を上げるため、最初に人が操作したデータをためる。

    ８項目の要素を設定する

    1

    23

    45

    6

    説明変数

    （２）決定木を作る

    全データ

    ランダムに油出し

    て、毎回データ数

    を一定にする

    サンプルデータ

    1

    説明変数

    ＞または＜ランダムな数

    >01

    ×100

    >52

    >24

    51

    4＞24ではないサンプルデータ

    条件は

    4＞24かつ3＞5なサンプルデータ

    と を使用し、同じように

    ノードを作り、並べていく

    ※ 先にノードを作らない場合、使ったサンプルデータの中で、最も多い方向を選別する。

    （３）決定木に沿って動く作った決定木をフローチャートの要領で進んでいき、先にノードの続かないところに到達したら、

    そこで選別された方向がその決定木の予想する方向となる。

    ※ 不純度が0で、使用したサンプルデータをその条件で、目的変数0か1で完全に分けられる場合か、ノードの数が規程の20個に達した場合、その先にノードは作らない。

    4>54

    3>84 28

    124

    2>25 5244

    >244

    3

    >244

    >513


preneel blockchain leuven18v · 2018. 6. 22. · o } l Z ] v í ì í W } ( X W v o î ì i µ v ] î ì í ô ð í ï W µ Ì Ì o ~ o } ] i , Z ( µ v ] W í r ] Z ] v P ( µ v

preneel blockchain leuven18v · 2018. 6. 22. · o } l Z ] v í ì í W } ( X W v o î ì i µ v ] î ì í ô ð í ï W µ Ì Ì o ~ o } ] i , Z ( µ v ] W í r ] Z ] v P ( µ v

v v u v ] v P µ } ] s ZhD Z< - TOOLS · 2020. 4. 3. · í ì ì î í ô ð^d >>/E & î ð rdZ í U ñDD í ì ìD í ñ U ô í l 'hEE K í ì ì î í ô ñ^d >>/E

v v u v ] v P µ } ] s ZhD Z< - TOOLS · 2020. 4. 3. · í ì ì î í ô ð^d >>/E & î ð rdZ í U ñDD í ì ìD í ñ U ô í l 'hEE K í ì ì î í ô ñ^d >>/E

d Z ( o ] o · WW ZdD Ed U í õ 'h>h K^d ' Z > E UW XK r KE ^dZ d W X^ r hZdK> í ó î µ } o o d Z ( o ] o ( í ð î ñ l î ò l î ì î ì í ò l í l, l í ô /W> / Z/E ',K^,

d Z ( o ] o · WW ZdD Ed U í õ 'h>h K^d ' Z > E UW XK r KE ^dZ d W X^ r hZdK> í ó î µ } o o d Z ( o ] o ( í ð î ñ l î ò l î ì î ì í ò l í l, l í ô /W> / Z/E ',K^,

t À v î } l } î ì í ó } P o ] v P À v ] À v ] i Ì } v À ... · í t À v î } l } î ì í ó } P o ] v P À v ] À v ] i Ì } v À ] o ] P Z ] ~ X^ X ï í X í ì X î

t À v î } l } î ì í ó } P o ] v P À v ] À v ] i Ì } v À ... · í t À v î } l } î ì í ó } P o ] v P À v ] À v ] i Ì } v À ] o ] P Z ] ~ X^ X ï í X í ì X î

2020-04-22' CORONAGIDS PC 112 en PSC 149 02-04 · >/ ~w í í î v w^ í ð õ x ì î r ì ð 3oddwv hhq suhyhqwlhvfkhup rs gh edolh phw do gdq qlhw hhq grrujhhioxln 'h edolhphghzhunhu

2020-04-22' CORONAGIDS PC 112 en PSC 149 02-04 · >/ ~w í í î v w^ í ð õ x ì î r ì ð 3oddwv hhq suhyhqwlhvfkhup rs gh edolh phw do gdq qlhw hhq grrujhhioxln 'h edolhphghzhunhu

Swing - Doshishamikilab.doshisha.ac.jp/.../swing_semi/swing_semi.pdfSwing -éJÖ! -ê-ë ìÄ * Swing - - }í î - ï ð {»- VisualEditor ç ~ éÖ! ñê ë 2 Swing òu Swing | Sun

Swing - Doshishamikilab.doshisha.ac.jp/.../swing_semi/swing_semi.pdfSwing -éJÖ! -ê-ë ìÄ * Swing - - }í î - ï ð {»- VisualEditor ç ~ éÖ! ñê ë 2 Swing òu Swing | Sun

W } v o X } Ç ] P Z î ì í ñ ] Æ / v X o o ] P Z À X W,, ì ð ì í íuba-ebc.portals.s3.amazonaws.com/86752_Flu and Pneumonia... · 2015-12-04 · prevention for nearly everyone.

W } v o X } Ç ] P Z î ì í ñ ] Æ / v X o o ] P Z À X W,, ì ð ì í íuba-ebc.portals.s3.amazonaws.com/86752_Flu and Pneumonia... · 2015-12-04 · prevention for nearly everyone.

SPECS BDTOPO v22 S22016 - Esri France€¦ · õ ó î D ] v ] µ hdD î ìE t'^ ô ð õ ó ï ' µ Ç v hdD î îE Z'&' õ ñ õ ó ð Z µ v ] } v hdD ð ì^ Z'Z õ î õ ó ñ

SPECS BDTOPO v22 S22016 - Esri France€¦ · õ ó î D ] v ] µ hdD î ìE t'^ ô ð õ ó ï ' µ Ç v hdD î îE Z'&' õ ñ õ ó ð Z µ v ] } v hdD ð ì^ Z'Z õ î õ ó ñ

ì í î ï ð ó ô í ì í í í î õ · Gosf rth 3.30 uur 2.45 4.15 aur ZUID-ENGELAND E18 nna Longtown 39 9318 140/0 Hexham Haltwhistle E18 e Corbridge rha Al Darling n Túnnel

ì í î ï ð ó ô í ì í í í î õ · Gosf rth 3.30 uur 2.45 4.15 aur ZUID-ENGELAND E18 nna Longtown 39 9318 140/0 Hexham Haltwhistle E18 e Corbridge rha Al Darling n Túnnel

C11 Phan Thi Hang.ppt · í ð l í î l î ì í ñ ï 7 Ùqj v Õ f k k Ýl txdq viw fkr w ïqj fkx\rq p{q l Åx g m åqj + Ý vlqk%if v + Ý oê6lqk ylrq

C11 Phan Thi Hang.ppt · í ð l í î l î ì í ñ ï 7 Ùqj v Õ f k k Ýl txdq viw fkr w ïqj fkx\rq p{q l Åx g m åqj + Ý vlqk%if v + Ý oê6lqk ylrq

PlanoContigência COVID-19 12.03 - NAU Hotels€¦ · ] } ì î r D } î ì î ì í ò l í ó > À }

PlanoContigência COVID-19 12.03 - NAU Hotels€¦ · ] } ì î r D } î ì î ì í ò l í ó > À }

© 2016 CASIO COMPUTER CO., LTD. 使用手冊 3451...\ ·DST j í ³ â ñ G ñ d j Ó â î ? â ñ 1. · Ó â î i È Y A l È J 8 , Ç d Á S ? â Ñ í · ñ R S ¢ è ð ï ò

© 2016 CASIO COMPUTER CO., LTD. 使用手冊 3451...\ ·DST j í ³ â ñ G ñ d j Ó â î ? â ñ 1. · Ó â î i È Y A l È J 8 , Ç d Á S ? â Ñ í · ñ R S ¢ è ð ï ò

Jaarrekening 2017 van Fietsmaatjes Teylingen · o v } ï í r í î r î ì í ò v ï í r í î r î ì í ó ] o À } o P W d } o ] Z ] v P } o v W

Jaarrekening 2017 van Fietsmaatjes Teylingen · o v } ï í r í î r î ì í ò v ï í r í î r î ì í ó ] o À } o P W d } o ] Z ] v P } o v W

Wilbers Katalogus 2020 Heidi bezig · 2020-05-13 · ^ Z } l u D } } v î ì î ì,< r^ µ v ] } v s r s ] i À o v ò r ð ì ì ñ , r d/ > d o X ì ï ð ð r ò ï í õ

Wilbers Katalogus 2020 Heidi bezig · 2020-05-13 · ^ Z } l u D } } v î ì î ì,< r^ µ v ] } v s r s ] i À o v ò r ð ì ì ñ , r d/ > d o X ì ï ð ð r ò ï í õ

brochure Online Application.../ v ( } u ] } v } Z µ hW: ~W } o Ç r î ì î ì u î ô U î ì í õ W P r ð KEd Ed^ W í X /EdZK h d/KE E ^ , D K& y D/E d/KE

brochure Online Application.../ v ( } u ] } v } Z µ hW: ~W } o Ç r î ì î ì u î ô U î ì í õ W P r ð KEd Ed^ W í X /EdZK h d/KE E ^ , D K& y D/E d/KE

Rouwen in de tijd - AIHP – Psychology Integration · í ò l ì ð l î ì í ò ï 'lyhuvh prghoohq 6wdgld hq idvhq . eohu 5rvv 3dunhv %rzoe\ 6dqghuv « 5rxzwdnhq :rughq 'xddo

Rouwen in de tijd - AIHP – Psychology Integration · í ò l ì ð l î ì í ò ï 'lyhuvh prghoohq 6wdgld hq idvhq . eohu 5rvv 3dunhv %rzoe\ 6dqghuv « 5rxzwdnhq :rughq 'xddo

PRESENTATIE DVDT 2018 - Sport Vlaanderen · 2018-12-14 · í ð l í î l î ì í ô s } v o o ] v P v d ] v ] v P ( ( v v v ] À v Ì ] i v À } } o ] v P } } v ] u ] v P U Ì

PRESENTATIE DVDT 2018 - Sport Vlaanderen · 2018-12-14 · í ð l í î l î ì í ô s } v o o ] v P v d ] v ] v P ( ( v v v ] À v Ì ] i v À } } o ] v P } } v ] u ] v P U Ì

î ì î ì ì î ô l ì ï l î ì î ì s^ K } P u í ï W ï ì ... · D ^ s í ì ì U î ì ì U í ñ ì ì U ñ ì ì ì U l } P o U U À U Z } } P

î ì î ì ì î ô l ì ï l î ì î ì s^ K } P u í ï W ï ì ... · D ^ s í ì ì U î ì ì U í ñ ì ì U ñ ì ì ì U l } P o U U À U Z } } P

© 2014 CASIO COMPUTER CO., LTD. 使用手册 5365...t h ¡ ÷ ð õ ê B É ' ð Í : î G Ü t h ç ð Q & ¡ Q ï 2 HS1: ð B Y ç Q & d j \ Q ï 2 HS2: » â & & â ð B Y t h

© 2014 CASIO COMPUTER CO., LTD. 使用手册 5365...t h ¡ ÷ ð õ ê B É ' ð Í : î G Ü t h ç ð Q & ¡ Q ï 2 HS1: ð B Y ç Q & d j \ Q ï 2 HS2: » â & & â ð B Y t h

2018 Flyer A5 NaSa · ^ Z ] Z E µ Z µ Ì ( } µ u î ì í ô u ^ u P U u ì î X ì ò X î ì í ô U P ] v v í ì X ì ì h Z

2018 Flyer A5 NaSa · ^ Z ] Z E µ Z µ Ì ( } µ u î ì í ô u ^ u P U u ì î X ì ò X î ì í ô U P ] v v í ì X ì ì h Z