こんにちは、深い学習のコースに戻って歓迎します。これは、柔らかいクロスエントロピー関数について話すための追加のチュートリアルです。
私たちが畳み込みニューラルネットワークについて話しているこのセクションの主要部分で終わったすべての部分を通過するためには100％必要ではありませんが、同時に知識とスキルのセットにあなたのバッグに良い追加。
さあ、これらの機能を掘り下げてみましょう。
だからここから始めるには、セクションの主要部分に構築したニューラルネットワークの結論です。そして最後に、犬0のゼロ点90の確率を出す。
05猫の場合は5〜5％。
入力として左の写真を与えられますこれは電車が実行された後、これは実際には実行されており、特定の画像を分類しています。
そして、ここでの質問は、これら2つの値がどのようにして1になるかということです。
なぜなら私は人工ニューラルネットワークについて学んだことすべてから知っているので、これらの2つの最終的なニューロンがお互いにつながっているとは言いません。
それで、彼らはそれぞれの保有価値がどのような価値を持っているかをどのように知っていますか？
そして、彼らはどのように値を1つに加えるかを知っていますか？
さて、答えはそうではないでしょう。
私たちの人工ニューラルネットワークの古典的なバージョンと彼らが行う唯一の方法では、私たちが状況から私たちを助けるためにソフトマックス関数と呼ばれる特別な関数を導入するためです。
だから、通常どんなことが起きるのかは犬であり、猫のニューロンは真に価値のある価値があります。
しかし、そこに上に書き込まれたsoft
max関数を適用すると、これらの値は0と1の間になり、1と3のPPTAが加算されます。
ソフトマックス関数または正規化された指数関数は、クォートunquote
squashが任意の実数値のk次元ベクトルに0から1の範囲にある実数値のk次元ベクトルを1とするロジスティック関数の一般化です。
だから、基本的には、私たちが望むものを正確に行います。
これらの値は0と1の間になり、最大値が1になるようにします。
そして、それが可能なのは、これが可能であるということです。なぜなら、底にはここには合計があることがわかるからです。
だからそれは指数をとり、Zedの力でそれを入れて、それを追加します。その結果、あなたのすべてのクラスのうちの2つが2になります。
これらの値はすべて
そしてそこにあなたの正規化が起こっています。
だから、Sauceboxの機能がどのように機能し、畳み込みニューラルネットワークにソフトな次の関数を導入するのが理にかなっています。あなたが犬と猫の可能なクラスを持っていて、犬のクラスで80％
。
そして、猫の爪のために、あなたは良い45％の権利を持っていた。
それはちょうどそのような意味ではないので、ソフトの次の機能を導入するとずっと良いことです。それは畳み込みや神経回路網でほとんどの場合起こることです。
もうひとつは、ソフトマックス関数がクロスエントロピー関数と呼ばれています。これは、私たちにとって非常に便利なことです。
だから最初に式を見てみましょう。
これは、クロスエントリ関数のようなものです。
実際には、この世紀の表現を使用する別の計算を使用していますが、結果は基本的に同じです。
これは計算が簡単です。
私が知っていることは、あなたのスクリーン上の数式とはまったく無関係に聞こえるかもしれませんが、このセクションの最後にもう一度お読みになることをお勧めしますので、数学を覚えていなければ心配しないでください。
私たちが今数学を説明していなくても好きです。
しかし、ここでのポイントは、エントロピー関数をまたいだエントロピーを横切っていることです。
私たちが以前に人工ニューラルネットワークでどのように私たちが私たちの自然の性能を評価するためのコスト関数として使用した平均二乗矢印関数と呼ばれる関数を持っていたかを覚えておいてください。
私たちの目標は、ネットワークパフォーマンスを最適化するためにMSEを最小化することでした。
さて、私たちのコスト関数はそこにあり、畳み込みニューラルネットワークではまだMSEを使うことができますが、ソフトマックス関数を適用した後の畳み込みニューラルネットワークでのより良い選択肢は、クロスエントロピー関数であることが分かります。
そして、畳み込みニューラルネットワークでは、クロスエントリー関数を適用するとき、コスト関数と呼ばれるコストはもはや最後の関数と呼ばれ、それらは非常に似ています。
彼らはちょっとした用語の違いや少し違っていて、それが意味することに少し違います。
しかし、すべての目的のために、ほとんど同じことです。
そして、最後の機能は、私たちのネットワークのパフォーマンスを最大化するために最小限に抑えたいものです。
ですから、この関数をどのように適用できるかについての簡単な例を見てみましょう。
だから私たちのネットワークに犬のイメージを置くことができます。
犬の予測値は0です。 9これは訓練をしているので、私たちは犬のラベルを知っていることを知っています。
したがって予測値は0です。 9では、catの初期値は0です。 1ここで​​私たちはラベルを持っているので、私たちは犬を知っています。これは、犬や猫のために0
1を訓練しているからです。
そして、この場合、クロスエントロピーのためにこれらの数値を数式に差し込む必要があります。
それで、どうやって左の値が口頭に行くのですか？
右辺の対数の下にあるものと右辺の値はPに入るので、どちらがそこに行くのかを覚えておくことは重要です。なぜなら、それらを間違えた場合、対数をとることを望まないからです。すべて私のゼロ値から、または1から行く。
だからあなたはそれらを差し込むだけです。
正しい場所にプラグを差し込んでください。
そして基本的にそれを追加します。
それでクロスエントリーがどのように働くかを見てみましょう。実際には、現実の生活の中でこの機能を適用するステップの例で具体的なステップを見ていきます。クロスエントロピーは何ですか？それはそれほど似ていないでしょう。
この苦労の私の目標は、非常に畳み込まれたように聞こえることがあり、それができないように意図されていないため、十字架世紀をより快適にすることです。
畳み込みニューラルネットワークのように、それは非常に複雑で恐ろしいものに聞こえるかもしれませんが、そうではありません。
それがポイントです。
ですから、それを適用してみましょう。私たちは恐ろしいことではないことを知っています。
あなたのすべてがそうです。
そして、なぜこれをやっているのかを説明して、さまざまな原因を調べる理由を説明します。
そこで、ニューラルネットワークの1つのニューラルネットワークでは、2つのニューラルネットワークがあり、犬のイメージを渡し、これが犬であり、猫ではないことがわかります。
今度は別のイメージがあります。今回は動物で、犬ではない猫です。ここには、実際に犬ではない猫の穴があります。
あなたが非常によく見れば。
だから私たちは最初のケースで私たちのニューラルネットワークが予測するものを見たいと思っています。
ニューラルネットワーク1 90パーセントの犬10パーセントの猫は、60パーセントの犬40パーセントの猫はまだ悪い正しいネットワーク番号を修正します。
しかし、正しい。
第2のオプションの最初のニューラルネットワーク10パーセントの猫の犬90パーセントの猫。
正しい。
30％の犬が70％の猫を悪化させているが、それでもなお正しいことは分かっている。
そして最後に、画像年齢ネットワークでの神経ネットワークは、40％の犬60％の猫、10％の犬と間違った悪い90％の猫に不正な神経ネットワーク番号を獲得した。
ですから、ここでの鍵は、両方のネットユーザーが、3つの画像すべてを通して最後のもので間違っていたとしても、ニューラルネットワークがニューラルネットワークより優れていたことです。
だから最後のケースでさえ、神経ネットワークに比べて犬に40％のチャンスを与えたのは、犬に10％のチャンスまたはニューラルネットワークを与えるだけでした。
それでは、評価について話してきたパフォーマンスを測定できる機能を見てみましょう。
だから、これらをテーブルに入れて、ニューラルネットワーク1が間違った番号を持つようにしましょう。
画像番号です
そして、イメージ1のために。
90％の犬のチンパンジーと猫の予測は何ですか？
だから、帽子Marableさんとあなたは実際の値を持っているので、犬の正しい猫は間違っています。
画像番号2の場合と同じこと、最小値が3の場合、ニューラルネットワーク番号2の場合と同じことです。
だから、犬60％は最初の画像で40％を維持しました。
それはクロトンが犬ではなく、猫ではないと予測したものです。
等々。
それでは、実際にどのようなエラーが発生するのかを見てみましょう。
どのようなエラーを計算してパフォーマンスを予測し、ネットワークのパフォーマンスを監視するか。
したがって、1つのタイプのエラーを分類エラーと呼びます。
そして、それは基本的にちょうどあなたがそれを正しいかどうか尋ねたことです。
確率にかかわらず、あなたは正しいと思っていますか？
それともあなたはそれを正しくしましたか？
したがって、両方のニューラルネットワークの両方のケースでは、それぞれに1つがあります。
だから、これはどうやって彼らが間違っているかです。
だから彼らは3つのうちの1つを間違っています。
したがって、ネットワークのエラー率は33％、ニューラルネットワークのエラー率は30％です。
この観点からのベースラインとして、両方のニューラルネットワークが同じレベルで実行しますが、それは真実ではないことが分かります。
私たちは、ニューネットワークIkhwanがニューラルネットワークを上回っていることを知っています。
そのため、分類誤差は特にバックプロパゲーションの平均二乗誤差のためには良い尺度ではありません。Excelでこれらの計算を行ったのと同じ方法であなたを退屈させたくありませんでしたが、Tonyは座って彼らは紙またはExcelでそれらを行う。
これらは非常に単純な計算で、基本的には二乗誤差の合計を取って、観測値の平均値を取るだけです。それはかなりです。
したがって、ニューラルネットワークの場合、ニューラルネットワーク2では25％、エラー率は71％となり、これがより正確であることがわかります。
これは、ほぼ1つがあなた自身のネットワークよりもはるかに低い誤り率を持っていることを私たちに伝えています。
そして再びエントロピーを交差させる。
これを計算できる数式は、実際には平方二乗平均誤差よりもさらに簡単に計算できます。エントロピーにまたがるクロス領域は、ニューラルネットワーク1と1に対して38％を与えます。
0 6ニューラルネットワーク2。
あなたは結果が少し違っているのを見ることができます。
あなたが見たときにそれらを見ると、ミニスカート面積とクロスエントロピーが分かります。クロスエントロピーを使用する理由は二乗誤差を意味するのは、彼らが言う数字のようなものではなく、計算は、これがすべて実行可能であることをあなたに示していました。あなたは紙でそれを行うことができます。それはそうではありません。
非常に強い数学ではありません。
これらはかなりシンプルで簡単なものです。
しかし、なぜ手段を使ってエントロピーを引き起こすのかという問題は、非常に良い質問があることを意味します。
私はあなたに答えがあることを嬉しく思っています。それは、明らかではない二乗平均誤差よりクロスエントロピーのいくつかの利点があるようなものです。
そして、私はカップルに言及しますが、それ以外の場合は、私はあなたがより多くを見つけることができる場所をお知らせします。
したがって、あなたのバックプロパゲーションの開始時に、例えば、あなたの出力値が非常に非常に非常に非常に小さい非常に小さいということです。
したがって、実際の値よりもはるかに小さくなります。
その後、あなたの偉大な、まともな世界のグラデーションは非常に非常に低くなり、あなたは十分ではありません。
ニューラルネットワークが実際に何かをし始めるのは非常に難しく、その動きを調整し始め、Movistarを実際に正しい方向に動かすことが始まります。
一方、クロスエントロピーのようなものを使用するときには、その対数をとっているので、実際にはネットワークがそのような小さな領域を評価して何かをするのに役立ちます。
それについて考えてみましょう。
それでは、これは非常に直感的なアプローチで非常に簡単です。
数学へのリンクがあり、数学を通じてこれらのことをより詳細に導くことができますが、非常に直感的なアプローチです。
あなたが望むあなたの結果が好きだとしましょう。
あなたは1万分の1です。
右。
$ 0。 00またはそれがある場合は、次回に改善して結果を100万分の1から1000分の1に改善します。
そして、二乗誤差を計算するかどうかという点で、一方を他方から減算するだけです。
または、基本的には、それぞれの場合、正方形のKalkaであり、1つのケースと2つのケースを比較すると、その2乗誤差がそれほど変わらないことがわかります。
あなたは、そこで平均二乗を見ると、あなたはネットワークをあまり改善しませんでした。
しかし、あなたが対数をとっているので、あなたはクロスエントロピーを見ていて、次にそれをあるものを他のものに分けることと比較しています。
実際にネットワークを大幅に改善していることがわかります。その結果、平均二乗誤差項が100万から1000に飛躍することは非常に少なくなります。
それは重要ではなく、そうではないでしょう。
グラデーションブースティングプロセスやバックプロパゲーションを正しい方向に導くことはできません。
それはすべて正しい方向に導かれますが、それは十分なパワーを持っていない非常に遅いガイダンスのようになりますが、エントロピーを横切ってエントロピーを繰り返すと、これは理解できます。相対的な観点からの絶対的な言葉の小さな変化、それは大きな改善です。
私たちは間違いなく正しい方向に進んでいます。
そのように進んでいくと、クロスエントロピーがあなたのニューラルネットワークを最適な状態にするのに役立ちます。ニューラルネットワークが最適な状態になるためのよりよい方法です。
しかし、これは、エントロピーを横切る場合にのみ分類のための好ましい方法である場合にのみ機能することに留意してください。
だから、あなたが私たちが人工神経ネットワークで持っていたような回帰のようなことについて話しているなら、あなたはむしろ私と一緒に行き、誤差を二乗するだろうが、クロスエントロピーは分類の方が良いが、あなたが本当に興味を持っているのであれば、そのことについてもう少し詳しく学ぶのに適した、直感的な説明のようなものです。
Googleのビデオは、Geoffrey
Hintonのソフト・マックス・アウトプット機能と呼ばれ、彼はそれを非常にうまく説明し、とにかくそれをよりよく説明できる深い学習のゴッドファーザーであることを知っています。
とにかく、Geoffrey Hintonのビデオは金色です。
彼はちょうど事を説明するための巨大な才能を持っています。
それは、クロスとソフトで良い対クロスであり、ここで何が起こっているのか、直感的な理解のようなものを与えることを願っています。
しかし、もっと重要なのは、クロスエントロピーという言葉では見過ごされていないということです。ヘッドラインは実用的な話で言及するので、私はあなたがそれを準備していることを確認したかったのです。
それは最後の関数を計算する別の方法です。
また、分類問題や畳み込みニューラルネットワークに特化した、ネットワークを最適化するもう1つの方法は、ソフトマックス機能と手を携えています。
あなたが集中したいのであれば、クロスエントロピーを軽く紹介したいと思ったら、もう少し読んでください。
チェックする良い記事は、Rob DePietro 2016によるクロスエントロピー損失のフレンドリーな導入と呼ばれています。
以下のリンクがあります。
非常に非常に素晴らしい非常に柔らかく、何も超複雑な数学はありません。
良い類推良い例は、車の類推を使っています。あなたは車と情報とビットと制限について話します。そして、あなたはこのUnico全体を解読すると知っています。それは見て良い記事です。入門的な観点からのクロスエントリーの良い概観。
あなたがここで見ているもののような重い数学を掘り下げたいのであれば、ニューラルネットワークをどのように実装するかによってブログやブログで記事をチェックしてください。Intermezzoも使い方の点では仲介のようなものです。
の断続。
あなたは劇場に行くときのように、最初の部分と2番目の部分の間に休憩のようなものがあることを知っています。
だから、彼はこれらすべてのステップを経るのが好きなので、彼は好きだから、私はまずこのことを説明しなければならないと言います。
そしてそうです、それはintermezzoと呼ばれる理由です。
私がPeter Rollands 2016の記事をよく理解している限り、他の理由はありません。
実際にこの記事のソフトエントロピーとクロスエントロピーの背後にあるKrossエントロピーの背後にある数学を掘り下げたいのであれば、これをチェックしてください。
だからそこに行く。
それだけで、この2つのことがあります。
うまくいけば、私はいくつか追加の明快さと幸運を追加することができました。
それは楽しくなり、実践的なチュートリアルを楽しみます。
次回はお会いしましょう。
それまでは学習を楽しむ。