IT is IT.

空想イノベーション

AI

AI用語まとめ

AI

人工知能とは 人工知能 Artifitial Intelligence 1956年にアメリカで開催されたダートマス会議で、ジョン・マッカーシーが使った言葉 持論・認識・判断など、人間と同じ処理能力を持つ機械 パターン処理、記号処理、知識の蓄積の順に研究が遍歴している AI効…

福祉業界におけるディープラーニングの活用事例

介護サポート 高齢化社会になり、介護士側の負担も大きくなってきている。 そんな中で、介護コミュニケーションの支援が注目されている。 熟練の介護士の能力を、初心者の介護士にコーチングする過程で、ディープラーニングが活用されている。 スポンサーリ…

医療業界におけるディープラーニングの活用事例

診断支援 ディープラーニングは医療の世界でも活躍をはじめている。 特に、画像による診断などで、病気の早期発見などに役立っている。 例(胃がん) 畳み込みニューラルを活用し、内視鏡画像から胃がんを検出 1画像の診断に0.02秒であり、人間の解析速度を…

自動車業界におけるディープラーニングの活用事例

自動運転 カメラ、センサーなどから、信号や道路標識、障害物などを識別し、アクセルやブレーキ、ハンドル操作を自動操作を行う自動運転の研究が活発に行われている。 2020年には無人走行による移動サービス 2022年には高速道路でのトラックの隊列走行 これ…

ものづくりにおけるディープラーニングの活用事例

部品工場の不良品の検出・検品 もともとの絶対数の少ない不良品は、たくさんの良品データから特徴量を抽出し、良品の特徴との差分で不良品の検出を行う。 例 オートエンコーダをはじめとする複数の手法を組み合わせ、良品データのみの特徴量から、不良品を検…

画像生成のための深層生成モデル

変分オートエンコーダ 変分オートエンコーダ(Variational AutoEncoder:VAE)は、可視層と隠れ層からなるオートエンコーダを活用した画像分野における深層生成モデルである。 変分オートエンコーダでは、入力を固定された表現に圧縮するのではなく、統計分…

機械学習でデータを生成する

機械学習においては、何かを認識、識別する以外にも、データを生成する生成タスクにも応用されはじめている。 生成タスクには大きく2種類あり、それぞれについて説明する。 データを元に新しく別の何かを生成する このタスクは、識別モデルの延長とも言える…

ディープラーニング+強化学習

2013年に、DeepMind社が、ディープラーニングと強化学習を組み合わせたゲームのブロック崩しの動画を公開した。 DQN Breakout この動画では、人間を上回る記録を残し、大きな反響となった。 この強化学習では、Q学習(Q learning)と呼ばれる手法が使われ、…

教師あり学習と強化学習の違い

機械学習においては、教師あり学習と、教師なし学習についてこれまで触れてきたが、もう一つ、強化学習というものが存在する。 強化学習とは、行動を学習する仕組みである。 ある環境において、目的とするスコアを最大化するためにどのように行動すればよい…

様々なリカレントニューラルネットワーク

Bidirectional RNN 通常のLSTMは、過去から未来への一方通行にのみ対応しているが、ケースによっては、過去と未来の両方の情報を使って予測する方が効果的な場合もある。 こういった場合、LSTMを2つ組み合わせることで、過去から未来、未来から過去の両ケー…

リカレントニューラルネットワークの勾配消失問題対策

リカレントニューラルネットワークにおいても、通常のニューラルネットワーク同様、勾配消失問題がある。 さらに、時系列を扱ううえで固有の問題として、現時点では関係性が少なくても、将来は関係性がある、というような入力があった場合に、重みを大きすべ…

リカレントニューラルネットワークの基本的な仕組み

時間依存性を学習するリカレントニューラルネットワークの仕組みとは一体どのようになっているのか。 実はそんなに難しいことではなく、通常のニューラルネットワークが持つ隠れ層と同様に、過去の隠れ層が追加されているものが、リカレントニューラルネット…

時系列に処理をしたいのならリカレントニューラルネットワーク

例えば、こんな事例がある。 電車は朝と夕方に混雑する 電気代は夏と冬に高くなりやすい 年末・年始、ゴールデンウィーク、お盆に外国への旅行者が増加する 世界の人口は緩やかに上昇している これらは、いずれも時間軸に対してパターンを持っている、という…

既存のものを活用する転移学習

ディープニューラルネットワークで、様々な手法の開発により、より深く、複雑な学習が行えるようになった一方で、GPUマシンが1台や2台あったところで、その膨大な計算量を捌ききるのは至難の業ともいえる。 機械学習において重要なのは、最適化されたネット…

色々な畳み込みニューラルネットワーク

画像処理に大きな威力を発揮する畳み込みニューラルネットワークは、様々な工夫が加えられたモデルが多数開発されている。 例えば、AlexNetはトロント大学で開発されたもので、2012年のImageNet Large Scale Visual Recognition Challenge(ILSVRC)で圧倒的…

データがなければ作ってしまえばよい、という発想

画像認識を行ううえで、いわゆる一般的なものを認識させるために、実は重大な課題が存在している。 同じ物体でも角度が異なると画像としては見え方が異なってみえる 同じ物体でも拡大縮小によって画像としては見え方が異なってみえる 同じ物体でも光の当たり…

画像処理の締めは全結合層で!はもう古い?!

畳み込み層やプーリング層を複数組み合わせることで、複雑な処理が行えるようになるが、これらの層をいくら組み合わせても、出力は画像でしかない。 たとえば、犬や猫などの画像を与えたときに欲しい解は、画像ではなく犬や猫であることを識別できたことであ…

画像を処理する色々なプーリング

決められた演算を行い、画像サイズを決められたサイズに従って小さくする処理を、プーリングと呼ぶ。 プーリングは、畳み込みニューラルネットワークと違い、フィルターを必要としない分、簡単な仕組みになっている。 また、決められた計算を行うだけなので…

畳み込みニューラルネットワークの「畳み込み」とは何なのか

そもそも畳み込みとは、カーネルと呼ばれるフィルタを用いて画像から特徴を抽出する操作をさす。 特徴の抽出は、フィルタを画像の左上から順に重ねあわせていき、画像とフィルタの値をそれぞれ掛け合わせたものの総和をとった値を求めていく、という処理を行…

畳み込みニューラルネットワークの基本的な考え方

畳み込みニューラルネットワークの最初のモデルが考案されたのは1982年とされている。 畳み込みニューラルネットワークは、主に画像を処理するためのネットワークと言ってもよいが、構造もそれにあわせ、人間がもつ視覚野の神経細胞の2つの動きを真似する、…

畳み込みニューラルネットワーク

畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)は、画像をそのまま2次元のまま入力することができるモデルである。 本来画像とは、画像データの縦横の2次元であるが、そこにRGBやHSVといった色に関する情報を持つため、数値情報とし…

バッチ正規化で無理やりデータを変形させる

各層に伝わるデータの分布を、重みの初期値を工夫することで、勾配消失の起きにくいアプローチをとることがあるが、もっと直接的な方法も存在する。 バッチ正規化と呼ばれる手法で、各層に伝わってきたデータを、その層でまた正規化してしまう、という手法だ…

機械学習における学習”前”の工夫

正規化 入力データを学習する前に、各特徴量間のスケールを調整した方がよいケースがある。 例えば、経済指標を予測する場合、円とドルでは100倍もの差が生じている。 このようなケースでも、事前にスケールを調整し、パラメータの偏りをなくすことで、学習…

ドロップアウトの弱点と克服法

ドロップアウトは、オーバーフィッティングを回避するための手法として効果的な手法ではあったが、それでも弱点はある。 それは、訓練データに対しては非常に効果的に最適化されているものの、テストデータに対しては最適化しきれていないため、どうしてもオ…

ドロップアウトによるオーバーフィッティング対策

訓練データに対して最適化されすぎてしまう、という機械学習における最大の敵ともいえる、オーバーフィッティング。 解決策として、正則化が挙げられることについて、以前記述したことがある。 itisit.hateblo.jp これ以外にも方法はあり、その一つとして、…

ニューラルネットワークの「学習」とは何を意味するのか

機械学習では、モデルの予測値と実際の値との誤差をなくすことを目的に、誤差関数を定義し、最小化を行う。 この時の関数の最小化とは、偏微分を表すが、偏微分を求める方法として、勾配降下法が用いられる。 勾配降下法は、勾配(微分値)に沿って降りてい…

ReLU関数の特徴

現在、tanh関数に変わってよく使われているのが、ReLU(Rectified Linear Unit)関数である。 ReLU関数ではxが0より大きければ、微分値は常に最大値である1が得られることがわかる。 tanh関数では最大値が1、となるため、このことからも誤差逆伝播の際に勾配…

シグモイド関数とtanh関数

ディープニューラルネットワークにおいて、隠れ層を増やすと、誤差逆伝播で勾配消失することがわかっている。 これは、活性化関数であるシグモイド関数の微分の最大値に問題があるためだ。 シグモイド関数の微分の最大値は0.25である。 これにより勾配消失が…

機械学習に欠かせないGPUの発展

機械学習、とりわけディープラーニングの発展に欠かせない存在が、CPUやGPUなどのハードウェアの進歩である。 コンピュータには、CPU(Central Processing Unit)とGPU(Graphics Processing Unit)という演算処理装置があり、それぞれ異なった性質を持って…

最後に仕上げるファインチューニング

ニューラルネットワークにおいて重要な役割を示すオートエンコーダであるが、これをいくら積み重ねても、ラベルを出力できない、ということに注意する必要がある。 つまり、オートエンコーダ自身が、入力から重要な情報だけを抽出する、という教師なし学習の…