IT is IT.

空想イノベーション

AI

オートエンコーダを積み重ねた結果

オートエンコーダ自信は、ニューラルネットワーク対して有効な手法であり、ディープニューラルネットワークには適用しきれませんでした。 では、一体どのようにして、ディープニューラルネットワークに対応できるようにしたか。 それは非常に単純であり、オ…

オートエンコーダによる情報伝達法

2006年にトロント大学のジェフリー・ヒントンによって、ニューラルネットワークが抱える、理想と現実のギャップを解決する手法が提唱された。 オートエンコーダ、あるいは、自己符号化器と呼ばれる手法で、ディープラーニングの主要な構成要素となった。 オ…

ニューラルネットワークにおける勾配消失問題とは?

隠れ層を増やすことで、より複雑な認識、予測が可能となりうるニューラルネットワークであるが、一方で、誤差逆伝播法による、予測結果と実際の正解との誤差をフィードっバックするうえで、ネットワークを深くすることで、誤差が最後まで正しく伝播されなく…

単純パーセプトロンと多層パーセプトロン

単純パーセプトロンは、入力をもとに出力を行うもので、線形分類しか行うことができなかった。 これに、入力と出力の関係性を、隠れ層の中に重み付けとして表現する関数を追加することで、非線形分類ができるようになった。 これが多層パーセプトロンの基本…

オーバーフィッティングとアンダーフィッティング

訓練データにのみ正解率が高くなり、テストデータで極端に正解率が下がってしまう状態に陥ってしまうことを、オーバーフィッティングと呼ぶ。 この状態では、正しい予測、評価を行えなくなってしまう可能性がある。 そこで、オーバーフィッティングを防ぐ方…

モデル評価のための色々な数式

モデルを評価するうえで、その方法は一つではなく、いくつか存在する。 それら評価を行ううえで、必要となるのが、混同行列(confusion matrix)である。 混同行列は、以下のように分類される。 真陽性True Positive(TP) 偽陰性False Negative(FN) 偽陽…

訓練データ、検証データ、テストデータの役割と意味

これまでに述べてきたように、機械学習は、データを学習することによってデータの特徴をつかみ、識別、予測できるようにするもである。 この時、既知のデータだけでは、未知のデータ(入力)に対して識別、予測することができない。 そこで、手元にあるデー…

教師なし学習の代表的手法、k-means

教師なし学習とは、出力のない、入力データの構造や特徴をつかむものであるが、その教師なし学習の中の一つ、k-meansは、データをk個のグループ(クラスタ)に分けることを目的としている。 つまり、入力データから、グループ構造を見つけ出し、それぞれに分…

人間の脳を真似したニューラルネットワーク

人間の脳の中の構造を模したアルゴリズムである。 人間の脳には、ニューロンと呼ばれる神経回路があり、互いに結びつくことで全体を構成している。 単純パーセプトロンは、ニューラルネットワークのモデルで、複数の特徴量(入力)を受け取り、1つの出力を行…

サポートベクターマシンの欠点克服法

SVMとも呼ばれる高度な数学的理論に支えられた手法で、ディープラーニングが登場するまでは、最も人気のある機械学習の手法の1つであった。 サポートベクターマシンでは、入力データの各データ点と距離が最大となるような境界線を求めることで、パターン分類…

ランダムフォレストによる学習アルゴリズム

ランダムフォレストとは、決定木を用いる学習手法である。 特徴量をランダムに選び出すことで、ランダムに複数の決定木が作られる。 この結果、各予想で異なる結果が出ることがあるが、それぞれの結果を用いて多数決をとることで、最終的な決定を行う。 また…

線形回帰とロジスティック回帰

線形回帰 統計でも用いられる手法で、最もシンプルなモデルの1つである。 データの分布があったときに、そのデータに最も当てはまる直線を考える、というもの。 線形回帰に正則化項を加えた、ラッソ回帰、リッジ回帰などがある。 双方の違いは、どのような項…

教師あり学習と教師なし学習

教師あり学習 教師あり学習とは、与えられたデータ(入力)をもとに、そのデータがどんなパターン(出力)になるのかを識別・予測するものである。 具体例として、以下のようなものがあげられる。 過去の売上(入力)から、将来の売上(出力)を予測する 与…

シンギュラリティとは「無限」の到来

シンギュラリティとは、レイ・カーツワイルが主張したもので、人工知能が十分に賢くなり、自分自身より賢い人工知能を作るようになった瞬間、無限に知能の高い存在を作り出すことをさす。 それが、2045年であると主張している。 スポンサーリンク // なお、…

AIでいうところの特徴量

徴量とは、注目すべきデータの特徴を量的に表したものである。 ここでいう特徴量とは、人間が選択したものをさしている。 スポンサーリンク // 一方で、特徴量を機械学習自身で発見するアプローチを特徴表現学習と呼ぶ。 ディープラーニングも、特徴表現学習…

コンピュータが知識を得ることの難しさ

機械翻訳自体は、人工知能が始まって以来、長く研究が続いている分野だが、1970年代までは, 翻訳のための文法規則や辞書を主に手作業で整備する方式である、ルールベース機械翻訳が一般的だった。 それから1990年代以降は、統計的機械翻訳が主流となり、翻訳…

シンボルグラウンディング問題はコンピュータには真似できない?

人工知能において、フレーム問題という大きな問題が存在しているが、同様に、シンボルグラウンディング問題というものも存在している。 これは、記号(シンボル)とその対象がいかにして結びつくか、という問題で、スティーブン・ハルナッドによって議論され…

強いAIと弱いAI

アメリカの哲学者、ジョン・サールが発表した「Minds, Brains, and Programs」(脳、心、プログラム)という論文で、強いAI、弱いAIという言葉が使われた。 強いAI 適切にプログラムされたコンピュータは人間が心を持つのと同じ意味で心を持つ。 また、プロ…

会話相手が人工知能か人間かを見分ける基準

人工知能ができているかどうかを判定する基準として使われているのが、アラン・チューリングが提唱した、チューリングテストである。 スポンサーリンク // チューリングテストとは、別の場所にいる人間がコンピュータと会話し、相手がコンピュータと見抜けな…

AI研究上最大の問題「フレーム問題」

いまだ、本質的な解決方法が見つかっていないという、AIの研究における最大の問題といわれているのが、フレーム問題である。 フレーム問題とは、今しようとしていることに関係のあることだけを選択する、というのが難しい、という問題である。 以下、G検定の…

トイ・プロブレム:おもちゃの問題

トイ・プロブレムとは、現実世界の問題を、コンピュータで扱えるように本質を失わない程度に簡略したものをさす。 AIブームの初期では、難解なパズルやゲームを解いたり、数学の定理を証明したりと、多くの成功を収めてきた。 一方で、これらは、ごく限られ…

統計的自然言語処理による翻訳精度の向上

統計的自然言語処理とはインターネットの普及により、多くのWebページ上の文字を扱う研究の始まりによって発展した処理である。 従来の翻訳は、個々の単語単位を文脈の一部として、そのままに訳すことしかできなったため、例えば「Window」を、PC画面の「ウ…

ディープラーニングの凄さが証明された瞬間

画像認識の精度を競う大会、ILSVRC(Imaging Large Scale Visual Recgnition Challenge)で、トロント大学のSuper Visionが優勝した。 それまでは、機械学習による画像認識が主流で、画像の特徴量を人間が与えることで行なっていた。 したがって、画像認識の…

ニュラルネットワークとディープラーニング

機会学習はプログラム自身が学習する仕組みであるが、方法がいくつかある。 k平均法 決定木 サポートベクターマシン ニューラルネットワーク(単純パーセプトロン) ディープラーニング ニューラルネットワーク ニューラルネットワークは、フランク・ローゼ…

そもそも機械学習とは何なのか

機械学習の定義について整理してみる。 ウィキペディアには、このように書かれている。 機械学習(きかいがくしゅう、英: machine learning)とは、人工知能における研究課題の一つで、人間が自然に行っている学習能力と同様の機能をコンピュータで実現しよ…

ワトソン、東ロボくんの挑戦

ワトソン IBMが開発し、2011年にアメリカのクイズ番組で、歴代のチャンピオンと対戦して勝利したことで話題になった。 ワトソンは、Question-Answeringという研究分野の成果で、ウィキペディアの情報をもとにライトウェイトオントロジーを生成して解答を行っ…

オントロジーによる知識体系化方法論

一般常識をコンピュータに取り込むうえで、記述や共有の難しさが表面化するようになり、エキスパートシステムにおける開発と保守のコストが問題視されるようになった。 そこで、知識を体系化する方法について研究されるようになり、オントロジーという方法論…

あらゆる常識をコンピュータに取り込むプロジェクト

より多く、より広範囲な一般常識をコンピュータに取り込むために、Cyc(サイク)プロジェクトが、1984年、ダグラス・レナートによって始められた。 スポンサーリンク // Cycプロジェクトでは、一般常識をひたすら入力していく作業だが、プロジェクトの開始か…

意味ネットワークで概念間の関係を表現する

意味ネットワークとは、概念をラベル付きノードで表し、それぞれのノードをリンク(矢印)で結んだネットワーク表現をさす。 もともとは認知心理学で用いられたものだが、現在では人工知能での知識表現としても用いられている。 スポンサーリンク // 概念間…

人工知能とはいったい何なのか

人工知能 Artificial Intelligence、略してAI。 1956年、アメリカで開催されたダートマス会議で、ジョン・マッカーシーが初めて使った言葉とされている。 多くの専門家の中では、AIとは推論、認識、判断など、人間と同じ知的な処理能力を持つ機械という点で…