最近、ちょくちょくと人工生命（Artificial Life: ALife）というワードを聞くようになった。単語から読み取れるところなんとなくイメージできるけど、具体的にどういう研究なのか？どういう応用が期待できるか？人工知能（AI）と何が違うのか？などのイメージが沸かない。 ...

データが逐次追加されていく際に、追加されるたびにその時点での「分散」や「標準偏差」を計算したい場合がある。その時点での全てのデータから毎度計算しても良いが、やはり計算量が馬鹿らしい。そこで欲しくなるのが、これらの量をオンライン（ストリーム処理）で計算できるアルゴリズムだ。 安心し...

最近、Kaggleだとかその周辺では、XGboostだとかcatboostだとか、Gradient Boosting（勾配ブースティング）の手法が流行っているらしい。最終的にcatboostを勉強する目的で、その前段階として勾配ブースティングをひととおり勉強したので、そのメモ。 ...

これまで十数年間、いくつかの企業でデータ分析に携わってきた。その間にビッグデータや人工知能、ディープラーニングというようなバズワードが流行り「データ至上主義」ともいえる風潮が流れ始めているふうに感じる。  確かに画像などの判別技術や購買予測、レコメンデーション技術など、大量データ...

木構造系のモデルは、分岐の組み合わせにより説明変数間の交互作用もモデルに自動的に組み込まれそうな「気がする」。しかし実際に実際に動かしてそのことを確認した記事がネット上になかったので自分自身で確認することに。 まずはトイデータを用意。ここでX[:, 2]とX[:, 3]が交互作用...

ufw( Uncomplicated FireWall)はファイアウォールを設定するコマンドで、iptablesのwrapperのような位置付けのようである。 下記に設定の仕方をメモ。

決定木にて分類の基準によくジニ係数（Gini inpurity / Gini index）という尺度が使われる。 このジニ係数について少し考察してみたのでメモ。 ジニ係数の定義と挙動 あるデータセット\(t\)の中に\(K\)種のクラスのサンプルが含まれる場合、ジニ...