Mahoutとは Hadoop上で動作する機械学習のライブラリです。機械学習はBigDataの今後の成長を考える上で非常に重要なテクノロジになると思っています。最近話題のDeep Learningなんかも興味深いですよね。 今回はHDInsightでMahoutをインストールして実際にサ…

MapReduce MapReduceはHadoop上で分散処理するためのプログラミングパターンです。言わずと知れたものですよね。 Hadoop Streaming Java以外の言語でMapReduceを作成する場合、Hadoopストリーミングを利用します。仕組みは簡単でデータを標準入出力を介して…

HDInsightの作成 1.ストレージの作成 最初にHDInsight用のストレージを作成します。普通に作成すればOKです。 2.HDInsightの作成 次にHDInsightを作成します。クラス名、クラスターサイズは適切に設定し、ストレージアカウントは先ほど作成したアカウントを…

HDInsigntはAzureで動作するHadoopで維持コストが安い Hadoopは大量データ処理の基盤としてはデファクトスタンダードになっていますので、Windows環境でもBigDataを処理する場合Hadoopを利用することになります。HDInsightはAzure上で利用できるHadoopサービ…

HDInsightのHDFSの操作、MapReduceの実行を実施するためのツールを作成しました。 かなり適当に作ったので取りあえず動くレベルです。 プレビューであったスクリプトの機能がなくなったので、テスト的に使ってみたいなどのお気楽に作業用にご利用ください。D…