Web+DB Express Vol.83を購入したところ特集として画像認識がいやあWeb技術者もComputer Visionが必要な時代かあ。。。と思い読み進めると、Javaでのコーディング例も載っていてかなり実用的でいい感じしかしJavaよりかはPythonでお手軽にコーディングしたい…

textFile関数の最後 hadoopFIle関数の最後はHadoopRDDをnewして終了 new HadoopRDD( this, confBroadcast, Some(setInputPathsFunc), inputFormatClass, keyClass, valueClass, minPartitions).setName(path) ただnewしているだけですが興味深い点を２点まず…

とある野望に向けてPythonを使い画像解析 まずはHoG特徴量を算出したい HoG特徴量が何かというのはググっていただければと思うが、とにかくこれを算出することによって画像の類似度をはかりたいと考えているまずmacにOpenCVを導入っと brew tap homebrew/sci…

戻ってhadoopFile関数 def hadoopFile[K, V]( path: String, inputFormatClass: Class[_

broadcast関数続き def broadcast[T: ClassTag](value: T): Broadcast[T] = { val bc = env.broadcastManager.newBroadcast[T](value, isLocal) cleaner.foreach(_.registerBroadcastForCleanup(bc)) bc } 次はcleaner 前回調査した通りcleanerはOption型のC…

引き続きtextFile def textFile(path: String, minPartitions: Int = defaultMinPartitions): RDD[String] = { hadoopFile(path, classOf[TextInputFormat], classOf[LongWritable], classOf[Text], minPartitions).map(pair => pair._2.toString).setName(p…

Apache Sparkのソースコードリーディングを記録まずは公式サイトに記載されているWordCountの第一文から追っていきましょう file = spark.textFile("hdfs://...") このsparkというのはSparkContextクラスのインスタンスなので該当メソッドを調査 def textFil…

MBPを購入し、さてPythonでPIL始めよう！と思い立ったがインストールで盛大に失敗 というわけで手順を備忘までに1. 環境変数の設定 su - export CFLAGS=-Qunused-arguments export CFLAGS=-Qunused-arguments 2. PillowのInstall pip install pillow 3. libj…