Spark Summit 2015へ行ってきました！ーレポートと感想

2015-06-21

書いた人 : バツイチ
カテゴリ : Spark, カンファレンス | タグ : SparkSummit2015

2015年6月15日から17日にかけてサンフランシスコで開催されたSparkSummit2015へ行ってきました。セッションの全スケジュールはこちら↓です。 6月24日以降に全スライドが上がるとのことでした。 Spar …
[続きをもっと見る…]

続・あなたのPythonを爆速にする７つの方法

2015-05-25

書いた人 : バツイチ
カテゴリ : Python | タグ : Counter, deque, heapq

以前にあなたのPythonを爆速にする７つの方法を書いた時に、 collections.deque とheapq.heappop の存在にも触れておくべきだと思うというご指摘を頂きましたので、新たにcollection …
[続きをもっと見る…]

2015-05-08

書いた人 : バツイチ
カテゴリ : Python | タグ : チューニング

最近プロコン（プログラミング・コンテスト）をはじめました。基本的にはアルゴリズム勝負なのですが、とにかく速度を競うプロコンです。小手先の速度チューニングもバカにできません。何が速くて何が遅いのかはっきりさせるため、 …
[続きをもっと見る…]

2015-01-09

書いた人 : バツイチ
カテゴリ : BigQuery, Spark | タグ : Apache Spark, gcs, Hadoop, HDFS

Google Cloud StorageをHadoopのファイルシステムとして使うことのできるようになるGoogle Cloud Storage Connector for HadoopというライブラリがGoogleから …
[続きをもっと見る…]

2014-12-23

書いた人 : バツイチ
カテゴリ : jvm | タグ : GCViewer, VisualVM

この記事はJVM Advent Calendar 2014 – Qiitaのために書きました。「GCログ」や「GCViewer」のキーワードからこのサイトに訪れてくれる方が多いので、改めてGCログやヒープダ …
[続きをもっと見る…]

2014-12-17

書いた人 : バツイチ
カテゴリ : Python, Spark | タグ : install, IPython, mesos, notebook

前回、Cloudera Managerを使ってHDFSクラスタを構築しました。今回はこのHDFS上でApache Sparkを動かします。 Apache Sparkを扱うOSSのGUIをいろいろ探してみたのですが、現状 …
[続きをもっと見る…]

2014-12-15

書いた人 : バツイチ
カテゴリ : HDFS | タグ : Cloudera Manager

概要 HDFSをベースとして動くアプリケーションは数多くありますが、HDFSクラスタを構築するのは少々面倒な感じがします。しかし、Cloudera Managerを使えば5分でHDFSクラスタを構築できてしまうのです。 …
[続きをもっと見る…]