Apache Spark: SparkSQLリファレンス〜構文編〜

2015-10-06

書いた人 : バツイチ
カテゴリ : Spark | タグ : Apache Spark, SQL, リファレンス

SparkSQLのリファレンスを作成しました。第一部は構文編として構文の解説を、第二部は演算子編として演算子の解説を、第三部は関数編として関数の解説を掲載します。できるかぎり、SQL文を使用する場合とDataFram …
[続きをもっと見る…]

Apache Spark part2 CSVのデータをDBに入れる

2015-09-13

書いた人 : インケン
カテゴリ : Spark, Youtube

Spark動画part2はCSVファイルを読み込んで、MySQLに入れます。 https://www.youtube.com/watch?v=EHbsoPcZ5Wk

2015-09-09

書いた人 : インケン
カテゴリ : Spark, Youtube

今回からApache Sparkについてやっていきたいと思います。このブログでもバツイチちゃんが書いてますが、インケンはSpark触ったことないので、そんな初心者がSparkを触ってみた動画です。 https://ww …
[続きをもっと見る…]

2015-08-13

書いた人 : バツイチ
カテゴリ : Spark | タグ : Apache Spark, jupyter, spark-notebook, zeppelin

Sparkを実行できるWebUIをいくつか比較してみました。対象としたのは下記の３つです。 Apache Zeppelin pyspark + Jupyter(iPython Notebook) spark-noteb …
[続きをもっと見る…]

2015-08-10

書いた人 : バツイチ
カテゴリ : Spark | タグ : spark-notebook

notebook形式のWebUIでsparkを実行するspark-notebookを使ってみました。 https://github.com/andypetrella/spark-notebook spark-notebo …
[続きをもっと見る…]

2015-06-21

書いた人 : バツイチ
カテゴリ : Spark, カンファレンス | タグ : SparkSummit2015

2015年6月15日から17日にかけてサンフランシスコで開催されたSparkSummit2015へ行ってきました。セッションの全スケジュールはこちら↓です。 6月24日以降に全スライドが上がるとのことでした。 Spar …
[続きをもっと見る…]

2015-01-09

書いた人 : バツイチ
カテゴリ : BigQuery, Spark | タグ : Apache Spark, gcs, Hadoop, HDFS

Google Cloud StorageをHadoopのファイルシステムとして使うことのできるようになるGoogle Cloud Storage Connector for HadoopというライブラリがGoogleから …
[続きをもっと見る…]