「第16回Elasticsearch勉強会」参加メモ
「第16回Elasticsearch勉強会」に初めて参加してきました。
elasticsearch.doorkeeper.jp #elasticsearch #elasticsearchjp
開催概要
2016-06-27（月）19:30 - 21:30
リクルートテクノロジーズ
東京都千代田区丸の内1-9-2 グラントウキョウサウスタワー 41F
感想
先日、elasticsearch勉強会#16に初参加してきました。
全文検索、リアルタイム解析システムelasticsearchについての勉強会用のコミュニティです。
リクルートテクノロジーズ社とelastic社が主催しています。
すでに、１５回も開催されていて注目されているOSSかと想像されます。
初心者の私には、理解が追いつかない箇所が多々ありましたが
有意義な部分もありました。
elasticsearchとはそもそも何？とは以下のサイトが参考にすると良いかと思います。
dev.classmethod.jp
ログの分析＋可視化のユースケースが今までは、良くあるユースケースでしたが
今回は、ドキュメント検索、全文検索で利用するユースケースの話を聞くことができました。
性能を出したりすることに多少は苦労するものの、多くのコードを書くことなく
データ検索の機能が実装できる点では、素晴らしいOSSかと考えています。
お客さんのWEBサイトで活用できるかなーと妄想してます。
以下、メモです。
アジェンダ
LogstashとElasticsearchで作るEnterprise Search Platform
https://speakerdeck.com/kosho/enabling-enterprise-search-platform-with-elastic-stack
- Kosho Owa（Elastic社）
- Q.Logstash使ってる人！→少ない
- Q.Fluentd使ってる人！→多い
elastic1の勉強会なのに - Elastic利用のユースケースは以下などが考えられる
- ログ＋分析
- 検索
- ドキュメント
- webサイトの検索
- 地図情報
- sambaでファイル共有された領域にあるドキュメントの検索を実現する話
- 日本語での検索もしたいので、kuromojiをanalyzerに指定する
- （参考サイト）tombo2.hatenablog.com
企業・業界情報プラットフォームSPEEDAにおけるElasticsearchの活用
株式会社ユーザベース 北内 啓さん
https://speakerdeck.com/kosho/enabling-enterprise-search-platform-with-elastic-stack-
- 茶筅
- speeda,newspicks
- 導入までの経緯
- speedaは、だれがいつどのデータにアクセスするかわからない
- キャッシュが効かない
- ユーザ数は少ない
- 今までは、40億レコードをmysqlで実装していた。
40億レコードとかあるとインデックスをどうはるのかもわからなくなる
- データのもち方の工夫
- １企業＝１ドキュメント（３００万ドキュメント）
- １ドキュメントで４０MBバイト
- 約１１万フィールド（＝カラム数）
- 企業名の検索方法は以下の機能を利用
- cjk_bigram filter
- 文字bigram
- phrase_prefix
- ノードは、複数用意する。メモできず。
- 複雑なクエリも１秒足らずで返ってくることに成功した。
Elasticsearchベースの全文検索システムFess
株式会社エヌツーエスエム 菅谷信介さん
http://www.slideshare.net/shinsuke/elasticsearchfess
fessとは
fessにおけるelasticsearchの利用
- 日本語検索
- bigram＋形態素（1文字検索とかに対応するため）
LT
「ElasticsearchとGCPのネットワークでハマった話」
株式会社サイバーエージェント 平田大地 さん @daichild
https://speakerdeck.com/daic_h/gcpfalsenetutowakudehamatutahua
「スクリプトフィールドで作るランキングみたいな何か」
iwag さん
「ニコニコ elasticsearch」でぐぐると参考資料あり
