「第16回Elasticsearch勉強会」参加メモ
「第16回Elasticsearch勉強会」に初めて参加してきました。
elasticsearch.doorkeeper.jp #elasticsearch #elasticsearchjp
開催概要
2016-06-27(月)19:30 - 21:30
リクルートテクノロジーズ
東京都千代田区丸の内1-9-2 グラントウキョウサウスタワー 41F
感想
先日、elasticsearch勉強会#16に初参加してきました。
全文検索、リアルタイム解析システムelasticsearchについての勉強会用のコミュニティです。
リクルートテクノロジーズ社とelastic社が主催しています。
すでに、15回も開催されていて注目されているOSSかと想像されます。
初心者の私には、理解が追いつかない箇所が多々ありましたが
有意義な部分もありました。
elasticsearchとはそもそも何?とは以下のサイトが参考にすると良いかと思います。
dev.classmethod.jp
ログの分析+可視化のユースケースが今までは、良くあるユースケースでしたが
今回は、ドキュメント検索、全文検索で利用するユースケースの話を聞くことができました。
性能を出したりすることに多少は苦労するものの、多くのコードを書くことなく
データ検索の機能が実装できる点では、素晴らしいOSSかと考えています。
お客さんのWEBサイトで活用できるかなーと妄想してます。
以下、メモです。
アジェンダ
LogstashとElasticsearchで作るEnterprise Search Platform
https://speakerdeck.com/kosho/enabling-enterprise-search-platform-with-elastic-stack
- Kosho Owa(Elastic社)
- Q.Logstash使ってる人!→少ない
- Q.Fluentd使ってる人!→多い
elastic1の勉強会なのに - Elastic利用のユースケースは以下などが考えられる
- ログ+分析
- 検索
- ドキュメント
- webサイトの検索
- 地図情報
- sambaでファイル共有された領域にあるドキュメントの検索を実現する話
- 日本語での検索もしたいので、kuromojiをanalyzerに指定する
- (参考サイト)tombo2.hatenablog.com
企業・業界情報プラットフォームSPEEDAにおけるElasticsearchの活用
株式会社ユーザベース 北内 啓さん
https://speakerdeck.com/kosho/enabling-enterprise-search-platform-with-elastic-stack-
- 茶筅
- speeda,newspicks
- 導入までの経緯
- speedaは、だれがいつどのデータにアクセスするかわからない
- キャッシュが効かない
- ユーザ数は少ない
- 今までは、40億レコードをmysqlで実装していた。
40億レコードとかあるとインデックスをどうはるのかもわからなくなる
- データのもち方の工夫
- 1企業=1ドキュメント(300万ドキュメント)
- 1ドキュメントで40MBバイト
- 約11万フィールド(=カラム数)
- 企業名の検索方法は以下の機能を利用
- cjk_bigram filter
- 文字bigram
- phrase_prefix
- ノードは、複数用意する。メモできず。
- 複雑なクエリも1秒足らずで返ってくることに成功した。
Elasticsearchベースの全文検索システムFess
株式会社エヌツーエスエム 菅谷信介さん
http://www.slideshare.net/shinsuke/elasticsearchfess
fessとは
fessにおけるelasticsearchの利用
- 日本語検索
- bigram+形態素(1文字検索とかに対応するため)
LT
「ElasticsearchとGCPのネットワークでハマった話」
株式会社サイバーエージェント 平田大地 さん @daichild
https://speakerdeck.com/daic_h/gcpfalsenetutowakudehamatutahua
「スクリプトフィールドで作るランキングみたいな何か」
iwag さん
「ニコニコ elasticsearch」でぐぐると参考資料あり
CircleCI Meetup参加メモ
connpass.com ハッシュタグ :#circleci_meetup
開催概要
- 開催日:2016年6月10日(金)19:00受付開始 19:30スタート
- 場所:株式会社ディー・エヌ・エー Seminar room (21F)
プログラム
時間 | タイトル | 登壇者 |
---|---|---|
19:35-20:00 | Talk(20mins) | Kevin Bell @CircleCI |
20:00-20:15 | Introduce CircleCI Enterprise (15mins) | Introduce CircleCI Enterprise (15mins)MasashiKurita @DeNA |
20:15-20:30 | CircleCI in CyberAgent (15mins) | stormcat24 @CyberAgent |
20:40-21:00 | 懇親会 LT(5mins) × 5 | 20:40- yusaku_hatanaka |
20:45- charles_green | ||
20:50- Morikuma_Works | ||
20:55- ngs | ||
21:00- ryopeko @Kaizen Platform |
感想
- 渋谷ということが影響しているのか参加している人の世代が若かった。おっさん数える程。
- LTで聞けた使い方の方がちょっと感動した。
- はてなブログとの連携は、自分でも試してみたい。
メモ
CircleCIの便利な機能の紹介
- Kevin Bell @CircleCI
- 島根に住んでた
- 神様にあったりしてた
- 帰国してソフトウェアの会社でプロダクト
- 2014年からCircleCIのエバンジェリストやってる
- https://github.com/bellkev/
SSHログイン
- SSH ログインのURLをコピペするとコンテナにログインできる。
https://circleci.com/docs/ssh-build/ - ボタン経由でもSSHログインできるようになった
テストメタデータ
- 話が聞き取りにくくあまり理解ができなかった。
- もともとjava向けにあったである。
- 失敗したビルドの内容を確認することができたり、テストの実行時間のわかるので、
テスト時間を均等にして各コンテナに割振れるようにできる。
並列ビルドした時の調整がスムーズにできる。のようなことだと理解した。 - 具体的な利用方法はドキュメント参照だそうデス。
社内ネットワークでのCircleCIの使い方
- CircleCI Enterpriseがあるよ。
Introduce CircleCI Enterprise
- 栗田さん@DNA
- SWET(software engineer in Test) エンジニアの集団
- ミッション 品質向上に砂がるしくみ テスト効率、生産性の向上
モチベーション
- CIツールの悩み
- 1つのjenkinsに相乗りする
- ジョブにキューが溜まる
- jenkinsは誰が管理する問題
- jenkins分けると構築が大変
- jenkins
解決すべき課題
- jenkins構築費用の削減
- jenkins運用費用の削減
- jenkinsを使いやすくする方向性を試してみた
- デフォルト構成でセットアップするスクリプトの開発
- プロジェクトテンプレートの用意
→道半ば - クラウドCIツールの活用
- バックエンドAPIの単体テスト
- iosアプリのビルド
- クラウドCIツールは沢山ある
- CircleCI
- トライアルの展開
- ymlのテンプレートの準備
- slackの専用チャンネル
- 運用チームの協力求める
導入してみて
- スモールスタートしたいプロジェクト向け
- 開発開始キットみたいなものを含めると良い
- ymlサンプル作ると良い
- 今後の課題 - ぷらっとフォーム開発への適用判断
まとめ
- げんばに導入するには、「定性評価」「定量評価」が必要
- 現場開発者の協力は大事
CircleCI in CyberAgent
- https://speakerdeck.com/stormcat24/circleci-in-cyberagent
- @strmcat24
- サイバーエージェント
- 動画ぷらっとフォームを作った
サークルCIと私
- ブログをいろいろかいた
- adventカレンダーを勝手にたてた
サイバーエージェントと CircleCI
- CIはjenkins
jenkinsおじさんが用意したjenkins
2014年夏から勝手にCircleCIの検証を開始した
同時に、会社導入を交渉
気をつけたこと
- jenkinsでもできるよね?
- 可用性どうすんの?
- 大義名分を持とう
- CI環境の集約
- ノウハウ共有
- 運用コスト削減
- 銀の弾丸ではないことは素直に言う
- jenkinsに置き換えることは全部はできない
- 導入後
- だれか一人に属人化するのは嫌だったので、推進はしていない
- CIに対する意識を変えてもらいたかった
use case
- サーバーサイド
- hubot + deploy
- DB Migration
- docker build / docker push
- Terraform
- roadworker
- Mackerel
運用イメージ
- どこも似たり寄ったりなはず
- ビルドトリガーをどうするかが肝だと思う
感想
- 新規プロジェクトに向いている
- 組織としてCI環境が統一に向かうことは良いこと
- ノウハウの蓄積、野良jenkinsの整理
- 属人化がなくなる ymlでかける、gitで管理できる
まとめ
- 導入戦略は重量
- 導入後はなるべく職人は作らない
- 使い倒してフィードバックしましょう
- お値段安くしてほしい
LT
- github、CircleCI、はてなブログの連携
- リリースを自動化してるのはすげーと素直に思った
- speeeという知り合いがいる会社ってもの親近感が湧きました。
- http://qiita.com/hatappi/items/e81acf14deca34fd1cbe
- CircleCIをスマフォから触れるアプリを作った。
- しかもCircleCI社じゃない会社が。。。
- セキュリティパッチ当てをCircleCIで半自動化してる
- いいねー
「第一回DDD座談会」参加メモ
「第一回DDD座談会」参加メモ
DDD座談会に参加してきました。
パネラー自己紹介
- 増田さん
原点回帰にはまっている
変更容易性
モジュール性 オブジェクト指向
6月 15000行コード書いた - 末並さん
@a_suenami - 原田さん
DDDとの出会い。結構古い
2004年あたまにDDDのプロジェクトをやった。
100人の開発者でやったらぐちゃぐちゃになる
人側に教える仕事をしている。ソフトウェアはかわいいのが良い。 - 奥田さん
ソケット社
ドメイン駆動設計、ユースケース駆動開発実践ガイド、メタ思考トレーニング
カンバン仕事術 - 加藤潤一
chatwork社
scala化をしようとしている。けど壁が高い。
どんな要件の時にDDDが良いか?
- 人数が多いとだめなので、いかにチームの人数を少なくできているか。
- ビルドフォーチェンジならDDDできる
- ビルドフォーノットチェンジだったら、費用対効果は望めない。 →エンジニアだったらビルドノットチェンジの案件でもチャレンジしてもらいたい
- 成長させたいプロダクトだったら、DDDは良いと思う
- ストラングラー
DDDを採用して失敗した事、後悔した事
- 仕事においては、成果を出してきたつもり。失敗した感じはない。
- あの時もっとやっておけばよかったという反省はある。
- 練習しないで、いきなりやったら絶対失敗する。
課外授業プロジェクト、週末プロジェクトで練習する。
小さいプロジェクト、大きいプロジェクト 大規模プロジェクトでやった方が、効果が良いのでは?
- https://www.pega.com/ja/build-for-change
- http://qiita.com/ledmonster/items/22b00c65208dffeff7e4
感想
- みなさんドメインエキスパートだけに、正確に言葉を選んでお話される 人たちでした。 日頃からの訓練の賜物なのかなーと思います
- 日頃の練習は、やっぱり必須ですよね。
「JJUG CCC 2016 Spring」参加メモ
ブログが遅れましたが、
2016年 5月 21日 (土) 9:30 ~ 20:00 (開場 9:00)
JJUG CCC 2016 Spring に参加してきました。
JJUG CCC 2016 Spring | 日本Javaユーザーグループ
予定の都合上3つのセッションに参加してきました。
自分のお目当ては、「Elasticsearchハンズオン」です。
自分の雑メモと感想を共有します。
テスト自動化のまわりみち / irof
途中参加
テスト自動化などの前に、テスト技法なりテスト項目書の書き方なり、基本的なことをやろうぜ
例えば、「◯◯が正しいこと」ではなく「◯◯の値が『10』になっていること」と書くとか。
「正しいこと」なんて、JUnitで表現できない...
ブラウザテストをサクサク進めるためのGeb実践入門 / @PoohSunny(高橋 陽太郎)
Elasticsearchハンズオン / 樋口 慎
- 2時間かけて自分のMacにElastic
- USBからファイルをもらった際のコピーの仕方が悪かったのか、自分のmacで
動かないことが多くメンターの人を何度も呼び出しました。 結局、時間内では予定のハンズオンが終わらなかったので家での宿題となりました。
感想
- 全てのセッションを聞けているわけではないのですが
このような技術的な勉強会及びセミナーに登壇する会社様が
徐々に事業会社様も多くなっているような気がします。 - 改めてハンズオンっていいなーと思いました。何か始めようと思っても
環境構築でうまくいかなくて、モチベーション下がるってことは多々あるので。。。
AWSSummit2016 参加メモ
今年もAWSSummitに行きました。
IoTがテーマでしたが、IoT以外のセッションもありました。
厚切りジェイソンには会えなかったのが残念です。
6月3日のランチセッションから参加しました。
ランチセッションとは別にランチチケットがもらえ
お昼ご飯を2回も食べ満腹と戦うことに必死でした。
聴講したセッション
- IoT プロジェクトはなぜ失敗するのか
- PARCO が進める IoT とデータ活用事例
- ドワンゴが AWS を使ってメディアストレージ基盤を開発してみた
- 秒間数万のログをいい感じにするアーキテクチャ
- GREE 流!AWS をお得に使う方法
- タウンワークにおけるサーバレスアーキテクチャデザイン
1. IoT プロジェクトはなぜ失敗するのか
竹之下 航洋(株式会社ウフル IoTイノベーションセンター マネージャー)
クラウドインテグレータ、マーケティングの両方を生業としている会社
2013年からIoTをもう一個の柱にしようとして力を入れてきた。
これからは、IoTがビジネスを牽引する
500億個ものののがインターネットにつながる
ウフルさんは、IoTを 人、プロセス、データ、モノがつながること ととらえている
事例紹介
- GEの航空事業事例
航空機メーカー ジェットエンジン
エンジンが出力することに課金 サブスクリプション
Iotにより事業ドメインを変えた 当社は、路面管理の高度化実証実験を実施
これからIoTを事業として考えるには、次のXXを意識した方が良い
2020年インフラ投資のマイルストーン
2018年までに商用サービスインしておきたい
2016年までにプロジェクトを開始しておかないと間に合わない
IoTへの取り組み方
- IoTは相対的な取り組みである
- ビジネスサイドのコミットメントがないとPOCをやってみただけになりかねない
- ありもののサービスだけでは運用が難しい
やってみてわかったこと
- WEBソケット 3Gは相性が悪い
- 実運用の話とでもの要件を混同してつくってしまった。失敗
- プロジェクト体制も重要
POC→準委任契約
実際の開発→請負 - ビジネスサイドの課題
開発前後のプロセスも見ている
感想
新しいことをやろうとして、まずはPOCでやりましょうとなるんだけど
そのあとどうすんの?みたいなことが戦略としてないと。
結局POCやったけどなんだったの?みたいな事になるのは実体験として
納得感がある話でした。
まずはやってみるのがPOCといえばPOCなんだけど、
POC後に進めるのか撤退するのかの戦略を作った上で、
POCをすべきなんかな〜
でも、いろいろ考えると結局はじまれない。見たいのもダメだしねー。
あとで調べる用語
node-red
http://deferloader.blog.uhuru.co.jp/?p=5329
enebular(エネブラー)
http://uhuru.co.jp/information/20141121-2/
PARCO が進める IoT とデータ活用事例
林 直孝 様(株式会社パルコ 執行役 WEB/マーケティング部、メディアコミュニケーション部担当)
社内サークルに参加している、IoT同好会部長
もともとマーケティングの人
全国に19店舗
ZERO GATE
一定期間の個客LTVの和
一定期間の接客LTVの和
接客は来店前からすでに始まっている
店舗接客、WEB接客の考え方を取り入れようとしている
ポケットパルコをリリースした。
なんのためにリリースしたか
* データを活用するためのツールとしている
* お客様の行動を可視化できないか?
* WEB上では離脱などが可視化できるが、リアルでできないか?
- ブログのクリップ
クリップするとコインが溜まる - 来店するとチェックインしてもらう
チェックインコインを渡す - アプリに登録されたカードで買い物してコンバージョンとする
→チェックインした人がなんで買い物しなかったのかがわからない
クラスメソッドさんと実証実験した時のスライド
https://speakerdeck.com/quiver/parukomiyuziamunihua-xiang-sensinguiotwodao-ru-siteke-ceng-fen-xi-sitemita
2週間くらいで導入した
ソラコム、AWS
人数カウントの精度が課題
スタッフに、外で雨が降っている事を今まではアナウンスで知らせていた
「お足元の悪い中〜〜」
感想
お客のデータをどうやって取得するのかっていうのが肝だと思いますが
PARCOさんはうまくいっているのかな〜という気がします。
もう少し突っ込んだ話も是非聞きたい。
部長が自ら同好会を立ち上げて、ITに力を入れる動きをするっていうのも
良さげです。
ドワンゴが AWS を使ってメディアストレージ基盤を開発してみた
- 車輪の再発明は防ぐ
利用している技術
- grape(http://qiita.com/hkusu/items/2ca0323cc276ab31e926)
- dinamo(ruby製DynamoDB)
- rabl(view)
- shoruken(SQS)
- aws-sdk-ruby(All)
苦労した点
- サーバレスなアーキテクチャを実現するためにはAWS固有のリソース・サービスへの理解が必要
- VPC・ネットワーク周りなどの知識は、別に必要
- フルマネージドのサービスを前提としたアプリケーションのテスト実装は今後も課題
- サードパーティのモックだと厳しい
- cloudformatinについては、整備が足りていない部分もある
- aws-sdkを活用したが、ドキュメントから読み取れない。検証が大事
秒間数万のログをいい感じにするアーキテクチャ
星 北斗(クックパッド株式会社 インフラストラクチャー部 セキュリティグループ グループ長)
*ESC
*なぜログを集めるのか
起きたことを示せる
*サービス改善をするためには不可欠
仮説の検証
パフォーマンス改善
システムトラブルの解消
*WEBDBプレスに記事書いたので、読んでほしい
*ログに求める要件
分析できないログはいらない。多すぎるログ
*現在の規模
*ログ収集の変遷
*Fluentdについて
トレジャーデータのOSS
*Apache Kafka
*KPLによる集約の導入
*kinesis-baibain
GREE 流!AWS をお得に使う方法
堀口 真司(グリー株式会社 開発本部/インフラストラクチャ部 リードエンジニア)
今井 祐介 (グリー株式会社 West Game事業本部 / RPG Studio部 シニアエンジニア)
神谷 侑司(グリー株式会社 West Game事業本部 / RPG Studio部 エンジニア)
籠島 啓介(Glossom株式会社 開発部)
dynamoDBのメリット
atomic counter
conditional save
コストの可視化
writeはreadの10倍かかる
surottorinngu の問題
パーティションの機能
capacityも分割される
一度割れたらもどらないAmazonAuroraをつかったコスト削減
5倍近いパフォーマンスが出る
イベント開始終了の負荷が非常に高い
*大量のログをなるべく早く
ltsv形式にしたら半分になった
コストエクスプロラーで毎日チェック
*Lamdaを使えると安く済む
タウンワークにおけるサーバレスアーキテクチャデザイン
会社紹介
67アプリリリース
パンダ一郎コアテクノロジープロジェクトを立ち上げ
データサイエンス+エンジニアリング+インフラ
どういった特徴のユーザがコンバージョンにいたるのか- タウンワーク
回遊する度にユーザの嗜好をひろう
アルタイムパーソナライズドソートの取り組み - 6人データサイエンティスト
- ログ基盤の整備
- 特徴量更新、予測の高速な処理
データベースの選定
高速な読み書き
特徴量の変更に対して柔軟である
AWSのサービスとの親和性が高い
管理コストが押さえられる - どうやって決めて行ったか?
NOSQLに絞った
自前で運用したくない
dainamo DB,elasticcasheにした - インフラ管理コスト
クラウドフォーメンションと ラムだを使った
ブルーグリーンデプロイメント
→DBを含めたブルーググリーンデプロイメント
→クラウドフォーメーションを使った - ラムダで管理コストを削減した話
ストリームデータ処理
バッチジョブ
インテグレーション
エラー事象をslackに通知する。他のコミュニケーションに紛れない?
専用の通知チャンネルに送る
使用料金をラムダでslackに送る。毎日slackに送る→これは試せそう
6/3の戦利品はコレ
ランチチケットでもらったランチ
ランチセッションのランチ写真
撮り忘れました。
来年も参加しまーす。
「成長企業に聞く 事業を成功に導くデジタル戦略」参加メモ
「成長企業に聞く 事業を成功に導くデジタル戦略」に参加してきました。
eure-adpark.connpass.com
◆概要
日時:5/18(水) 19:00-21:00
会場:株式会社エウレカ セミナースペース
主催:株式会社エウレカ
【登壇者】
奥谷孝司 (オイシックス株式会社COCO、元株式会社無印良品 WEB事業部長)
西井敏恭 (オイシックス株式会社CMO)
長谷川秀樹(東急ハンズ株式会社執行役員)
清水俊明 (株式会社スタートトゥデイ取締役 ホスピタリティ・マーケティング本部本部長)
【内容】
スマートフォンアプリを活用した最新ブランドプロモーションに関するセミナー
成長企業のキーマンをゲストに招き、誰もが知りたい「事業を成功に導く」ための
具体的なデジタル戦略をマーケティングご担当者様向けにディスカッション形式で
届ける勉強会
◆参加の目的
・無印良品にいた奥谷さんとハンズの長谷川さんの話を他の勉強会でも
聞いていて、単純に話が面白い方々なので、参加したのがきっかけです。
特にマーケティングとかに興味があったわけではないです。
◆感想・講演メモ
【事業の成功とデジタル戦略について】
・いろいろデジタル広告をやって見たけど、結局どれも投資効果でいくと
イマイチであり、新規ユーザを取り込むために、広告でお金を使うより
既存の仕組みをブラッシュアップする事に力を入れて、ユーザのために
お金を投資することが重要だと感じている。
・ネットだけの世界では成り立たなく、リアルの世界でのつながり
ユーザ体験も大事にしていかないと立ち行かなくなる。
<amazon>
・広告をほとんど打っていない。
・配送の仕組みを強化(配送期間を3日から24時間位以内)することで
ユーザへの価値を高め、今の地位を確立している。
<無印のMUJIPASSPORT>
・MUJIPASSPORTをスキャンする部分のインターフェースを
簡単に素早くスキャンできることに徹底的にこだわった
・店舗店員の接客の仕方を徹底してきた(必ずMUJIPASSPORTを持っているか聞く。
持ってない人はその場でもインストールしてもらう)
<ほか>
・サイトのメディア化も一つの戦略である。
特定業界の法律や情報集めたサイトにすると、検索エンジンからの流入を増やせる。
そのサイトの端っこにサイトの入り口を作って、コンバージョンに繋げる
【4人の勉強方法】
4人がどのように情報を得ているのかなども聞けたので共有します。
・勉強会などに参加して、つながりを作って勉強している
・googleで英語で検索して、画像で理解。本気で理解したければ英語読む
・月に50冊本読む
・ツイッター、facebookで著名人をフォローしてる
・座学だけでなく、実際に自分でツールやサービスを触っている
どの世界の人も、やっぱり勉強は欠かさずしてるんだなーと
ツイッターだったり、facebookは勝手に情報が入ってくるので
ものぐさは自分にもピッタリな情報収集方法です。機会があれば試してみてください。
◆学んだ用語
・ライフタイムバリュー
・CPA
◆反省点
マーケティングについては、何も知識がないまま参加したため話について行くことが
ままならず、理解が怪しいと感じた。マーケティングの本でも読もうかな。
「マンガでわかる! マッキンゼー式ロジカルシンキング」を読みました
「マンガでわかる! マッキンゼー式ロジカルシンキング」を読みました
マンガでわかる! マッキンゼー式ロジカルシンキング (まんがでわかるシリーズ)
- 作者: 赤羽雄二,大舞キリコ,星井博文
- 出版社/メーカー: 宝島社
- 発売日: 2015/07/25
- メディア: 単行本
- この商品を含むブログ (2件) を見る
ロジカルシンキングを鍛えるために 絵を交えながら説明されている物語風の漫画小説です 紹介されていた代表的な方法をメモ
A4メモ書き
- 1分で書く(重要)
- 1件一葉で書く
- 紙はA4用紙
- タイトルは疑問形にするなどの工夫
- 同じタイトルでも気がすむまで書く
・ 報告書をどう作成すれば良いのか?
・ 報告書の作成方法は? - ページにつき4〜6行、1行は20行〜30行1. 保管したメモはすぐに見返さない
電車内広告で鍛えられる論理的思考
マトリックスで頭を整理する
実際にやってみないと身につかないですね。 今度ぜったいやろーっと