Cloud Penguins

Flying penguins in the cloud.

Pivotal Container Service(PKS)とその関連技術のはなし

既に各所でニュースになっていますが、アメリカで開催されていたVMworld 2017でPivotal Container Serviceが発表されました。

［速報］VMware、vSphere上にコンテナ環境を自動構築する「Pivotal Container Service」発表。Google Container Engineとのポータビリティ実現。VMworld 2017 US

VMwareとPivotalが「Pivotal Container Service」発表-Google Cloudと協業

エンタープライズ向けKubernetesということで、大きく注目されたようです。

PKSの技術要素

PKSは、今年の春に発表されたKubo(Kubernetes-BOSH)を中心に、いくつかのVMwareテクノロジーを組み合わせた構成になっています。

f:id:jaco-m:20170831160429j:plain

Kubo

KuboはCloud Foundryでも使われているBOSHでKubernetesのデプロイと運用をしてしまおうという仕組みです。既に世の中にはいくつかのKubernetesのデプロイツールが存在していますが、これらはあくまでもデプロイをやってくれるだけ。実際に運用を行っていく上で必要なモニタリングやロギングなどの要素は別途作る必要があります。

ただ、Kubernetesのような大規模な仕組みの運用ってかなり大変なんですよね。でも、Cloud Foundryの運用ノウハウが詰まったBOSHを使うことで、そのあたりを一挙に解決できます。

BOSHをもっと知りたい、試したいという方は、makingさんのblogを参考にするのがよいでしょう。

また、9/12に開催されるCloud Foundry Tokyo MeetupではBOSH祭りと称して、BOSHの基礎から利用事例まで幅広いセッションが予定されてますので、興味のある方はこちらも是非。

VMware Technology

k8sのオーバーレイネットワーク部分にはCNI準拠のNSX-Tが。 Docker RegistryとしてHarborが使われています。

Open Service Broker

GCPと連携するための仕組みとして、GCP Service Brokerが用意されています。 GCP Service BrokerはOpen Service Brokerに準拠しており、これを経由してGCPの各サービスのプロビジョニングやコンフィグレーションが行われます。

PKSのデモ

VMworldのKeynoteでは、PKSのデモも行われました。このビデオの0:52あたりを参照。 自分もPKSのデモは初めて見たんですが、おおすげぇ！ってなりました。こんなに簡単にk8sクラスタ作れちゃうのすごい。

実物触れるようになる日が楽しみですね。

MasterCloud #4で話しました

Cloud Foundry PaaS Container

先日開催された MasterCloud #4 で、Cloud Foundryについてお話してきました。

発表資料はこちら

Dockerは便利だけど、自分でイメージの管理するとなると結構手間かかったりするんですよね。 自前でコンテナイメージの作成や管理できるのは便利なケースもある一方、手間ばかりかかって開発速度が落ちるというケースもしばしば。じゃあどうすれば？というときに、Cloud Foundryという選択肢も考えてみてはいかがでしょう　という発表内容でした。

OpenServiceBrokerの話

Cloud Foundry PaaS Kubernetes

OpenStackDaysのテクニカルセッションで話したスライドです。

個人的にCFで一番好きな機能がServiceBrokerなんですが、この仕様がCF特化ではなくてより汎用的になって、k8sをはじめとした他のプラットフォームからでも利用可能になるのが、このOpenServiceBroker。

CFの強みのひとつを外だししちゃっていいの？という気持ちはあるけれど、これでエコシステムが拡大するならばそれはそれでありなのかな。

Blogをはてなブログに引っ越した

これまでWordPressやGhostなどでBlogを書いていたけれど、そろそろ自前blogも面倒に感じてきた。

実際いちど、消してはいけないVPSアカウントを消してしまい、それまでのブログデータもろとも吹っ飛ばす事故やらかしてからは、もう自前でないほうがいいんじゃないかと。

データ吹っ飛ばす事件以降、blog書く気力も無くしていたので、この際引っ越してそっちで心機一転やろうかなと。

ということで、はてなブログに引っ越してPro契約。独自ドメインは過去のblogのものを引っ越し。 Ghostで書いていたデータはインポート出来なかったんだけど、たいした記事数もなかったんでひとつひとつコピペして引っ越し。markdownでかけるので単純にコピペするだけでよかった。

ということで、今後週1回くらいはかけるようにしたいなー。

あとデザインもちょっといじらないと。デフォルトだとあんまり好みじゃない。

k8sのService Broker改めOpen Service Broker APIについて

先日書いたこの記事

k8sが導入するService Brokerの仕組みとは

ですが、Open Service Broker APIとしてサイトが出来ていました。

GitHubのリポジトリはこちら

Open Service Broker APIのspecはこのドキュメントにまとめられていくようですが、現時点ではCloud FoundryのService Broker APIそのものになっていますね。

CF Service Broker APIは、Cloud Foundryにしかないorganization_idやspace_idといったパラメータが必須項目になっており、このままではk8sやOpenShiftで利用するのは難しいでしょう。

今後このあたりのCF特化の項目が取り払われていき、より汎用的なAPIになってくのかなと考えられます。

議論はSlackやGoogleGroups/MLで進められていくようなので、興味のある方は参加してみてはいかがでしょうか。

HUISリモコンとNode-REDを繋げるやつの仕組み

Node-RED Advent Calendar 2016の14日目!

以前、Node-RED UG勉強会 Vol.1 で発表したHUISとNode-REDの連携のやつですが、とある人から仕組みを教えてくれと言われてました。

・・・が、すっかり失念しておりました(すみません)

ということで、Advent Calendarにあわせてあれの仕組みを書いてみます。

先にHUISの話

ソニーのハイテクリモコン、HUISですが、発表の後も順調にアップデートされています。先月にはHUIS UI Creator ver 2.0、HUISソフトウェア ver 4.0が出ています。

http://huis.jp/

特にHUISソフトウェアは、10月に出たver 3.1から本体の動作速度が劇的に向上しており、かなり使い勝手が良くなりました。

赤外線連携部分

HUIS x Node-REDと書いてますが、正確には赤外線リモコンのデータをNode-REDで受け取って処理するという話なので、これから書く内容は普通のリモコンでも同じように利用できます。

赤外線受信

赤外線の受信には、BitTradeOneから出ているUSB接続 赤外線リモコンKITというのを使っています

公式に提供されているツールはWindows用なのですが、Linuxで利用できるコマンド btr_ir_cmd というものがGitHubで公開されているので、今回はそれを利用しました。

https://github.com/kjmkznr/bto_ir_cmd

このコマンドで受信も送信も可能なのですが、今回は受信のみを使います。

$ sudo bto_ir_cmd -r
Receive mode
  Received code: C1AA5A8F302081

赤外線を受信すると、このようにコードが表示されます。

Node-REDとの連携

bto_ir_cmdだと、待機中に表示される文字列が邪魔だったので、以下のようなシンプルなラッパーを書き、btoというコマンド名にしました。

#!/bin/bash
echo `bto_ir_cmd -r | grep code`

フローについては

  1. Node-REDのexec nodeを使ってbtoを実行(待ち受け状態になる)
  2. 信号を受信すると標準出力が得られるので、出力をパースしてコードを取り出し
  3. コードごとにswitch nodeで処理を分岐。分岐させたあとはお好きなように
  4. exec nodeをループさせて再度btoを待ち受け状態に

という流れでやっています。

Node-REDでbto_ir_cmdを叩くフロー

ハマったポイントとしては

  • exec nodeでは、"Use spawn() instead of exec()?“ にチェックを入れること(標準出力と、さらにReturn codeをloopに使うため)
  • bto_ir_cmdではExtendedモードを使わないこと
  • Extendedを使うと大幅にレスポンスが悪化し、実用に耐えなくなる

くらいでしょうか。フロー自体は非常にシンプルなので、Node-REDに慣れている方であればすぐに応用できると思います。

Gistにフローを貼っておいたので必要であれば参考にしてください。 https://gist.github.com/jacopen/72468a6176162e9a88f5cf5f654750b5

最後に

勉強会資料の最後にもちらっと書いてますが、HUISはBluetoothに対応しており、8月にはBluetooth対応のクレードルも出ました。

Bluetoothを使えば連携の幅をさらに広げることができるので、こちらのほうも試してみたいなーと考えてます。

k8sが導入するService Brokerの仕組みとは

Kubernetes Advent Calendarの9日目！

発端

数ヶ月前、こんな記事がありました。

Cloud Foundry’s Service Broker API Role in Kubernetes and Open Source Platforms

Kubernetesに、Cloud FoundryのService Brokerの仕組みを持ち込むという話です。

このService Broker、一体どういうものなんでしょうか。これを持ち込むことによって、どのようなメリットがk8sにもたらされるんでしょうか。今回は、Cloud Foundryを例に説明してみます。

あ、ちなみに。 Service Brokerと聞いてKubernetes勢は混乱しているかもしれません。Kubernetesにも"Service"の概念がありますからね。

Service BrokerのいうServiceとは、KubernetesのServiceを指すのではなく、MySQLやRabbitMQなどなどバックエンドサービスを指すと考えてください。

Service Brokerって何

Service Brokerを一言で表現すると、 Cloud Foundryと外部サービスを疎結合に結びつける仕組み となるでしょうか。

具体的に見ていきましょう。

以下はCloud FoundryでMySQLのDBを作成し、アプリケーションにバインドする際のコマンドです。ちなみにcfコマンドはCloud FoundryのCLIです。

cf create-service mysql free app1-mysql
cf bind-service app1 app1-mysql

Cloud Foundry内にapp1-mysqlという名前を付けたMySQLを立ち上げて、それとアプリを紐付けしている。そんなイメージが湧くのではないでしょうか。図にするとこんな感じ。

f:id:jaco-m:20170901162143p:plain

しかし、実際には違うのです。より実体に近い形で図を起こすとこうなります。

f:id:jaco-m:20170901162149p:plain

そう、cf create-serviceで作成されるものは、Cloud Foundryの中ではなく、外側にあるのです。このとき、Cloud Foundryと外部サービスの橋渡しをしているのが、Service Brokerです。

Service Brokerのフロー

Cloud FoundryがService Brokerと連携する際、Cloud Foundryがクライアント、Service Brokerがサーバーという位置づけになります。

Cloud Foundry FoundationによりService Broker APIというAPIが定められています。これを実装したものがService Brokerとなるわけです。

実際にCreate Serviceをした際のフローは以下のようになります。

f:id:jaco-m:20170901162152p:plain

Service BrokerはCloud Foundryからのリクエストを受け付けて返すだけ。クライアント/サーバー型の位置づけになっていることが分かるでしょうか。

次に、作成したサービスとアプリケーションを紐付ける作業、バインド時のフローです。

f:id:jaco-m:20170901162159p:plain

create時と同じく、CFからService Brokerにリクエストが飛んでいることが分かりますね。

Serviceをバインドすると何が起きるのか

アプリケーションとサービスをバインドすると聞くと、間にオーバーレイのネットワークが出来上がって直接通信して・・・みたいなことを想像してしまうかもしれませんが、残念ながらそこまではやってくれません。 サービスをバインドすると、そのサービスに関する情報が環境変数でアプリケーションに渡されます。基本、それだけです。

環境変数なんてデプロイするときに自分で設定出来るんだから、こんなの要らないじゃん

そう思う人もいるかもしれません。その考え方は間違ってはいません。 しかし、以下のようなケースの場合を考えてみましょう。

f:id:jaco-m:20170901162202p:plain

Microservicesが叫ばれる昨今、機能単位で細かくアプリケーションを分けるシーンも増えてきています。その場合、MQなどを用いてアプリケーション間でデータのやり取りを行う必要があるわけですが・・・

たとえばこの状態でMySQLやRabbitMQを作り直したり、プラン変更でエンドポイントを変更するとなるとどうでしょう。全てのアプリケーションの環境変数を変更する必要がありますね。

ただ、運用を考えると、同じ設定をあちこちに入れるのはあまり美しくありません。出来る限りDRYにいきたいものです。

MySQLやRabbitMQを、ひとつのリソースとして見立て、必要なアプリケーションからそれぞれリソースをバインドする。こういうモデルにすることで、何か変更が発生した場合も、リソース側だけを差し替えれば済みます。1アプリケーションだけ設定を間違えて問題がおきるといったこともありません。

12 Factor Appで示されるベストプラクティスの1つ、バックエンドサービスをアタッチされたリソースとして扱う が実現出来るわけですね。

k8sがService Brokerをどう取り入れていくのか

CFは優れたPaaSですが、その設計思想からしてもDBのようなステートフルなサービスを運用するには向いていないのです。Service BrokerはそのようなCFとその他のサービスを疎結合で結びつけることで、より柔軟な拡張性を持たせるための仕組みということですね。

Kubernetesは最近のアップデートを見る限り、ステートフルなアプリケーションも極力サポートしようという動きがみられます。しかしながら、「動かせる」ことと「動かしたいかどうか」は別に考える必要があります。 たとえば、メールサーバーを動かすのもやろうと思えば可能でしょうけど、メールサーバーの運用経験がある人であれば自分で運用したいとは二度と思わないでしょうし、ましてやKubernetesの上に載せたいなんて考えすらしないでしょう。

そうなると、やはり同じように外部サービスに投げることになるわけで、そこでService Brokerのような仕組みがあれば、より簡単にKubernetes上のアプリにバインドすることができるわけですね。

現在は、service-catalogという名前で実装が進みつつあるようです。

また、このService Broker開発にも関わるDeisのチームは、stewardと言う名前で何かを開発しているようですが、これがどう絡んでいるのかは深く追っていないので分かりません。

というわけで、今回の記事はこれでおしまい。