先日、スクラムフェス福岡でこういう話をしてきました。
特に国内ではここ1, 2年界隈を騒がせている "Four Keys" と呼ばれる4つの指標についての話で、乱暴に内容を一言でまとめるなら、「Four Keysをちゃんと使いたかったらまず出典の本を読もうぜ」というものでした。
元々、Four Keysとか、それを包含する「開発生産性」と呼ばれる分野の世間での使われ方に妙な違和感をずっと感じていたのでこういう話をしに行ったのですが、講演後に現地で議論したりとか、あとこの資料を公開した後の反響を見たりしていて、1つ気づいたことがありました。
それは、世の中でいう "Four Keys" に実は2つの意味があって、その2つがひたすら混同され続けているのでは ということでした。
その2つというのはこれ↓です。
- デリバリのパフォーマンスを測る指標
- 組織のパフォーマンスを評価する先行指標
デリバリのパフォーマンスを測る指標として
Four Keys は単独では、ソフトウェアのデリバリ、つまり開発されてからリリースされ、ユーザーが触れられる状態になるまでの一連の流れを評価する総合的な指標です。
この観点で見たとき、Four Keys という4つの指標の構成はとてもバランスが良いといえるし、DevOpsを実践している開発組織が継続的に測定するのはそれなりの価値はあるでしょう。
ですがそれ以上の意味はありません。現在Four Keys がやたら持て囃されるようになったのは DORAの研究の成果からですが、この視点に留まる限りはDORAの研究はあまり関係ありません。
そして、確かに良い指標ではありますが、組織が計測できる数多の指標のうちの4つであるに過ぎません。この4つを必ず測らないといけないってものでもないし、特別視する理由もそれほどある訳ではありません。
最近和訳が出版された「ソフトウェアアーキテクチャメトリクス」の最初の章で Four Keys を扱っていますが、そこで解説されているのはあくまでこの観点でのものです。なので、冒頭でDORAの成果に軽く触れてはいるものの、実はDORAの研究はあまり関係がありません。
あ、僕はこの本をまだ全部読み切ってはいないので、僕が読んでないところで違うことを書いてたらすいません。あと不意に紹介しましたが、この本自体はとても良い本だと思います。
組織のパフォーマンスを評価する先行指標として
一方で、Four Keysがこれだけバズった大きな要因は、Four Keysが「組織のパフォーマンス」、それも市場占有率や成長性といった事業性に関するパフォーマンスと相関を持つ、ということをDORAが研究で明らかにしたことでした。
なので、そのバズった理由をそのまま信じるなら、 Four Keys という4つの指標は単にデリバリのアウトプットを評価する指標ではなく、その先の組織の事業性を評価する先行指標として使えることになります。
この観点に立つ限り、Four Keys は他のソフトウェアメトリクスとは違う、特別な意味を持ちます。
しかし「LeanとDevOpsの科学」にもあるとおり、この観点での Four Keys はDORAの研究結果のごく一部でしかありません。もしこの立場でFour Keysを利用するなら、DORAが発見した20以上のケイパビリティ（あるいはDORAモデル）とセットで考える必要があります。僕がスクフェス福岡で話したのはあくまでこの立場に則ったものです。
なぜこの立場だとDORAモデルを総合的に考えなきゃいけないか、の話は、それはそれで語りだすと長いので一旦別の機会に置くことにします。
まとめ
ということで、以上をまとめると
- Four Keysをただの「デリバリのパフォーマンス」の指標とする立場だと、DORAの研究はあんまり関係ないし、そんな特別な指標でもない
- Four Keysを「組織のパフォーマンス」の先行指標だとする立場だと、その4つの指標のみで扱うのはあまり意味がなく、DORAモデルに則って総合的に扱う必要がある
となります。
現状、1の立場だけどDORAに基づく特別な指標だとどこかで信じているか、2の立場だけど Four Keys 以外のDORAの研究成果をほとんど無視しているか、どちらかの立場で混同をしてる人がとても多い気がします。
