MASTER / ANALYSIS & THINKING
仮説を立て、検証する
思い込みで施策を進めないために、仮説の立て方、検証の判定条件、複数仮説の優先順位、比較設計、結果の解釈を、離脱率の改善ケースで学びます。
初回学習開始率（現状）
40%
登録直後に表示するおすすめ講座
3件
約30分基礎〜発展演習 4問講義をはじめる
※ 本レッスンの学習サービス「StudyFlow」と、初回学習開始率などの数値は、教材用の架空の例です。実在のサービスの実績ではありません。
この講義でできるようになること
- 思いつきを、対象・予測・判定条件を含む、検証できる仮説に変えられる
- 複数の仮説を、起きていそうか・影響の大きさ・検証しやすさで比べられる
- 比較の方法、主要指標、悪化させたくない指標、中止条件を決められる
- 仮説に合わない結果が出たとき、検証方法を点検して次の検証につなげられる
00:00 / 10:25
1第1章導入：思いつきと仮説の違い
Space 再生／停止・← → 10秒移動・N / P で章を移動・C で字幕。右の「文字で読む」で、話している内容を文字で追えます。
演習：手を動かして確かめる
講義を見終えたら取り組みましょう。入力した内容はこの画面の中で使うだけで、どこにも送信されません。
次のうち、最も検証しやすい（測定しやすい）仮説に近いものはどれですか？
仮説を検証する前の確認リスト
- 仮説に、対象・予測・判定条件がそろっているか
- 「この結果なら仮説を修正する」という条件を、先に決めたか
- 原因の候補を複数挙げ、最も安く確かめられるものから選んだか
- 主要指標・観測期間・比較の方法・中止条件を、事前に決めたか
- 主要指標だけでなく、悪化させたくない指標も確認するか
- 前後比較だけで因果を決めつけていないか
次に学ぶなら
テキストで読む（文字起こし）
第1章 導入：思いつきと仮説の違い
仮説とは現時点で確定していない けれど検証するために置く説明 です 仮説思考は最初に思いついた答え に固執することではありません むしろ早く間違いに気づくための 方法です売上が下がったのは広告 のせいというだけでは何を確かめ ればよいか曖昧です 広告経由の新規登録減が主因なら 流入から登録までのどこかに変化があるはずと具体化すれば検証できるようになります ここでワークです 仮説が正しいとき観測されるはずのデータを一つ書いてみてください 動画を止めて考えてみましょう シーレーです 新規登録の減少が売上低下の主な原因なら 広告の流入別に見た登録数が同じ期間に減っているはずです
第2章 検証できる仮説の三要素
いい仮説には3つの要素があります 何についての仮説かという対象 正しければ何が起きるかという予測 どんなデータで判断するかという判定条件です 便利にすれば良くなるでは曖昧ですが 検索動線を変更すると 初回検索成功率が改善するは測定しやすくなります 注意点は仮説が反証可能であることです 何が起きてもやっぱり正しかったと言える主張は検証になりません この結果なら仮説を修正するという条件を最初に決めます 演習です お客様は動画が好きという文を検証できる文に言い換えてみてください 動画を止めて考えてみましょう 言い換えの一例です 新規登録者のうち動画説明を見た人たちは 見なかった人たちよりも初回設定の完了率が高い ただし因果を判断するには 2つのグループの差を調整するか 無作為に割り付ける必要があります
第3章 仮説を複数持ち、優先順位をつける
売上が下がったとき、原因は一つとは限りません 候補として1、流入減 2、登録率低下 3、継続率低下 4、単価低下があり得ます まず、観測された変化を分解し、どの仮説が重要かを考えます 優先順位は起きていそうか影響が大きいか検証しやすいかでつけます ただし可能性が高そうという感覚だけでは不十分です 過去データや現場情報も使って暫定評価します 検証には費用がかかります 大規模なシステム改修を始める前に 利用ログの確認や顧客インタビューで絞り込めるかもしれません 最初に最も安く最も重要な不確実性を減らせる確認は何かを考えましょう 演習です 解約が増えた原因の候補を3つ挙げ 最初に確認する指標を選んでみてください 動画を止めて考えてみましょう 考え方の一例です 原因の候補を3つ並べそれぞれ起きていそうか影響が大きいか検証しやすいかで比べます その上で最も安く重要な不確実性を減らせる指標を最初に確認します
第4章 検証設計：比較しないと分からない
施策の前後を比較するだけでは因果を確定できません 例えば動画説明を追加した後に登録率が上がっても 広告の質が変わったのかもしれません 可能なら同じ期間に条件を揃えた比較群を作る いわゆるABテストが役立ちます 無作為に割り付け 事前に主要指標・観測期間最低限検出したい差 中止条件を決めます ただし全ての仕事でABテストができるわけではありません その場合は対象者の属性や季節性の違いなど 比較に影響しそうな要因を書き出します また数字が上がることだけを追うと 別の悪影響を見逃します 例えば登録率が上がっても 直後の解約率が悪化していれば成功とは言い切れません 主指標と合わせて悪化させたくない指標も確認します 小さな演習です 問い合わせ回答を自動化したら対応時間が短くなった この時確認すべき副作用を挙げてみてください 動画を止めて考えてみましょう 例えば、誤回答の率、もう一度問い合わせてくる率、満足度、苦情の件数などです
第5章 ケース：StudyFlowの離脱率を改善する
スタディフローでは、新規登録後7日以内の離脱が目立っています。 何から学ぶか迷い、最初の一歩が出ない、という仮説を立てました。 そこで、登録直後におすすめ講座を3件表示します。 ただし、これが正しいと決めつけず、初回学習開始率を主要指標にし、 7日継続率や苦情を補助的に確認します。 対象者と期間、比較方法を決めてから実施します ワークです 仮説、主要指標、比較方法 そして失敗と判断する条件を書いてみてください 動画を止めて考えてみましょう 回答の一例です 仮説は迷いが学習開始の障壁になっていること 主要指標は登録後24時間以内の学習開始率 比較の方法は新旧の画面を無作為に割り付けて比べること そして開始率の改善がはっきりしない場合や 継続や満足を大きく損なう場合は採用を見送ります 具体的な有意差の判定やサンプルサイズは データと専門的な設計が必要なため、ここでは断定しません
第6章 まとめと確認問題
仮説は正しさを証明するための旗ではなく学ぶための地図です 複数の可能性を持ち予測を書き結果によって修正する 検証できない大きな主張を確認できる小さな問いに変えてください 次は何が本当の問題なのかを見極めます 最後に確認問題です 仮説が当たらなかったとき最も適切な行動は何でしょうか 動画を止めて考えてみましょう 検証の方法と結果を確認し 仮説を修正または棄却して次の検証につなげることです