教材正本 validation/README.md · sha256 7a7e9451c0e1f6c8

V2 真人驗證 Runbook

這不是另一份產品架構文件。

目前狀態:後置,不主導產品方向

本 Runbook 目前保留,但暫不作為 V2 的最高優先工作。

先完成:

  1. 產品正典
  2. Drift Guard(../internal/DRIFT_GUARD.md——製作方參考,不隨包交付)。
  3. 四元件、三軌、Founder 與工程分期的固定邊界。

目前真人測試不是 PMF、conversion 或一般 SaaS onboarding 優化,而是:

意圖保真測試:確認參與者沒有把 Starter Kit 誤解成 LINE Bot 教學、Gemini 免費機器人或另一套 SaaS 安裝流程。

首次成功時間與安裝完成率仍可記錄,但不能反過來覆寫產品正典。

目前這份 Runbook 的實驗屬於 Experiment Layer:

  • 可以測文案、影片、CTA、教學順序與 Founder 對話。
  • 不需要因為每次試驗就修改產品正典。
  • 結果先進 Learning Layer。
  • 只有產品語義或邊界真的需要改變,才進 Canon Layer。

實驗紀錄可使用 Experiment Layer 實驗模板(../internal/EXPERIMENT_TEMPLATE.md——製作方參考,不隨包交付)。

實驗完成後,將可重用的 observation 登記到 Learning Ledger(../internal/LEARNING_LEDGER.md——製作方參考,不隨包交付),不要直接修改產品正典。

它只用來回答三個問題:

  1. 沒有背景知識的人,能不能自己走到下一步?
  2. 從打開 Starter Kit 到第一個 AI 回覆,實際需要多久?
  3. Founder AI Manager 是否真的讓人感受到「被理解」的差距?

驗證原則

  • 不先教參與者怎麼做。
  • 不在測試中替參與者修正流程。
  • 只記錄非敏感的行為、時間、困惑與證據。
  • 不要求參與者提供 API Key、Channel Secret、Access Token 或客戶個資。
  • 失敗不是測試失敗;找不到下一步才是產品需要修正的訊號。
  • 先跑人工版,再決定哪些步驟值得半自動化。

實驗順序

實驗 1:陌生人無提示 walkthrough
    ↓
修正最明顯的理解摩擦
    ↓
實驗 2:首次成功時間
    ↓
確認真正的慢點與放棄點
    ↓
實驗 3:Founder 差距與轉換
    ↓
決定下一輪內容、Troubleshooter 與半自動 Wizard

實驗 1:陌生人無提示 walkthrough

目標

確認完全不了解 AI 經理人背景的人,能否只看 Starter Kit:

  • 說出自己的第一個小工作。
  • 找到人工 Setup Checklist。
  • 知道下一步要做什麼。
  • 卡住時找到 AI Troubleshooter。

操作

  1. 給參與者 README 連結。
  2. 只說:「請你試著用這份 Starter Kit 建立一個自己的 AI 工作入口。」
  3. 不補充產品背景,不示範按哪裡。
  4. 請參與者說出正在想什麼,但不引導答案。
  5. 記錄每一次停頓、回頭、詢問與誤解。

主持人可以說

  • 「你現在會怎麼理解這一頁?」
  • 「你接下來想做什麼?」
  • 「你覺得這個詞是什麼意思?」
  • 「如果現在卡住,你會去哪裡找幫助?」

主持人不能說

  • 「你應該點這裡。」
  • 「這個其實就是 Webhook。」
  • 「你先照我說的做。」
  • 「這一步很簡單。」

通過條件

  • 能用自己的話說出第一個小工作。
  • 能找到 Setup Checklist。
  • 能說出成功是看到自己的第一個 AI 回覆。
  • 能找到 Troubleshooter。
  • 沒有因為文件要求而貼出秘密。

實驗 2:首次成功時間

目標

測量:

從打開 Starter Kit 到使用者真的用自己的官方 LINE 收到第一個 AI 回覆,實際需要多久。

這一輪先記錄真實分布,不先承諾 30 分鐘或 2 小時。

起止點

開始:

  • 參與者第一次打開 README 的時間。

結束:

  • 參與者在自己的官方 LINE 看到第一個 AI 回覆的時間。

里程碑

T0 開始閱讀
T1 說出第一個小工作
T2 確認自己的官方 LINE
T3 保存自己的必要設定
T4 LINE Verify 或 equivalent evidence
T5 Gemini 連接確認
T6 第一次測試訊息送出
T7 第一個 AI 回覆觀察到
T8 若失敗,Troubleshooter 恢復或人工交接

要記錄的不是只有時間

  • 哪一個 stage 最久。
  • 哪一個詞造成停頓。
  • 參與者是否回頭重讀。
  • 參與者是否知道自己成功了。
  • 參與者是否知道下一步。
  • 參與者是否在卡住後放棄。
  • 是否需要主持人提示。

通過條件

第一輪不設定漂亮數字,先建立 baseline。

至少要能知道:

  • 中位完成時間。
  • 最常見的第一個停點。
  • 最常見的放棄點。
  • Troubleshooter 使用率。
  • 人工交接率。

實驗 3:Founder AI Manager 差距與轉換

目標

確認使用者是否感受到:

普通 Gemini 是回答;Founder AI Manager 是先理解我的工作,再判斷 AI 可以在哪裡幫我。

操作

給參與者同一個簡短情境:

我是預約制工作室,客人常在晚上問價格和空檔。
我現在最困擾的是沒有辦法每次即時回覆。

先請他向普通 Gemini 提問,再請他向 Founder AI Manager 描述同一個情境。

不要先介紹 Founder 的功能清單。

觀察

請參與者在每次對話後回答:

  • 哪個回答比較像在回答問題?
  • 哪個回答比較像在理解你的工作?
  • 哪個回答有指出下一步?
  • 哪個回答有說清楚限制?
  • 你願不願意把自己的工作再多說一點?
  • 你願不願意了解下一步協作或導入?

簡單評分

每項 1–5 分:

指標問題
情境理解它有沒有抓到我真正的工作情境?
相關性它說的是否和我的工作有關?
邊界感它有沒有清楚說明不能直接承諾的事?
下一步它有沒有指出一個可開始的小工作?
被理解感我是否感到它真的在理解我?
探索意願我是否想知道更完整的 AI 經理人?

通過訊號

  • 參與者自發說出「它比較懂我的情況」。
  • 參與者願意補充公司、客戶或工作背景。
  • 參與者能指出一個更適合自己的 AI 小工作。
  • 參與者主動詢問下一步,而不是只問功能列表。

測試紀錄

請使用 SESSION_TEMPLATE,不要把秘密或客戶資料寫進紀錄。

真人測試前的必要條件

  • 有可以讓參與者使用的測試帳戶或測試路徑。
  • 參與者知道不要提供秘密。
  • 有實際 Founder AI Manager 入口,或清楚標記本輪只能做 script test。
  • 有 Owner 提供的展示影片與自媒體素材,或明確標記尚未接入。
  • 有人工協作人員可以接手,不讓參與者卡在無人處理的狀態。

安裝卡住 → 加 LINE 直接講。

進 LINE 體驗