能做什麼、哪裡可靠、怎麼問、哪些要自己檢查
Lion 是公司內部的數據分析 Agent，建在微軟 Copilot Studio 上，直接查 DWH 的訂單資料。
從問題就能判斷靠不靠得住：只要總數、各組合計、排名前幾名的，靠得住；要它逐一處理很多家客戶的（比對名單、每一家分類、跨年追同一家），名單一長就可能漏算，而且不會報錯。例子見第 7 節。
以下各節點開才展開。講到 Copilot 平台特性的地方標了出處：官方微軟文件明寫；官方間接由官方說法推論；實測本專案測過。官方標記可點開原文（2026/10/30 查核）。
規則幾乎都是出錯後才補上的。知道錯過什麼，比較好判斷它現在哪裡靠得住。
| 第一版 | 現在（v12） | |
|---|---|---|
| 定位 | 替管理層把分析變成經營建議 | 幫分析師找線索、列出待確認的問題；不主動給經營建議 |
| 指令 | 全部寫在一份 Prompt | 分四處放（見「現在的架構」） |
| 查資料 | 以為模型能自己寫 SQL、串多張表 | 只有三支查詢工具，不能寫 SQL；加總、分組在資料庫算好 |
| 記憶 | 沒有 | 每則回覆附「分析狀態卡」 |
| 改版 | 改完就上線 | 每次改版先跑固定的測試題 |
| 出了什麼錯 | 怎麼改 | 版本 |
|---|---|---|
| ① 數字算錯：拿還沒結束的今年比去年全年；「上個月」該看出團日還是下單日分不清 | 加入日期與跨年比較的規則。後來把「先判斷是哪種情況再套規則」改成兩個獨立步驟：出團日對齊、下單日對齊 | v3～v9_6 |
| ② Prompt 超過 8000 字上限 | 分析方法、欄位值清單、通路特性、節慶連假表移到知識庫，Prompt 只留規則與口徑 | v7～v9_7 |
| ③ 工具跟原本想的不一樣：不能寫 SQL，日期要固定格式 | 寫明三支工具怎麼用、日期格式、只能對「一筆訂單一列」的表加總 | v9～v9_2 |
| ④ 聊三、四輪就忘了在分析什麼 | 加分析狀態卡 | v10 |
| ⑤ 問「全部客戶分群」這類要逐一處理幾百家的題目，算出來少了一大半，程式也沒報錯 | 定位改為找線索；總數、合計、排名一律請資料庫直接算好，不先把每一家查回來再自己算；提出發現前先自問三題：拿掉最大一家還成立嗎？占整體多少？兩邊比的期間、定義相同嗎？ | v11 |
之後 v11_1、v12 把「分四處放」和「改版先測」固定下來。為什麼會出這些錯，第二章說明。
Lion → 三支查詢工具 → 公司 DWH。主要查 VF_ORDR_MAIN_T：一筆訂單一列，訂單、產品、通路、客戶資料已併在一起。
| 工具 | 做什麼 |
|---|---|
describe_entities | 看有哪些表和欄位 |
read_records | 讀原始資料 |
aggregate_records | 在資料庫做加總、計數、分組、排前幾名；一次只能做一種運算 |
給 Lion 的指令分四處放。分法：漏掉就會算錯的，放在一定讀得到的地方；漏掉只是分析淺一點的，才放知識庫。
| 放在哪 | 放什麼 | 一定讀得到嗎 |
|---|---|---|
| Prompt | 全域規則與口徑：日期怎麼算、跨年怎麼比、一筆訂單只算一次、含不含取消、幣別、回覆格式、狀態卡 | 每輪都讀。上限 8000 字 官方；和其他地方衝突時照 Prompt 實測 |
| 開場範本 | 大題目（客戶樣貌）和每週重複的題目（週報）：整套步驟與回報格式 | 使用者貼進對話，一定讀到 |
| 知識庫 | 分析框架、通路特性、節慶連假表、欄位值清單 | 不一定：模型自己決定查不查，可能沒查或只查到一部分 官方間接實測 |
| 當場查資料庫 | 欄位實際有哪些值、資料更新到哪天 | 查的當下就是最新 |
回報問題時先分清楚：沒照 Prompt 做，是規則讀到了但沒用上；沒照知識庫做，可能根本沒查到。兩種的改法不同。
多數「Lion 怎麼會這樣」，原因在平台怎麼運作，不在模型夠不夠聰明。
同一個數字，Lion 有兩種算法：請資料庫直接算（查回來就是算好的結果）、自己寫程式算（先把每一筆查回來再計算）。後者多了一步，容易出錯的就是這一步。
| 回答裡的什麼 | 可不可靠 |
|---|---|
| 總數、各組合計、排名前幾名 | 準：資料庫直接算的 |
| 回答裡引用的個別數字 | 大致準；偶爾抄錯個別數字 |
| 歸納的現象、點名的客戶、提出的問題 | 有用；但不會主動懷疑自己，用詞可能誇大或輕描淡寫 |
| 逐一處理很多家之後的結果：分群、名單比對、跨年追同一家 | 可能漏算一大半；程式不報錯，Lion 不一定會發現。重算一次還可能變 |
| 用中文名稱指定的客戶或團 | 不可靠：會打成長得像的字，查不到也不報錯 |
| Lion 說自己做了什麼、為什麼出錯 | 不能信 |
| 有沒有用上分析框架 | 不一定 |
出處：本專案實測；分析框架一列另見官方間接。
能不能做，看問題要不要逐一處理很多家。資料庫算好的幾萬筆不是問題；要它逐一處理幾百家，就要先把幾百列打進程式碼（見第 4 節），每重算一次還要再打一次。
| 適合 | 不適合 |
|---|---|
| 單純取數 | 逐一處理全部客戶：跨年合併、分群、逐一分類 |
| 資料庫算好、模型看表說明：排名、占比、升降 | 交代一個方向，要它一次跑完整個分析 |
| 人帶著一輪一輪問 | 要求和財務報表分毫不差的數字 |
回頭查用法，看這一章就好。
兩種題目：取數要一個數字或一張表；探索要它找出哪裡有狀況。提問至少要有指標或維度（例：「上個月營業額」「看看直售處」）；只說「分析一下」，Lion 會反問想看哪一塊。
以過去實際問過的題目為例：
| 問的問題 | 靠得住嗎 | 過去的結果 |
|---|---|---|
| 「今年營業額跟去年同期比如何？」 | 靠得住 | 測試三題全對；每個數字都是資料庫直接算好的總數 |
| 「各部門今年營業額多少？」 | 靠得住 | 五個部門加總正好等於事業處總額 |
| 「這週營收比上週、比去年同週變化多少？」 | 大致靠得住 | 多算一步比率，資料只有幾十列；測試時對過總額，都正確。每週都做，週報範本陸續上線 |
| 「前三年的客戶，哪些今年還在、哪些流失、哪些是新的？」 | 靠不住 | 第一次問結果正確；接著追問時 Lion 重算一次，三年的客戶名單都沒放進去，算出來是空的 |
| 「全部客戶依特徵分群，各群幾家、什麼樣貌？」 | 靠不住 | 641 家只算進 124 家；分批重算，總數還是對不上 |
| 「哪些團名有『賞楓』這個詞？」 | 不要問 | 做不到：工具不能用「包含某字」查詢，團名又多又是中文。用 SQL 或 PowerBI |
| 用法 | 用在 | 怎麼用 |
|---|---|---|
| 直接問 | 日常探索、取數 | Lion 會說明採用的口徑，有不明確的地方才停下來問 |
| 開場範本 | 大題目、每週重複的題目 | 事先寫好的整套步驟：分幾輪、每輪問什麼、怎麼回報，不必每次重講。陸續上線，上線時本頁同步更新 |
| 分析狀態卡 | 接續上一輪 | 見下 |
連續分析時，Lion 每則回覆最後會附一張卡：
| 守則 | 原因 |
|---|---|
| 問總數、合計、排名；不要它逐一處理每一家 | 總數由資料庫直接算，準；逐一處理很多家可能漏算 |
| 要名單時一次 160 列以內（例：前 50 名）；要它逐一比對或分類的，限在前 30 名 | 名單越長越容易漏 |
| 客戶用 6 碼代號指定，不打中文名稱 | 中文會打成長得像的字，查不到也不報錯 |
| 看排名、占比、升降；不要它逐一替大量對象分類 | 每次重跑，分類結果可能不同 |
| 大題目分輪，一輪一件事，用狀態卡接續 | 只記得最近的對話、不會自己往下做 |
| 數字跟 PowerBI 對不上，先查口徑：一筆訂單是否只算一次、營收看出團日（「最近」看下單日）、是否含取消（預設含）、幣別（預設台幣） | 多數差異是算法不同，不是算錯 |
取數
探索
要它逐一處理很多家、或算了好幾步的結果，直接要求它「另外用資料庫查總額，對照一次」。Prompt 有寫這條，但測試時它沒做，被追問才承認。
今年還沒結束時的「同期比」和「離去年全年還差多少」，自己用表上的今年累計和去年全年核對。測試五次有一次算反（已經超過去年，卻寫成還差多少），還記進了狀態卡。