能做什麼、哪裡可靠、怎麼問、哪些要自己檢查
開啟 Lion → 在 Microsoft 365 Copilot 開啟,需以公司帳號登入。Lion 是公司內部的數據分析 Agent,建在微軟 Copilot Studio 上,直接查 DWH 的訂單資料。
從問題就能判斷靠不靠得住:問的是總數、各組合計、前幾名,靠得住;問的是「哪些客戶」「每家客戶各屬於哪一類」(哪些流失、哪些新增、分群),客戶一多就可能漏算,而且不會報錯。例子見第 7 節。
以下各節點開才展開。講到 Copilot 平台特性的地方標了出處:官方微軟文件明寫;官方間接由官方說法推論;實測本專案測過。官方標記可點開原文(2026/10/30 查核)。
規則幾乎都是出錯後才補上的。知道錯過什麼,比較好判斷它現在哪裡靠得住。
| 第一版 | 現在(v12) | |
|---|---|---|
| 定位 | 替管理層把分析變成經營建議 | 幫分析師找線索、列出待確認的問題;不主動給經營建議 |
| 指令 | 全部寫在一份 Prompt | 分三處放(見「現在的架構」) |
| 查資料 | 以為模型能自己寫 SQL、串多張表 | 只有三支查詢工具,不能寫 SQL;加總、分組在資料庫算好 |
| 記憶 | 沒有 | 每則回覆附「分析狀態卡」 |
| 改版 | 改完就上線 | 每次改版先跑固定的測試題 |
| 出了什麼錯 | 怎麼改 | 版本 |
|---|---|---|
| ① 數字算錯:拿還沒結束的今年比去年全年;「上個月」該看出團日還是下單日分不清 | 加入日期規則:營收看出團日、問「最近」看下單日;今年還沒結束時,跟去年同期比 | v3~v9_6 |
| ② Prompt 超過 8000 字上限 | 分析方法、欄位值清單、通路特性、節慶連假表移到知識庫,Prompt 只留規則與口徑 | v7~v9_7 |
| ③ 工具跟原本想的不一樣:不能寫 SQL,日期要固定格式 | 改用三支查詢工具取數,加總在資料庫做;一筆訂單只算一次 | v9~v9_2 |
| ④ 聊三、四輪就忘了在分析什麼 | 加分析狀態卡 | v10 |
| ⑤ 問「全部客戶依特徵分群」,641 家只算進 124 家,也沒有報錯 | 定位改為幫分析師找線索,不再給經營建議;這類題目的結果當線索看(哪些題目靠得住見第 7 節) | v11 |
Lion → 三支查詢工具 → 公司 DWH。主要查 VF_ORDR_MAIN_T:一筆訂單一列,訂單、產品、通路、客戶資料已併在一起。
| 工具 | 做什麼 |
|---|---|
describe_entities | 看有哪些表和欄位 |
read_records | 讀原始資料 |
aggregate_records | 在資料庫做加總、計數、分組、排前幾名;一次只能做一種運算 |
給 Lion 的指令分三處放。分法:漏掉就會算錯的,放在一定讀得到的地方;漏掉只是分析淺一點的,才放知識庫。
| 放在哪 | 放什麼 | 一定讀得到嗎 |
|---|---|---|
| Prompt | 全域規則與口徑:日期怎麼算、跨年怎麼比、一筆訂單只算一次、含不含取消、幣別、回覆格式、狀態卡 | 每輪都讀。上限 8000 字 官方;和其他地方衝突時照 Prompt 實測 |
| 知識庫 | 分析框架、通路特性、節慶連假表、欄位值清單(原文見第 11 節) | 不一定:模型自己決定查不查,可能沒查或只查到一部分 官方間接實測 |
| 任務範本 | 大題目(客戶樣貌)和每週重複的題目(週報):整套步驟與回報格式 | 使用者貼進對話,一定讀到 |
欄位實際有哪些值、資料更新到哪天,不寫在指令裡,Lion 每次當場查資料庫。
多數「Lion 怎麼會這樣」,原因在平台怎麼運作,不在模型夠不夠聰明。
同一個數字,Lion 有兩種算法:請資料庫直接算(查回來就是算好的結果)、自己寫程式算(先把每一筆查回來再計算)。後者多了一步,容易出錯的就是這一步。
| 回答裡的什麼 | 可不可靠 |
|---|---|
| 總數、各組合計、排名前幾名 | 準:資料庫直接算的 |
| 回答裡引用的個別數字 | 大致準;偶爾抄錯個別數字 |
| 歸納的現象、點名的客戶、提出的問題 | 有用;但不會主動懷疑自己,用詞可能誇大或輕描淡寫 |
| 「哪些客戶」「每家屬於哪一類」的結果:分群、名單比對、跨年追同一家 | 可能漏算一大半;程式不報錯,Lion 不一定會發現。重算一次還可能變 |
| 某客戶或某團「查無資料」 | 不一定真的沒有:名稱可能被打成長得像的字而對不上,查詢不報錯 |
| Lion 說自己做了什麼(「已核對」「已確認」)、為什麼出錯 | 可能沒做、原因可能說錯:測試時說已核對總額一致,實際沒有加總 |
| 有沒有用上分析框架 | 不一定 |
出處:本專案實測;分析框架一列另見官方間接。
能不能做,看問的是什麼。問總數、合計、排名,範圍再大都一樣準;問「哪些客戶」「每家各屬於哪一類」,答案要逐家判斷,客戶一多就可能漏算,重問一次結果還可能不同(原因見第 4 節)。
| 適合 | 不適合 |
|---|---|
| 取數;看排名、占比、升降,請它說明 | 對全部客戶逐家判斷:跨年追同一家、分群、逐一分類 |
| 人帶著一輪一輪問 | 交代一個方向,要它一次跑完整個分析 |
回頭查用法,看這一章就好。
兩種題目:取數要一個數字或一張表;探索要它找出哪裡有狀況。提問至少要有指標或維度(例:「上個月營業額」「看看直售處」);只說「分析一下」,Lion 會反問想看哪一塊。
以過去實際問過的題目為例:
| 問的問題 | 靠得住嗎 | 過去的結果 |
|---|---|---|
| 「今年營業額跟去年同期比如何?」 | 靠得住 | 測試三題全對;每個數字都是資料庫直接算好的總數 |
| 「各部門今年營業額多少?」 | 靠得住 | 五個部門加總正好等於事業處總額 |
| 「這週營收比上週、比去年同週變化多少?」 | 大致靠得住 | 多算一步比率;測試時對過總額,都正確 |
| 「前三年的客戶,哪些今年還在、哪些流失、哪些是新的?」 | 靠不住 | 第一次問結果正確;接著追問時 Lion 重算一次,三年的客戶名單都沒放進去,算出來是空的 |
| 「全部客戶依特徵分群,各群幾家、什麼樣貌?」 | 靠不住 | 641 家只算進 124 家;分批重算,總數還是對不上 |
| 「哪些團名有『賞楓』這個詞?」 | 不要問 | 做不到:工具不能用「包含某字」查詢,團名又多又是中文。用 SQL 或 PowerBI |
| 用法 | 用在 | 怎麼用 |
|---|---|---|
| 直接問 | 日常探索、取數 | Lion 會說明採用的口徑,有不明確的地方才停下來問 |
| 分析狀態卡 | 接續上一輪 | 見下 |
| 任務範本 | 大題目、每週重複的題目 | 事先寫好的整套步驟:分幾輪、每輪問什麼、怎麼回報,不必每次重講 |
連續分析時,Lion 每則回覆最後會附一張卡:
| 守則 | 原因 |
|---|---|
| 問總數、合計、排名、占比、升降 | 資料庫直接算好,準 |
| 問「哪些客戶」「每家各屬於哪一類」,限在每年前 30 名,並要求另查總額對照一次 | 客戶一多就可能漏算,重問一次結果還可能不同 |
| 大題目分輪,一輪一件事,用狀態卡接續 | 只記得最近的對話、不會自己往下做 |
| 數字跟 PowerBI 對不上,先查口徑:一筆訂單是否只算一次、營收看出團日(「最近」看下單日)、是否含取消(預設含)、幣別(預設台幣) | 多數差異是算法不同,不是算錯 |
取數
探索
問「哪些客戶」、或回答經過好幾步計算的,直接要求它「另外用資料庫查總額,對照一次」。Prompt 有寫這條,但測試時它沒做,被追問才承認。
今年還沒結束時的「同期比」和「離去年全年還差多少」,自己用表上的今年累計和去年全年核對。測試五次有一次算反(已經超過去年,卻寫成還差多少),還記進了狀態卡。