自從生成式 AI 在全球爆紅以來,我們參與的新專案幾乎都要求導入 AI 應用。

有好一段時間,我們總是在討論要選什麼模型、買什麼設備,才能符合這次專案的需求。
然而,在一次向客戶高階主管展示成果後,主管的反應讓我開始認真反思整個過程:
這個專案真的需要 AI 嗎?還是大家只是很想用 AI?
那位主管並沒有否定專案成果。他知道專案已依計畫完成,交付項目也都符合需求。
展示時,系統順利理解使用者的提問,從資料庫中查詢多年累積的歷史資料,並產出分析結果與視覺化圖表。
這套系統以部署於地端的開源大語言模型為基礎。為了讓它完成這些任務,團隊花了不少心力,整合語意理解、資料查詢與圖表呈現等功能。
因此,看到整場展示順利完成、沒有出錯,我們都很自豪,也很興奮。
然而,主管關心的是:除了讓報表產出更方便,這套系統還能帶來什麼進一步的效益?
他的意思是,如果系統只能在我們提出問題後,整理過去的資料,那麼它能否再往前一步,協助我們更早掌握值得注意的變化,及時採取行動?
當下,我們沒有準備好從這個角度回答。
展示結束後,專案窗口還安慰我們,說主管常有超出原本專案範圍的想法,要我們別往心裡去。
不過,我反而認真思考起那位主管的話。我覺得他的期待並非毫無道理:我們準備的是功能展示,而他想看到的是「業務價值」。
讓使用者透過自然語言取得數據分析結果,本身就能帶來價值。
但這份價值沒有讓主管產生共鳴,可能是我們沒有說清楚它對實際工作的幫助,也可能是這項 AI 功能尚未觸及他最在意的問題。
先不論當初專案如何通過內部審核、確定需求,我更在意的是:我們能從這次經驗中學到什麼?
回頭看,無論是客戶的專案窗口,還是我們自己,當時的注意力都放在如何把功能做出來。我們沒有充分追問:這些功能究竟要改善什麼工作,又該如何讓客戶看見改善的成果?
那麼,未來該怎麼做,才能協助客戶把錢花在刀口上,找到適合運用 AI、也能帶來實際效益的問題?
回想開發過程,那些讓我們反覆卡關的地方,也許比展示時順利產出的圖表,更值得注意。
語意理解的偏差、資料輸入的疏失,以及歷年分類定義的變動,都曾影響查詢結果的可信度。
這讓我開始思考:我們最需要優先處理的,會不會其實是資料品質與使用方式?
但如果立刻把下一個目標訂成「用 AI 清理歷史資料」,我們會不會又重複了同一個習慣:先選好 AI,再替它尋找工作?
後來我們將思考點回推到整個案子的源頭:需求釐清與技術評估。
或許我們最一開始該做的,是先把痛點找出來、再了解各方利害關係人的期望,最後才評估用什麼技術解決痛點、達成期望,而不是先射箭再畫靶,硬是為 AI 找個定位!

六個問題,找出痛點、釐清期望,初步判斷 AI 是否適用

企業開始規劃新專案時,會想到導入 AI,是很自然的事。就像過去推動企業 E 化與無紙化,我們期待新工具能改善原本的工作方式。
但無紙化的成效,仍要回到文件處理是否更方便、資訊傳遞是否更有效率,以及必要的紀錄是否被妥善保留。導入 AI 也需要回答同樣的問題:它究竟改善了什麼?
因此,在討論模型與設備之前,我們可以先用以下六個問題,找出痛點、釐清不同角色的期望,並初步判斷 AI 是否適合介入。
以下以「企業內部資料查詢與報表作業」作為假設情境;案例與數字僅用於說明,不代表前述專案的實際成果。
  1. 這個 AI 使用案例,要解決什麼明確的業務問題?
  2. 誰受到這個問題影響?問題發生在什麼使用情境?
  3. 問題改善到什麼程度才算成功?成功標準與 KPI 是否可衡量?
  4. 如果導入 AI,哪些錯誤在特定條件下可以接受,哪些不可接受?
  5. 如何把上述成功標準,轉成可驗證的 AI 系統驗收條件?
  6. 與其他可行方案相比,AI 是否最適合解決這個問題?
這六個問題是延伸自我正在整理的 AI Project Health Check Assessment Framework 中,關於「業務需求與使用案例適配性」的評估面向。我將它們改寫成適合在專案初期討論的問法,先釐清:我們希望 AI 解決什麼具體問題、帶來什麼效益,以及憑什麼判斷它值得投入。
以下就個別問題的提問用意、使用情境範例,及提問對象分別說明:

1. 這個 AI 使用案例,要解決什麼明確的業務問題?

「我們想做一個 AI 查詢系統」描述的是預想中的方案。接下來還需要問:目前的查詢方式,到底讓誰遇到什麼困難?這些困難造成什麼影響,值得組織投入資源改善?
例如,使用者可能抱怨「報表不好用」。但追問後,才發現固定報表其實很快,真正的問題是每次主管提出新的分析條件,都必須請資訊人員另外處理。使用者需要等待,資訊人員也反覆被臨時需求打斷。
這時,問題就可以描述得更具體:「臨時分析需求仰賴資訊人員,導致等待時間過長,也占用維護與開發資源。」這樣的描述,才有助於後續比較不同解法。
這一題通常需要訪談業務主管或流程負責人,了解問題對組織的影響與優先順序;再與第一線使用者、資訊支援人員核對實際發生的情況。最好請對方拿出最近幾次實例、需求紀錄或等待時間,讓討論有具體依據。
同時,也要確認誰負責這項業務、誰能判斷問題是否值得優先解決,以及改善後的成果由誰認可。專案聯絡窗口未必就是能代表這些判斷的人,因此不能只因為需求已經有人提出,就認為各方對問題的重要性已有共識。

2. 誰受到這個問題影響?問題發生在什麼使用情境?

同一個系統裡,提出需求、實際操作與使用結果的人,可能是不同角色。他們在意的事情也未必相同。
以報表作業為例,主管可能希望及時取得可用於決策的資訊;製作報表的同仁在意資料是否容易取得、定義是否清楚;資訊人員則希望減少重複處理臨時查詢。若只訪談其中一方,就可能改善了某個操作步驟,卻沒有處理整段工作的主要阻礙。
因此,要把使用情境說清楚:誰在什麼時候提出問題?多久發生一次?目前如何完成?卡在哪個步驟?取得結果後,誰會用它做什麼?如果大部分需求只是每月執行一次的固定統計,與每天都有不同條件的臨時查詢,適合的解法可能很不一樣。
這一題應訪談實際操作者、接收結果的主管,以及流程上下游的人員。若能請使用者帶著最近一份報表,示範從接到需求到交付結果的完整過程,往往比只問「你希望增加什麼功能」更容易找到問題。

3. 問題改善到什麼程度才算成功?成功標準與 KPI 是否可衡量?

知道痛點之後,還需要定義改善目標。「讓工作更有效率」是一個方向,但不足以判斷專案是否成功。
假設目前一項臨時查詢,從提出需求到取得經確認可用的結果,通常需要兩個工作天。團隊可以與業務單位討論,是否把特定類型的常見查詢縮短到半個工作天內,作為試行目標。這個目標必須建立在現況紀錄、工作需要與可行性上,不能只因為數字漂亮就決定。
衡量時,也應把等待、操作、查核與修正的時間一起算進去。如果答案產出得很快,使用者卻得花更多時間確認正確性,整體工作未必有所改善。
這一題通常由業務或流程負責人確認改善目標,實際使用者提供現況,PM 協助整理衡量方式,並由有權確認成效的主管認可。每項指標都應說清楚衡量對象、現況基準、目標、觀察期間,以及由誰蒐集與確認數據。

4. 如果導入 AI,哪些錯誤在特定條件下可以接受,哪些不可接受?

這一題是在確認:系統輸出會被怎麼使用?一旦出錯,影響有多大?能否在造成影響之前被發現與修正?
例如,在供同仁修改的報告草稿中,措辭不夠流暢,可能是可接受的修訂工作;但統計期間錯誤、漏算資料,或把不同定義的數據混在一起,若直接進入正式報告,就可能影響後續判斷。同樣是文字輸出,不同錯誤的後果差很多。
對某些情境而言,系統遇到定義不清的問題時,先要求補充條件,比直接猜一個答案更合適。是否可以接受延後回答、轉交人工,以及人工覆核需要多少時間,也應在此時討論。這些條件會影響 AI 能承擔哪些工作。
這一題應由實際使用結果的人、業務負責人與領域專家共同討論,必要時再邀請相關風險或管理職能參與。技術人員可以說明系統能力與限制,但哪些後果可接受,必須由了解業務影響、並有權承擔相關責任的人一起確認。

5. 如何把上述成功標準,轉成可驗證的 AI 系統驗收條件?

第三題問的是「工作改善到什麼程度才算成功」;這一題則要進一步確認:「為了達成這項改善,AI 系統至少必須具備哪些表現?」
例如,如果我們希望使用者更快取得可信的分析結果,就不能只把「輸入問題後,系統能產出圖表」當成驗收條件。日期範圍、統計對象與計算口徑是否正確,同樣重要;相同意思的問題換個說法,結果也不應出現無法解釋的差異。
此外,遇到資訊不足或條件模糊的提問時,系統應如何回應,也需要事先約定。例如,先要求使用者補充條件、說明目前無法回答,或交由人工確認。這些都是判斷系統能否實際使用的一部分。
第四題釐清了哪些錯誤不可接受,第五題就應把這些界線寫進驗收條件。若某項統計不能混用不同期間的資料,就應明確規定系統必須正確辨識期間;無法判斷時,應先確認,不能自行猜測。
這些條件要具體到能由實際案例驗證。至於如何安排完整測試,則是後續的工作。
這一題適合由業務負責人、領域專家、實際使用者,以及技術與測試代表共同討論。業務端說明什麼結果才可用,技術與測試人員確認條件是否明確、能否驗證,PM 則協助各方形成一致的驗收依據。

6. 與其他可行方案相比,AI 是否最適合解決這個問題?

經過前面五題,我們才比較有依據判斷:AI 帶來的改善,是否值得它所增加的建置、查核與維護成本?
例如,如果問題只是固定報表缺少幾個篩選條件,擴充現有報表就可能足以改善;如果問題是資料經常漏填或格式錯誤,也應比較欄位檢核與輸入流程調整。若需求涉及大量不同說法的提問,且傳統操作方式難以滿足,才更有理由測試 AI 能否降低使用門檻。
解法也可能是組合式的:由 AI 協助理解提問,再由既有查詢程式處理計算,對定義不清的情況要求使用者確認。每個部分都應依任務需要選擇工具。
比較的結果,也可能是只有部分工作適合導入 AI。例如,讓 AI 協助理解不同說法的查詢需求,而固定統計仍沿用既有報表。只要能達成前面約定的改善目標,就有理由採用這樣的分工,不需要為了讓整個專案看起來更有 AI 感,而把每個步驟都改掉。
這一題需要業務或流程負責人、資訊架構與工程人員、資料負責人、維運人員,以及掌握預算的決策者一起討論。比較的依據,應回到前面共同確認的成功標準。
這六個問題不需要由六場互不相干的會議回答。PM 可以先透過個別訪談整理需求、證據與分歧,再讓關鍵角色一起確認改善目標、使用邊界與驗證方式。
如果討論到最後,大家仍對「要改善什麼」有不同理解,那就是值得先處理的發現。先把這個落差釐清,後面的技術選擇才有共同依據。

結論

回頭看那場展示,我依然為團隊完成的工作感到自豪。但那位主管的提問,也提醒了我:功能如期交付之後,我們仍需要回答,它究竟改善了什麼工作,又為組織帶來了什麼效益。
這些問題,值得在選模型、買設備之前,就邀請業務主管、實際使用者與技術團隊一起討論。痛點是否明確、各方期待是否一致、成果如何衡量,都會影響我們最後該選擇什麼解法。
前面的六個問題,未必能立刻告訴我們該不該用 AI,但至少能讓我們看見:哪些想法已有依據,哪些仍是假設,哪些地方還需要進一步釐清。即使專案已經開始,甚至完成交付,也仍然可以透過這些問題,重新檢視下一階段值得投入的方向。
最後的答案,可能是導入 AI,也可能是改善既有報表、整理資料,或調整工作流程;有時候,幾種方法搭配使用,反而更符合實際需要。只要能以合理的成本改善重要的問題,並拿出成效的證據,就是值得考慮的方案。
我想,這次經驗給我最重要的提醒,是在下一次有人說「我們想做一個 AI 專案」時,先多問一句:
「你最希望它幫誰解決什麼問題?做到什麼程度,你才會覺得這筆投入值得?」
先釐清問題,再決定技術!