llms.txt 是一份放在網站上、以 Markdown 撰寫的純文字檔,用意是替大型語言模型整理出網站簡介與重要頁面連結,讓 AI 工具在有限的上下文中快速掌握網站內容。它是 llmstxt.org 提出的提案,不是搜尋引擎必須遵守的標準;Google 也在官方說明中表示,要出現在 AI 摘要或 AI 模式,不需要建立新的機器可讀檔案或 AI 文字檔。因此要不要放,該看網站是否有大量文件型內容、是否希望使用者把網站資料交給 AI 工具閱讀,而不是期待它帶來曝光。
llms.txt 的提案想解決什麼問題
依 llmstxt.org 的說明,這個提案的出發點有兩個:一是語言模型的上下文視窗雖然比過去大,仍然裝不下大多數網站的完整內容;二是一般網頁的 HTML 夾雜導覽列、廣告與 JavaScript,模型要從中抽出重點並不容易。
提案的做法是在網站加上一份 /llms.txt 檔案,用 Markdown 寫出精簡的網站說明,並列出值得閱讀的頁面連結。檔案可以放在網站根目錄,也可以放在某個路徑下,只涵蓋該路徑底下的頁面。
要注意的是,llmstxt.org 把它定位為「提案」,規格仍開放社群提供意見,它不是搜尋引擎公告的檢索規範。
檔案格式:從網站名稱到連結清單
llms.txt 的格式刻意保持簡單,依提案的順序是:
- 一級標題:寫網站或專案名稱,這是規格中僅有的必要區段。
- 引言區塊:用 Markdown 的引言格式寫一段簡短摘要,說明網站是什麼、提供什麼。
- 補充段落:可以接幾段一般文字或條列,補充理解網站需要的背景,但這部分不能再放標題。
- 以二級標題分組的檔案清單:每個分組底下是一串 Markdown 連結,每一項包含連結名稱與網址,後面可以加一句說明。
- Optional 區段:依慣例放次要資訊,AI 工具需要精簡內容時可以略過。
以企業官網為例,可以用「服務項目」「知識文章」「公司資訊」分組,每組列出幾個重點頁面並附一句說明;過往消息這類次要內容放進 Optional。整份檔案是給機器讀的導覽,不需要行銷用語。
和 robots.txt、Sitemap 有什麼不同
| 檔案 | 主要用途 | 官方定位 | 放置位置 |
|---|---|---|---|
| robots.txt | 告訴檢索器可以存取哪些網址 | Google 有正式說明,但它不是讓網頁不出現在搜尋結果的機制 | 必須在網站主機的根目錄,每個網站只能有一個 |
| Sitemap | 列出重要網頁與檔案,以及彼此的關係 | 可協助搜尋引擎找到網址,但無法確保全部會被檢索與建立索引 | 可放在網站任意位置,建議放在根目錄,並在 Search Console 提交或寫進 robots.txt |
| llms.txt | 替語言模型整理網站摘要與重點連結 | llmstxt.org 的提案,規格開放討論 | 網站根目錄或特定路徑 |
三者的分工很清楚:robots.txt 管「能不能進來」,Sitemap 管「有哪些網址」,llms.txt 則試著回答「這個網站的重點內容是什麼」。提案也說明,llms.txt 可以補充 robots.txt,為允許存取的內容提供脈絡;Sitemap 則通常不含適合模型閱讀的版本,無法取代它。反過來,llms.txt 也取代不了前兩者。
Google 與 OpenAI 的官方說法
判斷 llms.txt 的作用,應以各服務公開的文件為準:
- Google:官方說明表示,出現在 AI 摘要或 AI 模式沒有額外的需求條件,不必建立新的機器可讀檔案、AI 文字檔案或標記,適用的仍是允許檢索、內容以文字呈現、內部連結完整這些基本做法。
- Google 的控制方式:限制搜尋中顯示的資訊用 nosnippet、data-nosnippet、max-snippet 或 noindex;限制內容用於 Google 其他系統的 AI 訓練與建立基準,參考 Google-Extended。
- OpenAI:官方爬蟲說明以 robots.txt 標記讓網站管理內容與 AI 的關係,OAI-SearchBot 用於 ChatGPT 的搜尋功能,GPTBot 用於檢索可能用來訓練模型的內容。
從這兩份文件來看,網站管理 AI 存取的機制是 robots.txt 與既有的搜尋規範。「有網站提供 llms.txt」和「AI 服務會依它決定引用」是兩回事,評估時不要混為一談。
哪些網站值得放,哪些可以先不急
- 值得考慮:有大量說明文件、產品手冊、技術規格或知識文章的網站,使用者常把內容貼給 AI 工具詢問;或是開發者、合作夥伴需要快速掌握網站資料的情境。
- 可以先不急:頁面不多的形象官網、以圖片與作品為主的網站。與其先做 llms.txt,不如先確認 robots.txt 沒有擋住檢索、重要內容是文字而不是圖片、內部連結完整。
- 不要抱錯期待:放了 llms.txt 不代表會被 AI 引用,Google 也已說明出現在 AI 功能不需要這類檔案。它是給 AI 工具的整理,不是曝光開關。
內容怎麼寫:五個撰寫原則
- 摘要寫事實:用一兩句說明公司是誰、提供哪些服務、服務哪些對象,避免堆疊形容詞。
- 只列重要頁面:挑服務頁、代表性的知識文章、聯絡與公司資訊,不要把整份 Sitemap 搬進來。
- 每個連結加一句說明:讓模型不用打開頁面也知道內容是什麼,例如「各項服務的範圍與流程」。
- 只放公開且可被檢索的網址:不要列出被 robots.txt 封鎖、設定 noindex 或需要登入的頁面,也不要寫網站上沒有的內容。
- 跟著網站一起更新:改網址、下架服務或改版時同步修改,否則清單會指向失效或過時的頁面。
上線後的檢查與常見錯誤
- 在瀏覽器直接開啟網站網址加上 /llms.txt,確認顯示的是純文字,而不是被導到首頁或錯誤頁。
- 確認 robots.txt 沒有擋住這個檔案,否則遵守 robots.txt 的檢索器讀不到它。
- 逐一點開清單裡的連結,確認沒有失效或多餘的轉址。
- 避免常見錯誤:在檔案裡寫允許或禁止規則、塞進整份網站地圖、放入誇大的行銷文案、建好之後就不再維護。
常見問題
WordPress 網站要怎麼放 llms.txt?
可以把寫好的純文字檔上傳到網站根目錄,或使用能自動產生的外掛。llmstxt.org 提到許多文件平台與 CMS 已能自動產生;用自動產生的版本時,要檢查是否只列出重要頁面。
可以用 llms.txt 阻止 AI 讀取網站內容嗎?
不行。llms.txt 只是給 AI 工具參考的導覽,規格中沒有禁止存取的寫法。想限制檢索要在 robots.txt 針對各家爬蟲設定,並留意由使用者操作觸發的擷取不一定受 robots.txt 規範。
llms.txt 一定要用英文寫嗎?
提案規範的是 Markdown 結構,沒有限定語言。建議跟網站主要內容使用同一種語言,讓摘要與連結說明和頁面一致;多語網站可以在各語言的路徑下分別放置。
llms.txt 是公開檔案嗎?
是。任何人在網址後加上 /llms.txt 都能開啟,所以內容只能放網站上已公開的資訊,不要寫內部資料、合作條件或尚未公開的服務。
需要替每個頁面另外做 Markdown 版本嗎?
不是必要。提案建議網頁可提供同一網址加上 .md 的純 Markdown 版本,方便模型讀取乾淨內容,但會增加維護工作。多數企業官網先把 llms.txt 本身寫好即可,文件量大的網站再評估。
本文由京采數位科技整理。我們自 2005 年起提供官網設計、系統開發與 Google SEO 服務,實際案例可見成果與案例。
想直接討論你自己的網站狀況,或需要一份初步的搜尋機會評估?
相關主題
下一步
如果網站有大量說明文件或知識文章,可以先列出優先想讓 AI 工具讀到的頁面,試寫一份 llms.txt;但更要緊的是確認網站本身能被正常檢索、重要內容以文字呈現。京采的技術 SEO 與網站健檢服務會一併檢查 robots.txt、Sitemap 與頁面結構,並協助整理 llms.txt 的內容;想討論網站適不適合放,歡迎與我們聯繫。

