詞彙表



上下文視窗

「Context window」（上下文視窗）是指語言模型在生成新文本時可以回顧和參考的文本量。這與語言模型訓練所用的大型語料庫不同，而是代表模型的「工作記憶」。較大的上下文視窗允許模型理解和回應更複雜和冗長的提示，而較小的上下文視窗可能會限制模型處理較長提示或在延長對話中保持連貫性的能力。

請參閱我們的上下文視窗理解指南以了解更多資訊。



微調

「Fine-tuning」（微調）是使用額外數據進一步訓練預訓練語言模型的過程。這會導致模型開始表現和模仿微調數據集的模式和特徵。Claude 不是一個未經微調的基礎語言模型；它已經被微調成一個有幫助的助手。Claude API 目前不提供微調，但如果您有興趣探索此選項，請聯繫您的 Anthropic 聯絡人。微調可用於將語言模型適應特定領域、任務或寫作風格，但需要仔細考慮微調數據以及對模型性能和偏見的潛在影響。



HHH

HHH（helpful、honest、harmless，即有幫助、誠實、無害）是一個研究框架，指導 Claude 如何被訓練以對社會有益。它與 Claude 產品的標語「AI assistant for life and work」不同。

• 有幫助的（helpful） AI 將盡力執行任務或回答提出的問題，提供相關和有用的資訊。
• 誠實的（honest） AI 將提供準確的資訊，不會幻覺或虛構。它會在適當時承認其局限性和不確定性。
• 無害的（harmless） AI 不會具有冒犯性或歧視性，當被要求協助危險或不道德的行為時，AI 應禮貌地拒絕並解釋為什麼無法遵守。



延遲

在生成式 AI 和大型語言模型的背景下，「latency」（延遲）是指模型對給定提示做出回應所需的時間。它是提交提示和接收生成輸出之間的延遲。較低的延遲表示更快的回應時間，這對於實時應用、聊天機器人和互動體驗至關重要。影響延遲的因素包括模型大小、硬體功能、網路條件以及提示和生成回應的複雜性。



LLM

「Large language model」（大型語言模型），即 LLM，是具有許多參數的 AI 語言模型，能夠執行各種令人驚訝的有用任務。這些模型在大量文本數據上進行訓練，可以生成類似人類的文本、回答問題、總結資訊等。Claude 是由 Anthropic 打造的生活與工作 AI 助手，基於一個大型語言模型，該模型已通過微調和使用「reinforcement learning from human feedback」（基於人類回饋的強化學習），即 RLHF 訓練。



MCP (Model Context Protocol)

「Model Context Protocol」，即 MCP，是一個開放協議，標準化應用程式向 LLM 提供上下文的方式。就像 AI 應用程式的 USB-C 連接埠一樣，MCP 提供了一種統一的方式來將 AI 模型連接到不同的數據源和工具。MCP 使 AI 系統能夠在互動中保持一致的上下文，並以標準化的方式訪問外部資源。請參閱我們的 MCP 文檔以了解更多資訊。



MCP 連接器

MCP 連接器是一項功能，允許 API 使用者直接從 Messages API 連接到 MCP 伺服器，而無需建置 MCP 客戶端。這使得透過 Claude API 與相容 MCP 的工具和服務無縫整合成為可能。MCP 連接器支援工具呼叫等功能，目前處於測試版（beta）。請參閱 MCP 連接器文檔以了解更多資訊。



預訓練

「Pretraining」（預訓練）是在大量未標記文本語料庫上訓練語言模型的初始過程。對於 Claude 而言，自迴歸語言模型（例如 Claude 的底層模型）經過預訓練，以根據文件中先前的文本上下文來預測下一個詞。這些預訓練模型本身並不擅長回答問題或遵循指示，通常需要在「prompt engineering」（提示工程）方面具備深厚技巧才能引出所需的行為。微調和 RLHF 用於改進這些預訓練模型，使其對廣泛的任務更有用。



RAG（檢索增強生成）

「Retrieval augmented generation」（檢索增強生成），即 RAG，是一種將資訊檢索與語言模型生成相結合的技術，以提高生成文本的準確性和相關性，並更好地將模型的回應建立在證據基礎上。在 RAG 中，語言模型會透過外部知識庫或一組文件進行擴充，這些文件會被傳遞到上下文視窗中。數據是在查詢發送給模型時於執行時（runtime）檢索的，儘管模型本身不一定會檢索數據（但可以透過工具使用和檢索函數來實現）。在生成文本時，必須先根據輸入提示從知識庫中檢索相關資訊，然後將其與原始查詢一起傳遞給模型。模型使用此資訊來指導其生成的輸出。這使模型能夠訪問和使用超出其訓練數據範圍的資訊，減少對記憶的依賴，並提高生成文本的事實準確性。RAG 對於需要最新資訊、特定領域知識或明確引用來源的任務特別有用。然而，RAG 的有效性取決於外部知識庫的品質和相關性，以及在執行時檢索到的知識。



RLHF

「Reinforcement Learning from Human Feedback」（基於人類回饋的強化學習），即 RLHF，是一種用於訓練預訓練語言模型，使其行為符合人類偏好的技術。這可以包括幫助模型更有效地遵循指示或表現得更像聊天機器人。人類回饋包括對一組兩個或更多範例文本進行排名，而強化學習過程會鼓勵模型偏好與排名較高的文本相似的輸出。Claude 已使用 RLHF 進行訓練，以成為更有幫助的助手。欲了解更多詳情，您可以閱讀Anthropic 關於此主題的論文。



溫度

「Temperature」（溫度）是一個控制模型在文本生成過程中預測隨機性的參數。較高的溫度會導致更具創意和多樣化的輸出，允許措辭上的多種變化，在小說創作的情況下，答案也會有所變化。較低的溫度會產生更保守和確定性的輸出，堅持最可能的措辭和答案。調整溫度使使用者能夠鼓勵語言模型探索罕見、不常見或令人驚訝的詞彙選擇和序列，而不僅僅是選擇最可能的預測。

使用者可能會在 API 中遇到非確定性。即使將溫度設置為 0，結果也不會完全確定，相同的輸入可能會在不同的 API 呼叫中產生不同的輸出。這適用於 Anthropic 的第一方推理服務以及透過第三方雲端供應商進行的推理。



TTFT（首次 token 時間）

「Time to First Token」（首次 token 時間），即 TTFT，是一種效能指標，用於衡量語言模型在收到提示後生成其輸出的第一個 token 所需的時間。這是模型回應能力的重要指標，對於使用者期望快速初始回饋的互動式應用程式、聊天機器人和即時系統特別相關。較低的 TTFT 表示模型可以更快地開始生成回應，提供更流暢且引人入勝的使用者體驗。可能影響 TTFT 的因素包括模型大小、硬體能力、網路狀況以及提示的複雜性。



Tokens

Token 是語言模型的最小個別單位，可以對應於單詞、子詞、字元，甚至位元組（在 Unicode 的情況下）。對於 Claude 而言，一個 token 大約代表 3.5 個英文字元，但確切數字可能因所使用的語言而有所不同。在「文本」層級與語言模型互動時，token 通常是隱藏的，但在檢查語言模型的確切輸入和輸出時會變得相關。當 Claude 被提供要評估的文本時，該文本（由一系列字元組成）會被編碼成一系列 token 供模型處理。較大的 token 可在推理和預訓練期間提高數據效率（並在可能的情況下使用），而較小的 token 則允許模型處理不常見或前所未見的單詞。分詞（tokenization）方法的選擇會影響模型的效能、詞彙量大小以及處理詞彙表外單詞的能力。