Token 剛定了中文名,AI 圈又多了個翻譯不了的詞

Token 剛定了中文名,AI 圈又多了個翻譯不了的詞

官方正式定名「詞元」為 Token 中文譯名

在AI大模型領域,「Token」這個術語長期以來缺乏統一且被廣泛接受的中文譯名。根據多個官方媒體報導,包括人民網、央廣網、聯合新聞網及世界新聞網等,中國國家數據局於近期正式公佈「Token」的標準中文譯名為「詞元」。

「詞元」是AI理解語言的最小單位

根據《人民網》與《央廣網》的說明,「詞元」是AI大模型理解人類語言的最小單位。無論是使用者的問題,還是AI生成的程式碼,最終都會被拆解成「詞元」進行運算與處理。例如,一個詞語可能被切分成多個詞元,而每個詞元都代表模型可識別的最小語意單位。

過去譯名眾說紛紛

  • 在計算機安全領域,Token 被譯為「令牌」。
  • 在區塊鏈領域,Token 常被稱為「通證」。
  • 在AI領域,曾有人提出「模元」或「智元」等意譯,其中「模元」由清華大學教授楊斌提出,強調「模」代表大模型與多模態特性。
  • 也有業界人士建議音譯為「拓克」或「脫殼」,但未獲官方認可。

官方背書強化技術語彙標準

國家數據局的官方聲明,以及《人民日報》與中國政府網的轉載,顯示「詞元」已成為AI領域內被廣泛認可的標準術語。此舉不僅解決了長期以來的譯名爭議,也為AI技術語彙的標準化提供了重要參考。

來源:https://36kr.com/p/3740455883505923

返回頂端