香港粤语计算语言学观察
粤语是全球使用者超过8000万的语言，也是香港近700万居民的日常母语。然而在计算语言学（让机器理解、生成和处理人类语言）领域，粤语长期处于”资源稀缺、研究分散、应用滞后”的状态。香港的几所大学、研究机构与初创团队近年正在合力改变这一格局。本文从基础资源、语音技术、文本处理、机器翻译、大模型五个层面，为内地读者勾勒香港粤语计算语言学的当前面貌。
一、为什么粤语计算语言学”难做”
内地读者熟悉的普通话有国家通用规范、《现代汉语词典》、大规模标注语料，以及成熟的语音识别和合成系统。粤语则面临三重结构性挑战。
| 维度 | 普通话 | 粤语（香港） |
|---|---|---|
| 书写规范 | 有《通用规范汉字表》、正词法 | 无官方书面规范，俗称”粤文”未标准化 |
| 语音体系 | 4 声 + 轻声 | 6 声 9 调（含变调、入声残余） |
| 资源规模 | 国家语委、各大厂持续投入 | 多由学界与开源社区推动，规模偏小 |
| 应用入口 | 普通话输入法、智能音箱 | 粤语输入法、语音助手覆盖有限 |
这意味着研究粤语计算语言学，常常需要”从零搭地基”：做语料、写分词规则、训练声学模型，都要自己或小团队摸索。
二、基础资源：语料库与词典
香港学界在粤语语言资源建设上已有可观的积累：
- HKCanCor / HKUST 语料库：香港科技大学早年发布，标注口语句法与词性，是粤语计算研究的”启蒙资源”之一。
- 粤典 (Cantonese Dictionary)：由香港大学学者主导，整理常用粤字读音、释义与例句，长期更新。
- Rime Cantonese（八股文粤语方案）：开源输入法方案，内地与香港开发者在 GitHub 协作，覆盖大量口语词。
- 紫荆粤语语料库等若干高校内部或合作项目，用于大模型微调与翻译研究。
词典和语料库的质量直接决定下游模型表现。这方面香港具备语言本体研究传统，但投入的人力和资金仍不及普通话项目。
三、语音技术：识别与合成
粤语语音识别（ASR）近年有明显进展：
- Google、苹果、华为、小米等主流系统的粤语模式在港用户中可用，但准确率与普通话相比仍有差距，尤其在嘈杂环境、口音差异、专业术语场景。
- 香港本地团队如 NTT 香港研發中心、本地大学实验室等，针对香港本地口音做优化，部分成果进入商用客服与会议系统。
- 粤语 TTS（语音合成）：以神经网络声码器为基础的方案已能生成接近真人的合成语音，常用于导航、客服、智能音箱。香港部分公共服务热线已支持粤语语音交互。
实测体验：同一段采访录音，普通话识别准确率通常可达 95% 以上，粤语日常口语在 85%-90% 之间，遇到俚语、专业词或多人对话时会明显下降。
四、文本处理：分词、命名实体与粤文书写
粤语在书面层面最棘手的问题是”写什么字”：
- “你食咗饭未啊” 可以写成口语化汉字，也可以”翻译”为”你吃了饭吗”。
- “巴士”、”搭𨋢”、”睇医生” 等日常词在普通话中无对应。
香港的计算语言学团队通常采取三种策略：
- 粤文直写：保留口语字形（如”嘅”、”咗”、”喺”），便于本地用户阅读。
- 普通话转写：把粤语映射为普通话书面形式，便于跨语言模型处理。
- 双轨并行：同一系统输出两套结果，由用户或应用场景选择。
命名实体识别（人名、地名、机构名）、情感分析、文本分类等任务在粤文上仍属探索阶段，需要研究者自己标注语料，难以直接套用现成的普通话工具包。
五、机器翻译：粤语 ↔ 普通话、粤语 ↔ 英语
翻译是粤语计算语言学最贴近应用的领域：
- 粤普互译：多家内地大厂翻译引擎已支持粤语输入；香港本地团队和高校实验室针对政府公文、法律文本、社交媒体做优化。
- 粤英互译：香港的双语环境（粤英双语路牌、司法双语文件）天然推动这一方向；学术上与法律翻译、商务翻译结合紧密。
| 翻译方向 | 主要场景 | 当前可用性 |
|---|---|---|
| 粤 ↔ 普 | 客服、字幕、社媒 | 主流引擎已支持，效果尚可 |
| 粤 ↔ 英 | 法律、商务、教育 | 学术与商用项目均在做，仍有提升空间 |
| 粤 → 简中书面语 | 媒体、内容创作 | 内地团队较多，香港本地应用有限 |
翻译质量受语料规模限制，俚语、流行语、谐音梗仍常被直译或忽略。
六、大模型时代：粤语 LLM 与方言保护
2023 年起的大模型浪潮对粤语计算语言学产生了两个相反方向的影响：
一方面，大型多语言模型（包括主流闭源模型和开源模型）在通用语料中天然包含一定量的粤语文本，能够处理日常对话甚至俚语，为普通用户降低了使用门槛。
另一方面，香港本地团队开始训练专门面向粤语的模型或对通用模型做粤语微调，目标包括：
- 提升粤语语音识别的真实场景准确率
- 让模型能用标准粤文写作，避免”翻译成普通话书面语”
- 保护粤语方言表达，避免被普通话同化
- 服务本地司法、教育、医疗等专业领域的粤语沟通需求
提醒：训练数据规模、算力成本、评估标准尚无统一规范，各项目水平差异较大，效果以实际测评和官方最新公布为准。
七、内地读者可以怎么用、怎么参与
如果你从内地赴港学习、工作或生活，可以从以下几个层面接触粤语计算语言学成果：
- 输入法与键盘：在手机和电脑上启用粤语输入法（搜狗、谷歌、Rime 等都有粤语方案），作为日常练习工具。
- 翻译与语音工具：试用主流厂商的粤语识别和翻译功能，对比内地常用普通话版本，感受差异。
- 开源资源：GitHub 上搜索关键词
cantonese、jyutping（粤语拼音），可找到分词词典、语音数据集、输入法方案等。 - 学习机会：香港高校的语言学、计算语言学、翻译科技专业常招收研究型硕士与博士，内地本科背景申请者具备一定竞争力。
- 参与社区：粤语维基百科、OpenCantonese 等开源项目持续招募志愿者，贡献例句、标注读音、撰写词条。
八、未来三到五年的看点
- 粤文规范化的可能路径：学界与官方是否会推出某种形式的书写建议，以减少机器处理的歧义。
- 大模型粤文评测基准：香港与内地学界合作建立标准化测试集，用同一把尺子衡量不同模型。
- 司法与公共服务粤语 AI：法庭传译、医院问诊、政府热线等场景对粤语 AI 的需求最迫切。
- 跨境合作：香港高校、内地互联网公司、海外华人社区的语料共享与协同标注机制仍处于早期阶段。
粤语计算语言学并非”小众学术”，它关乎香港本地信息无障碍、文化传承与产业效率。对于内地读者而言，理解这片领域，也是在理解香港这座城市的另一面——在街市叫卖、巴士报站、新闻播报之外，还有一群人在用代码与算法，努力让这台”中文世界的另一台发动机”也跑得更顺畅。
如果你对香港的语言、教育、人才政策、生活指南等话题感兴趣，香港大全 上还有更多持续更新的全方位指南可供参考。