Mac 实时字幕,正在播什么就转什么。

从菜单栏启动,一个小窗口浮在通话或视频上面,说一句写一句。它同时听系统声音和麦克风,用苹果本机的语音引擎识别,转录稿以普通文本文件保存。

免费试用 7 天7 天免费 · 无需信用卡

Mac 上的实时字幕到底用来干什么

想在 Mac 上开实时字幕,多半是这三种情况。一场通话用的语言,你看字比听音顺。一段视频没有字幕,而你所在的地方不能开声音。或者你开了一个小时的会,全听到了,一小时后却想不起到底定了什么。前两种是为了当场看懂。第三种是为了事后还有那些字。字幕条一关就没了,这时候就不够用了。

Coco 给的是一个转录窗口,而不是一条字幕。它抓 Mac 正在放的声音,也抓麦克风听到的声音。两路都写进同一个滚动列表,每一行标着来自哪一边。会还在开,你就能往上翻到开头。停下来的时候,整场内容已经在硬盘上。那是一份文本文件,每行带时间戳。如果你选择保留,录音就在它旁边。

识别用的是苹果自己的语音引擎,就是听写背后那一个。只要你 Mac 的系统语言支持本机识别,它就在本机跑。我们没有服务器,这个功能没有账号,也没有任何上传通道。这句话有一个例外,页面后面会讲清楚,而且那是一个要你亲手打开的开关。

Coco 的实时字幕具体做了什么

系统声音和麦克风,同时听

系统声音通过 ScreenCaptureKit 抓取,就是 macOS 录屏用的那条路。所以任何应用都覆盖,浏览器标签页、视频会议、播客播放器都一样。麦克风单独走 AVAudioEngine。两路并行,落进同一个列表。麦克风的行标「我」,扬声器的行标「对方」。如果一路启动失败,比如麦克风权限被拒了,另一路照常工作。列表里会多一行提示,说少了哪一路。用外放音箱时,你自己的音箱声会漏回麦克风。Coco 会把和系统声道刚听到的内容相同的麦克风句子丢掉,同一句话就不会写两遍。

苹果本机语音识别,跟着 Mac 的系统语言走

识别用的是 SFSpeechRecognizer,苹果的语音框架,自动加标点。只要苹果为你当前的系统语言提供本机识别,Coco 就强制在本机跑。声音离不开这台机器,一场会也没有时长上限。如果没有本机模型,框架会退回苹果的服务器,那种语言的听写也是这样工作的。语言就是「系统设置」里 Mac 的语言,Coco 里暂时没有单独的选择器。苹果的引擎是为短句听写设计的,每识别完一段就结束。Coco 会悄悄重新发起一次新请求,转录稿才会不断累积,而不是一行字反复重写。

一个不碍事的窗口

转录稿放在一块小小的玻璃面板里,浮在其它应用上面。点它不会抢走后面通话或视频的焦点。你可以在会议中间翻转录稿,视频应用不会失去键盘。默认是钉住的,全屏应用上面也看得见,切换桌面空间也跟着走。标题栏里有个按钮可以取消钉住。窗口能拖动,能改大小,文字有三档字号,任何一段文字都能用鼠标选中。关掉窗口就结束这一场。暂停按钮会停下新字幕,录音继续。

转录稿是文件,录音也是

「复制全文」按钮把整场内容以纯文本放进剪贴板,一句一行,带发言方。停止时,Coco 写一份 .txt,每行带时间戳。另加两条 .m4a 音轨,麦克风一条,系统声音一条。开着 iCloud 同步时,它们放在 iCloud 云盘的 Coco 文件夹里。子目录叫 Live Captions。另一台 Mac 也能看到。关掉同步就放在本机。位置是 ~/Library/Application Support/Coco。「转录记录」窗口列出过去的每一场,每份转录稿都有「复制全文」按钮。「保留原始录音文件」默认打开,关掉之后,停止的那一场只留文字。

可选的云端引擎,默认关闭

Coco 出厂只带苹果的识别器,别的什么都没配。代码里留了一个云端语音引擎的接口,你可以自己写一个带凭据的小配置文件把它打开。那个文件存在且有效时,两路声音都会改由那个服务转录。这是声音离开你 Mac 的唯一一条路,而且只有你亲手创建它才存在。大多数安装永远不会碰它。它是留给那些语言在本机引擎上效果不好、又愿意做这个交换的人。

把 Coco 和 macOS 实时字幕、Raycast、Alfred 放在一起

macOS 自带实时字幕,在「系统设置」的「辅助功能」里。苹果的说法是实时、在设备上生成的字幕。它覆盖应用和 FaceTime 的声音、网页内容,以及麦克风收到的现场对话。窗口可以移动,也可以改样式。在当前的 macOS 上,苹果列出的语言是固定的一份清单。几种英语、粤语、普通话、法语、德语、日语、韩语和西班牙语。你的语言在清单上,又只想当场看懂,那就打开它。它不要钱,而且已经装在你的机器里了。

Coco 拿同一份声音在做另一件事。它的窗口是一份转录稿,每一行都留着,标着发言方,能翻回开头。这一场会存成文字和录音,一周后还能打开。语言范围是苹果语音框架在你 Mac 上支持的全部,比实时字幕那份清单长。Raycast 和 Alfred 是启动器,完全没有字幕功能。所以老实的比较是 Coco 对苹果。启动器那两列放在这里,是因为 Coco 一天里其余的时间就是个启动器。

CocomacOS 实时字幕RaycastAlfred
有实时字幕
转录任何应用的系统声音
同时转录麦克风
苹果本机语音识别
可自己打开的云端引擎
和应用启动器打包在一起

用 Coco 在 Mac 上打开实时字幕

  1. 从菜单栏图标启动

    点菜单栏里的 Coco 图标,打开「实时转录」子菜单,选「开始」。窗口出现,开始听。「Show」能把藏起来的窗口叫回来,「终止」结束这一场并保存文件。在启动器面板里输入 cap 会打开这个功能的设置,并不会开始一场转录。

  2. 允许 macOS 要的三个权限

    系统声音需要「屏幕录制」,因为 macOS 把系统声音放在这扇门后面。麦克风需要「麦克风」。识别需要「语音识别」。第一次用时 macOS 会逐个询问。如果你以前拒绝过某一项,去「隐私与安全性」里打开,然后重新启动 Coco。屏幕录制的授权要重启后才生效。抓取过程中,菜单栏会显示 macOS 的录制指示,任何走这扇门的应用都一样。

  3. 决定要不要留录音

    打开设置,进「实时转录」。「保留原始录音文件」默认打开,每一场都会留下一份转录稿和两条音轨。关掉之后只留文字。同一页可以改文件名前缀,还有一个「一键清空」按钮,一次删掉所有存下来的记录。

  4. 事后找到转录稿

    在同一个子菜单里选「转录记录」,可以浏览过去的每一场,读每份转录稿,整份复制。文件本身在 iCloud 云盘的 Coco 文件夹里。子目录是 Live Captions/Recordings。关掉 iCloud 同步就在本机。位置是 ~/Library/Application Support/Coco。它们是普通的文本和音频文件,能打开这两类文件的软件都能打开它们。

关于 Mac 实时字幕,大家常问的问题

macOS 自带实时字幕吗?
有。macOS 在「系统设置」的「辅助功能」里带了实时字幕。苹果的描述是在设备上生成的实时字幕。它覆盖应用和 FaceTime 的声音、网页内容,以及麦克风收到的现场对话。窗口的大小和颜色都能改。它支持一份固定的语言清单,随 macOS 版本变化。当前版本苹果列出了几种英语、粤语、普通话、法语、德语、日语、韩语和西班牙语。它免费,而且已经装好了。Coco 的版本是为那个窗口没打算做的事准备的。每一行都留成一份能往回翻的转录稿,标出哪一边说的。这一场存成文字和录音。语言覆盖苹果语音框架在你 Mac 上支持的全部。
Coco 能转录系统声音吗,比如视频会议或者一段视频?
能,这就是主要用途。Coco 用 ScreenCaptureKit 抓系统声音。这是 macOS 录屏用的那套机制。所以任何应用在放的声音它都听得到。Zoom、Teams 或 Meet 的会议可以。YouTube 标签页、课程录像、播客也可以。它不需要在会议软件里装插件,也不在乎是哪个应用。同时它还抓麦克风。所以开会时转录稿里对面标「对方」,你标「我」,按说话的先后排列。唯一的要求是「屏幕录制」权限。macOS 第一次会询问,授权后要重新启动 Coco 才生效。
离线能用吗?
大多数语言可以。Coco 用苹果的语音框架,只要苹果为你当前的系统语言提供本机识别,就要求在本机跑。这种模式下声音在这台机器上处理,什么都不会发出去,一场想开多久开多久。如果某种语言苹果没有本机模型,框架会退回苹果的服务器。那种语言的听写也是这样,这时需要联网。Coco 自己在这个功能里没有服务器,没有账号,也没有遥测。因为 Coco 而让声音离开你 Mac 的途径只有一条,就是那个可选的云端引擎。你不亲手创建它的配置文件,它就是关着的。
支持哪些语言?
苹果语音识别在你 Mac 上支持哪些,就支持哪些,用的是 Mac 当前设定的语言。Coco 读系统语言,交给识别器。如果苹果没有那种语言的识别器,窗口会直说,不会瞎猜。Coco 里暂时没有单独的语言选择器。所以在英文系统的 Mac 上转录一场法语通话,得先把 Mac 的语言切过去。这是个实实在在的限制,我们宁愿直说。识别在本机跑还是在苹果服务器上跑,也取决于语言。苹果给一部分语言配了本机模型,另一部分没有。只要本机模型存在,Coco 就用它。
能翻译吗?
不能。Coco 的实时字幕只做转录,转录稿本身没有翻译成别的语言。代码里留了翻译这一步的位置,转录格式里也给每句原文下面预留了一行译文。但正式版本里没有接任何东西,也没有设置能打开它。翻译在路线图上。这也是日本、韩国和中国用户提得最多的需求,他们常常想把一场英文会议看成自己的语言。在它做出来之前,老实的做法是用「复制全文」按钮把转录稿复制出来,贴进你平时用的翻译工具。
转录稿存在哪里,谁能看到?
每一场变成一份文本文件,每行带时间戳和发言方。「保留原始录音文件」打开时另加两条 .m4a 音轨,这一项默认是开的。开着 iCloud 同步时,它们放在 iCloud 云盘的 Coco 文件夹里。子目录是 Live Captions/Recordings。你的其它 Mac 通过你自己的 iCloud 看得到。关掉同步就在本机。位置是 ~/Library/Application Support/Coco。除了你没有别人。这个功能没有 Coco 的服务器,没有账号,也没有上传。Coco 不会额外加密这些文件,保护它们的就是保护你个人文件夹的那套东西。设置里的「一键清空」按钮会删掉所有存下来的记录。每一场也都能从「转录记录」窗口在访达里显示。
让你的 AI 来做
让你的 AI 来做

复制这段提示词,或者直接发给你已经在用的 AI——它会用你自己会敲的那些命令来驱动 Coco。

安装 Coco 技能(npx skills add butterflydream-ai/Coco --skill coco -g -y),然后用 coco 帮我处理Mac 实时字幕,正在播什么就转什么。。
这是怎么回事 →
免费试用 7 天7 天免费 · 无需信用卡