Mac のライブキャプション。再生中のものを、そのまま文字に。
メニューバーから始めると、小さなウインドウが通話や動画の上に浮かび、話されたことをその場で書き取ります。システム音声とマイクを同時に聞き、Apple のオンデバイス音声エンジンで認識し、書き起こしを普通のテキストファイルとして残します。
Mac のライブキャプションは何のためにあるのか
Mac でライブキャプションが欲しくなる理由は、たいてい三つのどれかです。通話の言語が、耳で追うより文字で追う方が楽。動画に字幕がなく、今いる場所では音を出せない。あるいは会議に一時間いて全部聞いたのに、一時間後には何が決まったか思い出せない。前の二つは読むためです。三つ目は、あとで言葉が手元に残っているためです。閉じたら消える字幕の帯では、ここで足りなくなります。
Coco が用意したのは字幕の帯ではなく、書き起こしのウインドウです。Mac が再生している音と、マイクが拾った音の両方を捕まえ、一つのスクロールする一覧に書き込みます。各行にはどちら側から来たかの印が付きます。セッションの途中でも、最初まで遡って読めます。停止すると、全体が各行にタイムスタンプ付きのテキストファイルとしてディスクにあり、残す設定にしていれば音声もその横にあります。
認識には Apple 自身の音声エンジンを使います。音声入力の裏にいるあれです。Mac の言語でオンデバイス認識ができるなら、必ず Mac の中で動かします。私たちのサーバーはなく、この機能にアカウントもアップロード経路もありません。この文には例外が一つあり、ページの下の方で説明します。それはあなた自身が手で入れるスイッチです。
Coco のライブキャプションが実際にすること
システム音声とマイクを同時に
システム音声は ScreenCaptureKit で捕まえます。macOS が画面収録に使うのと同じ経路なので、どのアプリでも対象になります。ブラウザのタブ、ビデオ通話、ポッドキャストのプレーヤー、どれも同じです。マイクは別に AVAudioEngine で捕まえます。二つは並んで走り、一つの一覧に落ちます。マイクの行には「自分」、スピーカーの行には「相手」の印が付きます。片方が始められないとき、たとえばマイクの許可を断っていたときは、もう片方がそのまま続き、どちらが欠けているかを知らせる行が一つ増えます。外部スピーカーを使うと、自分のスピーカーの音がマイクに戻ります。Coco はシステム側がいま聞いたばかりの内容と一致するマイクの行を落とすので、同じ一文が二度書かれません。
Apple のオンデバイス音声認識、Mac の言語設定のままで
認識は Apple の音声フレームワーク SFSpeechRecognizer で、句読点は自動で入ります。Mac の現在の言語で Apple がオンデバイス認識を用意していれば、Coco はそれを必須にします。音声はこの機械を離れず、セッションの長さに上限もありません。用意がない言語では、フレームワークが Apple のサーバーに切り替わります。その言語の音声入力も同じ仕組みです。言語は「システム設定」にある Mac の言語で、Coco の中に別の選択肢はまだありません。Apple のエンジンは短い音声入力向けなので、一区切りが終わるたびに Coco が静かに新しい要求を出し直します。だから書き起こしは一行を書き換え続けるのではなく、積み上がっていきます。
邪魔にならないウインドウ
書き起こしは、他のアプリの上に浮かぶ小さなガラスのパネルの中にあります。クリックしても後ろの通話や動画からフォーカスを奪わないので、会議の途中で書き起こしをスクロールしても、ビデオアプリがキーボードを失いません。既定ではピン留めされていて、フルスクリーンのアプリの上でも見え、操作スペースを切り替えても付いてきます。ヘッダーのボタンでピンを外せます。移動でき、大きさを変えられ、文字の大きさは三段階で切り替わり、どの文字もマウスで選択できます。ウインドウを閉じるとセッションが終わり、一時停止ボタンは録音を止めずに新しい字幕だけを止めます。
書き起こしはファイル、音声もファイル
「全文をコピー」ボタンで、セッション全体が一発言一行、話者付きのプレーンテキストとしてクリップボードに入ります。停止すると Coco は各行にタイムスタンプの付いた .txt を書きます。さらにマイク用とシステム音声用の二本の音声トラックを .m4a で書きます。iCloud 同期が入っていれば、iCloud Drive の Coco フォルダ内の Live Captions に置かれます。もう一台の Mac からも見えます。切っていれば ~/Library/Application Support/Coco の下です。「文字起こし記録」ウインドウが過去のセッションを並べ、各書き起こしに「すべてコピー」ボタンがあります。「元の録音ファイルを保持」は既定でオンで、切ると停止したセッションにはテキストだけが残ります。
任意のクラウドエンジン、既定ではオフ
Coco が最初から持っているのは Apple の認識エンジンだけで、他は何も設定されていません。クラウド音声エンジン用の受け口があり、自分の認証情報を書いた小さな設定ファイルを置くと入ります。そのファイルが存在して有効なら、両方のチャンネルがそのサービスで書き起こされます。音声があなたの Mac を離れる経路はこれ一つで、あなたが作らない限り存在しません。ほとんどのインストールでは一度も触りません。オンデバイスのエンジンが自分の言語を苦手としていて、その交換を受け入れる人のためにあります。
Coco と macOS のライブキャプション、Raycast、Alfred を並べる
macOS には独自のライブキャプションがあり、「システム設定」の「アクセシビリティ」にあります。Apple の説明では、アプリと FaceTime の音声、Web の内容、マイクが拾った対面の会話を、デバイス上でリアルタイムに字幕にします。ウインドウは動かせて、見た目も変えられます。現在の macOS では対応言語は固定の一覧です。数種類の英語、広東語、北京語、フランス語、ドイツ語、日本語、韓国語、スペイン語。自分の言語がそこにあり、読んで追えれば十分なら、それを入れてください。無料で、もう入っています。
Coco は同じ音声で別の仕事をしています。ウインドウは書き起こしで、各行が残り、話者の印が付き、最初まで遡れます。セッションはテキストと音声として保存され、一週間後にも開けます。言語は Apple の音声フレームワークがあなたの Mac で対応する全部で、ライブキャプションの一覧より長いです。Raycast と Alfred はランチャーで、字幕機能はまったくありません。だから正直な比較は Coco 対 Apple です。ランチャーの列があるのは、一日の残りの時間の Coco がランチャーだからです。
| Coco | macOS ライブキャプション | Raycast | Alfred | |
|---|---|---|---|---|
| ライブキャプションがある | ||||
| どのアプリのシステム音声も字幕にする | ||||
| マイクも同時に字幕にする | ||||
| Apple のオンデバイス音声認識 | ||||
| 自分で入れられるクラウドエンジン | ||||
| アプリランチャーと一体 |
Coco で Mac のライブキャプションを入れる
メニューバーのアイコンから始める
メニューバーの Coco アイコンをクリックし、「Live Transcription」のサブメニューを開いて「開始」を選びます。ウインドウが現れ、聞き始めます。隠したウインドウは「Show」で戻り、「終了」でセッションを終えてファイルを保存します。ランチャーのパネルに cap と打つとこの機能の設定が開きますが、セッションは始まりません。
macOS が求める三つの許可を出す
システム音声には「画面収録」が要ります。macOS がシステム音声をその扉の後ろに置いているからです。マイクには「マイク」、認識には「音声認識」が要ります。初回に macOS が一つずつ尋ねます。以前に断ったものがあれば「プライバシーとセキュリティ」で入れ直し、Coco を再起動してください。画面収録の許可は再起動するまで効きません。取り込み中はメニューバーに macOS の収録インジケータが出ます。その扉を使うアプリはどれも同じです。
音声を残すか決める
設定を開き、「Live Transcription」へ。「元の録音ファイルを保持」は既定でオンなので、各セッションに書き起こし一つと音声トラック二本が残ります。切るとテキストだけが残ります。同じ画面でファイル名の接頭辞を変えられ、保存済みのセッションを一度に消す「すべて削除」ボタンもあります。
あとから書き起こしを見つける
同じサブメニューの「文字起こし記録」で過去のセッションを見て、各書き起こしを読み、丸ごとコピーできます。ファイル自体は iCloud Drive の Coco フォルダの中、Live Captions/Recordings にあります。iCloud 同期を切っていれば ~/Library/Application Support/Coco の下です。普通のテキストと音声のファイルなので、それらを開けるものなら何でも開けます。
Mac のライブキャプションについてよく聞かれること
- macOS にライブキャプションは最初から入っていますか？
- 入っています。macOS の「システム設定」の「アクセシビリティ」にライブキャプションがあります。Apple の説明では、アプリと FaceTime の音声、Web の内容、マイクが拾う対面の会話を、デバイス上でリアルタイムに字幕にします。ウインドウの大きさや色は変えられます。対応言語は固定の一覧で、macOS のバージョンによって変わります。現在のリリースで Apple が挙げるのは、数種類の英語、広東語、北京語、フランス語、ドイツ語、日本語、韓国語、スペイン語です。無料で、もう入っています。Coco の版があるのは、そのウインドウがやろうとしていないことのためです。全行を遡れる書き起こしとして残し、どちら側の発言かを示します。セッションをテキストと音声で保存します。そして Apple の音声フレームワークがあなたの Mac で対応する言語を全部使います。
- Coco はビデオ通話や動画のようなシステム音声を字幕にできますか？
- できます。それが主な用途です。Coco は ScreenCaptureKit でシステム音声を捕まえます。macOS が画面収録に使うのと同じ仕組みなので、どのアプリが再生している音でも聞こえます。Zoom や Teams や Meet の通話、YouTube のタブ、講義の録画、ポッドキャスト、どれでも構いません。会議アプリの中にプラグインは要らず、どのアプリかも問いません。同時にマイクも捕まえるので、通話の書き起こしでは相手側が「相手」、あなたが「自分」として、話された順に並びます。唯一の条件は「画面収録」の許可で、macOS が初回に尋ね、有効にするには Coco の再起動が要ります。
- オフラインでも動きますか？
- ほとんどの言語で動きます。Coco は Apple の音声フレームワークを使い、Mac の現在の言語で Apple がオンデバイス認識を用意していれば、必ずそれを求めます。その状態では音声はこの機械の中で処理され、どこにも送られず、セッションは好きなだけ続けられます。Apple にオンデバイスのモデルがない言語では、フレームワークが Apple のサーバーに切り替わります。その言語の音声入力と同じ動きで、接続が必要です。Coco 自身にはこの機能でサーバーもアカウントも計測もありません。Coco のせいで音声が Mac を離れる唯一の道は任意のクラウドエンジンで、あなたが設定ファイルを自分で作らない限りオフのままです。
- 対応している言語は？
- Apple の音声認識があなたの Mac で対応するもの全部で、Mac に今設定されている言語を使います。Coco はシステムの言語を読んで認識エンジンに渡します。Apple にその言語の認識エンジンがなければ、ウインドウが推測せずにそう言います。Coco の中に別の言語選択はまだありません。だから英語設定の Mac でフランス語の通話を字幕にするには、先に Mac の言語を切り替える必要があります。これは本物の制限で、隠さずに言っておきます。認識がデバイス上で動くか Apple のサーバーで動くかも言語次第です。Apple は一部の言語にオンデバイスのモデルを配り、一部には配っていません。オンデバイスのものがあれば、Coco はいつもそれを使います。
- 翻訳はしますか？
- しません。Coco のライブキャプションは書き起こしをするもので、書き起こしを別の言語に翻訳はしません。コードには翻訳の段階を入れる場所があり、書き起こしの形式にも各原文の下に訳文を置く余地がありますが、出荷版では何も接続されておらず、入れる設定もありません。翻訳はロードマップ上にあります。日本、韓国、中国のユーザーから一番多く聞く要望で、英語の通話を自分の言語で読みたいという声です。それが出るまでの正直なやり方は、「全文をコピー」ボタンで書き起こしをコピーし、ふだん使う翻訳ツールに貼ることです。
- 書き起こしはどこに行き、誰が見られますか？
- 各セッションは、各行にタイムスタンプと話者の印が付いたテキストファイルになります。「元の録音ファイルを保持」がオンなら .m4a の音声トラックが二本付き、これは既定でオンです。iCloud 同期が入っていれば、iCloud Drive の Coco フォルダの中の Live Captions/Recordings にあります。あなたの他の Mac からは、あなた自身の iCloud を通して見えます。切っていれば ~/Library/Application Support/Coco の下です。見られるのはあなただけです。この機能に Coco のサーバーもアカウントもアップロードもありません。Coco はホームフォルダを守っているもの以上の暗号化はしません。設定の「すべて削除」ボタンで保存済みのセッションを全部消せ、各セッションは「文字起こし記録」ウインドウから Finder に表示できます。
このプロンプトをコピーするか、すでに使っている AI にそのまま送ってください — あなたが自分で打つのと同じコマンドで Coco を動かします。
Coco のスキルをインストールし（npx skills add butterflydream-ai/Coco --skill coco -g -y）、coco を使ってMac のライブキャプション。再生中のものを、そのまま文字に。を手伝ってください。