Voz

O que faz#

A voz tem duas metades, ambas na janela do Ploy e ambas no teu Mac:

• Falar. Um botão de microfone na caixa de escrita grava o que dizes, e o Ploy transcreve-o localmente com o whisper.cpp, em português.
• Ouvir. Um interruptor com um altifalante lê em voz alta as respostas acabadas, com a voz portuguesa do sistema.

Os dois botões só existem na janela. No terminal não há voz.

Falar#

1. Clica no botão do microfone. A dica do botão passa a «A gravar... clica para parar».
2. Fala, e clica outra vez para parar. Não é de carregar e segurar: é clicar para começar e clicar para acabar.
3. A janela envia o áudio (até 20 MB) ao processo principal da app, que o converte com o ffmpeg para áudio mono de 16 kHz e corre o whisper-cli em português, com o modelo ggml-small.bin e um texto curto de contexto com o tipo de pedidos e de palavras que dizes a um assistente de computador. As transcrições fazem-se uma de cada vez, e cada comando tem dois minutos para acabar.
4. O texto aparece na caixa de escrita, onde estava o cursor. Não é enviado: lês, corriges se for preciso, e envias tu.
5. Os ficheiros temporários da gravação são apagados logo a seguir.

Se a transcrição falhar, o botão diz «Não consegui transcrever» durante uns segundos.

A permissão do macOS#

Na primeira vez, o macOS pede autorização para o microfone. Esse pedido ainda não foi observado numa utilização real do Ploy, por isso não sabemos ainda como o macOS o apresenta. Se negares, o botão falha com «Não consegui transcrever», e podes dar a autorização em Definições do Sistema, em Privacidade e Segurança, no painel do microfone.

Ouvir#

O interruptor com o altifalante fica ao lado do botão do microfone. Quando está ligado, cada resposta acabada é lida em voz alta, com a voz do sistema para pt-PT (ou, se não houver, outra voz portuguesa). O que se lê é o que vale a pena ouvir: os blocos de código, as ligações e as marcas de formatação ficam de fora, e um texto longo é cortado aos 700 caracteres. Desligar o interruptor interrompe a leitura. A escolha fica guardada para a próxima vez.

O que sai da máquina#

Nada. A gravação, a conversão, a transcrição e a leitura em voz alta correm no teu Mac. Basta que o whisper.cpp e o modelo de voz estejam instalados; não vêm com o Ploy (ver Requisitos).

O que foi medido#

Num conjunto de dez frases em português geradas com uma voz sintética do macOS, o erro de palavras foi de 14,5 por cento, com o texto de contexto que a app usa.

Limites#

• A transcrição é só em português. O idioma está fixo no comando.
• O modelo de voz é o small do whisper.cpp. O texto de contexto ajuda com o vocabulário que lá está (ficheiro, pasta, áudio, volume, Python, browser, email e alguns verbos de pedido) e não com o resto.
• A leitura em voz alta depende das vozes que o teu macOS tem instaladas.
• O áudio que chega ao Ploy está limitado a 20 MB por gravação.
• Um modelo de 8 mil milhões de parâmetros recebe o que o whisper entendeu, não o que disseste. Um erro de transcrição vira um erro de pedido, por isso convém reler o texto antes de enviar.