Documentos, imagens, voz e vídeo

Anexas ficheiros com o botão «Anexar ficheiros, imagens, áudio ou vídeo» do campo do pedido. Tudo é lido no teu Mac com as ferramentas da Apple: o PDFKit para PDF, o Vision para reconhecer texto em imagens, o sistema de texto do macOS para Word, RTF e HTML, o SpeechAnalyzer para a fala e o AVFoundation para o vídeo. Nenhum ficheiro é enviado para fora.

A secção «O que o Ploy lê», em Definições › Voz e multimodal, resume esta página numa frase.

Documentos#

Quando anexas um documento e fazes uma pergunta, o pedido entra no modo Documentos, a menos que peça para criar alguma coisa numa pasta de trabalho. O modelo lê os documentos com duas ferramentas e tem a instrução de responder só com o que eles dizem, citar a página de cada facto, como «(p. 4)», e dizer-te quando a resposta não está lá.

O reconhecimento de texto usa o reconhecedor preciso do Vision, com correção linguística, em português de Portugal e em inglês.

Não são lidos: PDF protegidos por palavra-passe (o Ploy diz que o PDF está protegido) e ficheiros binários que não são nenhum destes formatos, como as folhas de cálculo do Excel ou do Numbers.

Um documento que anexaste lê-se onde estiver, mesmo fora da pasta de trabalho. Um documento lido conta como conteúdo de terceiros: a partir daí, nessa conversa, os comandos e a leitura de ficheiros fora da pasta pedem autorização um a um (Ficheiros e código).

Imagens#

Uma imagem anexada (PNG, JPEG, HEIC, TIFF, GIF, BMP, WebP) põe o pedido no modo Imagem, ou no modo Código se pedires para construir alguma coisa numa pasta de trabalho.

Uma imagem nunca chega a um modelo que não a vê. Se nenhum modelo instalado vir imagens, o Ploy diz «Nenhum modelo instalado consegue ver imagens. Instala o Saturn ou o Veta em Modelos.»

Como a imagem é preparada:

• fica com 1280 pixels, no máximo, no lado maior, é orientada e convertida em JPEG; o ficheiro original nunca é alterado;
• o codificador de visão dá a cada imagem entre 512 e 1536 tokens. Com este orçamento, o Veta e o Saturn leram o número de uma encomenda impresso numa imagem (6,5 e 13,6 segundos, medido no Mac de referência a bateria), o que não conseguiam com menos;
• a parte de visão do modelo é carregada quando o pedido traz imagens e no modo Computador, porque custa memória (medido: mais 0,9 GB no Saturn); nesses casos o acelerador não é usado.

Se mais tarde a conversa continuar com um modelo carregado sem visão, as imagens anteriores são trocadas por uma menção, como «[2 imagem(ns) anexada(s) antes]», para não se perderem em silêncio. Os números estão em Medições.

Áudio#

O Ploy trata como áudio os ficheiros mp3, m4a, wav, aiff, caf, aac, flac, ogg e opus. A fala é transcrita no Mac pelo SpeechAnalyzer da Apple (macOS 26). O áudio nunca sai do computador.

O modelo de fala instala-se só quando o pedes. Em Definições › Voz e multimodal há «Reconhecimento de fala em português» e «Reconhecimento de fala em inglês», cada um com «Instalar», que descarrega o modelo de voz da Apple («Modelo de voz da Apple, no computador. Instala-se só quando o pedes.»). Sem o modelo da língua, a transcrição falha com uma mensagem a dizer onde o instalar; nada é descarregado sem ti.

A língua. Em «Língua do áudio e do vídeo» escolhes «Automática», «Português (Portugal)» ou «Inglês». «Automática» segue a língua do teu pedido: um pedido em português dá português de Portugal, um pedido em inglês dá inglês.

A transcrição. A transcrição completa, com os tempos, fica num ficheiro de texto temporário. Se for curta (até 6000 caracteres), vai diretamente com o pedido; se for longa, o modelo lê-a com as ferramentas de documentos. Medido no Mac de referência: 43,6 segundos de áudio em português transcritos em 0,54 segundos.

Uma transcrição que falha é dita como falha, nunca como silêncio.

Vídeo#

O Ploy trata como vídeo os ficheiros mp4, mov, m4v, avi, mkv e webm. Não descodifica o vídeo inteiro:

1. tira 24 fotogramas pequenos a intervalos regulares e compara cada um com o anterior;
2. fica com os fotogramas onde a cena muda mais e com outros espalhados pelo vídeo, até oito;
3. só esses são descodificados em tamanho útil, até 768 pixels;
4. o som é transcrito como um áudio.

Quanto do vídeo foi visto. Com o pedido, o modelo recebe uma nota com quantos fotogramas viu, mais ou menos de quantos em quantos segundos, de que minuto a que minuto da duração total, os tempos exatos de cada um, e que só esses fotogramas foram vistos, não o vídeo inteiro. Tu vês o mesmo na linha de progresso, por exemplo «Vi 8 imagens do vídeo reuniao.mov, entre 0:04 e 41:30 de 42:10, e não o vídeo inteiro.» Se o vídeo não tiver fala, a nota di-lo; se a transcrição do som falhar, diz que não se sabe nada do que é dito.

Os fotogramas são imagens, por isso um vídeo precisa de um modelo que veja imagens.

Voz#

O Ploy não ouve o microfone. Para lhe falar, grava um áudio e anexa-o: é transcrito no Mac como qualquer outro.

Ler as respostas em voz alta. Em Definições › Voz e multimodal, «Ler as respostas em voz alta» lê a resposta no fim de cada tarefa, com uma voz do sistema, no Mac. Vem desligado. «Ouvir» toca uma frase de exemplo com a melhor voz de português de Portugal que tiveres; vozes melhores instalam-se nas definições de acessibilidade do macOS. Com «Automática» na língua, a voz segue a língua da resposta, português de Portugal ou inglês; com uma língua fixa, usa essa. A leitura para quando envias outro pedido, carregas em «Parar» ou ⌘., ou carregas em Esc duas vezes.

Limites#

• Um vídeo é visto por, no máximo, oito fotogramas: o que acontece entre eles não é visto.
• As folhas de cálculo e os ficheiros do Pages e do Keynote não são lidos como documentos.
• Um ficheiro que o macOS não consiga abrir dá erro, mesmo que a extensão esteja nas listas acima.