Integrar o Frigate com um sistema de visão computacional, no Visio OS

por Lorenzo Lopez Head of Content, Visio 28 de out. de 2026

Você integra o Frigate com um sistema de visão computacional sem tirar o Frigate do lugar: ele segue detectando localmente na loja, e a camada de Sensores do Visio OS entra onde ele para. O catálogo de detecções chega à sua IA pelo MCP (o conector que liga a IA aos dados da operação), as detecções chegam ao seu aplicativo pela API, e o dado cai junto com os outros dados da operação, em todas as lojas.

Visio aqui é a Visio de operação de lojas (visio.ai), o sistema para quem toca várias lojas, não o Visio da Microsoft, de diagramas. Este guia é para quem roda o Frigate na loja e precisa decidir o que vem depois da detecção local. Ele separa o que a documentação do Frigate descreve do que fica a confirmar, e diz onde a camada começa e onde o Frigate continua. Para comparar as formas de analisar a imagem de uma câmera, o caminho está em como analisar imagem de câmera com IA.

Por que integrar o Frigate com visão computacional importa

O Frigate resolve bem o que se propõe a resolver. É o gravador aberto que detecta localmente nas câmeras que você já tem, e para uma câmera e uma pergunta, sem fornecedor, é um bom começo. A documentação, lida em 11 de outubro de 2026, o descreve como um gravador local: as gravações ficam no servidor onde ele roda, e não há serviço de visualização em nuvem.

O que muda a conta vem depois da primeira detecção. A segunda pergunta à mesma câmera pede uma detecção nova, e cada loja nova repete o trabalho, com um pipeline para manter vivo. Quem liga o Frigate a uma IA encontra ainda uma pergunta anterior: onde as detecções de várias lojas se encontram, com a mesma definição, para que a IA responda sobre a rede e não sobre um servidor.

Há também a diferença entre detectar e concluir. Um modelo de visão enxerga e não pensa, e um modelo de linguagem pensa em cima do que foi visto. A sua IA lê primeiro o que foi detectado, junto com os outros dados da operação, e abre o vídeo só no minuto em que precisa ter certeza. Para isso a detecção tem de chegar a ela com horário e com o quadro de onde veio, e não como uma imagem solta.

Como avaliar uma integração do Frigate com visão computacional

Cinco critérios separam uma integração que se mantém de um teste de bancada. Cada um vira uma linha do comparativo.

O que o Frigate publica. Só vale como fato o que a documentação descreve, com data: a API HTTP, o reencaminhamento do fluxo de vídeo e a exportação de clipes.
De onde sai a detecção que a IA lê. Do que você escreve sobre o Frigate ou de um catálogo que já roda em lojas.
Quem rotula e treina. O dado rotulado e o treino de cada detecção nova ficam com quem constrói ou com quem serve a detecção.
A segunda pergunta e a segunda loja. Se uma pergunta nova é configuração ou projeto novo, e se a mesma pergunta roda igual em todas as lojas.
Onde o dado cai e quem vê o quê. Num script, num console ou junto com os outros dados da operação, com a permissão de quem pergunta.

Principais caminhos para integrar o Frigate com visão computacional

Cada caminho tem mérito. A ordem vai do que o builder já tem à infraestrutura servida.

1. A API do Frigate com código seu

A documentação da API HTTP do Frigate, lida em 11 de outubro de 2026, é pública e organiza as chamadas em grupos: eventos, gravações, exportação, revisão, câmera e mídia. É a porta de quem escreve código sobre o que o Frigate já detectou e gravou. A detecção continua sendo a do Frigate, e o resto é de quem constrói: o que fazer com cada evento, para onde mandar, como juntar as lojas e como a IA pergunta. A documentação consultada em 11/10/2026 não menciona MCP.

2. O fluxo reencaminhado para outras aplicações

Segundo a mesma documentação, o Frigate pode reencaminhar o fluxo de vídeo da câmera para outras aplicações, e cita o Home Assistant como exemplo. Isso abre a porta a um segundo sistema de visão que leia as mesmas câmeras: quem lê o fluxo reencaminhado decide o que detectar, e o Frigate segue gravando o que gravava. O que esse sistema detecta, onde guarda o resultado e quem o mantém são decisões de quem o monta.

3. Clipes exportados, entregues como arquivo

A documentação descreve a exportação de um trecho a partir de um item de revisão e diz que as exportações ficam guardadas à parte e nunca são removidas pela retenção. É um jeito de preservar um episódio: o clipe sai do servidor local e vai para onde você mandar. O vídeo gravado entra na camada de Sensores como arquivo, então o clipe exportado pode ser lido por ela, que roda o catálogo de detecções sobre a gravação e devolve o que aconteceu, com horário. Para investigar um episódio, funciona. Como rotina, alguém precisa exportar a cada pergunta.

4. O Home Assistant como ponte para o MCP

O Home Assistant tem uma integração oficial, o Model Context Protocol Server, que conecta uma IA ao sistema e expõe só as entidades que você escolhe (documentação lida em 11 de outubro de 2026). Há também uma API REST documentada, que usa um token de acesso. O que a IA recebe é a entidade exposta, e a documentação consultada em 11/10/2026 não menciona se o que o Frigate detecta chega ao Home Assistant como entidade. A detecção que responde «tem alguém no caixa?» continua sendo trabalho de quem constrói.

5. A camada de Sensores do Visio OS junto com o Frigate

Aqui o Frigate fica onde está. O gravador que já grava a loja é por onde o vídeo chega, lido pelo caminho que o fabricante documenta, e no caso do Frigate esse caminho é o fluxo reencaminhado ou o clipe exportado. A câmera continua gravando, e o Frigate continua detectando o que detecta. A camada acrescenta o que vem depois da detecção local: Visio Cortex, o motor da Camada de Sensores, guarda o catálogo de detecções e monta o pipeline a partir dele.

Pelo MCP, a sua IA descreve o que quer detectar, o pipeline é montado a partir do catálogo e o custo de rodar é declarado antes de rodar. Pela API, o seu aplicativo consome as detecções, estruturadas e com horário. Quem constrói não homologa hardware, não rotula dado, não treina modelo e não mantém pipeline: constrói a ferramenta, e não o stack de modelos. A Visio rotula os dados e treina os modelos em casa, e quando o catálogo não responde a uma pergunta, essa mesma capacidade é como ele aprende a responder, do lado da Visio.

A detecção aterrissa na camada de Dados, junto com os outros dados da operação, vira tarefa pra pessoa certa pela Orquestração e aparece nas Tools que o time já usa. A sua IA lê os sinais primeiro, com a permissão de quem pergunta, por usuário e por loja, e abre o vídeo no minuto em que precisa conferir. Fale com um especialista e diga quantas lojas rodam o Frigate e quantas câmeras cada uma tem.

Comparativo dos caminhos para integrar o Frigate com visão computacional

Critério	API do Frigate com código seu	Home Assistant com MCP	Camada de Sensores do Visio OS junto com o Frigate
O que a fonte documenta	API HTTP pública, com grupos de eventos, gravações, exportação, revisão, câmera e mídia	Integração oficial de MCP que expõe só as entidades escolhidas; API REST com token	O fluxo reencaminhado e o clipe exportado do Frigate, lidos pelo caminho que ele documenta
MCP	A documentação da API consultada em 11/10/2026 não menciona MCP	Sim, no Home Assistant	A sua IA pergunta pelo MCP
O que a IA recebe	O que o seu código fizer com os eventos	As entidades expostas	A detecção, estruturada e com horário
Quem rotula e treina	Você	Você	A Visio rotula e treina em casa
Várias lojas	Gravador local: juntar as lojas é trabalho seu	A documentação consultada em 11/10/2026 não menciona	A mesma pergunta roda igual em toda loja
Quem vê o quê	Definido no código que você escreve	Só as entidades expostas	O login e as permissões de quem pergunta, por usuário e por loja

Cenários em que o Frigate pede uma camada, e em que não pede

Uma câmera e uma pergunta

Com uma câmera, uma pergunta e alguém para manter o Frigate, ele sozinho resolve, e a camada não disputa esse terreno.

Quando chega a segunda pergunta

A loja pergunta se tem alguém no caixa. Com o Frigate sozinho, é uma detecção nova: dado, rótulo, modelo e a ligação com a IA. No catálogo, a sua IA descreve a pergunta, o pipeline é montado e o custo vem declarado antes de rodar. Uma pergunta nova custa rótulos, não um modelo.

Quando são várias lojas

A mesma pergunta precisa rodar igual em cada loja para que os números sejam comparáveis. Se cada loja roda o seu Frigate com a sua regra, a definição de «alguém no caixa» vira uma cópia por instalação. Na camada, a mesma detecção do catálogo mede do mesmo jeito na câmera que cada loja já tem, e quem toca a rede vê as lojas lado a lado.

Opinião do Head of Content

Lorenzo Lopez, Head of Content da Visio, respeita quem monta o próprio caminho: para ele, o Frigate com uma câmera e uma pergunta é um bom começo. Na leitura dele, a decisão de acrescentar uma camada não tem a ver com a qualidade da detecção local, e sim com a segunda pergunta e a segunda loja, que recomeçam o projeto. A posição dele é que o builder deve construir a ferramenta e deixar o stack de modelos para quem o serve.

Perguntas frequentes

Preciso trocar o Frigate para usar a camada de Sensores?

Não. O Frigate segue como o gravador e como o detector local, e a camada lê o vídeo pelo caminho que ele documenta: o fluxo reencaminhado ou o clipe exportado. A câmera continua gravando o que gravava.

O Frigate tem MCP para ligar a sua IA?

A documentação da API lida em 11 de outubro de 2026 não menciona MCP. O Home Assistant tem uma integração oficial de MCP que expõe as entidades escolhidas. Na camada de Sensores do Visio OS, a sua IA pergunta pelo MCP e recebe a detecção, estruturada e com horário.

Dá para usar as gravações que o Frigate já guardou?

O vídeo gravado entra na camada como arquivo: ela roda o catálogo de detecções sobre a gravação e devolve o que aconteceu, com horário. A documentação do Frigate diz que os clipes exportados ficam guardados à parte e nunca são removidos pela retenção, e o quanto de gravação existe depende do que o seu servidor guardou.

Quem rotula os dados e treina os modelos?

A Visio, em casa. Quem constrói nunca rotula um quadro nem roda um treino: uma pergunta que o catálogo não responde é um treino do lado da Visio, e não um projeto do seu lado.

Quem vê o quê quando a IA pergunta?

A permissão de quem pergunta, por usuário, por loja e por app, aplicada no dado, para a pessoa e para a IA que ela conecta. O que circula é a detecção, com horário. A camada conta pessoas, não reconhece ninguém, e o time fica fora da conta.

E se o caminho do Frigate na minha operação não estiver claro?

Fale com um especialista e descreva como o Frigate roda: quantas lojas, quantas câmeras e quem o mantém. O mapeamento mostra quais perguntas essas câmeras já respondem e qual caminho vale para o seu caso.

Próximos passos

O próximo passo é o mapeamento de quais perguntas as câmeras que o Frigate já lê conseguem responder. Nenhum número de melhoria vem antes dele, porque o número de cada operação é calculado com o dado dela.

Descreva como o Frigate roda em cada loja e fale com um especialista para ver qual caminho vale para o seu caso.
Liste as perguntas que hoje exigem uma detecção nova a cada loja e veja o que o catálogo já responde.
Anote se o vídeo de cada loja chega pelo fluxo reencaminhado ou pelo clipe exportado, porque isso decide por onde a camada o lê.

Conclusão

Integrar o Frigate com um sistema de visão computacional é decidir o que fica local e o que vira infraestrutura. O Frigate segue detectando na loja, a API e o Home Assistant dão peças a quem constrói, e a camada de Sensores do Visio OS acrescenta o catálogo pelo MCP, as detecções pela API e o dado junto com os outros dados da operação. Sensores criam o sinal. O Visio OS transforma em tarefa certa, pra pessoa certa, e na resposta que a sua IA dá. Fale com um especialista.