Web scraping: dado público não significa uso livre para IA

O que está em jogo no uso de dados públicos

O erro recorrente é tratar “público” como sinônimo de “sem restrição”. Uma página aberta pode conter nome, foto, opinião política, dado profissional, histórico de participação em comunidades, localização indireta, conteúdo de crianças, dados de saúde inferidos ou informação publicada para uma finalidade limitada. Quando o web scraping transforma milhares de páginas em dataset reutilizável, a escala muda o risco e a expectativa razoável do titular.

A LGPD se aplica quando há tratamento de dado pessoal, inclusive coleta, produção, recepção, classificação, utilização, acesso, reprodução, armazenamento, eliminação, avaliação ou controle da informação. Por isso, a discussão não termina na captura. A empresa deve mapear o caminho completo: crawler, fila de processamento, deduplicação, classificação, filtros de segurança, base bruta, base curada, logs, embeddings, consultas internas, APIs e eventual exclusão.

Essa visão operacional ajuda a decidir se web scraping atende a uma finalidade legítima e específica. Treinar um modelo fundacional, enriquecer uma base comercial, monitorar preços, detectar fraude, montar um índice de busca e gerar respostas para atendimento são usos diferentes. O mesmo dado pode ser proporcional em um contexto e excessivo em outro.

Base legal e interesse legítimo exigem teste sério

O web scraping pode ser avaliado sob diferentes bases legais, conforme finalidade e categoria de dado. Consentimento raramente é viável em coletas massivas, mas isso não significa que interesse legítimo resolva tudo. Quem usa web scraping precisa demonstrar uma finalidade legítima, necessidade do tratamento e balanceamento com direitos e expectativas dos titulares. Esse teste deve ser registrado, revisado e conectado a controles técnicos.

Na prática, o teste deve perguntar se há uma alternativa menos invasiva, se a base contém dados além do necessário, se as fontes são confiáveis, se existem sinais de restrição de uso, se o titular poderia razoavelmente esperar aquele reaproveitamento e se medidas de oposição, exclusão ou filtragem são viáveis. Para IA generativa, também é importante registrar se a base será usada para treino, ajuste fino, avaliação, retrieval ou apenas indexação temporária.

Interesse legítimo não deve ser usado como rótulo genérico. Se a operação envolve dados sensíveis, crianças e adolescentes, decisões com efeitos relevantes ou monitoramento sistemático, o nível de justificativa aumenta. Em alguns casos, a decisão correta será reduzir escopo, excluir categorias, usar dados sintéticos, licenciar conteúdo, agregar informação ou abandonar a coleta.

Fonte, origem e validação antes do dataset

O EDPB recomenda atenção a fontes confiáveis, registro de momento da coleta e validação dos dados antes de uso em treinamento. Para uma empresa brasileira, isso se traduz em governança de origem: lista de domínios, critérios de inclusão, razões para exclusão, data e hora de captura, versão do parser, política de atualização e trilha de auditoria.

Sem isso, o web scraping cria uma base difícil de explicar. Dados desatualizados podem prejudicar titulares, informações falsas podem contaminar modelos, e conteúdo removido da origem pode continuar circulando dentro da empresa. Também há risco de copiar dados de áreas que parecem abertas, mas dependem de termos contratuais, autenticação, paywall, restrições técnicas ou contexto específico de publicação.

Validação no web scraping não significa conferir manualmente cada item. Significa definir controles proporcionais: amostragem, filtros de linguagem, bloqueio de campos sensíveis, detecção de dados de crianças, exclusão de documentos oficiais com informações pessoais desnecessárias, bloqueio de páginas de perfis privados indevidamente espelhadas e manutenção de listas de fontes proibidas.

Transparência sem inviabilizar a operação

Projetos de web scraping enfrentam uma tensão real: informar individualmente cada titular pode ser impossível ou exigir esforço desproporcional em determinadas situações. Isso não elimina a transparência. A empresa pode publicar avisos claros, manter página sobre fontes usadas, explicar finalidades, oferecer canal de oposição ou remoção, documentar exceções e treinar equipes de atendimento para responder pedidos.

O aviso deve ser concreto. Frases como “podemos usar dados públicos para melhorar serviços” são vagas demais para sustentar confiança. É melhor indicar categorias de fontes, tipos de dados, finalidades, período de retenção, lógica geral do uso em IA, formas de contato e critérios para retirada. Quando houver clientes corporativos usando a solução, contratos e documentação comercial também precisam refletir essas informações.

No caso de modelos que recuperam trechos de bases indexadas, a transparência deve chegar ao produto. Usuários internos precisam saber de onde vem a resposta, quais fontes foram usadas e quando a informação foi coletada. Isso reduz risco de decisão baseada em dado antigo ou fora de contexto.

Minimização para IA generativa

IA incentiva a crença de que “mais dado é sempre melhor”. Sob a LGPD, a lógica precisa ser mais disciplinada. O web scraping deve coletar o mínimo adequado à finalidade declarada, com filtros antes do armazenamento sempre que possível. Guardar HTML integral, metadados, comentários, imagens, identificadores e dados de contato porque “podem servir depois” aumenta exposição sem necessariamente melhorar o modelo.

Uma abordagem prática é separar camadas. A base bruta deve ter acesso restrito, retenção curta e controles fortes. A base curada deve remover campos desnecessários, normalizar apenas o que será usado e registrar critérios de transformação. Embeddings e índices vetoriais também precisam de política própria, porque podem preservar relações com titulares ou permitir recuperação de trechos pessoais.

Quando a finalidade muda, a empresa deve reavaliar web scraping. Usar uma base coletada para busca interna não autoriza automaticamente treino de modelo, enriquecimento de perfis, publicidade ou análise comportamental. Mudança de finalidade exige nova compatibilidade, nova documentação e, muitas vezes, novo aviso.

Dados sensíveis e conteúdo de maior risco

O cuidado cresce quando a raspagem alcança origem racial ou étnica, convicção religiosa, opinião política, filiação sindical, saúde, vida sexual, dado genético ou biométrico. Mesmo quando esses elementos aparecem incidentalmente em páginas abertas, a empresa precisa aplicar filtros e controles para impedir coleta, persistência e uso indevidos.

O web scraping de fóruns, redes sociais, currículos, notícias, decisões públicas e repositórios pode capturar informações sensíveis por contexto. Um texto sobre participação em associação, uma foto com identificação biométrica, um relato médico ou uma postagem sobre orientação política podem virar sinal estatístico no modelo. O risco não está apenas no dado isolado, mas na capacidade de inferir, agrupar e recuperar.

Para reduzir exposição, defina regras de exclusão por fonte, categoria e finalidade. Combine bloqueios técnicos com revisão humana em amostras de alto risco. Registre falsos positivos e falsos negativos. Quando a coleta sensível for inevitável para uma finalidade legítima, avalie base legal específica, salvaguardas adicionais e necessidade de Relatório de Impacto à Proteção de Dados.

Web scraping: como decidir antes de escalar

Antes de contratar ou operar web scraping, a empresa deve reunir produto, jurídico, segurança, dados, marketing e compras. O objetivo é responder perguntas simples com evidência: qual problema será resolvido, quais fontes serão acessadas, quais dados entram, quais saem, quem responde por exclusão, quais fornecedores processam a base e como a empresa demonstrará conformidade se questionada.

Contratos de web scraping com fornecedores devem prever origem lícita dos dados, documentação de fontes, respeito a instruções, proibição de reutilização não autorizada, segregação de bases, controles de segurança, prazo de retenção, apoio a direitos de titulares, notificação de incidentes e dever de apagar bases derivadas quando o contrato terminar. Também é importante exigir evidências, não apenas declarações comerciais.

Se a iniciativa envolve IA generativa, conecte a revisão ao ciclo de vida do modelo. O post da TOGETHER sobre sandbox de IA, ANPD e privacy by design ajuda a estruturar experimentos com limites claros antes de colocar dados pessoais em ambientes de produção.

Métricas e plano de ação

Depois da aprovação inicial, a operação precisa de métricas. Acompanhe volume coletado por fonte, taxa de descarte por minimização, incidentes de bloqueio, pedidos de remoção, tempo de resposta a titulares, bases vencidas por retenção, fornecedores pendentes de evidência e amostras reprovadas em validação. Esses indicadores mostram se o desenho aprovado continua funcionando quando a base cresce.

O plano de ação deve ter responsáveis e prazos curtos. Produto define a finalidade aceita e critérios de sucesso. Segurança valida ambientes, segredos, logs e acesso. Jurídico e privacidade revisam base legal, transparência e contratos. Dados documenta qualidade, filtros, deduplicação e linhagem. Compras exige evidências dos fornecedores. Atendimento prepara respostas para oposição, exclusão e dúvidas.

Também vale criar um ponto de pausa. Se uma fonte muda termos, se aparecem dados sensíveis em volume relevante, se a coleta alcança crianças, se um fornecedor reutiliza dados sem autorização ou se o modelo passa a recuperar conteúdo identificável, a operação deve ser suspensa até nova revisão. Essa disciplina evita que web scraping aprovado para um caso limitado vire infraestrutura permanente sem governança.

Evidências que protegem a decisão empresarial

Um dossiê mínimo deve incluir inventário de fontes, finalidade, base legal avaliada, teste de balanceamento quando aplicável, política de minimização, critérios de validação, logs de coleta, política de retenção, avaliação de dados sensíveis, matriz de fornecedores, controles de acesso, resposta a titulares e aprovação do comitê responsável.

Não se trata de burocracia. Sem evidências, a empresa fica dependente da memória de quem implementou o crawler. Com evidências, consegue ajustar rapidamente quando uma fonte muda, um titular reclama, um cliente pede garantia contratual ou uma autoridade questiona o tratamento.

Como a TOGETHER pode apoiar

A TOGETHER apoia empresas na revisão de projetos de dados e IA com consultoria em LGPD voltada a bases públicas, testes de interesse legítimo, minimização e documentação de risco. Também pode operar DPO as a Service para acompanhar pedidos de titulares, governança de fornecedores, incidentes e evidências para diretoria durante o ciclo de vida do projeto.