Indexador de site
Rastrear páginas públicas de um site e trazer o conteúdo para uma coleção.
O Indexador percorre URLs públicas e traz o texto das páginas para a Coleção. É o conector que não depende de credencial: se a página abre no navegador sem login, ele alcança.
Internamente a plataforma o identifica como web_scraper.
Quando usar
Serve para conteúdo que já está publicado e é a fonte de verdade: documentação pública, central de ajuda, páginas de produto, políticas em site institucional.
Não serve para conteúdo atrás de login, nem para páginas que montam o texto por JavaScript depois do carregamento.
Configurar
O formulário pede a lista de URLs a percorrer e o tipo de extração aplicado ao conteúdo encontrado.
A descrição do conector, quando você não preenche, recebe o valor padrão Indexador. Vale substituir por algo que diga qual site é, porque a lista de conectores mostra esse texto.
Agendamento
Como os demais conectores, ele aceita agendamento. A frequência define de quanto em quanto tempo as URLs são percorridas de novo.
Páginas que mudam pouco não justificam sincronização diária: cada execução reprocessa o conteúdo e consome tempo de indexação.
O Indexador não respeita paywall nem sessão. Uma URL que exige login devolve a página de login, e é esse texto que acaba indexado na Coleção.
Próximos passos
- Confira o estado dos documentos trazidos em Indexação.
- Veja os demais conectores em Visão geral.