BabelBitBot

BabelBitBot es el lector de feeds de BabelBit, un comparador de cómo distintos medios cubren los mismos hechos. Se identifica con el User-Agent:

BabelBitBot/0.1 (+https://babelbit.net/bot)

Qué hace

• Lee únicamente feeds RSS/Atom públicos; no rastrea ni descarga páginas de artículos.
• De los feeds de podcast descarga el audio que el propio feed publica, lo transcribe y lo borra.
• YouTube no se lee con este bot sino con la API oficial de YouTube; nunca se descargan videos.
• Respeta robots.txt (RFC 9309) y lo vuelve a consultar cada 24 horas.
• Espacia sus pedidos a cada dominio (al menos 5 segundos) y usa peticiones condicionales (ETag / Last-Modified).
• Lee cada feed como mucho cada 15 minutos, y con menos frecuencia si falla.
• Muestra solo titular y resumen del feed, siempre con enlace al artículo original.

Cómo excluir su sitio

Agregue a su robots.txt:

User-agent: BabelBitBot
Disallow: /

BabelBitBot dejará de leer su sitio en su próxima consulta de robots.txt (como máximo, 24 horas).