# Establecemos total libertad para webcrawler
# Ya que dejamos Disallow vacio

# Permitir trabajar a los botsde  2 am a 7:45 am
# Las horas son siempre Greenwitch
# Visit-time: 0200-0745		

# Un documento CADA  30 minutos
# Request-rate: 1/10m		

# Combinado: 1 doc cada 10 minutos
# y solo de una  a 5 tarde

Request-rate: 1/3m 1300-1659

User-agent: webcrawler
Disallow: /back
Disallow: /html
Disallow: /script
Disallow: /pix
Disallow: /svg
Disallow: /etc

User-agent: googlebot
Disallow: /back
Disallow: /html
Disallow: /script
Disallow: /pix
Disallow: /svg
Disallow: /etc

User-agent: msnbot
Disallow: /back
Disallow: /html
Disallow: /script
Disallow: /pix
Disallow: /svg
Disallow: /etc

# En cambio lycra y BadBot
# tiene prohibido integramente el acceso

# User-agent: lycra
# User-agent: BadBot
# Disallow: /

# El resto de bots (seņalado mediante *)
# tiene prohibido el acceso a los directorios

User-agent: *
Disallow: /