User-agent: *
Allow: /

#######################################
#### WORDPRESS DIRECTORIES & FILES ####
#######################################

#Disallow: /wp-content/upgrade/
#Disallow: /wp-admin/
#Disallow: /wp-includes/

#######################################
################ PAGES ################
#######################################
Disallow: /terms-conditions/

#######################################
############### SITEMAP ###############
#######################################

# Sitemap: http://www.agmchilled.co.uk/sitemap_index.xml


#######################################
########### SCREAMING FROG ############
#######################################

User-agent: Screaming Frog SEO Spider
Allow: /
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.xml$
Disallow: /*.css$
Disallow: /*.js$