Някои приложения правят много дублирано съдържание. Като забележа нещо такова добавям в robots.txt dissalow на съответната страница. Дървено изпълнение но за момента не съм се сетил за друго.