ブログなどで手軽にページが生成できてしまうので

こういう新たな問題が生じるんですよね。

maruuさん、こんにちは。
チームデルタの谷口です。

悪意のないもの、あるいは他から勝手に借用し生成されたアフィリエイトなど営利目的なもの、いずれも、手軽に自動生成できてしまうことで重複するケースが発生します。
フィードなど、機械的に扱いやすいフォーマットで情報提供が行われるので尚さらです。

しかし、Yahoo/Googleなど検索サービスが広告で維持されている以上、

　　・サイト/ページに対する信頼性、有用性を利用者の立場で正しくランク付けする
　　・それを妨げる「不正」を排除する

精度は常にアップします。
例えいたちごっこになろうとも、重複コンテンツの存在が利用者の利便性を妨げるならば、「重複」の判断基準がどうあれ、ペナルティの対象となったときに失われる利益のほうが大きいことは確かです。
他者が提供するコンテンツやフィードを使ってサイトを作ることは不正です。
これらに専門家としてお答えすることはできません。

それに対し、例えば、オンラインショップの商品紹介ページなど、製品別、カテゴリー別、価格別といったまとまりの中で、それぞれに重複ページが存在するといった対策不足によりクロールが妨げられたり、適切にインデックスされないとなれば、これは大変です。
これらは、

　　・はなっから重複コンテンツを作らないこと
　　・robots.txtで制御する
　　・DBと連動した自動生成ページなど、やむをえない場合は、1つを残し他はクロールされないよう
　　　nofollowを含むソースを出力するよう設計する

ことで対処します。


ご参考になれば幸いです。

成功するWeb戦略とホームページ制作のチームデルタ
谷口浩一