サイトを作っていく過程で途中でファイル名を変更したり、
また新しいURLに記事を移したりする時に同じページがあると
最近のGoogleのアルゴリズムではコピーページとみなされ、
ペナルティが課せられる恐れもあります。

検索エンジンのロボット(クローラー クローラーに拾われたくない
(検索結果に表示させたくない)ページがある場合は、
robots.txtファイルを利用しましょう。

Google ウェブマスターツールにも説明があります。

http://support.google.com/webmasters/bin/answer.py?hl=ja&answer=156449

robots.txt ファイルは、ウェブをクロールする検索エンジン ロボット
によるサイトへのアクセスを制限します。これらは自動ロボットで、
サイトのページにアクセスする際に、特定のページへのアクセスを
ブロックする robots.txt ファイルが存在するかどうかを確認します。

 Google によるクロールがブロックされた URL を確認するには、
ウェブマスター ツールの [健全性] セクションの [ブロックされた URL]
ページにアクセスしてください。

robots.txt ファイルを使用する場合、ドメインのルートにアクセスする

書き方は簡単です。メモ帳などに半角英数字で記入します。

========================

User-Agent : *
Sitemap : http://自分のサイトURL/sitemap.txt
Disallow: /●●/●●/
Disallow: /●●/●●.html


=========================

■ 1行目の   User-Agent : *

全ての検索エンジンサービスのクローラーに「アクセスを許可すると
いう意味です。

■ 2行目の Sitemap : http://自分のサイトURL/sitemap.txt

「このサイトのサイトマップファイルは~~」と意味しています。

■ 3行目の Disallow: /●●/●●/  

ディレクトリ(フォルダ)全部のアクセスを禁止する意味。

■ 4行目の Disallow: /●●/●●.html

ファイル指定でのアクセスを禁止する意味。


複数ある場合は、改行して同じ要領で繰り返し記述します。

これらを記載したメモ帳を、自分のサーバーにアップロードします。


自動でrobots.txtファイルを作成してくれるサイトもあります。

robots.txt.Maker