米Google公式ブログの1つ、「Official Google Webmaster Central Blog」に、"Advanced Q&A from (the appropriately-named) SMX Advanced"が掲載されています。SMX Advancedでの質疑応答です。適当に翻訳しながら解説します。
Q) GoogleがFlashコンテンツを首尾よくインデックスできるようになったと聞きました。ところで、Flashがコンテンツを外部ファイルから読み込んでいて、その外部ファイルはrobots.txtでブロックしている時、GoogleはこのFlashコンテンツをインデックスすることは可能ですか？
A) いいえ、この場合はインデックスを行いません。なぜなら、対象となる外部コンテンツがrobots.txtでクローラを拒否しているからです。
Q) ユーザ行動やクリック履歴に応じて表示するコンテンツをコントロールすることが最近は一般的になってきました。同様に、検索クエリを基に、訪問するユーザに表示するコンテンツを変更したり、別のページにリダイレクトさせることは可能ですか？たとえば、「vintage cameo pendants」と検索したユーザが私の一般的なvintage jewelryを扱うページをクリックした時に、「vintage cameo pendants」のページにリダイレクトさせてもいいのでしょうか？
A) 同じURLながらGooglebotが見たものと異なるコンテンツを表示したり別ページにリダイレクトすることは、クローキングに該当します。検索利用者が'vintage jewelry' のリンクをクリックしたのであれば、たとえサイト管理者であるあなたが異なるページを見せたほうがいいと考えていたとしても、'vintage jewelry' のページを見せるべきです
Q) （Google はクローキングに関連して、ウェブサイト オプティマイザーをどうみなしていますか。）『元のページは、有意な数のユーザーに表示される必要があります』とありますが、中には最適な組み合わせだけを100%表示させることをお進めているサービスもあります。Googleはこうした手法をクローキングとみなしますか？
A) ヘルプページに記載している通り、オリジナルとは違う組み合わせのページを100%表示させている場合、Googleはそれを（クローキングと判断して）インデックスから除外する場合があります。もし、効果を一定の期間確認したいけれども"一定の期間"の長さがわからないのであれば、少数のユーザには引き続きオリジナルページを表示させつつ、他のユーザには最適な組み合わせページを見せるというフォローアップの実験の実施を検討してみてください。
Q) META要素で定義するContent-TypeのエンコードとHTTPヘッダーのエンコードが異なる場合、何か問題は発生しますか？
A) Googleは両方を見ています。そしてページのコンテンツから適切なコードを判定しています。たいていのブラウザは両者が異なる場合、HTMLコード内の宣言よりもHTTPヘッダーを優先しますが、気になるなら問題解決してね。
Q) Googleは%-escaped UTF-8を処理できる？
A) %-escaped UTF-8を処理できます。
（時間の都合により、後半適当です、解説は夜中に追記します）
