Googleは新しい機能の提供にあたり、一部ユーザーを対象としたバケットテストを通じてユーザーの反応を見て、その結果を踏まえて正式導入の可否を決定している。このテストが年間通じて行われる回数は5,000以上に上るということだ。
米Googleは毎年、検索ランキングアルゴリズムに500以上の変更を加えていることは知られているが、その10倍以上のユーザーテストが行われている。Google Chief Economist、Hal Varian氏によると、一人のユーザーが Google を利用するたびに、10以上ものテストが密かに行われているとのこと。
なお、広告においてもオーガニック検索への変更同様、年間500以上の変更が実施されているとも説明した。
