ドメインは変えずサーバを移転するだけでしたら、一時的な変動の可能性はあっても、基本的にSEOに影響はありません。
ただしサイトの速度はSEOに影響しますので、新しいサーバの性能が低く、速度が下がってしまう場合などは検索順位が下がる可能性があります。また逆に現在のスペックが低ければ、高スペックのサーバーへの移行によって検索順位が上がる可能性もあります。