いつもよくわからずに投票日が来てしまうのですが、今回はちゃんと調べました。
最高裁判所裁判官の国民審査について。（すみません、今日はいつもと路線が違います。）

誰々に×をつけましょう！とか、そういうお願いをする意図はまったくなくて、国民審査についてよくわからなくてどうしようか迷っている人に向けての参考情報です。
（私自身は、その人がかかわった裁判とかを考慮して、×を書いたり書かなかったりしたいと思います。）

こちらのサイトに、よくわからなくて白紙で投票するくらいなら「棄権」したほうがよい旨の記述があったので、無効票(ちなみに国民審査では白紙は有効票になります)を入れるのとどう違うのかなと思ってちょっと調べてみました。
（結論を先に言ってしまうと、あまり違いはないようですが、せっかく調べたので最後まで読んで！）
なお、先のサイトの記事にもあるように、本来は一人ひとりがちゃんと考えて（調べて）、信任すべきかどうかを投票すべきです。

まず、用語の整理。

　有権者数　＝　投票者数　＋　棄権者数
　投票者数　＝　有効票　＋　無効票
　無効票とは、（国民審査の場合）×以外の書き込みがあるものなど。
　棄権者数は、投票所にこなかった人、来たけど投票用紙を受け取らなかった
　あるいは返した人の総数。

で、国民審査の場合

罷免を可とする投票の数が罷免を可としない投票の数より多い裁判官は、罷免を可とされたものとする。

とあり、棄権した人の分と無効票は罷免に影響を与えないようです。
たとえば香川県の「最高裁判所裁判官国民審査事務取扱規程」の付表３の投票計算書（その２）に、罷免を可とする投票、しない投票、記載を無効とされたものというわけ方で集計する様式が載っています。
※地方によって違うのかもしれません。

すなわち、棄権あるいは無効票を入れれば、有効票を入れた人に判断を任せることができる、といえなくもないです。
ただし、国民審査の場合は投票率(有権者数に対する投票者の割合)が1%未満だと罷免にならないので(最高裁判所裁判官国民審査法 第32条但し書き)、厳密には棄権と無効で効果が違います。

最後に、国民審査の場合の、投票用紙の扱いと票の解釈を以下にまとめます。
（専門ではないので、間違っていたらご指摘ください。。）

投票用紙をどうする？	有効か？	解釈・影響
×をつける	有効票	×をつけた人を罷免とする、それ以外は信任する
なにもかかない（白紙）	有効票	全員信任する
○をつける	無効票	罷免、信任には直接影響しない。 （ただし、○がない人を有効かつ信任扱いする地方もあるかもしれません）
△をつける	無効票	罷免、信任には直接影響しない。 （ただし、△がない人を有効かつ信任扱いする地方もあるかもしれません）
投票所にいかない	棄権	罷免、信任には直接影響しない
投票所で用紙を受け取らないあるいは返す	棄権	罷免、信任には直接影響しない