こんなものを見付けました！

箱もテープも綿棒本体も、本当に全部紙！
実際に使ってみると、柄がプラスチックのものよりも硬いのでこちらの方が使い易かったです。
これでまたひとつ、我が家のプラスチックを減らすことが出来ました。

ただ、使い捨てには変わりないですし、紙は守るべき資源なので大切に使おうと思います。