巣箱底板の下に何かの巣のようなものがあります。

こんにちは。

トックリバチの仲間の巣と思います。検索されたら似た物が見られると思います。

これはネコマルさんの仰るように「トックリバチ」という単独生活の狩りバチの巣ですが、昨夏に餌になる虫を入れて産卵し、蓋をします。写真を見るとまだ蓋がされているようなので中には幼虫かサナギがいるのだと思います。これから成虫になって巣から出ていくので出来れば壊さずに置くのがいいです。場所は変わっても大丈夫なので、そのまま邪魔にならないところに持って行って置くのでいいでしょう

蓋がなくなっていれば壊しても構いません