根据《行政处罚法》第八条规定：“行政处罚的种类：

（一）警告；

（二）罚款；

（三）没收违法所得、没收非法财物；

（四）责令停产停业；

（五）暂扣或者吊销许可证、暂扣或者吊销执照；

（六）行政拘留；

（七）法律、行政法规规定的其他行政处罚。”

据此，对闲置土地进行无偿收回，只是具体的行政行为，不是行政处罚。

当事人如果不服，可以向上级土地部门或相关部门投诉，或者向人民法院起诉。