在耕地上堆放杂物拒不整改的，一般由县级以上人民政府土地行政主管部门（通常是自然资源局）进行处罚。以下是对此问题的详细分析：
法律依据
根据《中华人民共和国土地管理法》的相关规定，禁止占用耕地建窑、建坟或者擅自在耕地上建房、挖砂、采石、采矿、取土等，破坏种植条件的，或者因开发土地造成土地荒漠化、盐渍化的，由县级以上人民政府土地行政主管部门责令限期改正或者治理，可以并处罚款；构成犯罪的，依法追究刑事责任。虽然该条款并未直接提及“堆放杂物”，但堆放杂物若破坏了耕地的种植条件，同样属于违法行为，应受到相应的处罚。
处罚部门
县级以上人民政府土地行政主管部门：这是主要的处罚部门，通常对应到地方上的自然资源局。它们负责土地资源的保护和管理，对违反土地管理法的行为进行查处。
其他相关部门：在特定情况下，如涉及环境污染、安全生产等问题，环保部门、安全生产监管部门等也可能根据相关法律法规进行处罚。但就耕地堆放杂物这一行为本身而言，主要处罚部门仍是土地行政主管部门。
处罚措施
对于在耕地上堆放杂物拒不整改的行为，土地行政主管部门可以采取以下措施：
责令限期改正：要求违法行为人立即停止违法行为，并在规定期限内恢复耕地原状或采取其他补救措施。
罚款：根据违法行为的严重程度和造成的后果，对违法行为人处以一定数额的罚款。
其他措施：如构成犯罪的，依法追究刑事责任；如造成土地资源严重破坏的，还可能面临更严厉的处罚措施。
实际建议
及时整改：如果已经在耕地上堆放了杂物，应尽快进行清理和整改，以避免受到处罚。
了解法律法规：加强对土地管理法等相关法律法规的学习和了解，增强法律意识，避免违法行为的发生。
咨询专业意见：如有任何疑问或需要进一步的法律帮助，可以直接向我咨询，我会根据具体情况提供专业的法律意见和建议。
综上所述，对于在耕地上堆放杂物拒不整改的行为，应由县级以上人民政府土地行政主管部门进行处罚。建议违法行为人及时整改并了解相关法律法规，以避免不必要的法律风险。