违法回填土方对单位的处罚依据主要涉及土地管理、城乡规划以及环境保护等相关法律法规。以下从不同角度详细分析：
一、土地管理法律法规角度
根据《中华人民共和国土地管理法》的相关规定，任何单位和个人进行建设，需要使用土地的，必须依法申请使用国有土地；但是，兴办乡镇企业和村民建设住宅经依法批准使用本集体经济组织农民集体所有的土地的，或者乡（镇）村公共设施和公益事业建设经依法批准使用农民集体所有的土地的除外。如果单位未经批准或者采取欺骗手段骗取批准，违法占用土地进行回填土方等建设活动，将面临责令退还非法占用的土地、限期拆除在非法占用的土地上新建的建筑物和其他设施、恢复土地原状，以及罚款等处罚。具体罚款标准根据违法占用土地的面积和土地类型等因素确定。
二、城乡规划法律法规角度
依据《中华人民共和国城乡规划法》，在城市、镇规划区内进行建筑物、构筑物、道路、管线和其他工程建设的，建设单位或者个人应当向城市、县人民政府城乡规划主管部门或者省、自治区、直辖市人民政府确定的镇人民政府申请办理建设工程规划许可证。如果单位未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设，包括违法回填土方等行为，将面临责令停止建设、限期改正、罚款，以及在规定期限内未改正的情况下，可能面临强制拆除等处罚。
三、环境保护法律法规角度
违法回填土方还可能涉及环境保护问题，特别是如果回填的土方中含有有害物质或者回填行为对周边环境造成了污染。根据《中华人民共和国环境保护法》等相关法律法规，单位如果违反环境保护规定，进行违法回填土方等行为，将面临责令改正、罚款、责令停产整治等处罚。如果行为构成犯罪，还将依法追究刑事责任。
四、综合处罚与行政责任
除了上述具体法律法规的处罚外，单位还可能因违法回填土方行为面临综合行政处罚，如被列入失信名单、限制参与政府采购等。同时，单位的直接负责的主管人员和其他直接责任人员也可能因违法行为而承担行政责任，如被给予警告、记过、降级等处分。
建议：
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。