结论概述：针对您提出的“租荒山开采硅砂资源，合同无效后支付的资源补偿费是否需返还还是转为土地使用费”的问题，这主要取决于合同无效的原因、双方的具体约定以及实际履行情况。以下我将从多个角度进行详细分析。
一、合同无效的原因及法律后果
合同无效的情形：
- 根据《中华人民共和国民法典》的相关规定，合同无效的情形包括但不限于：无民事行为能力人实施的民事法律行为、以虚假的意思表示实施的民事法律行为、违反法律、行政法规的强制性规定的民事法律行为（但该强制性规定不导致该民事法律行为无效的除外）、违背公序良俗的民事法律行为以及行为人与相对人恶意串通，损害他人合法权益的民事法律行为。
- 在您的情况下，如果租赁荒山开采硅砂资源的合同违反了矿产资源法、土地管理法等相关法律法规的强制性规定，或者合同内容存在其他无效情形，那么该合同将被认定为无效。
合同无效的法律后果：
- 合同无效后，因该合同取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。
- 有过错的一方应当赔偿对方因此所受到的损失；双方都有过错的，应当各自承担相应的责任。
二、资源补偿费的处理
资源补偿费的性质：
- 资源补偿费通常是对开采资源所造成的一种补偿，其性质可能因合同约定和实际情况而有所不同。
- 如果资源补偿费被明确约定为对土地使用权的补偿，且合同无效的原因与土地使用权无关，那么该费用可能在一定程度上具有土地使用费的性质。
资源补偿费是否需返还：
- 如果合同无效是因为违反法律法规的强制性规定：如未取得合法的开采许可或土地使用权，那么资源补偿费作为因无效合同取得的财产，原则上应当予以返还。
- 如果合同无效是因为其他原因：如双方意思表示不真实或存在欺诈、胁迫等情形，且资源补偿费并非直接因这些原因而支付，那么是否返还可能需要根据双方的具体约定和实际履行情况来判断。
- 特殊情况：如果资源补偿费已经用于补偿土地所有者或使用者因开采活动所遭受的损失，且该损失是实际存在的，那么可能不需要全额返还，或者可以转化为其他形式的补偿。
资源补偿费是否可转为土地使用费：
- 这主要取决于双方的具体约定和合同无效后的协商结果。
- 如果双方同意将资源补偿费转为土地使用费，并且这种转换不违反法律法规的强制性规定，那么是可以实现的。
- 但是，如果合同无效是因为违反了关于土地使用权的法律法规，那么这种转换可能受到法律限制。
三、实际操作建议
- 审查合同无效的原因：首先，需要明确合同无效的具体原因，以便确定资源补偿费的处理方式。
- 协商解决：在合同无效后，双方应积极协商，就资源补偿费的返还或转换达成一致意见。
- 寻求法律途径：如果协商无果，可以寻求法律途径解决争议，如向法院提起诉讼或申请仲裁。
总结与启示：在处理此类问题时，关键在于明确合同无效的原因、双方的具体约定以及实际履行情况。如果合同无效是因为违反了法律法规的强制性规定，那么资源补偿费原则上应当予以返还；如果是因为其他原因，则需要根据具体情况来判断。同时，双方应积极协商，寻求合理的解决方案。如果您在此过程中遇到任何法律问题或需要进一步的法律帮助，请直接向我咨询。