若临时占地是经过合法审批且您与相关部门或组织签订了临时使用土地合同，而您拒绝归还，那么您的行为是违法的。以下从不同角度为您详细分析：
合法审批与合同签订情况下的法律责任
法律依据：
- 根据《中华人民共和国土地管理法》第五十七条，建设项目施工和地质勘查需要临时使用国有土地或者农民集体所有的土地的，需由县级以上人民政府自然资源主管部门批准。土地使用者应与有关自然资源主管部门或者农村集体经济组织、村民委员会签订临时使用土地合同，并支付补偿费。
- 该法第八十一条明确规定，临时使用土地期满拒不归还的，由县级以上人民政府自然资源主管部门责令交还土地，并处以罚款。
法律后果：
- 若您拒绝归还临时占用的土地，自然资源主管部门有权责令您交还土地。
- 同时，您可能面临罚款，罚款额为非法占用土地每平方米100元以上500元以下，具体依据《中华人民共和国土地管理法实施条例》第五十九条。
未经合法审批或未签订合同的情况
若临时占地未经合法审批：
- 这种情况下，您本身的使用行为就是非法的，更不存在“不给”是否违法的问题，而是您从一开始就不应占用该土地。
- 相关部门有权要求您立即停止占用，并恢复土地原状，同时可能对您进行处罚。
若未签订临时使用土地合同：
- 合同是双方权利义务的约定，未签订合同意味着您与土地所有者或管理者之间没有明确的法律关系。
- 但这并不意味着您可以随意占用土地，若占用行为未经允许，同样可能面临法律责任。
建议与后续行动
- 核实审批与合同情况：首先，您应核实该临时占地是否经过了合法审批，以及您是否与相关部门或组织签订了临时使用土地合同。
- 积极沟通与协商：若存在合法审批和合同，但您因特殊原因无法按时归还土地，建议与相关部门或组织积极沟通，寻求延期归还或其他解决方案。
- 遵守法律规定：无论何种情况，都应遵守法律规定，不得擅自占用或拒绝归还土地，以免面临法律责任。
若您对临时占地的合法性或相关法律责任有疑问，或需要进一步的法律帮助，请直接向我咨询。我会根据您的具体情况，提供更为详细和专业的法律建议。