结论：不可以直接拒绝归还土地，具体处理方式需根据实际情况，通过协商、行政程序或法律途径解决。
详细分析：
确权证的法律效力：
- 土地确权证是土地权属的法定证明文件，具有法律效力。如果别人的土地错误地登记在了您的确权证上，这通常意味着存在登记错误或历史遗留问题。
- 根据相关法律法规，土地权属应以确权证为准，但确权证上的错误登记并不改变土地的实际权属。因此，您不能仅凭确权证上的错误登记就主张对土地的所有权或使用权。
协商解决：
- 在发现确权证存在错误后，首先建议与对方进行友好协商，尝试通过沟通解决争议。您可以提出共同申请更正确权证，或者协商土地的使用和归属问题。
- 协商过程中，可以保留相关证据，如土地使用记录、历史交易凭证等，以支持您的主张。
行政程序：
- 如果协商无果，您可以向当地土地管理部门或不动产登记机构提出更正确权证的申请。这些机构有权对确权证进行更正，以反映土地的实际权属。
- 在申请更正时，您需要提供充分的证据证明土地的实际权属，如土地买卖合同、继承文件、历史权属证明等。
法律途径：
- 如果行政程序无法解决问题，或者对方拒绝配合更正确权证，您可以考虑通过法律途径解决争议。这通常包括提起行政诉讼或民事诉讼，要求法院确认土地的实际权属，并判决更正确权证。
- 在诉讼过程中，您需要准备充分的证据来支持您的主张，并可能需要聘请专业律师来协助您处理法律事务。
建议与后果：
- 建议：在处理此类问题时，建议您保持冷静和理性，避免采取过激行为。首先尝试通过协商和行政程序解决问题，如果无法解决再考虑法律途径。同时，保留好所有相关证据，以备不时之需。
- 后果：如果您直接拒绝归还土地，可能会引发法律纠纷和行政处罚。对方可能会向法院提起诉讼或向土地管理部门投诉，要求您归还土地并承担相应的法律责任。因此，建议您谨慎处理此类问题，避免不必要的法律风险。
额外提醒：
- 在处理土地权属争议时，务必遵守相关法律法规和程序要求。不要试图通过非法手段来解决问题，否则可能会面临更严重的法律后果。
- 如果您对土地权属争议的处理流程或相关法律法规不熟悉，建议您咨询专业律师或相关机构以获取更详细的指导和帮助。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。