您有权利不让施工方上您的自留地进行施工，但具体能否阻止，需视情况而定。以下是从不同角度进行的分析：
一、物权法角度
根据《中华人民共和国民法典》中关于物权的规定，您作为自留地的所有权人或使用权人，享有对该土地的占有、使用、收益和处分的权利。这意味着，未经您的许可，他人不得擅自进入您的自留地进行施工或进行其他任何活动。如果施工方未经您的同意，擅自进入您的自留地进行施工，这构成了对您物权的侵犯，您有权要求施工方停止侵害、排除妨碍，并可以依法要求赔偿损失。
二、相邻关系角度
虽然您有权阻止未经许可的施工行为，但也需要考虑相邻关系的原则。相邻关系是指两个或两个以上相互毗邻的不动产的所有人或使用人，在行使占有、使用、收益、处分权利时发生的权利义务关系。在处理相邻关系时，应当遵循有利生产、方便生活、团结互助、公平合理的原则。如果施工方的施工行为是必要的，且已经采取了合理的措施来减少对您的干扰和损害，那么您可能需要在一定程度上容忍这种施工行为。然而，这并不意味着您可以无条件地接受施工方的施工行为，您仍然有权要求施工方采取必要的措施来保护您的权益。
三、实际操作建议
与施工方沟通：首先，您可以尝试与施工方进行沟通，了解他们的施工计划和目的，以及他们是否已经获得了必要的许可和批准。如果施工方能够提供合理的解释和证明，且您认为他们的施工行为不会对您的权益造成实质性损害，那么您可以考虑与他们达成协议，允许他们在一定的条件下进行施工。
要求施工方提供许可文件：如果施工方无法提供合理的解释和证明，或者您认为他们的施工行为会对您的权益造成实质性损害，那么您可以要求施工方提供相关的许可文件和批准文件。如果施工方无法提供这些文件，那么您有权阻止他们进入您的自留地进行施工。
寻求法律援助：如果施工方拒绝停止施工或无法提供必要的许可文件，您可以考虑寻求法律援助。您可以向当地的法律援助机构或律师咨询，了解您的权益和可行的法律途径。在必要时，您可以向法院提起诉讼，要求施工方停止侵害、排除妨碍，并赔偿您的损失。
建议您在处理此类问题时保持冷静和理性，通过合法的途径来维护自己的权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。