结论：能否要回因体检不合格而交付的款项，需根据协议的具体内容、体检不合格的原因以及双方的责任划分来综合判断。以下是从不同角度进行的分析：
一、协议内容是关键
协议中有明确约定：
- 如果协议中明确规定了体检不合格时款项的处理方式，比如“若体检不合格，则已支付的款项应全额退还”，那么在这种情况下，您有权要求对方退还全部款项。
- 反之，如果协议中没有相关约定，或者约定模糊不清，那么就需要根据其他因素来判断。
协议中无明确约定：
- 当协议中没有明确约定体检不合格时款项的处理方式时，我们需要考虑体检不合格的原因以及双方的责任划分。
二、体检不合格的原因及责任划分
因对方原因导致体检不合格：
- 如果体检不合格是由于对方提供的服务或产品存在质量问题，或者对方未按照协议约定履行相关义务导致的，那么您有权要求对方承担违约责任，包括退还已支付的款项。
- 例如，如果对方提供的体检服务存在误差或遗漏，导致您被误判为不合格，那么您有权要求对方重新体检或退还款项。
因您自身原因导致体检不合格：
- 如果体检不合格是由于您自身的原因，比如身体状况不符合协议要求、未按照协议约定进行体检等，那么在这种情况下，您可能难以要求对方退还全部款项。
- 但是，如果协议中有相关约定，比如“若因乙方自身原因导致体检不合格，甲方可扣除一定比例的费用后退还剩余款项”，那么您可以根据协议约定要求对方退还部分款项。
双方均有过错：
- 如果体检不合格是由于双方均有过错导致的，那么需要根据双方的过错程度来划分责任，并据此确定款项的退还比例。
三、法律建议及可能的法律后果
协商解决：
- 在发生争议时，首先建议双方通过协商来解决。您可以与对方沟通，说明体检不合格的原因以及您的诉求，尝试达成和解。
法律途径：
- 如果协商无果，您可以考虑通过法律途径来解决争议。您可以向法院提起诉讼，要求对方退还已支付的款项，并承担相应的违约责任。
- 在诉讼过程中，您需要提供充分的证据来证明体检不合格的原因以及对方的责任。法院将根据双方提供的证据和法律规定来作出判决。
可能的法律后果：
- 如果法院认定对方存在违约行为，那么对方可能需要退还您已支付的款项，并承担相应的违约责任，比如支付违约金或赔偿损失等。
- 如果法院认定您自身也存在过错，那么可能会根据双方的过错程度来划分责任，并据此确定款项的退还比例。
总结与建议：在处理此类问题时，建议您首先仔细审查协议内容，了解双方的权利和义务。如果协议中有明确约定，那么按照协议约定来处理；如果协议中没有明确约定，那么需要根据体检不合格的原因以及双方的责任划分来综合判断。如有需要，您可以随时向我咨询，我将根据您的具体情况提供进一步的法律建议。