针对您提出的问题，即同一块地先承包给别人再给大队流转了，要承担违约金还是退流转费，这主要取决于具体的合同条款以及流转行为的合法性，以下分情况讨论：
若流转行为合法且符合原承包合同约定：
- 合同条款明确：如果原承包合同中明确规定了承包方在特定条件下可以将土地流转给第三方（包括大队），并且流转的程序、条件等均符合合同约定，那么承包方通常不需要承担违约金，也不需要退还流转费。因为流转行为是合法的，且符合双方约定。
- 无违约情形：在流转过程中，如果承包方没有违反原承包合同的任何条款，如按时支付承包费、保持土地用途不变等，那么其流转行为不会触发违约责任，因此无需承担违约金或退还流转费。
若流转行为违反原承包合同约定：
- 违约条款触发：如果原承包合同中明确禁止或限制了承包方将土地流转给第三方，或者流转行为未按照合同约定的程序、条件进行，那么承包方的流转行为可能构成违约。此时，根据合同中的违约条款，承包方可能需要承担违约金，或者根据合同约定退还部分或全部流转费。
- 违约责任承担：违约金的数额和退还流转费的具体比例，通常会在原承包合同中明确约定。如果合同没有明确约定，那么双方可能需要通过协商、调解或诉讼等方式来确定具体的违约责任和赔偿金额。
若流转行为涉及非法转让或转包：
- 非法行为认定：如果承包方未经合法程序，擅自将土地流转给大队或其他第三方，且该流转行为违反了相关法律法规（如《农村土地承包法》等），那么该流转行为可能被认定为非法转让或转包。
- 法律后果：在非法转让或转包的情况下，承包方不仅可能需要承担违约责任（如果原承包合同中有相关约定），还可能面临行政处罚或刑事责任（如罚款、没收违法所得、甚至刑事处罚等）。同时，非法流转所得的流转费也可能被依法追缴或没收。
法律建议：
- 审查合同条款：首先，建议您仔细审查原承包合同的条款，特别是关于土地流转的约定。了解合同中是否允许流转、流转的条件和程序等。
- 咨询法律意见：如果您对合同条款或流转行为的合法性存在疑问，建议您咨询专业的法律人士（如我，郭劲律师，专注于保险理赔、建设工程领域，但同样具备处理合同纠纷和房产问题的能力），以获取准确的法律意见。
- 协商解决：如果流转行为确实存在争议或违约情形，建议您与大队或其他相关方进行协商，寻求妥善的解决方案。协商不成时，可以考虑通过调解、仲裁或诉讼等方式解决争议。
可能面临的法律后果：
- 如果流转行为合法且符合合同约定，您通常无需承担任何法律责任。
- 如果流转行为违反合同约定或法律法规，您可能需要承担违约责任、行政处罚或刑事责任等。具体后果取决于违约或违法的严重程度以及相关法律法规的规定。
总结：同一块地先承包给别人再给大队流转了，是否需要承担违约金或退还流转费，取决于具体的合同条款以及流转行为的合法性。建议您仔细审查合同条款并咨询专业法律人士的意见，以确定具体的法律责任和解决方案。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。