结论：仅根据您目前提供的信息，无法直接判定您退还5万元的行为属于诈骗，是否构成诈骗需要结合更多具体事实和证据来综合判断。下面我从不同角度为您详细分析：
一、诈骗罪的构成要件
诈骗罪是指以非法占有为目的，使用欺骗方法，骗取数额较大的公私财物的行为。其构成要件主要包括：
- 主观方面：具有非法占有的目的，即意图通过欺骗手段获取他人财物，并意图永久性地排除权利人对财物的所有权。
- 客观方面：实施了欺骗行为，使对方产生错误认识，并基于这种错误认识处分了财物，且行为人因此获得了财物。
- 客体：侵犯了公私财物的所有权。
- 数额要求：骗取的财物数额需要达到较大的标准，具体数额标准因地区而异。
二、对您行为的具体分析
主观方面：
- 如果您在签署合同时并无非法占有的目的，而是由于后续原因（如经济困难、合同无法履行等）选择退还部分款项，那么您的行为可能不构成诈骗。
- 如果您在签署合同时就意图通过欺骗手段获取对方财物，并退还部分款项作为迷惑手段，那么您的行为可能涉嫌诈骗。
客观方面：
- 您是否实施了欺骗行为？如果合同签署过程中您提供了虚假信息或隐瞒了重要事实，导致对方基于错误认识签署了合同，那么您的行为可能构成欺骗。
- 对方是否基于错误认识处分了财物？如果对方是因为您的欺骗行为而签署了合同，并支付了款项，那么这一条件可能满足。
- 您是否因此获得了财物？您确实获得了合同约定的部分款项，但关键在于这部分款项的获得是否基于欺骗行为。
数额要求：
- 诈骗罪的成立通常要求骗取的财物数额达到较大标准。虽然您退还了5万元，但合同总金额为54万元，如果最终您被认定骗取的财物数额（即未退还的部分）达到当地诈骗罪的立案标准，那么您可能面临诈骗罪的指控。
三、可能涉及的法律后果
如果构成诈骗罪：
- 您可能面临刑事处罚，包括有期徒刑、拘役或罚金等。
- 您还需要承担退赔被害人损失的责任。
如果不构成诈骗罪：
- 您可能面临合同纠纷的处理，如对方要求您继续履行合同、赔偿损失等。
- 如果合同无法履行或您无法承担赔偿责任，您可能面临民事诉讼和强制执行等法律后果。
四、建议
- 收集证据：整理与合同签署、履行及退还款项相关的所有证据，包括合同文本、付款凭证、沟通记录等。
- 咨询专业律师：由于诈骗罪的认定涉及复杂的法律事实和证据分析，建议您尽快咨询专业律师，以便更准确地评估您的法律风险和制定应对策略。
- 积极应对：如果对方已经报警或提起诉讼，您应积极配合调查和诉讼程序，如实陈述事实，提供证据，以维护自己的合法权益。
最后，我理解您现在可能非常担忧和困惑，但请保持冷静，积极应对。如果您有任何进一步的疑问或需要法律帮助，请随时向我咨询。