如果您认为退赔协议并非自愿签订，而是受到了欺诈、胁迫或者乘人之危等情形的影响，那么您有权采取一定的措施来维护自己的合法权益。以下是一些具体的建议：
首先，您需要明确的是，根据《中华人民共和国劳动合同法》以及《最高人民法院关于审理劳动争议案件适用法律问题的解释(一)》的相关规定，如果协议是在违背您真实意思的情况下，通过欺诈、胁迫的手段或者乘人之危而订立的，那么该协议是无效或者部分无效的。这意味着，您不必受该协议的约束。
接下来，您可以采取以下步骤来维护自己的权益：
收集证据：
- 尽可能收集能够证明协议非自愿签订的证据，如录音、录像、聊天记录、证人证言等。
- 这些证据将有助于您在后续的争议解决过程中证明自己的主张。
与用人单位协商：
- 在收集到足够证据后，您可以尝试与用人单位进行协商，说明协议非自愿签订的情况，并要求重新协商或撤销原协议。
- 协商过程中，保持冷静和理性，以事实为依据，以法律为准绳，争取达成双方都能接受的解决方案。
申请劳动争议仲裁：
- 如果协商无果，您可以向当地的劳动争议仲裁机构申请仲裁。
- 在仲裁过程中，您需要提交相关证据，并阐述自己的主张和理由。
- 仲裁机构将根据事实和法律进行裁决，如果裁决支持您的主张，那么原协议将被视为无效或部分无效。
提起诉讼：
- 如果对仲裁结果不满意，您还可以向人民法院提起诉讼。
- 在诉讼过程中，您需要准备充分的证据和法律依据，以支持自己的主张。
- 法院将根据事实和法律进行判决，如果判决支持您的主张，那么您将有权要求用人单位承担相应的法律责任。
最后，我想强调的是，维护自己的合法权益是每个劳动者的权利。如果您认为退赔协议非自愿签订，那么请不要犹豫，及时采取行动来维护自己的权益。同时，也建议您在未来的工作中，更加注意保护自己的合法权益，避免类似情况的发生。