结论：退还彩礼协议若对方声称是家人劝说所签，这并不影响协议本身的法律效力，但具体是否需要退还彩礼还需根据协议内容、双方实际情况以及相关法律法规来综合判断。
分析角度一：协议的法律效力
协议自愿性：
- 彩礼退还协议，作为双方民事行为的约定，其核心要件是双方自愿、平等、公平地达成合意。
- 即便对方声称是家人劝说所签，只要其在签订时具备完全民事行为能力，且没有受到欺诈、胁迫等非法手段的影响，那么该协议在法律上就是有效的。
协议内容合法性：
- 协议内容必须合法，不得违反法律、行政法规的强制性规定，也不得违背公序良俗。
- 如果协议内容合法，且双方均已签字或盖章确认，那么该协议就具有法律约束力。
分析角度二：是否需要退还彩礼
协议约定：
- 如果彩礼退还协议中明确约定了退还的条件、金额、时间等具体事项，那么双方应当按照协议约定履行。
- 对方声称家人劝说，并不构成不履行协议的理由，除非能证明签订协议时存在重大误解或显失公平等情形。
实际情况考量：
- 如果双方未办理结婚登记手续，或者虽然办理了结婚登记手续但确未共同生活，或者婚前给付并导致给付人生活困难，那么根据相关法律法规，给付彩礼的一方有权要求退还彩礼。
- 但如果双方已经共同生活较长时间，或者彩礼已经用于共同生活开支等，那么退还彩礼的金额和方式可能需要双方协商确定，或者由法院根据实际情况判决。
法律后果：
- 如果对方拒绝履行彩礼退还协议，给付彩礼的一方可以向法院提起诉讼，要求对方履行协议或退还彩礼。
- 法院将根据协议内容、双方实际情况以及相关法律法规来综合判断，并作出相应的判决。
建议：
沟通协商：
- 首先，建议双方进行沟通协商，尝试达成一致意见。如果对方确实存在困难或特殊情况，可以考虑适当调整退还金额或方式。
寻求法律帮助：
- 如果沟通协商无果，或者对方拒绝履行协议，建议及时寻求法律帮助。可以咨询专业律师，了解自己的权利和义务，以及可能的法律后果。
- 作为专业律师，我可以根据你提供的具体情况，为你提供更详细的法律建议和帮助。
保留证据：
- 在处理此类纠纷时，保留相关证据至关重要。包括彩礼退还协议、支付凭证、沟通记录等，这些证据将在后续的法律程序中发挥重要作用。
总之，退还彩礼协议的法律效力不受对方声称家人劝说的影响，但具体是否需要退还彩礼还需根据协议内容、双方实际情况以及相关法律法规来综合判断。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。