结论：是否需要退钱取决于拆迁协议的具体条款以及拆迁行为的合法性、后续处理方式等多种因素。以下从不同角度进行分析：
一、拆迁协议的具体条款
协议效力：
- 如果拆迁协议是双方真实意思表示，且内容合法，那么该协议具有法律效力，双方应依约履行。
- 若协议中明确规定了拆迁方在特定条件下有权终止拆迁，并要求被拆迁方退还已支付的款项，那么被拆迁方可能需要按照协议约定退还。
违约责任：
- 如果拆迁方无正当理由突然停止拆迁，且协议中未规定此类情况下的退款条款，那么拆迁方可能构成违约。
- 被拆迁方有权要求拆迁方继续履行协议或承担违约责任，包括赔偿因此造成的损失，而无需退还已收款项。
二、拆迁行为的合法性
合法拆迁：
- 如果拆迁行为本身合法，但因某些原因（如规划调整、资金问题等）导致拆迁无法继续，拆迁方应与被拆迁方协商解决后续事宜。
- 在此情况下，是否需要退还已支付的款项，应依据双方协商结果和协议约定来确定。
非法拆迁：
- 如果拆迁行为本身违法（如未取得拆迁许可、未按照法定程序进行等），那么拆迁协议可能因违反法律强制性规定而无效。
- 在此情况下，被拆迁方有权要求拆迁方返还已支付的款项，并可能要求赔偿因此造成的损失。
三、后续处理方式
协商解决：
- 双方可以就拆迁终止后的相关事宜进行协商，包括是否退还已支付的款项、如何赔偿损失等。
- 协商达成一致后，双方应签订书面协议以明确各自的权利和义务。
法律途径：
- 如果双方无法协商一致，被拆迁方可以通过法律途径维护自己的合法权益。
- 这可能包括向法院提起诉讼或申请仲裁等，要求拆迁方继续履行协议、承担违约责任或赔偿损失等。
四、实际操作建议
审查协议：
- 被拆迁方应首先仔细审查拆迁协议的具体条款，了解自己在协议中的权利和义务。
收集证据：
- 收集与拆迁行为相关的所有证据，包括拆迁协议、支付凭证、沟通记录等，以备不时之需。
咨询专业律师：
- 在处理此类复杂问题时，建议被拆迁方咨询专业律师的意见。律师可以根据具体情况提供法律建议和指导，帮助被拆迁方维护自己的合法权益。
进一步思考：在实际操作中，拆迁行为的合法性和协议条款的明确性对于解决此类问题至关重要。因此，被拆迁方在签订拆迁协议前应充分了解相关法律法规和政策要求，确保协议条款的合法性和明确性。同时，在拆迁过程中应保留好相关证据和沟通记录，以便在出现问题时能够及时维护自己的权益。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。