结论：对方不愿意退回钱财是否算骗婚，需根据具体情况判断，但单纯不退钱财一般不直接定性为骗婚；不过，若对方是以非法占有为目的，通过虚假承诺结婚骗取财物，则可能构成骗婚，你可以通过法律程序起诉他。

详细分析：

1. 骗婚的定义与法律性质：

   • 骗婚通常指的是以婚姻为诱饵，通过虚假承诺或其他欺骗手段，骗取对方财物或达到其他非法目的的行为。
   • 从法律角度看，骗婚并不直接等同于可撤销婚姻。可撤销婚姻主要指的是因胁迫结婚或婚前未如实告知重大疾病等情形。骗婚更多涉及的是诈骗行为，可能构成诈骗罪，需依据《中华人民共和国刑法》的相关规定追究刑事责任。

2. 对方不愿意退回钱财是否构成骗婚：

   • 如果对方在婚姻关系中或婚姻缔结过程中，以非法占有为目的，通过虚假承诺结婚等方式骗取你的财物，并且在你要求退回时拒绝退回，那么这种行为可能构成骗婚。
   • 然而，如果对方只是因为婚姻关系破裂或其他原因不愿意退回你之前自愿给予的财物，而没有非法占有的目的和欺骗行为，那么这种行为一般不被视为骗婚，而可能属于民事纠纷范畴。

3. 通过法律程序起诉的可能性与途径：

   • 如果构成骗婚：你可以向公安机关报案，要求追究对方的刑事责任。同时，你也可以向法院提起民事诉讼，要求对方返还被骗取的财物，并可能要求赔偿因此造成的损失。
   • 如果不构成骗婚，但属于民事纠纷：你可以直接向法院提起民事诉讼，要求对方返还财物。根据《中华人民共和国民法典》的相关规定，如果双方未办理结婚登记手续、办理结婚登记手续但确未共同生活，或者婚前给付并导致给付人生活困难的，人民法院应当支持返还彩礼的请求。虽然这一规定主要针对的是彩礼，但在类似情况下，法院也可能考虑支持返还其他财物的请求。

4. 建议与注意事项：

   • 在处理此类问题时，建议你首先收集并保存好所有相关证据，如转账记录、聊天记录、证人证言等，以便在需要时提供证明。
   • 如果你不确定对方的行为是否构成骗婚，或者不知道如何通过法律程序维护自己的权益，可以向我咨询，我会根据你的具体情况提供专业的法律建议。

后续行动建议：

• 如果你认为对方的行为可能构成骗婚，建议尽快向公安机关报案，并同时考虑向法院提起民事诉讼。
• 如果你不确定如何处理，或者需要进一步的法律帮助，可以直接向我提问，我会根据你的具体情况提供详细的法律指导和建议。