结论：两兄弟共有一个房产证但不过户，一方起诉要求退钱是否有效，这取决于双方之间的具体约定、款项性质以及法律关系的性质。以下从不同角度进行分析：
若双方存在明确的买卖或借贷关系：
- 买卖关系：如果两兄弟之间原本存在房屋买卖的约定，一方支付了购房款，但另一方未按照约定办理过户手续，那么支付款项的一方有权依据《民法典》中关于合同违约的规定，起诉要求对方履行过户义务或退还购房款及赔偿损失。在此情况下，起诉退钱是有效的，但前提是能够证明双方存在买卖关系及款项的具体性质。
- 借贷关系：如果双方之间实际上是借贷关系，即一方将钱借给另一方用于购房或其他用途，并约定了还款期限和利息等，那么当借款方未按照约定还款时，出借方有权起诉要求还款。这种情况下，起诉退钱（实际上是要求还款）也是有效的。
若双方不存在明确的买卖或借贷关系，而是基于其他法律关系（如赠与、合伙购房等）：
- 赠与关系：如果一方将房屋赠与另一方，并已经办理了房产证共有人登记，但未明确约定过户条件或赠与的撤销条件，那么一般情况下，赠与方不能随意要求撤销赠与并退还钱款。除非存在法定撤销赠与的情形（如严重侵害赠与人或赠与人近亲属的合法权益、对赠与人有扶养义务而不履行等），否则起诉退钱可能不会得到法院的支持。
- 合伙购房关系：如果两兄弟共同出资购房，并约定共同共有或按份共有房屋，但未明确约定过户条件或退伙时的财产处理方式，那么一方起诉要求退钱可能涉及合伙财产的分割问题。在这种情况下，需要依据《民法典》中关于合伙合同的规定以及双方之间的具体约定来处理。如果无法达成一致，可能需要通过诉讼来解决，但起诉退钱是否有效将取决于具体案情和法律规定。
若双方未签订任何书面协议，仅存在口头约定或事实行为：
- 在这种情况下，起诉退钱的难度会相对较大。因为口头约定或事实行为往往难以证明，且容易引发争议。如果一方能够提供充分的证据（如转账记录、聊天记录、证人证言等）来证明双方之间的法律关系及款项性质，那么起诉退钱仍有可能得到法院的支持。但如果证据不足或存在矛盾，那么起诉退钱可能会面临败诉的风险。
建议：
- 在处理此类纠纷时，建议双方首先尝试通过协商来解决问题。如果协商无果，可以寻求第三方调解或仲裁机构的帮助。
- 如果决定通过诉讼来解决纠纷，建议咨询专业律师的意见，并准备好充分的证据来支持自己的主张。
- 在日常生活中，建议双方在涉及财产交易或法律关系变更时，尽量签订书面协议并明确约定双方的权利和义务，以避免不必要的纠纷和损失。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。