在没有书面房屋买卖合同但存在事实合同关系的情况下，你应当根据实际情况来选择是起诉解除合同还是直接解除合同关系。以下是我对此问题的详细分析：
起诉解除合同：
- 当你与对方无法就解除合同达成一致，或者对方拒绝承认存在事实合同关系时，你可以考虑通过法律途径来解决问题。
- 起诉解除合同需要你有足够的证据来证明事实合同关系的存在，以及对方存在违约行为或合同无法继续履行的情形。
- 在起诉过程中，你需要向法院提交相关证据，如交易记录、通信记录、证人证言等，以支持你的主张。
- 如果法院认定事实合同关系存在且支持你的解除请求，那么合同将被解除，并可能涉及违约责任的承担。
直接解除合同关系：
- 如果双方能够就解除合同关系达成一致，并且没有涉及复杂的纠纷或争议，那么直接解除合同关系可能是一个更为简便和高效的方式。
- 在这种情况下，你可以与对方进行协商，明确表达你的解除意愿，并就解除后的相关事宜（如退款、赔偿等）进行协商。
- 如果协商成功，双方可以签订一份解除合同的协议，以明确双方的权利和义务。
综上所述，选择起诉解除合同还是直接解除合同关系，取决于你的具体情况和对方的合作态度。如果你有足够的证据支持你的主张，且对方拒绝协商或承认事实合同关系，那么起诉解除合同可能是一个更好的选择。如果双方能够友好协商并达成一致，那么直接解除合同关系可能更为简便和高效。在做出决定前，建议你仔细评估自己的情况和需求，并咨询专业律师的意见。如果你有任何法律问题或需要进一步的帮助，请直接向我咨询。