在房屋纠纷中，若政府组织调解但对方不来，您不能直接进行仲裁，但可以通过以下途径来维护自身权益：
理解调解与仲裁的区别：
- 调解是一种非强制性的争议解决方式，依赖于双方的自愿参与和协商。若一方拒绝参与调解，调解程序通常无法继续进行。
- 仲裁则是一种具有法律约束力的争议解决方式，但仲裁的前提是双方必须事先达成仲裁协议，或者合同中包含仲裁条款。若没有这样的协议或条款，且对方不同意仲裁，则无法直接进行仲裁。
考虑其他争议解决方式：
- 诉讼：若调解无果，且双方未达成仲裁协议，您可以考虑向法院提起诉讼。在诉讼过程中，法院将依法审理案件，并作出具有法律效力的判决。
- 再次尝试调解：尽管对方最初拒绝参与调解，但您可以尝试通过其他方式（如通过共同的朋友、亲属或第三方机构）与对方沟通，看是否能够说服其参与调解。有时候，改变沟通方式或提供更有吸引力的调解条件可能促使对方改变态度。
准备相关证据和材料：
- 在考虑诉讼或其他争议解决方式之前，确保您已收集并整理好所有与房屋纠纷相关的证据和材料，如购房合同、产权证明、付款凭证、沟通记录等。这些证据和材料将在后续的争议解决过程中发挥关键作用。
寻求专业法律帮助：
- 房屋纠纷可能涉及复杂的法律问题和程序，因此寻求专业律师的帮助至关重要。我可以根据您的具体情况，提供针对性的法律建议和策略，帮助您更好地维护自身权益。
关注政府调解的后续行动：
- 尽管对方未参与调解，但政府可能仍会采取其他措施来推动争议的解决。您可以关注政府的后续行动，如是否发布相关公告、是否组织其他形式的协商等，并据此调整自己的策略。
针对您的情况，我建议：
- 首先，确认双方是否已达成仲裁协议或合同中是否包含仲裁条款。若没有，则仲裁不是可行的选项。
- 其次，考虑向法院提起诉讼，并准备好所有相关证据和材料。
- 同时，可以尝试通过其他方式与对方沟通，看是否能够达成和解或重新启动调解程序。
- 在整个过程中，务必寻求专业律师的帮助，以确保您的权益得到充分保护。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。