核心结论：若您不想卖房且对方实际无工作，能否解除合同或拒绝履行，需结合合同条款、对方履约能力及法律规定综合判断。以下分情况说明：

1. 若合同尚未签订，您有权拒绝出售

• 法律依据：房屋买卖需双方自愿，您作为产权人，有权决定是否出售房产（《民法典》第143条）。
• 操作建议：直接告知对方您不再出售房屋，无需因对方无工作而承担额外责任。但需注意：
  • 若您曾收取定金，可能需按定金罚则处理（如双倍返还定金）；
  • 若对方已支付部分房款，需协商退款并签订解除协议，避免纠纷。

2. 若合同已签订，需审查对方履约能力及合同条款

• 对方无工作是否构成违约？
  • 房屋买卖合同中，买方的主要义务是支付房款。若对方无工作但有其他收入来源（如投资、租金、家庭支持等），可能仍具备履约能力，此时您无权单方解除合同。
  • 若对方明确表示无力支付房款，或通过行为表明无法履行（如长期拖延付款），您可主张对方构成“预期违约”，要求解除合同并追究违约责任（《民法典》第563条、第577条）。
• 合同条款是否约定解除权？
  • 检查合同中是否有类似“若买方丧失履约能力，卖方有权解除合同”的条款。若有，您可直接依据合同行使解除权。

3. 若对方无工作且无履约能力，您可采取的救济措施

• 协商解除合同：与对方沟通，说明您不愿出售的原因，协商解除合同并退还已收款项（如有）。建议签订书面解除协议，明确双方权利义务。
• 主张对方违约：若对方拒绝解除合同且确实无力支付房款，您可向法院起诉，要求解除合同并赔偿损失（如房价上涨的差价损失）。
• 注意诉讼风险：若对方无财产可供执行，即使胜诉也可能面临执行困难。因此，起诉前需评估对方财产状况，必要时申请财产保全。

4. 风险提示

• 避免单方违约：若您无正当理由拒绝出售房屋，可能构成违约，需承担赔偿对方损失的责任（如对方已支付的定金、中介费等）。
• 保留证据：无论选择协商还是诉讼，均需保留合同、付款记录、沟通记录等证据，以证明对方无履约能力或您已履行告知义务。

总结：您是否需继续履行合同，取决于对方是否具备履约能力及合同具体条款。建议优先与对方协商，若无法达成一致，可依据法律规定和合同约定采取进一步措施。如有具体合同或纠纷细节，可向我进一步说明，我会为您分析具体风险及应对方案。