核心结论：针对对方不施工又不退定金的情况，您可以通过协商、投诉或诉讼等途径来维护自身权益，具体选择取决于合同约定、证据情况及对方态度。以下分情况详细说明：

1. 先查看合同条款
   首先，您需要仔细审查与对方签订的合同或协议，重点关注关于定金退还、违约责任、施工期限等条款。如果合同中明确约定了“若对方未按时施工，应退还定金并承担违约责任”，则您可以直接依据合同要求对方履行义务。若对方拒绝，您可向其发送书面催告函（保留邮寄凭证），明确要求其限期施工或退还定金，否则将采取法律手段。

2. 协商与投诉
   若合同未明确约定或对方态度强硬，您可以尝试与对方协商，说明您的合理诉求（如退还定金、赔偿损失等），并保留协商过程中的录音、聊天记录等证据。若协商无果，您可以向当地消费者协会、市场监督管理部门或行业主管部门投诉，提交合同、付款凭证、沟通记录等材料，请求相关部门介入调解。

3. 提起诉讼或申请仲裁
   如果协商和投诉均未能解决问题，您可以向法院提起民事诉讼，或根据合同中的仲裁条款申请仲裁。起诉时需准备以下材料：

   • 起诉状（明确诉讼请求、事实与理由）；
     
   • 证据材料（合同、定金收据、沟通记录、催告函等）；
     
   • 双方身份信息（如营业执照、身份证复印件等）。
     法院或仲裁机构将根据合同约定及法律规定，判决对方退还定金并可能承担违约金、赔偿损失等责任。

4. 注意事项

   • 定金性质：若合同中明确约定为“定金”（而非“订金”），且对方违约，您有权要求对方双倍返还定金（根据《民法典》第587条）；若为“订金”，则通常仅能要求原额返还。
     
   • 证据保留：务必保存好合同、付款凭证、沟通记录等所有相关证据，避免因证据不足导致维权困难。
     
   • 时效问题：民事诉讼的时效为3年，自您知道或应当知道权利受损之日起计算，建议尽快行动。

建议行动步骤：

1. 再次与对方沟通，明确要求退还定金或继续施工；
   
2. 若对方拒绝，向相关部门投诉并提交证据；
   
3. 若投诉无果，委托律师起草起诉状或仲裁申请书，向法院或仲裁机构提起诉讼/仲裁。
   

如有进一步疑问或需要协助准备材料，可直接向我咨询。