结论：在侵犯肖像权的纠纷中，如果双方不愿意调解，被告不去法院应诉是不可以的。被告有义务按照法院的通知出庭应诉，否则可能会面临一系列不利的法律后果。

详细分析：

1. 法律义务：

   • 根据《中华人民共和国民事诉讼法》的相关规定，被告在收到法院的应诉通知后，有义务按照指定的时间、地点出庭应诉。这是被告的基本法律义务，也是保障诉讼程序顺利进行的重要一环。

2. 不出庭的后果：

   • 如果被告无正当理由拒不到庭，法院有权进行缺席判决。这意味着，即使被告没有出庭，法院也会根据原告提供的证据和事实，依法作出判决。
   • 缺席判决可能对被告不利，因为被告无法当庭陈述自己的意见和提供反驳证据，法院只能依据原告的陈述和证据来作出判断。

3. 调解与诉讼的选择：

   • 调解是解决纠纷的一种方式，它允许双方在自愿、平等的基础上达成协议，从而避免诉讼的繁琐和成本。然而，调解并不是诉讼的必经程序，如果双方不愿意调解或者调解不成，诉讼仍然是解决纠纷的最终途径。
   • 在侵犯肖像权的纠纷中，如果双方无法达成调解协议，原告有权向法院提起诉讼，要求被告承担相应的法律责任。被告则必须按照法院的通知出庭应诉，否则将面临缺席判决等不利后果。

4. 建议：

   • 对于被告而言，如果确实无法出庭应诉，应该及时向法院提出书面申请，说明无法出庭的原因，并请求法院延期审理或者采取其他适当的措施。
   • 同时，被告也应该积极与原告沟通，尝试通过调解等方式解决纠纷，以避免诉讼带来的不利影响。

后续行动建议：

• 如果您是被告，且确实无法出庭应诉，请尽快与法院联系，说明情况并请求延期审理或采取其他措施。
• 如果您希望尝试调解解决纠纷，可以主动与原告沟通，或者通过法院、调解组织等第三方机构进行调解。
• 如果您对诉讼程序或法律责任有疑问，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。