第一次起诉离婚被告不可以不去。因为离婚案件涉及身份关系，法院需要听取双方的陈述和辩论，以查明事实并作出公正判决。下面我从几个方面详细解释这个问题：
法律义务：
- 根据《民事诉讼法》的相关规定，被告经传票传唤，无正当理由拒不到庭的，法院可以缺席判决。这意味着，如果被告无正当理由不到庭，法院将依据原告提供的证据进行审理，并可能作出对被告不利的判决。
特殊情况处理：
- 如果被告因特殊情况无法到庭，比如重大疾病等不可抗力因素，必须向人民法院提交书面意见，说明无法到庭的原因，并请求延期审理或再次传唤。法院会根据实际情况决定是否延期或再次传唤。
法律后果：
- 被告无故不到庭，不仅会影响自身权益的维护，还可能导致法院依据现有证据作出对被告不利的判决。因此，建议被告在收到传票后，应按时到庭，积极参与诉讼过程，维护自己的合法权益。
实际建议：
- 离婚案件通常比较复杂，涉及财产分割、子女抚养等多个方面。因此，建议双方在诉讼过程中积极配合法庭工作，通过合法的法律途径妥善解决纠纷。如果被告确实有特殊困难或疑虑，可以提前与法院沟通，寻求法律帮助或指导。
综上所述，第一次起诉离婚时，被告应当到庭参与诉讼过程。如果因特殊情况无法到庭，必须及时向法院提交书面意见并说明原因。无故不到庭将可能承担不利的法律后果。希望这个解答能帮助你更好地理解相关法律规定和诉讼程序。如果你还有其他问题或需要进一步的法律帮助，请随时向我咨询。