起诉离婚时，双方一般不可以都不到场。这是因为离婚诉讼属于民事诉讼范畴，涉及身份关系的确认与解除，具有较强的人身属性，当事人需要亲自到庭参与诉讼活动，以便法院能够全面、准确地了解双方的真实意愿和婚姻状况，并据此作出公正裁决。

具体来说，对于原告而言，通常需要亲自到庭参加诉讼，向法院陈述夫妻感情状况、离婚诉求等方面的内容。如果原告经传票传唤，无正当理由拒不到庭，或者未经法庭许可中途退庭，法院可能会按撤诉处理。

对于被告而言，也应当到庭参加诉讼。如果被告经传票传唤，无正当理由拒不到庭，或者未经法庭许可中途退庭，法院可以缺席判决。但需要注意的是，缺席判决可能会使被告丧失当庭陈述、辩论等权利，从而不利于其维护自身权益。

然而，也存在一些特殊情况。如果一方因重病、出国等无法到庭，并且向法院提交了书面意见等相关证明材料，法院可能会酌情考虑，并根据具体情况进行审理和裁决。

总之，起诉离婚时，双方最好都到场参与诉讼活动，这样能够充分表达自己的意见和诉求，更好地保障自身的合法权益。如果确实存在特殊情况无法到庭，应及时向法院提交相关证明材料，并咨询专业律师以获取更具体的法律建议。