结论：对方打你的脸，若你不愿意调解，对方不一定会被拘留，这取决于具体情节和造成的后果。

详细分析：

1. 治安管理处罚角度：

   • 根据《中华人民共和国治安管理处罚法》的相关规定，殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
   • 在你描述的情境中，如果对方打你的脸，且该行为构成了殴打他人或故意伤害他人身体，那么对方有可能面临上述的治安管理处罚。但具体是否会被拘留，以及拘留的时长，还需根据行为的严重程度、造成的后果以及是否存在从轻或从重的情节来综合判断。

2. 刑事责任角度：

   • 如果对方打你的脸导致你受到较为严重的伤害，比如构成轻伤或重伤，那么对方可能不仅面临治安管理处罚，还可能构成故意伤害罪，需要承担刑事责任。
   • 在这种情况下，即使你不愿意调解，对方也可能因为涉嫌犯罪而被刑事拘留，并面临后续的刑事诉讼程序。

3. 调解的影响：

   • 调解是解决纠纷的一种方式，如果双方能够达成调解协议，并且对方按照协议履行了相关义务，那么对方可能不会受到治安管理处罚或刑事责任的追究。
   • 但如果你不愿意调解，或者调解未能达成协议，那么对方的行为将可能由公安机关或司法机关依法进行处理。

建议：

• 如果你受到了对方的殴打，首先应当确保自己的人身安全，并及时报警。
• 在报警后，配合公安机关的调查工作，提供相关证据和线索。
• 如果你不愿意调解，可以向公安机关明确表达你的意愿，并要求公安机关依法处理对方的行为。
• 在整个过程中，你可以咨询专业律师的意见，以更好地维护自己的合法权益。

后续行动：

• 如果你需要进一步的法律帮助或咨询，可以直接向我提问，我会根据你的具体情况提供详细的法律建议。
• 同时，你也可以关注自己的身体状况，如果受到伤害，及时就医并保留好相关医疗记录作为证据。