针对您提出的问题，即法官提交的复议书法官未作书面答复反而最后法官当被告质证的证据使用是否合法，我的结论是：这种情况一般不合法，但具体是否违法需结合实际情况判断。以下是我从不同角度进行的分析：

一、从程序公正的角度分析

在司法程序中，公正性是核心原则之一。法官作为司法程序的执行者，应当遵循严格的程序规定，确保当事人的合法权益得到保障。如果法官在提交复议书后未作书面答复，而是直接将其作为被告质证的证据使用，这可能违反了程序公正的原则。因为书面答复是确保当事人了解复议内容、准备反驳意见的重要环节，缺失这一环节可能导致当事人无法充分行使自己的诉讼权利。

二、从证据规则的角度分析

在诉讼中，证据的提交和使用必须遵循一定的规则。根据一般的证据规则，证据应当具有合法性、关联性和真实性。如果法官将未作书面答复的复议书直接作为证据使用，这可能引发关于证据合法性的质疑。因为未经书面答复的复议书可能缺乏必要的程序保障，其真实性和关联性也可能受到影响。此外，如果复议书的内容涉及对被告的不利指控，而被告未能获得充分的反驳机会，这也可能违反证据使用的公平原则。

三、从具体情境的角度分析

然而，是否违法还需结合具体情境来判断。例如，如果法官在提交复议书后，虽然未作书面答复，但已经通过其他方式（如口头告知、会议讨论等）确保了当事人了解复议内容，并给予了充分的反驳机会，那么这种情况可能不构成违法。另外，如果复议书的内容并不直接涉及对被告的不利指控，而是作为背景信息或参考材料使用，那么其作为证据使用的合法性也可能得到认可。

四、法律建议

1. 当事人角度：如果您作为当事人遇到了这种情况，建议您首先与法官沟通，了解未作书面答复的原因，并要求法官提供充分的反驳机会。如果沟通无果，您可以考虑向上级法院或相关司法监督机构反映情况，寻求法律救济。

2. 法官角度：作为法官，应当严格遵守程序规定，确保当事人的合法权益得到保障。在提交复议书后，应当及时作出书面答复，并给予当事人充分的反驳机会。如果确实存在特殊情况无法作出书面答复，也应当通过其他方式确保当事人了解复议内容。

如果您在司法行政领域遇到任何法律问题，都可以直接向我咨询。我会运用我的专业知识和经验，为您提供全面、准确的法律解答。