结论：不建议您直接到对方公务员的单位去指责他，这样的行为可能涉及多方面的问题，包括但不限于侵犯他人名誉权、违反单位规定以及可能引发的法律纠纷等。
分析：
名誉权问题：
- 每个人都有名誉权，这是受到法律保护的人格权之一。直接到对方单位指责，可能会损害其名誉，如果言论不实或过于激烈，还可能构成诽谤或侮辱，从而引发法律纠纷。
- 即便您认为对方有不当行为，也应通过合法途径进行反映和投诉，而不是采取直接指责的方式。
单位规定与纪律：
- 公务员所在的单位通常有严格的规章制度和纪律要求。直接到单位指责员工，可能违反单位的管理规定，给单位带来不必要的麻烦和负面影响。
- 单位可能会因此对您采取相应的措施，如要求您离开、报警处理等。
法律纠纷风险：
- 直接指责可能引发双方之间的冲突和矛盾，甚至可能导致肢体冲突或其他违法行为的发生。
- 如果对方认为您的指责侵犯了其合法权益，可能会通过法律途径追究您的责任，如提起民事诉讼要求赔偿损失等。
建议：
- 合法途径反映问题：如果您认为对方公务员有不当行为或违反了相关规定，可以通过合法途径进行反映和投诉，如向其上级主管部门、纪检监察机关或相关政府部门进行举报。
- 保持冷静和理性：在处理此类问题时，应保持冷静和理性，避免情绪化的行为。通过合法、合规的方式解决问题，才是更为明智和有效的选择。
- 寻求法律帮助：如果您在处理过程中遇到法律问题或困惑，可以寻求专业律师的帮助。律师可以为您提供法律咨询和法律服务，帮助您更好地维护自己的合法权益。
总之，直接到对方公务员的单位去指责他并不是一个明智的选择。您应该通过合法途径来反映和解决问题，以维护自己的合法权益并避免不必要的法律纠纷。如果您有任何法律问题或需要进一步的法律帮助，请随时向我咨询。