结论：鉴定为精神病的公务员在岗位上班时状态不好随时走，是否算旷工不能一概而论，需结合具体情况判断。以下从不同角度进行分析：
从单位规章制度角度：
- 如果单位有明确的规章制度，规定了员工在何种情况下可以离开岗位，以及离开岗位需要遵循的程序（如请假、报备等），那么该公务员的行为是否构成旷工，需依据这些规章制度来判断。
- 若其未按照规章制度履行相应手续而擅自离岗，即使是因为精神状态不佳，也可能被视为旷工。
从精神病鉴定及病情影响角度：
- 精神病患者的行为能力可能受到疾病影响，导致其无法完全控制自己的行为或理解自己的行为后果。
- 如果该公务员的精神病病情严重到无法正常履行工作职责，且单位已知悉其病情，那么单位应考虑其特殊情况，在规章制度执行上给予一定宽容。
- 在此情况下，若其因病情发作而擅自离岗，单位在认定旷工时应更加谨慎，需综合考虑病情、治疗情况以及单位规章制度等因素。
从法律责任角度：
- 旷工通常指员工无正当理由未按规定时间到岗工作或擅自离岗的行为。
- 若该公务员的行为被认定为旷工，单位可能依据规章制度对其进行相应处理，如警告、罚款、解除劳动合同等。
- 但若其能证明离岗是由于精神病病情发作且无法控制，那么单位在处理时应考虑其特殊情况，避免过度处罚。
建议：
- 对于该公务员而言，应尽快向单位说明自己的病情情况，并提供相关的医疗证明，以便单位了解其实际状况并作出合理安排。
- 同时，该公务员也应尽量遵守单位的规章制度，如因病情确实需要离岗，应提前向单位请假或报备，以减少不必要的纠纷。
- 对于单位而言，应建立健全的规章制度，明确员工离岗的处理程序，并在处理类似情况时充分考虑员工的特殊情况，做到既维护单位秩序又保障员工权益。
后续行动：
- 若双方因此产生纠纷，建议先通过协商解决；协商不成，可向劳动争议调解委员会申请调解；调解不成，可向劳动争议仲裁委员会申请仲裁；对仲裁裁决不服的，还可向人民法院提起诉讼。
如有更多关于劳动工伤方面的疑问或需要进一步的法律帮助，请直接向我咨询。