结论：拿了公司一件以为别人不要的衣服又还回，是否算严重违纪，不能一概而论，需结合具体情况判断，以下从不同角度为你分析：
从公司规章制度角度
- 若公司规章制度明确规定此类行为属于严重违纪：
- 许多公司会在规章制度中详细列举各种违纪行为及其对应的处罚措施。如果公司有明确规定，未经允许拿取公司物品（即便以为是别人不要的）属于严重违反公司规章制度的行为，那么即使你后续归还了衣服，公司仍有可能依据规章制度认定你严重违纪。
- 例如，公司规章制度中明确写着“未经许可，私自拿取公司任何财物，无论价值大小、是否归还，均视为严重违纪，给予辞退处理”。在这种情况下，你的行为就可能面临严重违纪的认定及相应处罚。
- 若公司规章制度未明确规定此类行为属于严重违纪：
- 若公司规章制度中没有将这种行为明确界定为严重违纪，那么公司不能直接以严重违纪为由对你进行处罚。不过，公司可能会从维护管理秩序等角度出发，对你进行批评教育或者给予较轻的处罚，如警告、扣减一定绩效等。
从行为性质和情节角度
- 情节轻微且主观恶意小：
- 如果你确实是因为误以为衣服是别人不要的，没有故意侵占公司财物的意图，并且在发现可能存在问题后及时归还了衣服，没有给公司造成任何损失，从情节和主观恶意方面来看都比较轻微。
- 这种情况下，一般不太会被认定为严重违纪。公司可能会考虑到你的主观情况和及时归还的行为，不会给予过于严厉的处罚。
- 情节严重或存在主观恶意：
- 假如你在拿取衣服时，虽然以为是别人不要的，但实际上存在侥幸心理，想占点小便宜；或者拿取后没有及时归还，导致公司对衣服的寻找和管理产生了一定的困扰和成本；又或者你之前有过类似的不当行为，那么即使最终归还了衣服，公司也可能会认为你的行为性质较为严重，从而认定你严重违纪。
- 例如，你拿取衣服后放置在自己更衣柜中数天，公司因找不到衣服而花费了人力物力进行查找，这种情况下公司就可能加重对你的处罚认定。
从法律层面角度
从法律上来说，严重违纪通常是指员工的行为严重违反了公司的规章制度或者劳动纪律，给公司的生产经营、管理秩序等造成了重大损害或者影响。如果公司的处理决定缺乏合理依据，或者处罚过重，你可以通过劳动仲裁等法律途径来维护自己的合法权益。
建议：如果公司因此事要对你进行处罚，你可以先查看公司的规章制度，了解相关规定；同时，向公司说明你的主观情况和及时归还的行为，争取从轻处理。如果对公司的处理结果不满意，或者认为公司的处理缺乏依据，可以收集相关证据，如规章制度、沟通记录等，向我进一步咨询具体的维权方法。