军人犯罪是否要收回退伍证，并非由犯罪这一单一因素决定，而是取决于具体的法律规定和军队的管理规定。

首先，从法律层面来看，退伍证是军人退役后的一种身份证明和荣誉象征，其收回与否并不直接与犯罪挂钩。我国法律体系中，并没有明确规定军人犯罪后必须收回退伍证的相关条款。因此，单纯从法律角度来看，军人犯罪并不必然导致退伍证被收回。

然而，在实际操作中，军队作为高度组织化、纪律化的集体，对于军人的管理有着严格的规定。如果军人犯罪，尤其是涉及严重违法违纪行为，军队可能会根据内部管理规定，对军人的退伍证进行相应处理，如暂时扣留或注销等。这是为了维护军队的纪律和形象，以及保护社会公共利益。

此外，还需要考虑犯罪的性质和严重程度。如果军人的犯罪行为较轻，且未对军队和社会造成严重影响，那么其退伍证可能不会被收回。但如果犯罪行为严重，甚至构成刑事犯罪，那么军队可能会依据相关规定，对军人的退伍证采取更为严厉的措施。

综上所述，军人犯罪是否要收回退伍证，需要综合考虑法律规定、军队管理规定以及犯罪的性质和严重程度等多个因素。因此，无法给出绝对的答案。如果具体案件中有此疑问，建议咨询相关军队管理部门或专业律师以获取准确解答。