结论：男人出轨回来的短裤，在符合一定条件的情况下，可以作为出轨的证据使用，但单独这一证据可能证明力有限，通常需要结合其他证据来形成完整的证据链。
分析说明：
证据的合法性：
- 短裤作为物证，其合法性主要取决于获取方式。如果短裤是通过合法手段获取的，比如是在家中或公共场所无意间发现的，并且没有侵犯他人的隐私权或其他合法权益，那么它是合法的证据。
- 如果短裤是通过非法手段获取的，比如私自闯入他人住宅或窃取，那么这样的证据是不合法的，不会被法院采纳。
证据的关联性：
- 短裤本身并不能直接证明出轨行为，它只是一个物证。要证明出轨，还需要将短裤与其他证据相结合，比如出轨者的陈述、短信、邮件、照片、视频等，来形成完整的证据链。
- 例如，如果短裤上有其他女性的生物痕迹（如头发、皮屑等），并且这些痕迹与出轨对象相匹配，同时结合出轨者的异常行为、通信记录等，那么这些证据共同构成了证明出轨的有力证据。
证据的证明力：
- 单独的一条短裤作为证据，其证明力可能相对较弱。因为短裤可能由多种原因造成，比如误穿、借穿等，并不能直接指向出轨行为。
- 但是，如果短裤作为物证与其他多种证据相互印证，形成了完整的证据链，那么它的证明力就会大大增强。
实际操作建议：
- 收集证据要合法：在收集证据的过程中，一定要确保手段合法，不要侵犯他人的合法权益。否则，即使收集到了证据，也可能因为非法性而被法院排除。
- 证据要全面：不要仅依赖一条短裤作为证据，要尽可能收集其他相关的证据，如通信记录、照片、视频等，来形成完整的证据链。
- 咨询专业律师：在处理此类敏感且复杂的法律问题时，建议咨询专业律师。律师可以根据具体情况提供专业的法律意见，帮助你更好地维护自己的合法权益。
后续行动与法律后果：
- 如果你打算使用短裤作为证据来证明出轨行为，并据此提起离婚诉讼或要求损害赔偿等，那么你需要确保所有证据的合法性和关联性，并在律师的指导下进行诉讼。
- 如果证据不足或存在非法性等问题，可能会导致诉讼失败或承担不利的法律后果。因此，在行动前一定要谨慎考虑并咨询专业律师的意见。
如有其他疑问或需要进一步的法律帮助，请直接向我咨询。