军人违法违纪主要由军队保卫部门负责处理。以下是对此问题的详细分析：

一. 军人违法违纪的处理主体

根据《中华人民共和国刑事诉讼法》第三百零八条，军队保卫部门对军队内部发生的刑事案件具有侦查权。这意味着，军人违法违纪行为构成刑事犯罪的，军队保卫部门将负责进行侦查。此外，军队保卫部门还依据相关军事法规和刑事诉讼法对军人违法违纪行为进行调查和处理。

二. 军人违法违纪的处理流程

1. 军队内部违法违纪：

   • 对于现役军人在军队内部违纪的情况，包括但不限于违反军事纪律、规章或者涉嫌刑事犯罪的行为，军队保卫部门将依据相关军事法规和刑事诉讼法进行调查和处理。
   • 处理措施可能包括警告、记过、降级、开除军籍等纪律处分，或者在构成刑事犯罪的情况下，移送军事司法机关追究刑事责任。

2. 军队外部违法违纪：

   • 如果现役军人在地方作案，即违纪行为发生在军队外部，地方公安机关在发现后应当及时将案件移交军队保卫部门进行侦查。
   • 军事检察院、军事法院对军内人员犯罪的案件依法分别行使检察权、审判权。

三. 军人退出现役后违法违纪的处理

• 对于现役军人退出现役后发现的其在服役期间的违纪行为，如果依法应当追究刑事责任，军队保卫部门仍然具有侦查权，并会与地方公安机关配合进行案件的调查和处理。

四. 特殊情况的处理

• 在某些特殊情况下，如军内贪腐案件，可能先由军纪委和军队审计部门配合进行查处，最后移交给军事检察院和军事法院依法办理。

我的观点：军人作为国家的守护者，其违法违纪行为必须受到严肃处理，以维护军队的纪律和形象。军队保卫部门在处理军人违法违纪案件中发挥着核心作用，确保了案件处理的依法、统一和有效。如有进一步需要，您可以继续咨询我。