社区矫正人员若不参加社区劳动，将会面临一系列不利的法律后果。首先，我们需要明确的是，参加社区劳动是社区矫正的重要组成部分，也是矫正对象必须认真履行的一项义务。

对于情节较轻的违规行为，比如偶尔不参加社区劳动且情节轻微，社区矫正机构通常会采取批评教育的措施。这包括通过谈话等方式，向矫正对象阐明遵守社区矫正规定、积极参与社区劳动的重要性和法律意义，督促其认识错误并及时改正，之后按照要求参加相关活动。

然而，如果矫正对象无正当理由多次拒绝参加社区劳动，不服从社区矫正机构的管理，这将被视为违反监督管理规定的行为。对此，社区矫正机构有权视情节给予警告处分。警告是一种较为严肃的纪律处分，会记录在矫正对象的档案中，对其未来的社会评价和信用记录可能产生不利影响。

更为严重的是，如果矫正对象在受到警告后仍不改正，继续违反关于报告、会客、外出、居住地变更等规定，或者违反人民法院的禁止令，情节严重的，社区矫正机构可以向原裁判人民法院提出撤销缓刑（或假释等，根据具体情况而定）的建议，并附上相关证明材料。一旦人民法院裁定撤销，矫正对象将被收监执行原判刑罚。这意味着原本有机会通过社区矫正避免实际入狱的矫正对象，将因此失去这一机会，并按照原判决进入监狱服刑。

此外，除了撤销缓刑（或假释等）外，对于不遵守社区矫正期间规定的矫正对象，还可能受到治安管理处罚，如罚款等。这些处罚旨在惩罚矫正对象的违规行为，并促使其严格遵守相关规定。同时，社区矫正机构也可能会加强对该矫正对象的监管力度，以确保其更好地履行社区矫正期间的各项义务。

因此，我强烈建议社区矫正人员在矫正期限内严格遵守相关规定，积极履行各项义务，包括按时参加社区劳动等。这样不仅有助于顺利度过矫正考验期，还能为成功回归社会打下坚实的基础。