夫妻双方遗弃罪的认定，主要依据犯罪主体、主观方面、客体及客观方面四个维度进行综合考量，具体如下：
犯罪主体：
- 遗弃罪的主体为特殊主体，必须满足两个条件：一是对被遗弃者负有法律上的扶养义务；二是具有扶养能力。在夫妻关系中，根据《中华人民共和国民法典》的规定，双方互负扶养义务。这意味着，当一方因年老、患病、残疾等原因丧失劳动能力或生活自理能力时，另一方即成为负有扶养义务且有扶养能力的主体。
犯罪主观方面：
- 遗弃罪在主观上表现为故意，即行为人明知自己应履行扶养义务而拒绝扶养。这种故意可以是直接故意，如丈夫为了摆脱照顾患重病妻子的负担而故意离家出走；也可以是间接故意，如妻子明知丈夫失业后生活困难且需要照顾，却放任其生活陷入困境。动机虽多样，但均体现了行为人的自私自利或卑鄙动机。
犯罪客体：
- 遗弃罪侵犯的客体是家庭成员之间相互扶养的权利义务关系以及被害人的生命、健康权益。夫妻间的扶养关系是婚姻关系的重要内容，拒绝扶养不仅破坏了法定的扶养关系，还可能使被遗弃方的生活陷入困境，甚至危及生命健康。
犯罪客观方面：
- 遗弃罪的客观方面表现为对年老、年幼、患病或其他没有独立生活能力的家庭成员应当扶养而拒不扶养，且情节恶劣。具体判断标准包括：
- 因遗弃导致被害人重伤、死亡；
- 被害人因被遗弃而生活无着，流离失所，被迫沿街乞讨；
- 因遗弃使被害人走投无路被迫自杀；
- 行为人屡经教育，拒绝改正而使被害人的生活陷入危难境地；
- 遗弃手段十分恶劣，如在遗弃中对被害人施以打骂、虐待等行为。
在司法实践中，对于夫妻之间是否构成遗弃罪，需综合考虑上述各方面的因素，并由司法机关根据具体案件事实和证据进行判断。若夫妻一方确实存在遗弃行为，且情节恶劣，另一方可向公安机关报案，要求追究其刑事责任。根据《中华人民共和国刑法》第二百六十一条的规定，对于犯遗弃罪的，将处五年以下有期徒刑、拘役或者管制。具体的刑罚力度会根据犯罪情节的严重程度、被告人的主观恶性以及社会危害程度等因素来综合考量。
同时，受害方也可通过民事途径寻求救济，如提起离婚诉讼并要求损害赔偿等。在离婚诉讼中，遗弃行为可以作为认定夫妻感情破裂的依据之一，从而支持离婚请求。此外，受害方还可以要求遗弃方承担因遗弃行为造成的经济损失和精神损害赔偿。
建议：
- 若遭遇遗弃行为，受害方应及时收集证据，如医疗记录、报警记录、证人证言等，以证明遗弃行为的存在和情节恶劣程度。
- 受害方可以向公安机关报案，要求追究遗弃方的刑事责任。同时，也可以向法院提起民事诉讼，要求离婚并寻求损害赔偿。
- 在处理此类案件时，建议受害方寻求专业律师的帮助，以确保自身权益得到充分保护。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。