结论：在婚姻关系中，钱不上交自己存着，夫妻双方是否有责任，这主要取决于夫妻之间的约定以及相关法律法规的规定。一般来说，如果没有特别约定，夫妻双方对共同财产有平等的处理权，但并不意味着必须将所有收入上交共同管理。
详细分析：
夫妻共同财产制度：
- 根据《中华人民共和国民法典》的相关规定，夫妻在婚姻关系存续期间所得的财产，如工资、奖金、劳务报酬等，原则上属于夫妻共同财产。
- 夫妻对共同财产有平等的处理权，这意味着双方都有权管理、使用和处分这些财产。但“平等的处理权”并不等同于“必须共同管理”或“必须上交一方管理”。
个人财产与共同财产的区分：
- 如果一方能够证明某笔收入是其个人财产（如婚前财产、因受到人身损害获得的赔偿或补偿等），则该笔收入不属于夫妻共同财产，另一方无权要求上交或共同管理。
- 对于共同财产，夫妻双方可以协商确定管理方式，包括一方管理、双方共同管理或委托第三方管理等。如果没有特别约定，双方都有权根据自己的意愿和实际情况来管理共同财产。
不上交自己存着的法律后果：
- 如果一方选择不上交自己存着共同财产中的部分或全部收入，这本身并不构成违法行为。但需要注意的是，这种行为可能引发夫妻之间的信任危机和矛盾。
- 如果一方认为另一方不上交收入的行为损害了其合法权益（如影响了家庭共同生活的开支、子女的抚养教育等），可以通过协商、调解或诉讼等方式来维护自己的权益。
建议与注意事项：
- 夫妻双方在婚姻关系存续期间，最好能够就共同财产的管理方式达成明确约定，以避免不必要的矛盾和纠纷。
- 如果一方选择不上交自己存着收入，建议保持透明和沟通，确保另一方了解家庭财务状况，并共同承担家庭责任和义务。
- 如果遇到无法协商解决的财产纠纷问题，可以寻求专业律师的帮助，通过法律途径来维护自己的合法权益。
举例说明：
假设夫妻双方都有稳定的工作和收入，且没有特别约定共同财产的管理方式。在这种情况下，如果一方选择不上交自己存着部分或全部收入，而另一方对此没有异议，且家庭共同生活的开支和子女的抚养教育等费用都得到了妥善安排，那么这种行为就是合法的，且不会引发法律纠纷。但如果另一方对此有异议，并认为这种行为损害了其合法权益，那么双方就需要通过协商、调解或诉讼等方式来解决纠纷。
总结：在婚姻关系中，钱不上交自己存着并不一定构成违法行为或夫妻双方的责任。关键在于夫妻之间的约定以及相关法律法规的规定。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。