结论：您儿子要求您交出工资卡否则不管您的行为是不恰当且可能违法的。从法律和道德两个层面来看，您都有权自主管理自己的工资，且子女有赡养父母的义务。
法律层面分析：
工资所有权：根据相关法律规定，工资是劳动者因提供劳动而获得的报酬，属于劳动者的个人财产。您作为劳动者，对自己的工资享有完全的所有权和支配权。这意味着，您有权自主决定如何管理和使用自己的工资，包括是否将工资卡交给他人保管。
子女赡养义务：子女对父母负有赡养、扶助和保护的义务。这包括经济上的供养、生活上的照料以及精神上的慰藉。您儿子要求您交出工资卡作为照顾您的条件，这实际上是将赡养义务与您的财产支配权相挂钩，是不符合法律规定的。即使您不交出工资卡，您儿子也有义务照顾您。
财产自主权：您作为完全民事行为能力人，有权自主管理自己的财产。将工资卡交给他人保管，尤其是非自愿的情况下，可能涉及到您财产权的侵犯。如果您儿子未经您同意擅自取走或使用您的工资，还可能构成盗窃或侵占等违法行为。
道德层面分析：
从道德角度来看，子女照顾父母是出于亲情和伦理的考虑，而非基于物质交换。您儿子将照顾您与交出工资卡相联系，这种做法不仅违背了家庭伦理，也可能伤害到您与儿子之间的感情。家庭成员之间应该相互尊重、理解和支持，而不是通过物质条件来衡量彼此的责任和义务。
建议：
与儿子沟通：首先，您可以尝试与儿子进行坦诚的沟通，表达您的想法和感受。让他了解您对工资卡的自主管理权以及您对他照顾您的期望。通过沟通，或许能够化解误会，增进彼此的理解。
寻求家庭调解：如果沟通无果，您可以考虑寻求家庭调解或社区调解的帮助。调解员可以协助您与儿子进行协商，寻找双方都能接受的解决方案。
法律途径：如果儿子的行为严重侵犯了您的权益，您还可以考虑通过法律途径来维护自己的合法权益。例如，您可以向法院提起诉讼，要求儿子停止侵权行为并承担相应的法律责任。
总之，您有权自主管理自己的工资，且子女有赡养父母的义务。面对您儿子要求您交出工资卡否则不管的情况，您应该坚决维护自己的权益，并通过沟通、调解或法律途径来解决问题。如果您有任何进一步的疑问或需要帮助，请随时向我咨询。