结论：从法律层面讲，若父亲未尽抚养义务，子女在特定情况下仍有赡养义务，若拒绝照顾可能面临法律责任，但具体责任需结合实际情况判断。以下从不同角度详细分析：
一、法律规定的赡养义务
根据《中华人民共和国民法典》的相关规定，成年子女对父母负有赡养、扶助和保护的义务。这一义务是法定的，不因父母是否尽到抚养义务而免除。也就是说，即使父亲从小没有养过你，你仍然在法律上有赡养他的义务。
二、赡养义务的具体内容
赵养义务不仅包括经济上的供养，如提供生活费、医疗费等，还包括生活上的照料和精神上的慰藉。在你父亲重病瘫痪在床的情况下，赡养义务可能更多地体现在生活上的照料上。如果你拒绝照顾，可能构成对赡养义务的违反。
三、可能面临的法律责任
民事责任：如果你拒绝履行赡养义务，你父亲有权向法院提起诉讼，要求你履行赡养义务。法院在审理此类案件时，会综合考虑双方的实际情况，包括你父亲的经济状况、你的经济能力、你父亲是否尽到抚养义务等，来判决你是否需要承担赡养责任以及承担多少责任。如果你被判决需要承担赡养责任而拒不履行，你父亲还可以申请法院强制执行。
特殊情况下的责任减轻或免除：虽然法律规定了赡养义务，但在某些特殊情况下，子女的赡养义务可能会得到减轻或免除。例如，如果你父亲有严重伤害子女感情、虐待子女等行为，或者你因经济困难等原因确实无力承担赡养责任，法院在判决时可能会考虑这些因素，对赡养责任进行适当调整。但这种情况需要具体的证据支持，并且法院会进行严格的审查。
四、建议与思考
沟通协商：在面临这样的困境时，我建议你首先尝试与父亲或其他家庭成员进行沟通协商，寻求一个双方都能接受的解决方案。例如，可以协商由其他家庭成员承担主要的照顾责任，你提供一定的经济支持或定期探望等。
寻求法律援助：如果你认为自己的权益受到了侵害或无法与父亲达成一致意见，你可以寻求法律援助或咨询专业律师的意见。律师可以根据你的具体情况提供法律建议和帮助你维护自己的合法权益。
考虑道德和情感因素：除了法律义务外，赡养父母还涉及到道德和情感层面的问题。尽管法律可能无法完全解决所有问题，但我们可以从道德和情感的角度出发，尽力做到问心无愧。如果你确实无法承担照顾责任，也可以考虑通过其他方式表达你的关心和关爱。
最后，我希望你能够理性看待这个问题，并综合考虑法律、道德和情感等多方面的因素来做出决策。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。