结论：您是否有责任以及是否需要赔钱，取决于您在照顾老人过程中是否存在过错或疏忽，以及这种过错或疏忽与老人摔倒骨折之间是否存在因果关系。以下从不同角度为您详细分析：
一、法律责任分析
合同关系角度：
- 如果您与老人家属之间签订了书面的照顾合同，合同中明确规定了您的照顾义务和责任范围，那么您需要按照合同约定履行义务。若因您未履行或未完全履行合同义务导致老人摔倒骨折，您可能需要承担违约责任，包括赔偿损失等。
- 若没有书面合同，但双方存在事实上的照顾关系，且您接受了报酬（如每月5500元），那么您仍然需要承担一定的照顾义务。若因您的过错或疏忽导致老人受伤，您同样可能需要承担相应的法律责任。
侵权责任角度：
- 根据《中华人民共和国民法典》的相关规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。在照顾老人的过程中，如果您存在过错或疏忽（如未提供安全的居住环境、未及时关注老人的身体状况等），导致老人摔倒骨折，您可能需要承担侵权责任。
- 侵权责任的承担通常包括赔偿医疗费、护理费、交通费等为治疗和康复支出的合理费用，以及因误工减少的收入等。
二、责任免除或减轻的情况
老人自身原因：
- 如果老人摔倒骨折是由于其自身原因（如突然起身、行走不稳等）导致的，且您已经尽到了合理的照顾义务，那么您可能不需要承担责任或责任可以减轻。
不可抗力或意外事件：
- 如果老人摔倒骨折是由于不可抗力（如地震、台风等自然灾害）或意外事件（如突然晕厥等）导致的，且您无法预见、无法避免且无法克服，那么您可能不需要承担责任。
三、建议与措施
收集证据：
- 在发生此类事件后，建议您及时收集相关证据，如照顾合同、支付报酬的凭证、老人摔倒时的现场照片或视频、医疗记录等，以证明您是否尽到了合理的照顾义务以及老人摔倒骨折的具体原因。
与家属沟通：
- 建议您与老人家属进行积极沟通，说明情况并表达歉意。如果双方能够协商达成一致意见，可以签订书面协议明确各自的责任和赔偿方式。
寻求法律帮助：
- 如果双方无法协商达成一致意见，或者您对责任认定存在争议，建议您及时咨询专业律师并考虑通过法律途径解决纠纷。律师可以根据具体情况为您提供法律建议和帮助您维护合法权益。
最后，照顾老人是一项需要高度责任心和谨慎态度的工作。在未来的照顾过程中，建议您加强安全意识、提高警惕性，并尽可能采取必要的预防措施以避免类似事件的发生。如果您有任何法律问题或需要进一步的法律帮助，请随时向我咨询。