不可以直接拒绝赔钱，是否需要赔偿取决于事故责任认定。在交通事故中，责任的划分是决定赔偿义务的关键因素。以下是对此问题的详细分析：
一、责任认定与赔偿义务
全责情况：
- 如果您被认定为全责方，那么您需要对事故造成的所有损失承担赔偿责任。这包括对方因骨折而产生的医疗费、误工费、护理费、交通费、住院伙食补助费、营养费等合理费用。
- 根据《中华人民共和国民法典》的相关规定，侵害他人造成人身损害的，应当赔偿这些为治疗和康复支出的合理费用。
非全责或无责情况：
- 如果交通事故中您并非全责方，或者事故责任无法确定，那么您只需根据责任比例承担相应的赔偿责任。
- 如果您在事故中完全无责，那么您无需对对方的任何损失承担赔偿责任。但这种情况下，对方的损失应由全责方或其保险公司来承担。
二、赔偿项目的具体计算
医疗费用：
- 包括挂号费、检查费、治疗费、药费、住院费等，需根据医疗机构出具的收款凭证确定。
- 如果对方需要后续治疗，如康复费、整容费等，若医疗证明或鉴定结论确定必然发生，也可与已发生的医疗费一并要求赔偿。
误工费用：
- 误工时间根据受害人接受治疗的医疗机构出具的证明确定。
- 收入计算：有固定收入的按实际减少的收入计算；无固定收入的，按最近三年的平均收入计算；无法举证的，参照受诉法院所在地相同或相近行业上一年度职工的平均工资计算。
护理费用：
- 根据护理人员的收入状况和护理人数、护理期限确定。
- 护理人员有收入的，参照误工费规定计算；无收入的，参照当地护工从事同等级别护理的劳务报酬标准计算。
其他费用：
- 包括交通费、住院伙食补助费、营养费等，均需根据实际情况和相关证据进行计算。
三、赔偿途径与建议
协商赔偿：
- 您可以与对方直接沟通，提出合理的赔偿要求，并准备好各项损失的证据材料。
- 如果协商困难，可以请求交警部门或人民调解委员会等第三方介入调解，争取达成赔偿协议。
诉讼赔偿：
- 如果协商无果，对方可以向事故发生地或您住所地的人民法院提起民事诉讼。
- 在诉讼过程中，您需要积极应诉，提供相关证据来支持自己的观点。
- 法院将根据庭审情况和相关证据作出判决，如果判决您需要承担赔偿责任，而您不履行赔偿义务，对方可以申请强制执行。
行动建议：
- 首先，您应该积极与对方沟通，了解对方的诉求和证据情况。
- 同时，您也需要收集和保留自己的相关证据，如行车记录仪视频、现场照片、交警出具的事故责任认定书等。
- 如果对方提出的赔偿要求过高或不合理，您可以拒绝并建议对方通过法律途径解决。
- 在整个过程中，保持冷静和理性，避免与对方发生不必要的冲突和争执。
最后，我建议您在处理此类交通事故时，务必遵循法律法规和程序要求，以确保自己的合法权益得到保障。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。