结论：在邻里纠纷中，若对方挑衅后摔伤且拒绝调解，是否要承担刑事责任需视具体情况而定，不能一概而论。以下从不同角度进行分析：
一、刑事责任承担的前提：构成犯罪
故意伤害罪：
- 若对方摔伤是由于您的故意行为（如推搡、击打等）直接导致，且伤情达到轻伤及以上标准，那么您可能构成故意伤害罪。
- 在此情况下，无论对方是否挑衅，只要您的行为符合故意伤害罪的构成要件，就应当承担刑事责任。
过失致人重伤罪或过失致人死亡罪：
- 若您并未故意伤害对方，但因疏忽大意或过于自信的过失导致对方摔伤且伤情严重（如重伤或死亡），则可能构成过失致人重伤罪或过失致人死亡罪。
- 然而，在邻里纠纷中，这种过失行为通常较为罕见，且需要具体证据支持。
不构成犯罪的情况：
- 若对方摔伤是由于自身原因（如不慎滑倒、自身疾病发作等）或双方争执过程中的意外事件导致，且您并未实施任何故意或过失行为，则不构成犯罪。
- 在此情况下，您无需承担刑事责任。
二、调解与刑事责任的关系
调解不是刑事责任的前置条件：
- 调解是民事纠纷解决的一种方式，旨在通过双方协商达成和解，避免诉讼。
- 刑事责任是依据刑法规定，对犯罪行为人进行的法律制裁。调解与否并不影响刑事责任的认定和承担。
拒绝调解不影响刑事责任：
- 即使对方拒绝调解，也不意味着您必须承担刑事责任。刑事责任的承担取决于您的行为是否构成犯罪，以及犯罪的性质和情节。
三、建议与措施
保留证据：
- 在邻里纠纷中，应尽可能保留相关证据（如现场照片、视频、证人证言等），以便在需要时证明自己的清白或减轻责任。
及时报警：
- 若对方摔伤且情况严重，或双方争执激烈无法自行解决，应及时报警并寻求警方帮助。警方将进行调查并依法处理。
咨询专业律师：
- 若您对是否构成犯罪、如何承担责任等问题存在疑问，应及时咨询专业律师。律师将根据您的具体情况提供法律意见和帮助。
进一步思考：在邻里纠纷中，双方应保持冷静和理性，通过协商或调解等和平方式解决争议。若对方挑衅或行为过激，您应尽量避免直接冲突，并及时寻求警方或社区调解组织的帮助。同时，您也应了解自己的法律权利和义务，以便在需要时维护自己的合法权益。如有任何法律问题，可直接向我咨询。