结论：对方确实有可能以你方存在家暴行为为由起诉变更抚养方式，但最终是否能够变更成功，取决于法院对多个因素的综合考量。

分析如下：

1. 家暴行为的认定与影响：

   • 家暴行为在法律上是被严格禁止的，并且会作为法院判决抚养权归属时的重要考量因素。如果对方能够提供充分证据证明你方存在家暴行为，这将对抚养权的判决产生不利影响。
   • 然而，仅凭一次肢体冲突并不一定就能直接认定为家暴。家暴通常指的是持续性的、反复性的暴力行为。如果这次肢体冲突是孤立的、偶发的，并且没有造成严重后果，那么可能不会被直接认定为家暴。

2. 抚养权变更的法律依据：

   • 根据《中华人民共和国民法典》的相关规定，父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。离婚后，父母对于子女仍有抚养、教育、保护的权利和义务。
   • 如果一方存在不利于子女身心健康的情形，如家暴、虐待、遗弃等，另一方有权向法院请求变更抚养关系。法院在判决时会综合考虑子女的权益、双方的经济状况、生活环境、教育条件等多方面因素。

3. 对方起诉变更抚养方式的可能性与条件：

   • 对方确实有可能以你方存在家暴行为为由起诉变更抚养方式。但为了成功变更，对方需要提供充分证据证明你方存在不利于子女身心健康的情形，并且这种情形已经严重到需要变更抚养关系的程度。
   • 除了家暴行为外，对方还可能提出其他理由来支持其变更抚养方式的请求，如你方经济状况恶化、生活环境不利于子女成长等。

4. 你方的应对策略：

   • 如果你方认为对方提出的家暴行为不成立或存在误解，应积极收集证据来反驳对方的指控。这可以包括证人证言、监控录像、医疗记录等。
   • 同时，你也可以主动提供证据证明自己具备良好的抚养条件和能力，如稳定的工作和收入、良好的生活环境、丰富的教育资源等。
   • 在诉讼过程中，保持冷静和理性，积极配合法院的调查和调解工作，以争取最有利的判决结果。

建议：

• 如果你方确实存在一次肢体冲突但并非家暴行为，建议尽快与对方沟通解释清楚情况，避免矛盾升级。
• 如果对方已经提起诉讼要求变更抚养方式，建议你方积极应诉并收集相关证据来支持自己的立场。
• 在整个过程中，保持对子女的关爱和照顾，确保他们的身心健康不受影响。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。