如果您在打架过程中只是拉架，却被对方指控打人且没有直接证据，您可以采取以下措施来应对：

1. 保持冷静，避免冲突升级：

   • 首先，保持冷静是非常重要的，避免与对方发生进一步的冲突，防止矛盾升级导致自身陷入更不利的局面。

2. 寻找现场证人并留存联系方式：

   • 现场目睹事件经过的人能提供关键证言。您可以主动与证人沟通，请求他们为您作证，并留存好证人的联系方式，以便必要时让证人协助向警方说明情况。

3. 收集其他间接证据：

   • 比如现场的监控录像，您可以请求相关场所的管理方提供。此外，如果有聊天记录、通话记录等能侧面反映情况的材料，也可以作为证据收集起来。

4. 及时报警并如实陈述：

   • 向警方如实陈述事情经过，配合警方的调查工作。警方会通过询问双方当事人、走访调查等方式来查明真相。

5. 不轻易答应对方不合理诉求：

   • 若对方要求赔偿或有其他不合理诉求，在真相未明之前，不要轻易答应。可待警方调查结果出来后，依据实际情况处理。

6. 考虑法律维权：

   • 若对方恶意诬陷，给您造成名誉损害等，您可以通过法律途径维护自身权益。例如，提起民事诉讼，要求对方停止侵害、消除影响、赔礼道歉、赔偿损失等。

综上所述，虽然您没有直接证据来证明自己的清白，但可以通过收集间接证据、寻找证人、报警并配合警方调查等方式来维护自己的权益。如果您在这个过程中遇到任何法律问题或需要进一步的法律帮助，请随时向我咨询。