对方轻伤并指控你，但你没有实际殴打行为，不可以因此对你进行刑事拘留。以下是对此问题的详细分析：

一. 刑事拘留的条件

根据《中华人民共和国刑事诉讼法》第八十二条，公安机关对于现行犯或者重大嫌疑分子，如果有下列情形之一的，可以先行拘留：

1. 正在预备犯罪、实行犯罪或者在犯罪后即时被发觉的；
2. 被害人或者在场亲眼看见的人指认他犯罪的；
3. 在身边或者住处发现有犯罪证据的；
4. 犯罪后企图自杀、逃跑或者在逃的；
5. 有毁灭、伪造证据或者串供可能的；
6. 不讲真实姓名、住址，身份不明的；
7. 有流窜作案、多次作案、结伙作案重大嫌疑的。

二. 针对你情况的法律分析

1. 拘留的前提是存在犯罪事实：刑事拘留必须基于有犯罪事实发生，且该事实与你有关。在你没有实际殴打对方的情况下，不存在你犯罪的事实基础。

2. 对方指控不足以构成拘留理由：仅凭对方的指控，没有其他证据支持，不能作为拘留你的依据。公安机关必须依据确凿的证据来作出拘留决定。

3. 你有权进行陈述和申辩：根据《中华人民共和国治安管理处罚法》第九十四条，公安机关在作出治安管理处罚决定前，应当告知你作出治安管理处罚的事实、理由及依据，并告知你依法享有的权利。这包括陈述和申辩的权利。你有权对指控进行反驳，并提供证据证明自己没有殴打他人。

三. 建议与结论

• 建议积极配合调查：面对这种情况，我建议你积极配合公安机关的调查，如实陈述事实，并提供相关证据来证明自己的清白。

• 结论：综上所述，对方轻伤并指控你，但你没有实际殴打行为，公安机关无权仅基于这一指控对你进行刑事拘留。任何拘留决定都必须基于确凿的证据和法律规定。如有进一步需要，您可以继续咨询我。