在一般情况下，您不能单方面决定不追究对方的肇事责任。这是因为交通肇事行为如果构成交通肇事罪，那么它就属于刑事范畴，由司法机关依法进行追究，而不仅仅取决于当事人的意愿。下面我将从几个角度对此进行详细解释：

1. 交通肇事罪的性质：

   • 交通肇事罪是违反交通运输管理法规，因而发生重大事故，致人重伤、死亡或者使公私财产遭受重大损失的犯罪行为。这种犯罪侵犯的是公共安全，而不仅仅是被害人的个人权益。

2. 司法机关的介入：

   • 即使被害人表示不追究，司法机关仍会根据事故的具体情况，如肇事车辆的类型、行驶速度、肇事行为的恶劣程度，以及造成的后果（如人员伤亡情况、财产损失大小等）来综合判断是否构成犯罪以及量刑。
   • 如果交通肇事行为符合交通肇事罪的构成要件，司法机关会依法进行追究。

3. 当事人的谅解与量刑：

   • 当事人的谅解等情节在量刑时可能会作为从轻或减轻处罚的因素考虑，但这并不意味着可以完全不追究刑事责任。

4. 特殊情况的考虑：

   • 如果交通肇事罪的犯罪嫌疑人或被告人存在自首、立功等法定从轻、减轻或免除刑罚的情况，或者符合《中华人民共和国刑法》所规定的其他免于刑事处罚的情形（如犯罪情节轻微，社会危害性较小，且行为人具有悔过之意），则可斟酌不予追究刑事责任或给予免于刑事处罚。但这些都需要由司法机关依法做出裁决。

综上所述，您不能单方面决定不追究对方的肇事责任。如果交通肇事行为构成了犯罪，那么司法机关将依法进行追究。当然，在量刑时，当事人的谅解等情节可能会被考虑进去。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。