您提到的“我不起诉被告人人家就要起诉我”这一说法，其实涉及到了刑事诉讼中的一些程序和权利。在刑事诉讼中，起诉和不起诉都是依据法律规定和案件事实来决定的，并不是简单的“你不起诉我，我就起诉你”的逻辑。

首先，我们要明确一点，法律既保护被害人的合法权益，也保护犯罪嫌疑人的合法权益。对于被害人来说，如果认为人民检察院对犯罪嫌疑人作出的不起诉决定不服，是有权进行申诉的，甚至可以直接向人民法院起诉。这是法律赋予被害人的权利，以确保其合法权益得到保障。

然而，对于犯罪嫌疑人来说，如果人民检察院对其作出了不起诉决定，这通常意味着在现有证据和法律规定下，人民检察院认为没有足够的理由对其提起公诉。此时，犯罪嫌疑人通常不会主动起诉被害人，因为这在法律上是没有依据的。当然，如果犯罪嫌疑人认为自己的权益受到了侵害，比如被错误地关押或者名誉受到了损害，他也有权向人民检察院或者其他相关部门提出申诉或者请求赔偿。

另外，您提到的“人家就要起诉我”可能指的是被害人或者其家属因为对案件处理结果不满而采取的法律行动。但是，这并不意味着他们可以随时随地地起诉您。在刑事诉讼中，起诉必须遵循一定的程序和法律规定。如果被害人或者其家属认为您的行为构成了犯罪，他们需要通过合法的途径向公安机关报案，并由公安机关进行调查取证。如果公安机关认为有必要提起公诉，会将案件移送人民检察院审查起诉。最终，是否起诉以及起诉的罪名和事实都需要由人民检察院根据法律规定和案件事实来决定。

因此，“我不起诉被告人人家就要起诉我”这一说法并不准确。在刑事诉讼中，起诉和不起诉都是依据法律规定和案件事实来决定的，并不是由个人意愿所决定的。如果您面临类似的情况或者有任何疑问和困惑，建议您咨询专业的法律人士或者律师以获取更详细和准确的法律建议。