结论：在对方没有证据的情况下，侵犯个人隐私的行为，警察是否会管，取决于多种因素，包括行为的性质、严重程度以及是否构成犯罪等。一般来说，如果仅是轻微的侵犯隐私行为，可能不构成犯罪，警察可能不会直接介入处理，但会进行调解或建议通过其他途径解决；如果行为严重到构成犯罪，即使对方暂时没有直接证据，警察也会依法进行调查。
分析说明：
轻微侵犯隐私行为：
- 在日常生活中，轻微的侵犯隐私行为，如未经允许查看他人手机、偷窥他人生活等，虽然不道德，但可能并不构成犯罪。
- 对于这类行为，警察可能不会直接介入处理，因为这不属于刑事案件范畴。但警察可能会进行调解，或者建议受害者通过民事途径，如向法院提起诉讼，要求侵权者承担民事责任，如停止侵害、赔礼道歉、赔偿损失等。
严重侵犯隐私行为构成犯罪：
- 如果侵犯隐私的行为严重到构成犯罪，如非法获取、出售或者提供公民个人信息，情节严重的，就可能触犯《中华人民共和国刑法》中的相关规定，构成侵犯公民个人信息罪。
- 在这种情况下，即使对方暂时没有直接证据，警察也会依法进行调查。警察有权采取必要的侦查措施，如询问嫌疑人、调取监控录像、搜查等，以收集证据，查明事实真相。
- 如果调查后确认有犯罪事实发生，且证据确实充分，警察会将案件移送检察机关审查起诉，最终由法院进行审判。
特殊场景：
- 在某些情况下，即使行为看似轻微，但如果频繁发生或者对受害者造成了严重的精神损害，也可能被视为情节严重，从而构成犯罪。例如，长期偷窥、骚扰他人，导致受害者精神崩溃等。
- 另外，如果侵犯隐私的行为与其他犯罪行为相结合，如利用窃取的个人信息进行诈骗、敲诈勒索等，那么将构成更严重的犯罪，警察会依法进行严厉打击。
行动建议：
- 如果您认为自己的隐私权受到了侵犯，无论行为是否严重，都可以向警察报案。警察会根据具体情况进行判断和处理。
- 同时，您也可以考虑通过民事途径维护自己的权益，如向法院提起诉讼，要求侵权者承担民事责任。
- 在日常生活中，我们也应该增强自我保护意识，注意保护自己的个人信息和隐私，避免不必要的损失。
如果您有进一步的法律问题或需要更详细的法律建议，请直接向我咨询，我会根据您的具体情况提供专业的法律帮助。