侮辱与诽谤，即使并没有直接造谣，也可能犯法。

首先，我们需要明确侮辱与诽谤的定义及其法律后果：

1. 侮辱：指以暴力或者其他方法公然贬损他人人格，破坏他人名誉的行为。这包括但不限于以言语、文字、图像等方式对他人进行贬低、羞辱或嘲讽。

2. 诽谤：指捏造并散布某些虚假的事实，破坏他人名誉的行为。诽谤通常涉及对他人品德、能力、行为等方面的不实指责。

接下来，我们分析“并没有直接造谣”这一表述：

• “并没有直接造谣”可能意味着没有直接捏造并散布关于他人的虚假事实。然而，侮辱行为并不要求必须造谣，只要公然贬损他人人格即可能构成侮辱。
• 同时，即使某些言论或行为看似没有直接造谣，但如果其含义或暗示足以使他人名誉受损，也可能被视为诽谤。

现在，我们根据相关法律条款进行具体说明：

• 根据《中华人民共和国治安管理处罚法》，若有人散布谣言，或者通过其他方法故意扰乱公共秩序，根据情节不同有相应处罚。这包括可能面临的拘留和罚款等行政处罚。
• 若侮辱或诽谤行为情节严重，还可能触犯《中华人民共和国刑法》中的相关规定，如侮辱罪、诽谤罪等。这些罪行可能导致有期徒刑、拘役、管制或剥夺政治权利等刑事处罚。

综上所述，侮辱与诽谤行为，即使并没有直接造谣，也可能触犯法律并受到相应的处罚。因此，在日常生活中，我们应尊重他人的人格和名誉，避免使用侮辱性或诽谤性的言论或行为。如果遇到类似情况，建议及时收集证据，并向公安机关报案或向法院提起民事诉讼，以维护自身的合法权益。