不算诽谤。在法律上，诽谤是指故意散布虚构的事实，损害他人名誉的行为。而你描述的情况是，你的老公到处说你指责他出轨，这实际上是你对他行为的一种主观评价或指责，并非你虚构并散布关于他的不实事实。

具体来说，诽谤的构成通常需要满足以下几个要素：

1. 故意散布：即行为人明知或应知所散布的是不实信息，仍故意进行传播。
2. 虚构事实：所散布的信息必须是虚假的，而非真实存在或可能存在的情况。
3. 损害名誉：该信息的散布导致了被害人名誉的损害。

在你的情况下，你并没有故意散布关于你老公的不实信息，而只是表达了你对他行为的看法或指责。因此，这并不构成诽谤。

另外，值得注意的是，虽然你的行为不构成诽谤，但如果你和你的老公之间存在婚姻纠纷，建议你们通过更加理性和成熟的方式来处理彼此之间的矛盾和分歧。如果需要法律帮助或咨询，欢迎随时向我提问，我会尽力为你提供专业的法律建议和支持。