结论：缓刑期间去被害人的工作单位，即使不与她说话，也可能违反缓刑的相关规定，具体是否构成违规需结合实际情况判断，但一般不建议这样做。
分析：
缓刑的基本规定：
- 缓刑是对被判处一定刑罚的罪犯，在一定期限内附条件地不执行所判刑罚的制度。在缓刑考验期内，罪犯需遵守一系列规定，包括遵守法律、行政法规，服从监督，按照考察机关的规定报告自己的活动情况，遵守考察机关关于会客的规定，以及离开所居住的市、县或者迁居，应当报经考察机关批准等。
去被害人工作单位的行为性质：
- 缓刑期间，罪犯的行为受到严格限制，主要是为了避免其再次犯罪或对被害人造成进一步的伤害或威胁。去被害人的工作单位，即使不与她说话，也可能被视为对被害人的一种潜在威胁或骚扰，尤其是如果这种行为频繁发生或给被害人带来心理压力。
可能违反的规定：
- 如果考察机关有明确规定缓刑期间不得接触被害人或去其工作场所，那么去被害人的工作单位就明显违反了这一规定。
- 即使没有明确规定，如果这种行为被视为对被害人的潜在威胁或骚扰，也可能被视为违反了缓刑期间应遵守的“遵守法律、行政法规，服从监督”等一般性规定。
法律后果：
- 如果违反缓刑的相关规定，考察机关可能会根据情节轻重，给予警告、撤销缓刑、收监执行原判刑罚等处罚。
建议：
- 避免接触：在缓刑期间，最好避免与被害人有任何形式的接触，包括去其工作单位，以减少不必要的麻烦和风险。
- 遵守规定：严格遵守缓刑期间的所有规定，包括报告活动情况、遵守会客规定等，以展示自己的悔改态度和遵守法律的决心。
- 咨询考察机关：如果有任何疑问或不确定自己的行为是否违反规定，应及时咨询考察机关或专业律师，以获取准确的指导和建议。
额外提醒：
- 缓刑期间是罪犯重新融入社会、改正错误的重要时期，应珍惜这个机会，严格遵守规定，努力表现自己，争取早日结束缓刑考验期。
- 如果与被害人之间存在未解决的纠纷或矛盾，应通过合法途径解决，如协商、调解或诉讼等，而不是采取可能违反缓刑规定的行为。
如有任何法律疑问或需要进一步的帮助，请直接向我咨询。