在公共场所，如果只有当事人和被害人，要认定“当众”这一要素，通常需要考虑以下几个方面：
首先，我们要明确“当众”的含义。在法律语境中，“当众”通常指的是在多人面前，或者是在能够被多人感知的环境下进行的行为。这不仅仅局限于物理上的“当众”，也包括在网络等广泛传播的情形。
接下来，针对你提出的场景，即只有当事人和被害人在场时，是否构成“当众”，我们可以从以下几个方面来认定：
场景的具体性：要具体分析当时的环境和情境。如果当事人和被害人在一个相对封闭的空间内，比如一个房间、一辆车内，且没有其他人在场或可能知晓，这通常不被认定为“当众”。因为“当众”要求有一定的公开性或多人知晓的可能性。
行为的性质：如果当事人对被害人实施的行为，比如侮辱、诽谤、暴力等，是具有公然性质的，即使只有当事人和被害人在场，但如果该行为本身具有可能被多人知晓的潜在性，比如通过大声喊叫、网络直播等形式，也可能被视为“当众”。
社会影响：还需要考虑行为对社会的影响。如果行为虽然只有当事人和被害人知晓，但后续被广泛传播，造成了较大的社会影响，也可能被视为“当众”。
法律的具体规定：在不同的法律条文中，“当众”的定义可能有所不同。因此，在具体案件中，需要参考相关法律条文的具体规定来认定。
综上所述，在只有当事人和被害人在场的情境下，要认定是否构成“当众”，需要综合考虑场景的具体性、行为的性质、社会影响以及法律的具体规定。如果你有更具体的法律问题或者需要进一步的法律咨询，欢迎随时向我提问，我作为一名拥有多领域法律实务经验的律师，很乐意为你解答。