结论：在对方因公然辱骂你而被行政处罚的情况下，对方是否会知道你的信息，这主要取决于行政处罚的具体程序和公安机关的处理方式，但通常情况下，对方在接受处罚过程中是有可能知晓你的部分或全部信息的。不过，你可以通过合法途径保护自己的隐私信息不被不当泄露。
分析说明：
行政处罚程序中的信息披露：
- 在行政处罚程序中，公安机关需要调查取证，这可能包括询问受害者（即你）以了解案件情况。在这个过程中，你的身份信息（如姓名、联系方式等）可能会被记录在案。
- 当公安机关对违法行为人（即对方）进行处罚时，通常会告知其违法事实、处罚依据和处罚结果。在这个过程中，如果公安机关认为有必要，可能会向对方透露你的部分信息，如你的姓名（但通常不会透露你的详细联系方式或住址等敏感信息），以便对方了解因其违法行为而受到处罚的具体原因。
隐私保护与法律规定：
- 根据《中华人民共和国民法典》中关于隐私权和个人信息保护的规定，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。因此，公安机关在处理案件时，有义务保护你的隐私信息不被不当泄露。
- 如果对方通过非法手段获取了你的隐私信息，或者公安机关在处理案件过程中不当泄露了你的隐私信息，你都有权依法维护自己的合法权益。
可能的情况与应对建议：
- 情况一：如果对方仅知晓你的姓名，且该信息是在行政处罚程序中合法获取的，那么这通常不会对你的生活造成太大影响。你可以保持警惕，但不必过于担心。
- 情况二：如果对方通过非法手段获取了你的其他敏感信息（如联系方式、住址等），或者公安机关在处理案件过程中不当泄露了这些信息，那么你可能面临一定的安全风险。在这种情况下，你可以立即向公安机关报案，要求他们采取措施保护你的安全，并依法追究相关责任人的法律责任。
后续行动建议：
- 如果你担心自己的隐私信息被泄露，可以主动向公安机关了解案件处理情况，并要求他们采取措施保护你的隐私。
- 如果对方继续对你进行骚扰或威胁，你可以考虑向法院申请人身安全保护令，以维护自己的合法权益。
- 在日常生活中，注意保护自己的隐私信息，不要轻易向陌生人透露个人敏感信息。
如有任何进一步的问题或需要法律帮助，请直接向我咨询。