在合法合规的前提下，可以通过以下方式收集老公与邻居存在不正当关系的证据，但要注意不能侵犯他人合法权益：
书面材料类证据
- 聊天记录：如果老公和邻居是通过微信、QQ、短信等文字交流工具沟通，在取得老公手机等设备后，可以通过截图、录屏等方式保存他们之间的暧昧、露骨聊天内容。但要注意，获取这些聊天记录的方式要合法，不能通过非法侵入他人电子设备、非法窃取等手段获取。比如，不能在老公不知情的情况下，偷偷破解他的手机密码去获取聊天记录，这可能涉嫌侵犯他人隐私权等违法行为。如果是老公自愿让你查看手机并同意你保存相关记录，则是合法的。
- 书面承诺或保证：如果老公曾经因为此事写过悔过书、保证书等书面材料，承认与邻居有不正当关系，这些书面材料是非常有力的证据。这些材料可以直接证明老公自己承认了相关事实，在法律上具有较高的证明力。
- 开房记录等：通过合法途径获取的老公和邻居的开房记录，比如酒店出具的正规发票、住宿登记信息等。但获取这些信息需要通过合法渠道，例如向法院申请调查令，由法院向酒店等相关单位调取，而不能通过非法手段获取，如贿赂酒店工作人员等。
视听资料类证据
- 录音：在合法的前提下进行录音。比如，在与老公坦诚沟通此事时，在取得他同意的情况下进行录音，让他在录音中承认与邻居的关系；或者在公共场合，如小区花园等，无意中录到他们之间亲密交谈、承认关系等内容。但要注意，不能在他人住宅等私密空间安装窃听设备进行录音，这属于违法行为。
- 录像：如果在公共场合，如小区走廊、电梯等地方，拍摄到老公和邻居有亲密举动，如拥抱、亲吻等视频资料，可以作为证据使用。但同样不能在他人住宅等私密场所安装摄像头进行偷拍，这侵犯了他人的隐私权，所取得的证据也不被法律认可。
证人证言类证据
- 邻居或小区居民的证言：如果有邻居或者小区的其他居民看到老公和邻居之间有不正当的亲密行为，比如经常一起出入、行为举止亲密等，可以请他们作为证人出庭作证。但证人需要能够清晰、准确地描述所看到的情况，并且其证言要与其他证据相互印证，才能具有较高的可信度。
- 共同朋友的证言：如果老公和邻居有共同的朋友，这些朋友可能知道他们之间的关系情况，也可以请他们提供证言。但同样要注意证言的真实性和与其他证据的关联性。
在收集证据过程中，一定要注意合法性，否则证据可能不被法院采纳，甚至可能面临法律责任。如果你在收集证据或者后续处理相关事宜过程中遇到问题，可以直接向我咨询。