结论前置：领养孩子长大后与亲生父母来往，一般情况下，养父母不可以直接起诉。不过，具体是否可以采取法律行动，需根据来往行为是否侵犯养父母权益、是否违反法律规定等具体情况来判断。以下从不同角度为你详细分析：

从收养关系的法律性质角度

根据我国现行《民法典》中关于收养的规定，收养关系一旦依法成立，养父母与养子女之间的权利义务关系，就等同于亲生父母子女之间的权利义务关系。这意味着养父母对养子女有抚养、教育和保护的义务，养子女对养父母也有赡养、扶助和保护的义务。同时，养子女与亲生父母以及其他近亲属间的权利义务关系，因收养关系的成立而消除。

如果养子女长大后与亲生父母来往，这种来往本身并不直接违反法律规定，也没有直接损害养父母的法定权益。因为正常的亲情交流、探望等来往行为，并不必然导致养父母与养子女之间的收养关系受到影响，也不一定会使养父母的权益受到侵害。所以，仅从收养关系的法律性质来看，养父母不能仅仅因为养子女与亲生父母来往就起诉。

从可能侵犯养父母权益的角度

1. 若来往行为导致养子女不履行对养父母的义务 如果养子女与亲生父母的来往，导致养子女对养父母不履行赡养、扶助和保护等义务，比如拒绝支付赡养费、不照顾养父母的生活起居等。在这种情况下，养父母可以先与养子女进行沟通协商，要求其履行应尽的义务。如果协商无果，养父母可以以养子女不履行赡养义务为由，向人民法院提起诉讼，要求养子女支付赡养费、履行赡养义务等。 例如，养父母年事已高，没有劳动能力且生活困难，养子女却因为与亲生父母频繁来往，将精力都放在亲生父母那边，对养父母不管不顾，也不支付赡养费。此时养父母就可以收集相关证据，如生活困难证明、养子女不履行义务的证人证言等，向法院起诉。
2. 若来往行为存在恶意侵害养父母权益的情况 假如养子女与亲生父母的来往是出于恶意，比如联合亲生父母来侵占养父母的财产、骚扰养父母的生活等。养父母可以收集相关证据，如财产被侵占的凭证、骚扰行为的记录（如录音、录像、证人证言等），以侵害财产权或人格权等为由向人民法院提起诉讼，要求对方停止侵害、赔偿损失等。 比如，养子女与亲生父母合谋，偷偷将养父母名下的房产过户到自己名下，养父母发现后可以凭借房产证明、过户手续等相关证据，向法院起诉养子女和其亲生父母，要求返还房产。

从道德和情感层面角度

虽然从法律角度上，养子女与亲生父母来往在一定情况下可能不会直接导致养父母可以起诉，但从道德和情感层面来看，养父母在养子女成长过程中付出了大量的心血和精力，养子女也应该考虑到养父母的感受。如果养子女与亲生父母来往过于频繁，忽略了养父母的情感需求，可能会伤害到养父母与养子女之间的感情。在这种情况下，建议养父母与养子女通过沟通、交流的方式，表达自己的想法和感受，增进彼此的理解和信任，而不是直接采取法律手段。

如果你在处理这类抚养纠纷过程中遇到具体问题，比如不清楚如何收集证据、不知道诉讼流程等，都可以直接向我咨询，我会为你提供详细的法律指导。