结论：城管未到现场查看就下达责令停止建设行为通知书，这一行为是否违法，需结合具体情况判断，但通常情况下，行政机关在作出行政行为前应进行充分的调查取证，未到现场查看可能构成程序违法。以下从多个角度进行分析：
一、行政行为合法性的基本要求
根据《中华人民共和国行政处罚法》等相关法律法规，行政机关在作出行政处罚或行政命令（如责令停止建设行为）时，必须遵循法定程序，包括调查取证、告知权利、听取陈述申辩等。其中，调查取证是行政行为合法性的基础，它要求行政机关在作出决定前，必须充分了解事实情况，收集相关证据，以确保决定的准确性和公正性。
二、未到现场查看可能构成程序违法
缺乏事实依据：如果城管部门在未到现场查看的情况下就下达了责令停止建设行为通知书，那么该决定可能缺乏充分的事实依据。因为现场查看是了解建设行为实际情况、确认是否存在违法行为的重要途径。未进行现场查看，可能导致行政机关对事实情况的判断出现偏差，从而作出错误的行政决定。
违反法定程序：根据行政程序的基本原则，行政机关在作出行政行为前应进行充分的调查取证。未到现场查看可能被视为未履行这一法定程序，从而构成程序违法。程序违法可能导致行政行为的无效或被撤销，因为程序公正是实体公正的重要保障。
三、例外情况与特殊考量
紧急情况：在某些紧急情况下，如建设行为可能立即对公共安全或他人权益造成严重损害时，城管部门可能无需事先到现场查看即可采取紧急措施。但这种情况应受到严格限制，并需在事后及时补全相关程序。
其他证据支持：如果城管部门虽然未到现场查看，但通过其他途径（如群众举报、监控录像等）获得了充分证据证明建设行为违法，那么其下达的责令停止建设行为通知书可能仍具有合法性。然而，这种情况下的证据收集也应遵循法定程序，确保证据的合法性和有效性。
四、法律建议与后续行动
对于建设方：如果认为城管部门的责令停止建设行为通知书存在程序违法或事实认定错误的情况，可以依法申请行政复议或提起行政诉讼，以维护自己的合法权益。
对于城管部门：应严格遵守法定程序，在作出行政行为前进行充分的调查取证。如果因特殊情况无法事先到现场查看，也应在事后及时补全相关程序，并确保决定的准确性和公正性。
最后，如果你在行政纠纷方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，为你提供专业、全面的法律建议。