你好：

     你咨询的问题属于抚养权变更问题。依照最高人民法院的司法解释，一方要求变更子女抚养关系有下列情形之一的，应予支持。（１）与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；（２）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；（３）十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；（４）有其他正当理由需要变更的。

   虽然你们协议子女由对方抚养，但其行为符合（２）情况，建议协商变更或诉讼变更子女抚养权。只有变更抚养权时，才涉及对方支付抚养费、探视时间地点问题。