在處理不滿14周歲的人或者精神病人在不能辨認或者不能控制自己行為時實施違法行為的問題時，還要注意一個問題，就是要正確認識和評價行為人人的責任。我國行政處罰法沒有規定對于被監護人的行政違法行為監護人有行政責任，只是規定了被監護人實施了行政違法行為在行政機關決定不予處罰后，責令其監護人承擔管教或者嚴加看管和治療的責任。
這樣規定是出于以下幾點考慮：第一，實施行政處罰必須貫徹誰違法，誰承擔責任的原則。因此，對于被監護人實施的違法行為，盡管有可能與監護人對被監護人教育、管理不嚴有關，也不能讓監護人代其受過，因為未盡到監護職責與行政違法行為是兩個法律范疇的問題，人應簡單地作出規定，否則不符合“罪責自負”的原則。第_二，我國的監護制度是建立在民事法律基礎上的，其目的首先是為了保護無人和限制民事行為能力人的合法權益，通過監護人代理被監護人參與民事活動，彌補被監護人能力的不足;其次是為了約束被監護人的行為，防止被監護人實施不法行為，以維護社會穩定。
從這個角度看，我國民事法律規范對監護人不履行監護職責作出了應當的規定，同時還規定人院也可以根據被監護人的利害關系人或者有關單位的申請，依法撤銷其監護的資格。
根據行政處罰法的規定，如果不滿14周歲的未成年人或者無責任能力的精神病人實施了違法行為，首先應當要求監護人加強對被監護人的管理和教育，增強監護人對未成年人或者精神病人進行監護的責任心;其次對于被監護人實施違法行為給他人造成損害，根據民法通則的規定，監護人應當承擔民事責任，對受害人給予適當賠償;同時對于不合格的監護人根據被監護人的利害關系人或者有關單位的申請，人民法院也可以依法撤銷其監護的資格。
