Нет, не могут - в силу алгоритмической неразрешимости задачи анализа алгоритмов.
Нейросети, построенные на базе цифровых вычислительных систем (а это абсолютно все современные нейросети), являются алгоритмами - со всеми непреодолимыми ограничениями, вытекающими из теории алгоритмов.
То, что сейчас выдают ChatGPT и ему подобные системы, всего лишь компоновка найденных в интернете текстов в единый более-менее связный текст.