1. A Formal Proof of the Expressiveness of Deep Learning
- Author
-
Dietrich Klakow, Jasmin Christian Blanchette, Alexander Bentkamp, Theoretical Computer Science, Network Institute, Vrije Universiteit Amsterdam [Amsterdam] (VU), Max-Planck-Institut für Informatik (MPII), Max-Planck-Gesellschaft, Modeling and Verification of Distributed Algorithms and Systems (VERIDIS), Department of Formal Methods (LORIA - FM), Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Inria Nancy - Grand Est, Institut National de Recherche en Informatique et en Automatique (Inria)-Max-Planck-Institut für Informatik (MPII), Max-Planck-Gesellschaft-Max-Planck-Gesellschaft, Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS), Universität des Saarlandes [Saarbrücken], Max-Planck-Gesellschaft-Max-Planck-Gesellschaft-Inria Nancy - Grand Est, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Department of Formal Methods (LORIA - FM), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS), Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), and Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)
- Subjects
Formalization ,Theoretical computer science ,Computer science ,HOL ,Tensors ,02 engineering and technology ,Type (model theory) ,Mathematical proof ,01 natural sciences ,Formal proof ,Development (topology) ,Artificial Intelligence ,Computer Science::Logic in Computer Science ,020204 information systems ,Machine learning ,0502 economics and business ,0202 electrical engineering, electronic engineering, information engineering ,0101 mathematics ,Borel measure ,business.industry ,Deep learning ,010102 general mathematics ,05 social sciences ,[INFO.INFO-LO]Computer Science [cs]/Logic in Computer Science [cs.LO] ,020207 software engineering ,Multivariate polynomials ,TheoryofComputation_MATHEMATICALLOGICANDFORMALLANGUAGES ,Computational Theory and Mathematics ,TheoryofComputation_LOGICSANDMEANINGSOFPROGRAMS ,Computer Science::Mathematical Software ,Convolutional arithmetic circuits ,050211 marketing ,Isabelle ,Artificial intelligence ,business ,SDG 4 - Quality Education ,Software - Abstract
Deep learning has had a profound impact on computer science in recentyears, with applications to image recognition, language processing, bioinformatics,and more. Recently, Cohen et al. provided theoretical evidence for the superiorityof deep learning over shallow learning. We formalized their mathematicalproof using Isabelle/HOL. The Isabelle development simplifies and generalizesthe original proof, while working around the limitations of the HOL type system.To support the formalization, we developed reusable libraries of formalizedmathematics, including results about the matrix rank, the Borel measure, andmultivariate polynomials as well as a library for tensor analysis.
- Published
- 2018