Η Εθνική Πινακοθήκη ιδρύθηκε στις 10 Απριλίου 1900 με το νόμο ΒΨΛΔ΄, ο οποίος προέβλεπε τη θέση εφόρου. Στη θέση αυτή διορίστηκε ο ζωγράφος Γεώργιος Ιακωβίδης (1853-1932). Στις 28 Ιουνίου 1900 θεσμοθετήθηκε και ο κανονισμός λειτουργίας της, σύμφωνα με τον οποίο τα έργα της συλλογής της κατανέμονταν σε έξι τμήματα, που περιελάμβαναν «πίνακας της βυζαντινής τέχνης, […] της μεσαιωνικής, […] της νεωτέρας (ελαιογραφικούς), […] υδατογραφήματα, κρητιδογραφήματα και ιχνογραφήματα, […] αντίγραφα πινάκων, ων τα πρωτότυπα απόκεινται εν άλλαις συλλογαίς και εντύπους εικόνας (ξυλογραφήματα, χαλκογραφήματα, χαλυβογραφήματα, χαλκοτυπίας κ.τ.λ.)». Πυρήνα των συλλογών αποτέλεσαν 258 έργα τέχνης από τις συλλογές του Πολυτεχνείου και του Πανεπιστημίου, που παραδόθηκαν στον Γεώργιο Ιακωβίδη από τον διευθυντή του Πολυτεχνείου Αναστάσιο Θεοφιλά στις 28 Ιουλίου 1900, καθώς και η συλλογή έργων τέχνης του νομικού και φιλότεχνου Αλέξανδρου Σούτζου (1839-1895), ο οποίος με τη διαθήκη του είχε κληροδοτήσει την περιουσία του στο ελληνικό δημόσιο με σκοπό την ίδρυση και συντήρηση Μουσείου Ζωγραφικής. Η συλλογή του παραδόθηκε από τη σύζυγό του Ναταλία Σούτζου στις 21 Ιουνίου 1901.

Στις 24 Φεβρουαρίου 1906 δημοσιεύθηκε βασιλικό διάταγμα, με το οποίο διοριζόταν εξαμελής Επιτροπή Επίβλεψης αποτελούμενη από προσωπικότητες της πολιτικής και οικονομικής ζωής του τόπου: τον μετέπειτα πρωθυπουργό Στέφανο Σκουλούδη και τους Στέφανο Π. Ράλλη, Μάρκο Δραγούμη, Πέτρο Καλλιγά, Σπυρίδωνα Στάη και Θέμο Άννινο. Η Επιτροπή, σε συνεργασία με τον έφορο, σκοπό είχε την επιμέλεια της διακόσμησης, του εμπλουτισμού, της ανάπτυξης και της ευπρεπούς διατήρησης των συλλογών του μουσείου. Επιπλέον, για πρώτη φορά προβλέφθηκε οικονομική ενίσχυση της Πινακοθήκης με τρεις χιλιάδες δραχμές ετησίως από το κληροδότημα του ομογενή ευεργέτη Δημητρίου Δωρίδη, που είχε αφήσει την περιουσία του στο ελληνικό έθνος για να διατίθεται για αγαθοεργίες σε δημόσια ιδρύματα.

Ο εμπλουτισμός των συλλογών επιτεύχθηκε με την ψήφιση νόμων που εξασφάλιζαν την παραχώρηση έργων και χάρη σε γενναιόδωρες προσφορές ιδιωτών εντός και εκτός Ελλάδας. Στο πλαίσιο αυτό, στις 6 Απριλίου 1911 η Διαχειριστική Επιτροπή της περιουσίας του κληροδοτήματος Γεωργίου Αβέρωφ παρέδωσε στην Πινακοθήκη τους 80 πίνακες της συλλογής του, καθώς και 15 ακόμη που είχαν αγοραστεί με τα χρήματα του κληροδοτήματος, οι οποίοι εκτέθηκαν σε ιδιαίτερη αίθουσα με την επιγραφή «Πινακοθήκη Αβέρωφ», σύμφωνα με την επιθυμία του δωρητή.

Η πρώτη μεγάλη έκθεση έργων από τη συλλογή της Πινακοθήκης αναγγέλθηκε το 1912, τελικά όμως άνοιξε το 1915. Παρουσιάστηκαν τριακόσιοι περίπου πίνακες, που είχε συντηρήσει ο Γεώργιος Χατζόπουλος, σε έξι μεγάλες αίθουσες του Πολυτεχνείου.

Ο Γεώργιος Ιακωβίδης, σε συνεργασία με την Επιτροπή Επίβλεψης, κατέβαλε επίσης επίμονες προσπάθειες για την επίλυση του στεγαστικού, αφού η Πινακοθήκη δεν διέθετε κτίριο και από την ίδρυσή της στεγαζόταν στον πάνω όροφο του κεντρικού διαμερίσματος του Πολυτεχνείου. Οι προσπάθειες αυτές δεν είχαν αποτέλεσμα εξαιτίας διαφωνιών για την αρχιτεκτονική μορφή του κτιρίου ή την τοποθεσία ανέγερσής του. Το 1914 μάλιστα, με το νόμο 477, είχε παραχωρηθεί οικόπεδο στις οδούς Βασιλίσσης Σοφίας και Ριζάρη, το κτίριο όμως δεν ανεγέρθηκε λόγω των αντιρρήσεων των στρατιωτικών, στους οποίους ανήκε ο χώρος.

Παρ’ όλα αυτά, προκειμένου να προβληθεί ο παιδευτικός χαρακτήρας της Πινακοθήκης, ο Ιακωβίδης καθιέρωσε ελεύθερη είσοδο για το κοινό κάθε Σάββατο και Κυριακή σε αίθουσες του Πολυτεχνείου που χρησίμευαν και για την έκθεση των έργων. Δημοσίευσε επίσης τους πρώτους καταλόγους του μουσείου το 1906 (που περιείχε και τον κανονισμό λειτουργίας) και το 1915, ενώ για τη συντήρηση των έργων φρόντισε να νομοθετηθούν δύο θέσεις επιμελητών, δηλαδή συντηρητών, τις οποίες κατέλαβαν οι ζωγράφοι Γεώργιος Χατζόπουλος και Οδυσσέας Φωκάς.