Entre tanto, probablemente ajeno a las penurias de su madre y a las inquietudes de sus hermanos mayores, Gustavo acudirá al Instituto de Bachillerato de Bilbao, y como un niño más de su edad, dedicará más tiempo a emborronar sus libros de dibujos (sobre todo con caricaturas de su hermana María) que a estudiar y, como no, a soñar.

Con el apoyo de su madre pasa a aprender dibujo en el taller del pintor tolosarra, afincado en Bilbao, Antonio María de Lecuona y Echániz, quien fue pintor de Cámara de la Corte de Carlos VII. Con él, Gustavo, aprendió los rudimentos del dibujo y de la pintura.

Como nos cuenta Unamuno, discípulo del mismo pintor, en su estudio se podían contemplar copias de Teniers, donde se refleja el ambiente populachero. Pero también se hablaba del Greco, aunque "no más que como un loco y un extravagante".