El origen de este ilustre apellido, por referencias de historiadores de la época, podríamos afirmar, pero no asegurar, que este escudo u otro muy similar a él, apareció inicialmente desde el siglo XI al XIV, particularmente en la repoblación de Álava, fines del siglo XII, siendo una de las familias que fundó Vitoria en el lugar que ocupaba una aldea llamada Gazteiz. Las referencias de esta familia parecen precisarse con más frecuencia desde el siglo XV al XIX en especial los hechos de el descubrimiento de las islas Marquesas (Océano Pacífico), siendo uno de los oficiales al servicio de Don Alvaro de Mendaña, Adelantado del mar Océano. Todo ello parece coincidir con la memoria familiar de algunos de los miembros de la rama de la familia Bayelt.