赫罗图并没有直接包含恒星距离。赫罗图有好几种型式，但在命名上都没有很好的定义。所有的型式都有共同的常规布局：亮度较大的恒星分布在图的顶端，表面温度高的恒星分布在图的左侧。
在19世纪，哈佛大学天文台对恒星进行了大规模的摄影光谱调查，获得数十万颗恒星的光谱，并加以分类，最终完成了亨利·德雷伯目录。安东妮亚·莫里参与了这项工作的一个部分，她依据谱线的宽度来分类恒星赫茨普龙指出，以窄谱线描述的恒星自行比同一光谱类型的其它恒星小。他认为这是窄谱线的恒星有更大光度的指示，并计算了一些群组的长期视差，让他可以估计其绝对星等。
原始的图在水平轴上显示恒星的光谱类型，在垂直的轴上显示绝对视星等。光谱类型不是数值的量，但其序列反映出恒星表面温度的单调序列。现代观测版本的图表将光谱类型替换成色指数，图的另一种形式是在一个轴上绘制恒星的有效表面温度，另一个轴是恒星的光度，并且几乎都是用双对数坐标系。恒星结构和恒星演化的理论计算产生的图和观测结果相符。这种图称为温度光度图。
天文学家可以利用赫罗图大致测量出星团或星系距离地球有多远。这可以通过将星团中恒星的视星等与已知距离（或模型恒星）的绝对星等进行比较来实现。然后将观察的整组在垂直方向移动，直到两者的主序带重叠。为了匹配两个群组而桥接的星等差异称为距离模数，也就是直接测量出的距离。