Richtig, Gattung ist bei allen die gleiche (
Capsicum), die Arten unterscheiden sich allerdings deutlich.
C. annuum: meist rein weiße, aber auch mit violett, große Blüte; schlanker Wuchs; glatte Blätter mit langem Stiel; Frucht stehend oder hängend
C. baccatum: Blüte mit charakteristischen grün/gelben Flecken auf der Innenseite; schlanker Wuchs, später auch buschig; meist kantiger Stamm; Frucht hängend
C. chinense: kleine, meist weißliche Blüten, oft mehrere pro Blattknoten; gedrungener, buschiger Wuchs; Blätter oft gewellt mit kurzem Stiel; Frucht hängend
C. frutescens: kleine, grünlich-weiße Blüten; leicht raue Blattränder; buschiger Wuchs; Frucht oft stehend
C. pubescens: große, violette Blüte; ausladenender Wuchs; behaarte Blätter/Stiele; große, fleischige Früchte; schwarze Samen
Das wäre so meine Schnellantwort, da bekommt man die meisten Arten mit unterschieden. Es gibt natürlich immer Ausnahmen, außerdem noch Wildsorten.
Eine schöne Übersicht findest du auch hier: http://www.hot-pain.de/chili-botanik