LAB-002, insan ile dil modeli arasındaki gerçek sohbetlerden seçilmiş örnekleri nitel gözlem olarak kaydeder.

Bir vakada yazım hatası nedeniyle “attırırım” ile “attırır” arasında anlam kayması oluşmuş, kimin kime eylem yönelttiği tersine çevrilmiştir. Başka bir vakada model bir ifadeyi düzelttiğini düşünürken yeni bir yanlış varsayım kurmuştur.

Geçmişte açıkça belirlenmiş hitap tercihi dikkate alınmadığında, bir soru talimat sanılabilmiştir. “Misafir” göndermesinde ise tek bir anıyı anmak, farklı zamanlardaki ilişkili olayları bulmak için yeterli olmamıştır.

Bir başka vakada asistanın bilmediği bir şaka terimi hakkında uydurma ayrıntı üretmek yerine açıklama istemesi, olumlu örnek olarak değerlendirilmiştir. Buradaki temel ayrım, basit hata ile boşluğu kendinden emin biçimde hayal ürünü ayrıntılarla doldurmaktır.

Bu vakalar çözümün doğrulandığını göstermez. Nitel gözlemlerdir; yeni sistem önerilerinin sınanması için soru ve hipotez üretmeye yardımcı olur.

LAB-002 ile bağlantılı küçük kural tabanlı pilotlar da bağımsız gerçek dünya performansı olarak yorumlanmamalıdır. Araştırmanın devamı için önceden belirlenmiş ölçütler ve kör değerlendirme gerekir.