Pirmadienį „Meta Exec“ paneigė gandą, kad įmonė mokė savo naujus AI modelius, kad galėtų gerai pristatyti konkrečius etalonus, kartu slepdama modelių silpnybes.
Generacinio AI „Meta“ viceprezidentas Ahmadas al-Dahle'e „Meta“ viceprezidente „X“ pranešime teigė, kad „tiesiog netiesa“, kad „Meta“ treniravo savo „Lla 4 Maverick“ ir „Llam 4 Scout“ modelius „Testų rinkiniuose“. AI etalonuose bandymų rinkiniai yra duomenų rinkiniai, naudojami modelio našumui įvertinti po to, kai jis buvo išmokytas. Treniruotės pagal bandymų rinkinį gali klaidinti modelio etaloninius balus, todėl modelis atrodo pajėgesnis, nei yra iš tikrųjų.
Savaitgalį nepagrįstas gandas, kad meta dirbtinai padidino savo naujų modelių etaloninius rezultatus, pradėjo sklisti X ir „Reddit“. Panašu, kad gandai kilo iš pranešimo Kinijos socialinės žiniasklaidos svetainėje iš vartotojo, kuris, kaip teigiama, atsistatydino iš meta, protestuodamas dėl bendrovės lyginamosios analizės praktikos.
Ataskaitos, kad „Maverick“ ir „Scout“ atlieka blogai dėl tam tikrų užduočių, paskatino gandą, kaip ir „Meta“ sprendimas naudoti eksperimentinę, neišleistą „Maverick“ versiją, kad pasiektų geresnius balus „LM“ arenoje. X tyrėjai pastebėjo ryškius viešai atsisiunčiamo „Maverick“ elgesio skirtumus, palyginti su modeliu, surengtu LM arenoje.
„Al-Dahle“ pripažino, kad kai kurie vartotojai mato „mišrią kokybę“ iš „Maverick“ ir „Scout“ skirtinguose debesų tiekėjuose, kurie priima modelius.
„Kadangi mes atsisakėme modelių, kai tik jie buvo paruošti, mes tikimės, kad prireiks kelių dienų, kol bus surinkti visi vieši įgyvendinimai“,-teigė Al-Dahle. „Mes toliau dirbsime naudodamiesi savo klaidų pataisomis ir įjungimo partneriais.“
