18:35
Comentarii Adauga Comentariu

Queen 2.5


Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă...
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ...
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri...
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ...
  • Îmbunătățirea matematică: abilitatea matematică a lui Qwen2.5 a cunoscut o îmbunătățire rapidă...
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane...
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor...

Card model Qwen2.5

Modele Params Parametrii non-Emb Straturi Capete (KV) Încorporarea cravatei Lungimea contextului Lungimea generației Licenţă
Qwen2.5-0.5B 0,49B 0,36B 24 14 / 2 Da 32K 8K Apache 2.0
Qwen2.5-1.5B 1,54B 1,31B 28 12 / 2 Da 32K 8K Apache 2.0
Qwen2.5-3B 3.09B 2,77B 36 16 / 2 Da 32K 8K Cercetarea Qwen
Qwen2.5-7B 7,61B 6,53B 28 28 / 4 Nu 128K 8K Apache 2.0
Qwen2.5-14B 14.7B 13.1B 48 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-32B 32,5B 31.0B 64 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-72B 72,7B 70,0B 80 64 / 8 Nu 128K 8K Qwen

Performanțe Qwen2.5

Performanța modelelor Qwen2.5 este evaluată pe o gamă largă de sarcini, incluzând matematică, codare și multilingvism.

Performanță Qwen2.5-72B

Modelul de bază Qwen2.5-72B iese în evidență prin depășirea semnificativă a altor modele din categoria sa într-un spectru larg de sarcini.

Performanță Qwen2.5-14B/32B

Modelele Qwen2.5-14B și Qwen2.5-32B oferă performanțe robuste în sarcini generale precum MMLU și BBH...

Performanță Qwen2.5-7B

Modelul Qwen2.5-7B depășește atât predecesorii, cât și concurenții săi într-o gamă largă de benchmark-uri.

Concluzii

Modelele Qwen2.5 reprezintă un progres semnificativ, oferind performanțe competitive într-o gamă variată de domenii și fiind optimizate pentru utilizare în aplicații diverse.


(Mediafax)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

_ Tot ce poate merge prost cu sânii tăi - și ce să faci în privința asta: ghidul definitiv al DR PHILIPPA KAYE

_ Moment dramatic, stăpânul supărat de animal de companie îi ordonă lui Rotweiller să-și atace vecinul în vârstă de alăturat doar pentru a ajunge să-l muște pe pensionar EȘASA - când câinele refuză

_ Primul genom complet al unui șarpe ajută la înțelegerea istoriei sale evolutive

_ Supărare mare - se anunța o lansare cu scântei a candidaților USR

_ Forţele americane şi britanice efectuează noi lovituri împotriva Houthis în Yemen

_ Record de beneficiari de ajutor social în decembrie 2023

_ Soțul gelos și fost consilier conservator care s-a pozat în om de afaceri de succes cu plăcuța „7ORY” și-a urmărit fosta soție în campanie de teroare

_ SUA se pregătesc să abandoneze bazele din estul Siriei și să se �ntoarcă �n China

_ Rujeola face ravagii în România. Număr record de cazuri, iar un bărbat a murit recent după ce a luat boala de la fiul său

_ Pe măsură ce schimbările climatice și poluarea pun în pericol recifele de corali, oamenii de știință îngheață coralii pentru a repopula viitoarele oceane

_ CAROLINE WEST-MEADS: „Partenerul prietenului meu o folosește ca bilet de masă”

_ Sports Illustrated Model Rocks poșeta �MAGA� la evenimentul Maxim�s Super Bowl LVIII

_ William nu știa dacă era posibil să iubești o singură fată... dar apoi Kate a lovit orașul într-o rochie sexy și a revenit în fugă. Aclamatul autor regal PENNY JUNOR despre povestea adevărată din spatele ACEI despărțiri

_ Ar trebui să fie forțați proprietarii de câini să curețe urina animalului de companie? Un angajat al NHS susține că o femeie „agresivă” a personalului de poliție i-a ordonat să „curățeze” mizeria lui Saluki

_ Stoltenberg de la NATO se așteaptă ca SUA să rămână „aliat angajat”, chiar dacă Trump se întoarce

_ Cutremur, duminică dimineață, în România. INFP anunță activitate seismică intensă în țară

_ Atacul cu rechinul din Tobago: Vecinii descriu atacul „oribil și traumatizant” al unui rechin taur asupra tatălui britanic de doi copii, în vârstă de 64 de ani, în timp ce acesta înota în mare

_ De ce să investești în ferestre termopan de calitate și care sunt criteriile de selecție

_ Paraziți tropicali care infectează coralii descoperiți în ecosistemele marine reci

_ Grevă „FX Vigilantes” - Yenul se prăbușește brusc la minimele din aprilie 1990 față de dolar

_ DEZVOLTARE: SUA oprește finanțarea agenției ONU �n urma acuzațiilor de implicare a angajaților �n masacrul din Israel din 7 octombrie

_ Înțelegerea acidului iasmonic: un comutator care activează autofagia în petalele de Arabidopsis

_ Shooting horror în Cisiordania: o persoană este ucisă și șapte rănite în timp ce bărbații înarmați deschid focul asupra blocajului în trafic înainte ca forțele de securitate israeliene să „neutralizeze” toți cei trei atacatori

_ Papa Francisc va vizita câteva țări din Asia

_ Politica de predare a cuțitului zombi de la Labor, care oferea compensații pentru lamele avea „defecte uriașe” și putea costa până la 1,1 MILIOANE de lire sterline

_ Nadia Comăneci a răbufnit după ce Călin Georgescu i-a folosit imaginea: Sunt surprinsă

_ De ce programe de slăbit foarte utile în cazul unora, eșuează lamentabil la alții?

_ Fiica �Angry Black Girl� a lui Ilhan Omar, Isra Hirsi, a fost suspendată de Colegiul Barnard din cauza ocupației pro-Hamas a Universității Columbia

_ Illinois se mută pentru a elimina mii de non-cetățeni de la asistența medicală subvenționată de contribuabili

_ Principalul general britanic spune că civilii vor trebui �nrolați �ntr-o �armata cetățeană� pentru a lupta �mpotriva Rusiei.

În 35 de ani de Soroșism, Familia Tradițională a fost distrusă. UE A AJUNS LA 700.000 DE DIVORȚURI Rata divorțurilor s-a triplat. Unu din doi copii se nasc in afara căsătoriei. Înțelegeți de ce Călin Georgescu a spus că Familia trebuie protejata?

_ Fiica vitregă a lui Emmanuel Macron spune că este încă rănită de „relația interzisă” a mamei sale cu viitorul președinte francez – și abordează, de asemenea, zvonul bizar că Brigitte s-a născut bărbat

_ Biologii folosesc învățarea automată pentru a clasifica fosilele de polen dispărut

_ Bruce Springsteen a semnat motivarea absenței pentru o adolescentă, la concert

_ Doi adolescenți, unul în vârstă de doar 13 ani, pledează vinovați de ucidere voluntară în momentul în care l-au bătut pe adolescent din Las Vegas, Jonathan Lewis, după ce alți patru au fost inculpați de marele juriu pentru crimă

_ Trump �l trage pe Haley pentru absența soțului de la campanie �n comentarii despre neloialitate

_ Nebunia: Judecătorul din El Paso respinge acuzațiile de �revoltă� �mpotriva a 140 de străini ilegali, �i eliberează din custodia de stat

_ Sven-Goran Eriksson va fi antrenorul lui Liverpool la un meci amical

_ Arma secretă a antisemitului din campus

_ Vine prăpădul economic! Mircea Coșea aruncă bomba și îi avertizează pe români

_ Roxy Shahidi și Lou Sanders de la Dancing On Ice părăsesc spectacolul în șoc cu dublă eliminare

_ URMĂȚI LIVE: Președintele Trump ține o conferință de presă TRUMP TOWER în urma verdictelor de vinovăție din procesul istoric marxist al judecătorului Juan Merchan din New York – Ora de începere: 11:00 ET

_ Fiica înstrăinată a lui Tom Cruise, Suri, împlinește 18 ani când iese în New York ținând un cadou de ziua de naștere, în timp ce tatăl scientologist filmează Mission: Impossible, la 3.500 de mile distanță, în Marea Britanie

_ #BoycottDoritos Tendințele X după ce compania a angajat un activist transgender care a postat lucruri SICK despre violarea „fetelor de 12 ani” în calitate de ambasador al mărcii – Doritos răspunde concediind-o pe Sicko la două zile după angajare!

_ Robotul care joacă cărți are creier Raspberry Pi și braț imprimat 3D

_ Nike și FA insistă că NU își vor reaminti echipamentul controversat al Angliei Euro 2024 după ce au modificat St George's Cross... deoarece susțin că noua bandă îi onorează pe eroii țării de la Cupa Mondială din 1966

_ Trăim într-o zonă industrială „ascunsă” construită în rămășițele unei cariere din Cornwall, consiliul a încercat să ne închidă dar nu le vom lăsa niciodată

_ Silvestru Șoșoacă pregătește lovitura loviturilor pentru Diana Șoșoacă: ce se va întâmpla după divorț

_ Iga Swiatek a câştigat turneul de la Indian Wells (WTA)

_ Video | Accident teribil în Constanța. Sunt doi morți

_ New Tezaur securities issue, with up to 6.75pct per annum non-taxable interest

_ Man United „a luat deja o decizie în privința lui Erik ten Hag” - și va fi demis chiar dacă câștigă Cupa FA, sugerează Alan Shearer, în timp ce dezvăluie cei doi indicatori mari care arată că demiterea este iminentă

_ Procesul lui Donald Trump ÎN DIRECT: Fostul președinte dă din cap frustrat de decizia judecătorului, în timp ce juratul recunoaște șoc despre preocupările ei în cazul banilor liniștiți

_ Leclerc şi-a prelungit contractul cu Ferrari

_ Am păzit unii dintre cei mai cunoscuți prizonieri ai Marii Britanii - de aceea este GREȘIT să-l țin pe „Hannibal Canibalul” Robert Maudsley închis într-o temniță de sticlă

Luptătorul din Arenă

_ Asistenta NHS, 48 de ani, care s-a înjunghiat în afara unui spital și s-a prefăcut că a fost „atacată aleatoriu” de către un pacient, în încercarea deformată de a cere despăgubiri prăbușirea în bancă în timp ce este închisă

_ Biden DOJ: Un informator FBI arestat de Fed susține că �informațiile ruse� sunt implicate �n transmiterea poveștii lui Hunter Biden Burisma

_ SONDAJ: 54% dintre democrați vor ca Joe Biden să fie înlocuit cu altcineva

_ Dacă Europa are gheizere, sunt foarte slabe


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13 Pag.14 Pag.15
Pag.16 Pag.17 Pag.18 Pag.19 Pag.20 Pag.21 Pag.22 Pag.23
Pag.24 Pag.25 Pag.26 Pag.27 Pag.28 Pag.29 Pag.30 Pag.31
Pag.32 Pag.33 Pag.34 Pag.35 Pag.36 Pag.37 Pag.38 Pag.39
Pag.40 Pag.41

Nr. de articole la aceasta sectiune: 2401, afisate in 41 pagini.