18:35
Comentarii Adauga Comentariu

Queen 2.5


Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă...
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ...
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri...
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ...
  • Îmbunătățirea matematică: abilitatea matematică a lui Qwen2.5 a cunoscut o îmbunătățire rapidă...
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane...
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor...

Card model Qwen2.5

Modele Params Parametrii non-Emb Straturi Capete (KV) Încorporarea cravatei Lungimea contextului Lungimea generației Licenţă
Qwen2.5-0.5B 0,49B 0,36B 24 14 / 2 Da 32K 8K Apache 2.0
Qwen2.5-1.5B 1,54B 1,31B 28 12 / 2 Da 32K 8K Apache 2.0
Qwen2.5-3B 3.09B 2,77B 36 16 / 2 Da 32K 8K Cercetarea Qwen
Qwen2.5-7B 7,61B 6,53B 28 28 / 4 Nu 128K 8K Apache 2.0
Qwen2.5-14B 14.7B 13.1B 48 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-32B 32,5B 31.0B 64 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-72B 72,7B 70,0B 80 64 / 8 Nu 128K 8K Qwen

Performanțe Qwen2.5

Performanța modelelor Qwen2.5 este evaluată pe o gamă largă de sarcini, incluzând matematică, codare și multilingvism.

Performanță Qwen2.5-72B

Modelul de bază Qwen2.5-72B iese în evidență prin depășirea semnificativă a altor modele din categoria sa într-un spectru larg de sarcini.

Performanță Qwen2.5-14B/32B

Modelele Qwen2.5-14B și Qwen2.5-32B oferă performanțe robuste în sarcini generale precum MMLU și BBH...

Performanță Qwen2.5-7B

Modelul Qwen2.5-7B depășește atât predecesorii, cât și concurenții săi într-o gamă largă de benchmark-uri.

Concluzii

Modelele Qwen2.5 reprezintă un progres semnificativ, oferind performanțe competitive într-o gamă variată de domenii și fiind optimizate pentru utilizare în aplicații diverse.


(Mediafax)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

_ Tot ce poate merge prost cu sânii tăi - și ce să faci în privința asta: ghidul definitiv al DR PHILIPPA KAYE

_ INGE VAN LOTRINGEN: Am „jgheaburi” în jumătate de cerc sub ochi care mă fac să par epuizat permanent - ce pot face cu ele?

_ Ministerul Familiei anunță demararea Campaniei de informare și prevenție consum de droguri

_ Polonia susţine că este pregătită să găzduiască arme nucleare ale NATO

_ Iconița Italiei Cannavaro a numit șef al Udinese după demisia lui Cioffi

_ Ultimă oră – Transnistria a cerut ajutorul Rusiei: ce acuză Tiraspolul

_ Atacuri aeriene din SUA și Marea Britanie au lovit mai multe locuri strategice din Yemen

_ VIDEO | Doliu imens în motorsportul mondial: A murit un pilot legendar, câștigător al Raliului Dakar

_ Oamenii de știință dezvoltă intestin artificial de vierme pentru a descompune plasticul

_ Undă verde pentru prima legislație AI din lume. Uniunea Europeană a aprobat acordul preliminar privind reglementările inovatoare pentru inteligența artificială

_ Incendiu într-un bloc din Sectorul 2 / Pompierii intervin cu 8 autospeciale - VIDEO

_ Românii au prins gustul Dubaiului: Și-a cumpărat o vilă exclusivistă, cu majordom propriu

_ Un jurnalist de la un postul privat de televiziune din Londra, agresat cu cuţitul în capitala britanică

_ Danemarca impune restricții asupra tratamentului diabetului de tip 2 cu medicamente precum Ozempic și alte medicamente GLP-1

_ Olaf Scholz va merge în SUA pentru a discuta cu Joe Biden despre ajutorul acordat Ucrainei

_ ICC amenință cu acțiuni din cauza tacticilor de „intimidare” în timp ce mandatul de arestare a lui Netanyahu se găsește

_ Donald Trusk avertizează că ameninţarea unui război global este „serioasă şi reală”

_ 1 din 5 decese în SUA cauzate de boli de inimă

_ Samuel Eto'o şi-a dat demisia după CAN, dar aceasta a fost respinsă

_ VEZI: Biden intră �n frizerie din Carolina de Sud, face o �glumă� incomodă despre jocul de fotbal �n Delaware

_ ISW: Rusia încearcă să destabilizeze Republica Moldova. Ce planuri are

_ Renovare Aston Martin DBX707: Super SUV câștigă interior nou și infotainment și renunță la versiunea mai puțin puternică

_ VIDEO Un film despre Bucea a fost prezentat în opt oraşe din SUA

_ Sinner se retrage de la Jocurile Olimpice de la Paris din cauza unei amigdalite

_ O nouă deformare a spectrului de protoni pentru a îmbunătăți cunoștințele noastre despre originea razelor cosmice

_ Albumul The Tortured Poets Department al lui Taylor Swift a înregistrat un miliard de stream-uri pe Spotify într-o săptămână

_ VIDEO & FOTO | Neymar, apariție șocantă: Superstarul brazilian a luat serios în greutate

_ Statele Unite au dat startul noii generații de arme care să le protejeze în fața unui atac cu rachete balistice intercontinentale

_ QUENTIN LETTS la protestul fermierilor: Doi flăcăi robusti s-au îndreptat spre ministru și i-au dat ambele butoaie

_ Studiul dezvăluie impactul economic al mareei roșii din Florida asupra turismului

_ NHS nu poate face față „avalanșei” diagnosticelor de autism și ADHD, avertizează experții pe fondul creșterii fără precedent de cinci ori a trimiterilor

_ A fost inaugurat Satul Olimpic pentru Paris 2024 - Macron salută aventura unui secol

_ Un nou focar de pestă porcină africană, după 4 luni de 'linişte' epidemiologică

_ Microscopul cu forță magnetică asistat de torpedo oferă o imagine mai ușoară a probelor sensibile la aer

_ Sunt un expert în inteligență artificială - iată 5 moduri simple prin care inteligența artificială ar putea ucide rasa umană și poate face omenirea să dispară

_ Dezvăluit: Cum un hipnotizator rău care l-a venerat pe Paul Daniels și-a folosit abilitățile „insidioase” pentru a fura pozele intime ale femeilor și a le vinde pentru criptomonedă

_ Răsare soarele! Marea Britanie se va bucura de mâine de trei zile de căldură de 20 de grade Celsius, deoarece vremea stabilă înlocuiește în sfârșit condițiile furtunoase

_ Ministrul Muncii, precizări despre impozitarea pensiilor

_ Prezentatoarea Cbeebies spune că aproape că și-a luat viața când a fost oprită din cauza fotografiilor nud - și s-a oprit să se gândească doar când și-a simțit copilul lovindu-i

_ Prețurile caselor se pregătesc să revină? BANI PENTRU PRANZ

_ Jens Stoltenberg respinge categoric scenariul invocat de Macron: 'Nu există planuri privind dislocarea de militari NATO în Ucraina'

_ „Ca o piatră prețioasă”: medaliile olimpice de la Paris prezintă piese din Turnul Eiffel

_ Care sunt cauzele strabismului la copii?

_ Cum i-au supărat francezii pe englezi și de ce TOȚI VORBEȘTE DESPRE asta

_ Incendiile de vegetație „Vara Neagră” au șters 2,8 miliarde de dolari din lanțurile de aprovizionare din turism, arată un studiu

_ Păsările mici condimentează dieta deja diversă a hienelor pătate din Namibia

_ Oamenii de știință construiesc laser cu fibră Raman pompat cu placare de mare putere la o bandă de undă de 1,2 μm

_ Avertismentul unui comandant NATO: Europa trebuie să se „trezească” pentru a câştiga cursa înarmărilor

_ Noul risc energetic al Europei: înlocuirea Rusiei cu Statele Unite / UE e tot mai dependentă de gazele americane

_ O strategie de creștere a eficienței celulelor solare cu seleniură de cupru, indiu, galiu

_ Accident naval pe Braţul Chilia cu patru victime

_ Gigi Becali s-a poziționat în scandalul dintre ÎPS Teodosie și BOR: Doar îi arată pisica şi gata, atât! Nu există aşa ceva - răzvrătire!

_ Cercetătorii observă efectul câmpurilor magnetice asupra proceselor electrocatalitice

_ Coleen Rooney face o intrare haotică în tabăra I'm A Celeb, în ​​timp ce își răsturnează barca, lăsând telespectatorii isterici - după ce Ant și Dec au început cu brutalul Wagatha Christie călătorește SECONDE în episodul de deschidere.

_ Suplimentele online pentru pensiile de stat se lansează ÎN FINAL după campania This is Money pentru a pune capăt întârzierilor și plăților lipsă

_ Cine va c�știga Primăria Capitalei? Problema 'celor trei corpuri' �n București(Analiză)

_ Serghei Șoigu face anunțul: forțele rusești se retrag pe toată linia frontului din Ucraina

_ Surpriză de proporții! S-a aflat cine este câștigătorul emisiunii Chefi la Cuțite 2024

_ Care este cel mai bun mod de a vă bucura de ciocolată neagră sănătoasă? De la cacao la nuci acoperite cu ciocolată și sirop, răspunsul vă poate surprinde

_ Taylor Swift scoate o pastilă pentru a uita durerea pe care a suferit-o din cauza foștilor băieți rău după ani de durere pentru miliardarul popstar


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13 Pag.14 Pag.15
Pag.16 Pag.17 Pag.18 Pag.19 Pag.20 Pag.21 Pag.22 Pag.23
Pag.24 Pag.25 Pag.26 Pag.27 Pag.28 Pag.29 Pag.30 Pag.31
Pag.32 Pag.33 Pag.34 Pag.35 Pag.36 Pag.37 Pag.38 Pag.39
Pag.40 Pag.41 Pag.42 Pag.43 Pag.44 Pag.45

Nr. de articole la aceasta sectiune: 2675, afisate in 45 pagini.