เอไอ ดีอย่างไร? จากการวัดประสิทธิภาพทางเทคนิคส่วนใหญ่ที่เรามีในปัจจุบัน มันเกือบจะสมบูรณ์แบบ แต่นั่นไม่ได้หมายความว่าเครื่องมือปัญญาประดิษฐ์ส่วนใหญ่จะทำงานตามที่เราต้องการ Vanessa Parliรองผู้อำนวยการโครงการวิจัยของ Stanford Institute for Human-Centered AI และสมาชิกของคณะกรรมการขับเคลื่อนดัชนี AI กล่าว
เธออ้างถึงตัวอย่างยอดนิยมในปัจจุบันของ ChatGPT “มีความตื่นเต้นมากมาย และเป็นไปตามเกณฑ์มาตรฐานเหล่านี้ค่อนข้างดี” เธอกล่าว “แต่เมื่อคุณใช้เครื่องมือจริง ๆ จะให้คำตอบที่ไม่ถูกต้อง พูดสิ่งที่เราไม่ต้องการให้พูด และยังโต้ตอบด้วยได้ยาก”
ใน ดัชนี AI ใหม่ล่าสุดซึ่งเผยแพร่เมื่อวันที่ 3 เมษายน ทีมนักวิจัยอิสระได้วิเคราะห์เกณฑ์มาตรฐานกว่า 50 รายการในด้านวิสัยทัศน์ ภาษา คำพูด และอื่นๆ เพื่อค้นหาว่าเครื่องมือ AI สามารถทำคะแนนได้สูงมากในการประเมินหลายๆ รายการเหล่านี้
“การวัดประสิทธิภาพส่วนใหญ่กำลังถึงจุดที่เราไม่สามารถทำได้ดีกว่านี้มากนัก นั่นคือความแม่นยำ 80-90%” เธอกล่าว “เราต้องคิดจริงๆ ว่าเราในฐานะมนุษย์และสังคม ต้องการโต้ตอบกับ AI อย่างไร และพัฒนาเกณฑ์มาตรฐานใหม่จากตรงนั้น”
ในการสนทนานี้ Parli อธิบายเพิ่มเติมเกี่ยวกับแนวโน้มการเปรียบเทียบที่เธอเห็นจากดัชนี AI
เกณฑ์มาตรฐานหมายความว่าอย่างไร
เกณฑ์มาตรฐานเป็นเป้าหมายหลักสำหรับระบบ AI ที่จะบรรลุผล เป็นวิธีการกำหนดสิ่งที่คุณต้องการให้เครื่องมือของคุณทำ จากนั้นทำงานให้บรรลุเป้าหมายนั้น ตัวอย่างหนึ่งคือ ImageNet ของผู้อำนวยการร่วมของ HAI Fei-Fei Li ซึ่งเป็นชุดข้อมูลที่มีภาพมากกว่า 14 ล้านภาพ นักวิจัยเรียกใช้อัลกอริธึมการจำแนกรูปภาพบน ImageNet เพื่อทดสอบระบบของตน เป้าหมายคือการระบุรูปภาพให้ถูกต้องให้ได้มากที่สุด
การศึกษาดัชนี AI พบอะไรเกี่ยวกับเกณฑ์มาตรฐานเหล่านี้
เราตรวจสอบเกณฑ์มาตรฐานทางเทคนิคหลายรายการที่สร้างขึ้นในช่วงสิบปีที่ผ่านมา เช่น วิสัยทัศน์ ภาษา ฯลฯ และประเมินผลอันล้ำสมัยในแต่ละปีต่อปี ดังนั้น ในแต่ละเกณฑ์มาตรฐาน นักวิจัยสามารถเอาชนะคะแนนจากปีที่แล้วได้หรือไม่ พวกเขาเจอมันหรือไม่? หรือไม่มีความคืบหน้าเลย? เราดูที่ ImageNet เกณฑ์มาตรฐานภาษาที่เรียกว่า SUPERGlue เกณฑ์มาตรฐานฮาร์ดแวร์ที่เรียกว่า MLPerf และอีกมากมาย มีการวิเคราะห์ประมาณ 50 รายการและมากกว่า 20 รายการจัดทำเป็นรายงาน
และคุณค้นพบอะไรในงานวิจัยของคุณ?
ในปีก่อนหน้านี้ ผู้คนได้รับการปรับปรุงอย่างมากจากผลงานล่าสุดหรือผลงานที่ดีที่สุดของปีที่ผ่านมา ในปีนี้จากเกณฑ์มาตรฐานส่วนใหญ่ เราเห็นความคืบหน้าเพียงเล็กน้อยจนถึงจุดที่เราตัดสินใจไม่รวมบางรายการไว้ในรายงาน ตัวอย่างเช่น ระบบการจำแนกภาพที่ดีที่สุดบน ImageNet ในปี 2021 มีอัตราความแม่นยำ 91%; ปี 2022 มีการปรับปรุงเพียง 0.1 จุดเปอร์เซ็นต์
ดังนั้นเราจึงเห็นความอิ่มตัวของเกณฑ์มาตรฐานเหล่านี้ – ไม่มีอะไรต้องปรับปรุงเลยจริงๆ
นอกจากนี้ แม้ว่าเกณฑ์มาตรฐานบางรายการจะไม่ถึงช่วงความแม่นยำ 90% แต่ก็ดีกว่าเกณฑ์พื้นฐานของมนุษย์ ตัวอย่างเช่น การแข่งขัน Visual Question Answering Challenge ทดสอบระบบ AI ด้วยคำถามปลายเปิดเกี่ยวกับรูปภาพ ในปีนี้ โมเดลที่มีประสิทธิภาพสูงสุดมีความแม่นยำถึง 84.3% พื้นฐานของมนุษย์ประมาณ 80%
นั่นหมายถึงอะไรสำหรับนักวิจัย?
ประเด็นสำคัญสำหรับฉันคือบางทีเราต้องการเกณฑ์มาตรฐานที่ใหม่กว่าและครอบคลุมมากกว่าเพื่อประเมิน อีกวิธีหนึ่งที่ฉันคิดคือ: เครื่องมือ AI ของเราตอนนี้ไม่ตรงตามที่เราต้องการ – พวกเขาให้ข้อมูลผิด ๆ พวกเขาสร้างภาพที่เหยียดเพศ คำถามก็คือ ถ้าการวัดประสิทธิภาพควรจะช่วยให้เราบรรลุเป้าหมาย เป้าหมายนี้คืออะไร? เราต้องการทำงานร่วมกับ AI อย่างไร และต้องการให้ AI ทำงานร่วมกับเราอย่างไร บางทีเราต้องการเกณฑ์มาตรฐานที่ครอบคลุมมากขึ้น ในตอนนี้ เกณฑ์มาตรฐานส่วนใหญ่ทดสอบกับเป้าหมายเดียว แต่ในขณะที่เรามุ่งสู่เครื่องมือ AI ที่รวมการมองเห็น ภาษา และอื่นๆ เราต้องการเกณฑ์มาตรฐานที่ช่วยให้เราเข้าใจการแลกเปลี่ยนระหว่างความแม่นยำและความลำเอียงหรือความเป็นพิษหรือไม่ เป็นต้น เราพิจารณาปัจจัยทางสังคมมากกว่านี้ได้ไหม? จำนวนมากไม่สามารถวัดได้ด้วยเกณฑ์มาตรฐานเชิงปริมาณ
นักวิจัยเริ่มสร้างเกณฑ์มาตรฐานที่ดีขึ้นแล้วหรือยัง?
เมื่ออยู่ที่ Stanford HAI ซึ่งเป็นที่ตั้งของ Center for Research on Foundation Modelsฉันสามารถชี้ไปที่ HELM HELM ซึ่งพัฒนาโดยนักวิชาการที่ CRFM พิจารณาจากหลายสถานการณ์และหลายงาน และครอบคลุมมากกว่าเกณฑ์มาตรฐานที่เราเคยเห็นในอดีต ไม่เพียงแต่คำนึงถึงความถูกต้องเท่านั้น แต่ยังพิจารณาถึงความเป็นธรรม ความเป็นพิษ ประสิทธิภาพ ความทนทาน และอื่นๆ
นั่นเป็นเพียงตัวอย่างหนึ่งเท่านั้น แต่เราต้องการแนวทางเหล่านี้มากกว่านี้ เนื่องจากการวัดประสิทธิภาพชี้นำทิศทางของการพัฒนา AI พวกเขาจึงต้องปรับให้สอดคล้องกับวิธีที่เราในฐานะมนุษย์และในฐานะสังคมต้องการโต้ตอบกับเครื่องมือเหล่านี้
AI Index เป็นความคิดริเริ่มอิสระของ Stanford HAI ซึ่งนำโดยคณะกรรมการสหวิทยาการที่ประกอบด้วยผู้เชี่ยวชาญจากทั่วทั้งสถาบันการศึกษาและภาคอุตสาหกรรม ทำหน้าที่เป็นหนึ่งในแหล่งข้อมูลและข้อมูลเชิงลึกเกี่ยวกับ AI ที่น่าเชื่อถือและน่าเชื่อถือที่สุด เพื่อให้ผู้กำหนดนโยบาย นักวิจัย นักข่าว ผู้บริหาร และประชาชนทั่วไปมีความเข้าใจที่ลึกซึ้งยิ่งขึ้นในสาขานี้
พันธกิจของ Stanford HAI คือการพัฒนาการวิจัย การศึกษา นโยบาย และการปฏิบัติด้าน AI เพื่อพัฒนาสภาพของมนุษย์ เรียน รู้เพิ่มเติม
ทดลองเล่นไฮโล, ดูหนังฟรีออนไลน์, เว็บสล็อตแท้
racetrackinginternational, traviskmillward, ดูหนังออนไลน์ฟรี
historyuncolored.com
madmansdrum.com
thesailormoonshop.com
thenorthfaceoutletinc.com
tequieroenidiomas.com
cascadaverdelodge.com
riversandcrows.net
caripoddock.net
leaveamarkauctions.com
correioregistado.com
sportdogaustralia.com
wootadoo.com
maewinguesthouse.com
dospasos.net
kollagenintensivovernight.com
gvindor.com
chloroville.com
veroniquelacoste.com
dustinmacdonald.net
vergiborcuodeme.net
ww2discovery.net
markleeforhouston.com
snoodleman.com
thefunnyconversations.com
donrichardatl.com
romarasesores.com
swimminginliterarysoup.com
coloradomom2mom.com
webmastersressources.com
footballdolphinsofficial.com
justevelynlory.com
dandougan.com
fantastiverse.net
floridaatvrally.com
procolorasia.com
scparanormalfaire.com
dop1.net
taylormarieartistry.com
pandoracharmbeadsonline.net
chaoticnotrandom.com
verkhola.com
petermazza.com
animalprintsbyshaw.com
dunhillorlando.com
everythinginthegardensrosie.com
hotelfloraslovenskyraj.com
collinsforcolorado.com
bloodorchid.net
gremarimage.com
theworldofhillaryclinton.net
cialis2fastdelivery.com
dmgmaximus.com
ediscoveryreporter.com
caspoldermans.com
shahpneumatics.com
lordispain.com
obamacarewatch.com
grammasplayhouse.com
fastdelivery10pillsonline.com
autodoska.net
libredon.net
viagrawithoutadoctor.net
guerillagivers.com
mallorcadiariovip.com
gayfromgaylord.com
thespacedoutgroup.com
lucasmangumauthor.com
reddoordom.com
freemarkbarnsley.com
estrellasparacolorear.com
yamanashinofudousan.com
americanidolfullepisodes.net
donick.net
oslororynight.com
mcconnellmaemiller.com
italianschoolflorence.com
corpsofdiscoverywelcomecenter.net
leontailoringco.com
victoriamagnetics.com
gmsmallcarbash.com
writeoutdoors32.com
pandorabraceletcharmsuk.net
averysmallsomething.com
legendofvandora.net
talesofglorybook.com
tvalahandmade.com
everyuktown.com
bestbodyversion.com
artedelmundoecuador.com
ellenmccormickmartens.com
dorinasanadora.com
nintendo3dskopen.com
musicaonlinedos.com
freedownloadseeker.com
vanphongdoan.com
dexsalindo.com
naomicarmack.com
clairejodonoghue.com
doubledpromo.com
reklamaity.com
