استارتاپ Vals که در سال 2024 تأسیس شده، اخیراً 40 میلیون دلار در دور سرمایهگذاری Series A به رهبری Andreessen Horowitz جذب کرده است. این شرکت با هدف اصلاح سیستمهای ارزیابی (Benchmarking) سنتی هوش مصنوعی فعالیت میکند؛ سیستمهایی که بسیاری از شرکتهای بزرگ تکنولوژی توانستهاند با آموزش مدلهای خود بر روی سوالات عمومی آنها، نتایج ساختگی به دست آورند.
ریان کریشنان، بنیانگذار 25 ساله Vals و فارغالتحصیل دانشگاه استنفورد، معتقد است که بنچمارکهای آکادمیک فعلی از سرعت پیشرفت مدلهای جدید عقب ماندهاند. Vals برخلاف بسیاری از رقبای خود، محتوای آزمونهایش را به صورت عمومی منتشر نمیکند. این رویکرد مانع از آن میشود که شرکتها مدلهای خود را صرفاً برای نمره گرفتن در آزمونهای شناختهشده آموزش دهند.
در عوض، Vals مدلها را بر اساس توانایی آنها در انجام وظایف پیچیده و واقعی در حوزههایی مانند حقوق، مالی، برنامهنویسی، امنیت سایبری، سلامت روان و حتی قوانین درگیری مسلحانه ارزیابی میکند. هدف این است که مشخص شود آیا مدل میتواند خروجیای همارز با کیفیت کار یک متخصص انسانی تولید کند یا خیر. همچنین این شرکت به بررسی پیامدهای منفی احتمالی مدلها در صورت استفاده بیرویه از آنها میپردازد.
مدل درآمدی Vals بر اساس دریافت هزینه از شرکتها برای ارزیابی مدلهایشان استوار است. کریشنان این فرآیند را به پرداخت هزینه توسط دانشآموزان برای شرکت در آزمون SAT تشبیه میکند. جالب است بدانید که درآمد این استارتاپ در مقایسه با سال گذشته هشت برابر رشد کرده و تیم آن از 8 نفر به 25 نفر رسیده است. برنامههای توسعهای Vals شامل جذب 10 تا 15 نیروی جدید و ارائه خدمات ارزیابی به آژانسهای فدرال نیز میشود.
چرا ارزیابیهای غیرعمومی اهمیت دارند؟#
با نزدیک شدن شرکتهای بزرگ هوش مصنوعی مانند Anthropic و احتمالاً OpenAI به عرضه عمومی سهام، نیاز به معیارهای شفاف و قابل اعتماد برای ارزیابی عملکرد مدلها بیش از پیش حس میشود. سیستمهای سنتی که در آنها سوالات آزمون عمومی هستند، دیگر برای سنجش قابلیتهای واقعی مدلهای پیشرفته کافی نیستند و امکان «تقلب در آزمون» را فراهم میکنند. رویکرد Vals با مخفی نگه داشتن سوالات و تمرکز بر وظایف صنعتی خاص، میتواند به استاندارد جدیدی برای ارزیابی مدلها تبدیل شود و دادههای قابل استنادتری را برای سرمایهگذاران و کاربران سازمانی فراهم کند.
منبع: TechCrunch AI
دیدگاهها
برای گذاشتن دیدگاه وارد شو
دیدگاهها فقط از حسابهای کاربری پذیرفته میشوند.
ورود / ثبتنامهنوز دیدگاهی ثبت نشده — اولین نفر باش.