|
ChatGPT¿ªÔ´Ìæ´úÀ´ÁË£¡²ÎÊýÁ¿200ÒÚ£¬ÔÚ4300ÍòÌõÖ¸ÁîÉÏ΢µ÷¶ø³É时间£º2023-03-15 OpenChatKit ÊÇÒ»¸öÀà ChatGPT ¿ªÔ´¹¤¾ß°ü£¬ÄÚº¬Ò»¸ö 20B ²ÎÊýÁ¿µÄ´óÄ£ÐÍ£¬¶øÇÒ¸ÃÄ£ÐÍÔÚ 4300 ÍòÌõÖ¸ÁîÉϽøÐÐÁË΢µ÷¡£ 2023 Ä꣬ÁÄÌì»úÆ÷ÈËÁìÓòËÆºõֻʣÏÂÁ½¸öÕóÓª£º¡¸OpenAI µÄ ChatGPT¡¹ºÍ¡¸ÆäËû¡¹¡£ ChatGPT ¹¦ÄÜÇ¿´ó£¬µ« OpenAI ²»Ì«¿ÉÄܽ«Æä¿ªÔ´¡£¡¸ÆäËû¡¹ÕóÓª±íÏÖÇ·¼Ñ£¬µ«²»ÉÙÈ˶¼ÔÚ×ö¿ªÔ´·½ÃæµÄŬÁ¦£¬±ÈÈçǰ¶Îʱ¼äMeta ¿ªÔ´µÄ LLaMA¡£ ³ý´ËÖ®Í⣬һ¸öÃûΪ EleutherAI µÄ¿ªÔ´ AI Ñо¿ÍŶÓÒ²Ò»Ö±ÔÚ¹±Ï׿ªÔ´´óÄ£Ðͳɹû¡£×Ô 2020 Äê 7 Ô³ÉÁ¢ÒÔÀ´£¬¸ÃÍŶÓÏȺó¿ªÔ´ÁË»ùÓÚ GPT-3 µÄ¡¢°üº¬ 60 ÒÚ²ÎÊýµÄ NLP Ä£ÐÍ GPT-J£¬Àà GPT µÄ27 ÒÚ²ÎÊýÄ£ÐÍ GPT-Neo£¬ÒÔ¼° 200 ÒÚ²ÎÊýµÄGPT-NeoX-20B¡£¾ÝϤ£¬ËûÃǵÄ×îÖÕÄ¿±êÊǽ«¿ªÔ´Ä£Ð͵IJÎÊý¹æÄ£À©Õ¹µ½ 1700 ÒÚ×óÓÒ£¬¾ÍÏñ GPT-3 Ò»Ñù¡£ ÔÚ ChatGPT »ð±éÈ«ÇòÖ®¼Ê£¬EleutherAI µÄÕâЩ¿ªÔ´³É¹ûÅÉÉÏÁËÓó¡¡£Ò»¼ÒÃûΪ Together µÄ×éÖ¯±íʾ£¬ËûÃÇ»ùÓÚ EleutherAI ¿ªÔ´µÄ GPT-Neo ºÍ GPT-J ¹¹½¨ÁËÒ»¸öеÄÀà ChatGPT ¿ªÔ´ÏîÄ¿ ¡ª¡ªOpenChatKit¡£
ÏîÄ¿Á´½Ó£º Õâ¸öÏîÄ¿ÌṩÁËÒ»¸öÇ¿´óµÄ¡¢¿ªÔ´µÄ»ù´¡£¬¿ÉÒÔΪ¸÷ÖÖÓ¦Óô´½¨×¨ÃźÍͨÓõÄÁÄÌì»úÆ÷ÈË¡£¾ßÌåÀ´Ëµ£¬Ëü°üº¬£º
¸ù¾Ý Together ÌṩµÄÁ´½Ó£¬ÎÒÃÇ¿ÉÒÔ´ÖÂÔ¿´µ½ OpenChatKit ÔÚÕªÒªÌáÈ¡¡¢ÎÊ´ð¡¢Ð´×÷µÈ·½ÃæµÄ±íÏÖ¡£ÒÔÏÂÊÇ Together ÌṩµÄһЩ demo£º
ÏëÒªÉîÈëÁ˽â OpenChatKit µÄ¶ÁÕßÒ²¿ÉÒÔÇ××Ô²âÊÔ¡£ ²âÊÔÁ´½Ó£º ´ÓĿǰµÄ±íÏÖÀ´¿´£¬OpenChatKit ¿ÉÄÜ»¹²»Ì«ÁîÈËÂúÒâ¡£µ«ÔÚ´Ë¿ªÔ´ÏîÄ¿µÄ»ù´¡ÉÏ£¬ÉçÇøÓÐÍû¹¹½¨³ö¸ü¼ÓÇ¿´óµÄÁÄÌì»úÆ÷ÈËÓ¦Óᣠ²ÎÊýÁ¿ 20B µÄÖ¸Áîµ÷ÓÅ´óÄ£ÐÍ GPT-NeoXT-Chat-Base-20B Êǹ¹³É OpenChatKit »ù´¡µÄ´óÐÍÓïÑÔÄ£ÐÍ¡£Ëü»ùÓÚ EleutherAI µÄ GPT-NeoX Ä£ÐÍ£¬²¢Í¨¹ýרעÓÚ¶Ô»°»¥¶¯µÄÊý¾Ý½øÐÐÁË΢µ÷¡£Together ÔÚ Huggingface ÉÏ·¢²¼ÁËÕâ¸öÄ£Ð͵ÄԤѵÁ·È¨ÖØ£º Together µÄ¿ª·¢Õß½«Ä£Ð͵÷ÕûµÄÖØµã·ÅÔÚ¼¸¸öÈÎÎñÉÏ£¬Èç¶àÂÖ¶Ô»°¡¢ÎÊ´ð¡¢·ÖÀà¡¢ÌáÈ¡ºÍ×ܽᡣËûÃÇÓà 4300 ÍòÌõ¸ßÖÊÁ¿Ö¸Áî¶ÔÄ£ÐͽøÐÐÁË΢µ÷£¬²¢Óë LAION ºÍ Ontocord ºÏ×÷£¬´´½¨Á˸ÃÄ£ÐÍËù»ùÓÚµÄ OIG-43M Êý¾Ý¼¯¡£Êý¾Ý¼¯ÐÅÏ¢²Î¼û£º
OIG-43M Êý¾Ý¼¯Ê¾Àý¡£ ¿ªÏä¼´ÓÃµÄ GPT-NeoXT-Chat-Base-20B ΪһϵÁй㷺µÄ×ÔÈ»ÓïÑÔÈÎÎñÌṩÁËÒ»¸öÇ¿´óµÄ»ù´¡¡£´ÓÖÊÁ¿ÉÏ¿´£¬ËüÔÚ HELM »ù×¼ÉÏµÄµÃ·Ö±ÈÆä»ù´¡Ä£ÐÍ GPT-NeoX ¸ß£¬ÌرðÊÇÔÚÉæ¼°ÎÊ´ð¡¢ÌáÈ¡ºÍ·ÖÀàµÄÈÎÎñÉÏ¡£
ÔÚ HELM ÉÏÆÀ¹À GPT-NeoXT-Chat-Base-20B ²¢Óë GPT-NeoX ½øÐбȽϡ£†±íʾ²âÊÔ°üº¬Î¢µ÷ÓïÁÏ¿âÖеÄÊý¾Ý¡£ Ä£Ðͳ¤´¦ OpenChatKit Óм¸¸öÈÎÎñÊÇ¿ªÏä¼´Óõ쬰üÀ¨£º 1¡¢½«Ò»·Ý³¤µÄÎļþ×ܽá³ÉÒ»¾ä»°£¬²¢»Ø´ðÓë¸ÃÎļþÏà¹ØµÄÎÊÌ⣬ÎÊ´ð¿É½øÐжàÂÖ£» 2¡¢´Ó·Ç½á¹¹»¯ÎļþÖÐÌáÈ¡½á¹¹»¯ÐÅÏ¢£¬ÈçÏÂͼËùʾ£» 3¡¢½«Ò»¸ö¾ä×Ó»ò¶ÎÂä·ÖΪ²»Í¬µÄÀà±ð£¨±ÈÈçÇéÐ÷ÊÇ»ý¼«»¹ÊÇÏû¼«£©¡£
ÀûÓà OpenChatKit °ÑÒ»¶Î³¤ÎÄ×ÖÄÚÈÝת»¯³Éͼ±í¡£ Ä£ÐͶ̰å OpenChatKit ĿǰµÄ¶Ì°å°üÀ¨£º
Õë¶ÔÌØ¶¨ÈÎÎñ¶¨ÖÆÁÄÌì»úÆ÷ÈË ÔÚÒ»°ãÎÊ´ðÈÎÎñÖУ¬´óÐÍÓïÑÔÄ£ÐÍÒѾÏÔʾ³öÁîÈËÓ¡ÏóÉî¿ÌµÄÄÜÁ¦¡£µ±ÎªÌض¨µÄÓ¦ÓýøÐÐ΢µ÷ʱ£¬ËüÃÇÍùÍùÄÜ´ïµ½¸ü¸ßµÄ׼ȷÂÊ¡£ÀýÈ磬¹È¸èµÄ PaLM ÔÚҽѧ»Ø´ðÉÏ´ïµ½ÁË´óÔ¼ 50% µÄ׼ȷÂÊ£¬µ«ÊÇͨ¹ýÌí¼ÓÖ¸ÁîÖ§³ÖºÍ¶ÔÒ½Ñ§ÌØ¶¨ÐÅÏ¢µÄ΢µ÷£¬¹È¸è´´ÔìÁË Med-PaLM£¬Æä׼ȷÂÊ´ïµ½ÁË 92.6%¡£Í¬ÑùµÄ·½·¨Ò²¿ÉÒÔÓÃÓÚÆäËûÈÎÎñ¡£ OpenChatKit ÌṩÁËһЩ¹¤¾ßÀ´Îª×¨ÃŵÄÓ¦ÓÃ΢µ÷ÁÄÌì»úÆ÷ÈË¡£Æä¿ª·¢ÍŶÓÕýÔÚÓëÑо¿Ð¡×éºÍ¹«Ë¾ºÏ×÷£¬°ïÖúËûÃÇΪ¸÷ÖÖÈÎÎñ´´½¨×Ô¶¨ÒåÄ£ÐÍ¡£ÕâЩÈÎÎñ°üÀ¨£º
ÈçºÎ½øÐÐ΢µ÷ ΢µ÷ÐèÒªµÄ²Ù×÷°üÀ¨
Õâ¸ö¹ý³ÌµÄÎĵµºÍÔ´´úÂë¿ÉÒÔÔÚ OpenChatKit µÄ GitHub Á´½ÓÖÐÕÒµ½¡£ÓÉÓÚ OpenChatKit ÔÚ Apache-2.0 Ðí¿ÉÏÂÍêÈ«¿ªÔ´£¬Äã¿ÉÒÔΪ×Ô¼ºµÄÓ¦ÓûòÑо¿ÉîÈëµ÷Õû¡¢Ð޸Ļò¼ì²éÈ¨ÖØ¡£ ÓÃÓÚʵʱ¸üд𰸵ĿÉÀ©Õ¹¼ìË÷ϵͳ OpenChatKit »¹°üÀ¨Ò»¸ö¿ÉÀ©Õ¹µÄ¼ìË÷ϵͳ¡£ÓÐÁËÕâ¸ö¼ìË÷ϵͳ£¬ÁÄÌì»úÆ÷ÈËÄܹ»½«¶¨ÆÚ¸üеÄÄÚÈÝ»ò×Ô¶¨ÒåµÄÄÚÈÝ£¬ÈçÀ´×Ôά»ù°Ù¿ÆµÄ֪ʶ¡¢ÐÂÎÅÌáÒª»òÌåÓý±ÈÈü³É¼¨ÄÉÈë»Ø´ðÖС£
¼ìË÷ÔöǿϵͳµÄ¹¤×÷Á÷³ÌʾÀý¡£ ÉóºËÄ£ÐÍÔÚ±ØÒªÊ±½øÐиÉÔ¤ OpenChatKit µÄ×îºóÒ»¸ö×é¼þÊÇÒ»¸öÓÉ GPT-JT ΢µ÷µÄ 60 ÒÚ¸ö²ÎÊýµÄÉóºËÄ£ÐÍ¡£ÔÚÁÄÌìÓ¦ÓÃÖУ¬ÉóºËÄ£ÐÍÓëÖ÷ÁÄÌìÄ£ÐÍͬ²½ÔËÐУ¬¼ì²éÓû§»°ÓïÖÐÊÇ·ñÓÐÈκβ»Êʵ±µÄÄÚÈÝ¡£»ùÓÚÉóºËÄ£ÐÍµÄÆÀ¹À£¬ÁÄÌì»úÆ÷ÈË¿ÉÒÔ½«ÊäÈëµÄÄÚÈÝÏÞÖÆÔÚ¾¹ýÉóºËµÄÖ÷ÌâÉÏ¡£µ±È»£¬Õâ¸öÉóºËÄ£ÐÍÖ»ÊÇÒ»¸ö»ùÏߣ¬Óû§¿ÉÒÔ¸ù¾Ý²»Í¬µÄÐèÇó½øÐе÷ÕûºÍ¶¨ÖÆ¡£ ÔÚÍÆÀí¹ý³ÌÖУ¬¿ª·¢Õß½øÐÐÁË few-shot ·ÖÀ࣬½«Óû§ÎÊÌâ·ÖΪÎåÀà¡£ÁÄÌì»úÆ÷ÈËÖ»ÔÚÎÊÌâÂäÈëÔÊÐíµÄ·ÖÀàÖÐʱ²Å»á×ö³ö»ØÓ¦¡£
|
