<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="peiji-etal-2024-da">
    <titleInfo>
        <title>大语言模型合成数据方法简述(A Brief Introduction to Synthetic Data for Large Language Model)</title>
    </titleInfo>
    <name type="personal">
        <namePart type="given">Li</namePart>
        <namePart type="family">Peiji</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <name type="personal">
        <namePart type="given">Ma</namePart>
        <namePart type="family">Yichuan</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <name type="personal">
        <namePart type="given">Yan</namePart>
        <namePart type="family">Hang</namePart>
        <role>
            <roleTerm authority="marcrelator" type="text">author</roleTerm>
        </role>
    </name>
    <originInfo>
        <dateIssued>2024-07</dateIssued>
    </originInfo>
    <typeOfResource>text</typeOfResource>
    <language>
        <languageTerm type="text">zho</languageTerm>
    </language>
    <relatedItem type="host">
        <titleInfo>
            <title>Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 2: Frontier Forum)</title>
        </titleInfo>
        <name type="personal">
            <namePart type="given">Xin</namePart>
            <namePart type="family">Zhao</namePart>
            <role>
                <roleTerm authority="marcrelator" type="text">editor</roleTerm>
            </role>
        </name>
        <originInfo>
            <publisher>Chinese Information Processing Society of China</publisher>
            <place>
                <placeTerm type="text">Taiyuan, China</placeTerm>
            </place>
        </originInfo>
        <genre authority="marcgt">conference publication</genre>
    </relatedItem>
    <abstract>“大语言模型在过去两年受到了极大的关注,并引起了对通用人工智能的广泛讨论。为了实现通用人工智能,合成数据被认为是其中非常关键的一环。本文将当前常见的数据合成方法归为三类,基于蒸馏的合成数据、基于模型自我进化、基于工具的合成数据。针对每一类合成数据方法,我们简要介绍了几种主流的做法,以期概览各类方法的基本思路以及异同。当前大部分合成数据方法都基于蒸馏,尽管这些方法取得了良好的效果,但其实质是将更强的大模型蒸馏到更小的大模型。这样的方法从降低大模型推理成本的角度具有实际意义,但对于进一步提升大模型能力上限作用有限。基于模型自我进化和基于工具的合成数据研究相对偏少,对于持续提升模型能力,这两个方向需要有更多探索。”</abstract>
    <identifier type="citekey">peiji-etal-2024-da</identifier>
    <location>
        <url>https://aclanthology.org/2024.ccl-2.5/</url>
    </location>
    <part>
        <date>2024-07</date>
        <extent unit="page">
            <start>86</start>
            <end>97</end>
        </extent>
    </part>
</mods>
</modsCollection>

%0 Conference Proceedings
%T 大语言模型合成数据方法简述(A Brief Introduction to Synthetic Data for Large Language Model)
%A Peiji, Li
%A Yichuan, Ma
%A Hang, Yan
%Y Zhao, Xin
%S Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 2: Frontier Forum)
%D 2024
%8 July
%I Chinese Information Processing Society of China
%C Taiyuan, China
%G zho
%F peiji-etal-2024-da
%X “大语言模型在过去两年受到了极大的关注,并引起了对通用人工智能的广泛讨论。为了实现通用人工智能,合成数据被认为是其中非常关键的一环。本文将当前常见的数据合成方法归为三类,基于蒸馏的合成数据、基于模型自我进化、基于工具的合成数据。针对每一类合成数据方法,我们简要介绍了几种主流的做法,以期概览各类方法的基本思路以及异同。当前大部分合成数据方法都基于蒸馏,尽管这些方法取得了良好的效果,但其实质是将更强的大模型蒸馏到更小的大模型。这样的方法从降低大模型推理成本的角度具有实际意义,但对于进一步提升大模型能力上限作用有限。基于模型自我进化和基于工具的合成数据研究相对偏少,对于持续提升模型能力,这两个方向需要有更多探索。”
%U https://aclanthology.org/2024.ccl-2.5/
%P 86-97

Markdown (Informal)

[大语言模型合成数据方法简述(A Brief Introduction to Synthetic Data for Large Language Model)](https://aclanthology.org/2024.ccl-2.5/) (Peiji et al., CCL 2024)

• 大语言模型合成数据方法简述(A Brief Introduction to Synthetic Data for Large Language Model) (Peiji et al., CCL 2024)

ACL

• Li Peiji, Ma Yichuan, and Yan Hang. 2024. 大语言模型合成数据方法简述(A Brief Introduction to Synthetic Data for Large Language Model). In Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 2: Frontier Forum), pages 86–97, Taiyuan, China. Chinese Information Processing Society of China.