전체 글 (14) 썸네일형 리스트형 [Review] A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models [Abstract] Polyglot은 다국어 언어 모델의 비영어 언어 성능을 향상시키기 위한 선구적인 프로젝트입니다. mBERT(Devlin et al., 2019), XGLM(Lin et al., 2022) 및 BLOM(Scao et al., 2022)과 같은 다양한 다국어 모델을 사용할 수 있음에도 불구하고, 연구원과 개발자는 현재 다국어 모델의 비영어 언어 기능에 대한 불만으로 인해 해당 언어로 단일 언어 모델을 구축하는 경우가 많습니다. 이러한 격차를 해결하기 위해 저희는 비영어 언어에서 향상된 성능을 제공하는 고급 다국어 언어 모델을 개발하려고 합니다. 본 논문에서는 본질적으로 다국어가 아닌 특정 초점을 나타내는 Polyglot 한국어 모델을 소개합니다. 저희 팀은 TUNiB1과 협력하여 연구 .. [Review] Orion-14B: Open-source Multilingual Large Language Models Abstract 본 연구에서는 140억 개의 매개 변수를 가진 다국어 대언어 모델 모음인 Orion-14B를 소개합니다. 데이터 스케줄링 접근 방식을 사용하여 영어, 중국어, 일본어, 한국어 및 기타 언어의 텍스트에서 가져온 2조 5천억 개의 다양한 토큰 코퍼스에 대한 기본 모델을 훈련합니다. 또한 대화 응용 프로그램 및 기타 특정 사용 사례에 맞게 조정된 일련의 모델을 fine-tune했습니다. 평가 결과는 Orion-14B가 광범위한 작업에서 SOTA 성능을 달성한다는 것을 보여줍니다. Orion-14B 모델 및 관련 코드를 공개적으로 액세스할 수 있도록 함으로써 향후 연구와 이 분야의 실제적인 응용을 촉진하는 것을 목표로 합니다. http://github.com/OrionStarAI/Orion Gi.. [Review] Text-to-Graph via LLM:pre-training, prompting, or tuning? 지식 그래프는 후속 분석을 위해 데이터를 구조화하는 가장 좋은 방법입니다. 문제는 현재 사용 가능한 대부분의 데이터가 비정형 텍스트 형태라는 것입니다. LLM은 비정형 텍스트를 Knowledge Graph로 변환하는 기능을 보여주었습니다. 하지만 제가 본 대부분의 예에서는 LLM이 어떤 Ontology/Schema를 사용할지 결정하도록 합니다. 일부는 어떤 속성을 사용할지에 대한 제한을 추가하기도 합니다. 다음과 같은 이유로 특정 Ontology/Schema를 준수하는 그래프를 만들 필요가 있습니다. 결과 그래프를 통해 다양한 쿼리를 생성해야 합니다. Schema에 대한 지식 없이 쿼리를 생성하는 것은 불가능에 가깝습니다. 허용 가능한 프롬프트의 크기가 증가함에도 불구하고 하나의 프롬프트로 처리할 수 없.. [Review] GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating Open-Domain Dialogue System GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating Open-Domain Dialogue Systems, 2020, EMNLP [Abstract] Topic-level graph를 활용해, Turn-level이 아닌 Dialog-level에서의 Metric을 계산하는 방식 제안 -. K-hop neighboring -. hop의 weight 활용 [Architecture] BERT로 context-response의 pair를 encoding ConceptNet으로 pair의 topic-level dialog graph 생성 후 inference 1,2 모두를 입력받아 MLP로 최종 score 계산 [Metric] Utterance-level .. Generation 정량 평가 Metric 참고 reference: A Comprehensive Assessment of Dialog Evaluation Metrics, https://arxiv.org/abs/2106.03706 A Comprehensive Assessment of Dialog Evaluation Metrics Automatic evaluation metrics are a crucial component of dialog systems research. Standard language evaluation metrics are known to be ineffective for evaluating dialog. As such, recent research has proposed a number of novel, dialog-speci.. Blenderbot 2.0: Long-term memory module ParlAI/modules.py at 0d23cf1cd7b1dac1bdc72f0a852cad5525b95d0c · facebookresearch/ParlAI · GitHub GitHub - facebookresearch/ParlAI: A framework for training and evaluating AI models on a variety of openly available dialogue da A framework for training and evaluating AI models on a variety of openly available dialogue datasets. - GitHub - facebookresearch/ParlAI: A framework for training and evalu.. 이전 1 2 다음
