NER은 NER (Natural Language Processing)의 기본적인 과제 (NLP)의 근본적인 작업으로, 텍스트에 언급 된 이름의 이름이 개인, 조직, 위치, 시간의 표현, 수량, 수량, 화폐 가치, 백분율 등과 같은 사전 정의 된 범주를 식별하고 분류하는 것을 목표로하는 NLP (Natural Language Processing)의 기본 작업입니다. 최근 몇 년 동안 Transformer Architecture는 NLP에 혁명을 일으켜 NER 정확도를 상당히 개선했습니다. 변압기 공급 업체로서, 우리는 트랜스포머가 NER 정확도를 향상시키는 메커니즘에 정통하며, 다음 논의에서 이러한 측면을 탐구 할 것입니다.
1.주의 메커니즘
변압기 아키텍처의 주요 혁신 중 하나는 자체주의 메커니즘입니다. 순차적 처리에 의존하는 전통적인 신경망 아키텍처와 달리, 자체주의 메커니즘을 통해 모델은 입력 순서의 모든 위치를 동시에 고려하고 다른 위치에서 가중치의 가중 합계를 계산할 수 있습니다.
NER의 맥락에서, 자기주의 메커니즘은 특히 유익합니다. 문장을 처리 할 때 이름이 지정된 엔티티는 종종 여러 토큰에 걸쳐 있으며 그 의미는 주변 컨텍스트와 밀접한 관련이 있습니다. 예를 들어, "Apple Inc.는 다음 달 샌프란시스코에서 신제품 출시를 계획하고 있습니다"라는 문장에서, 자체주의 메커니즘은 "Apple", "Inc.", "샌프란시스코"및 "다음 달"에 지명 된 엔티티의 일부가 될 수 있습니다. 문장의 긴 범위 종속성을 고려함으로써 모델은 다른 토큰 간의 의미 론적 관계를 더 잘 이해하고 명명 된 엔티티를 정확하게 식별 할 수 있습니다.
유명한 "주의가 필요한 모든 것"용지는 변압기 아키텍처를 소개하고 자기 주목 메커니즘이 어떻게 복잡한 의존성을 순서대로 포착 할 수 있는지 보여주었습니다. 멀티 헤드 자체 -주의는 모델이 여러 관점에서 입력 순서의 여러 측면에 집중할 수 있도록 함으로써이 능력을 더욱 향상시킵니다. 이것은 다른 명명 된 엔티티가 정확하게 인식해야 할 다른 상황 정보를 요구할 수있는 NER에서 특히 유용합니다.
2. 사전 - 훈련 및 미세 - 튜닝 패러다임
트랜스포머는 종종 사전 훈련과 미세 조정 패러다임을 채택합니다. 전 훈련 단계에서 대규모 스케일 언어 모델은 Wikipedia 기사 또는 뉴스 코퍼라와 같은 대량의 표지되지 않은 텍스트 데이터에 대해 교육을받습니다. 전 훈련 중에이 모델은 어휘, 구문 및 시맨틱 정보를 포함한 일반적인 언어 지식을 배웁니다.
NER의 경우 사전 훈련 된 변압기 모델은 이미 풍부한 언어 정보를 캡처했습니다. 미세 - 라벨이 붙은 NER 데이터 세트에서 사전 훈련 된 모델을 조정하면 모델을 특정 NER 작업에 신속하게 조정할 수 있습니다. 사전 훈련 된 모델은 이미 풍부한 의미 론적 표현을 배웠기 때문에 미세 조정 프로세스는 이러한 표현을 효과적으로 활용하고 모델 매개 변수를 조정하여 명명 된 엔티티 인식에 중점을 둘 수 있습니다.
Bert (Transformers의 양방향 인코더 표현)와 같은 모델은 NER 작업에서 우수한 성능을 보여주었습니다. Bert는 마스크 언어 모델링 및 다음 문장 예측 작업을 사용하여 사전 교육됩니다. 마스크 된 언어 모델링은 모델이 주변 컨텍스트를 기반으로 마스크 된 토큰을 예측하도록 강요하므로 모델이 양방향 컨텍스트 정보를 학습하는 데 도움이됩니다. 이 양방향 정보는 NER에게 중요합니다. 이름 지정된 엔티티는 이전 및 다음 컨텍스트를 기반으로 인식해야합니다.
3. 맥락화 된 단어 임베딩
변압기는 상황에 맞는 단어 임베딩을 생성합니다. Word2Vec 또는 장갑과 같은 전통적인 단어 임베딩은 단어가 나타나는 문맥에 관계없이 어휘의 각 단어에 고정 벡터 표현을 할당합니다. 대조적으로, 변압기는 문장 내에서 단어의 맥락을 고려하는 단어 임베딩을 생성합니다.
NER에서는 맥락화 된 단어 임베드가 매우 유리합니다. 단어는 서로 다른 맥락에서 의미 론적 의미를 가질 수 있으며, 명명 된 엔티티는 상황에 의해 영향을받을 수도 있습니다. 예를 들어, "은행"이라는 단어는 금융 기관이나 강 쪽을 지칭 할 수 있습니다. 상황에 맞는 단어 임베딩을 사용함으로써 변압기 모델은 이러한 다른 의미를 구별하고 명명 된 엔티티를 정확하게 분류 할 수 있습니다.
Transformer Architecture는 입력 시퀀스를 여러 층의 자기 -주의 및 피드 - 포워드 신경망을 통해 전달하여이를 달성합니다. 각 레이어는 입력 순서의 기능 표현을 개선하여 모델이보다 정확한 상황에 맞는 단어 임베딩을 생성 할 수 있습니다.
4. 모델 견고성 및 일반화
변압기는 견고성과 일반화 능력으로 유명합니다. 다양한 데이터 소스에 대한 대형 스케일 프리 - 교육은 모델이 광범위한 언어 패턴과 의미 정보를 학습 할 수 있도록 도와줍니다. 이를 통해 보이지 않거나 희귀 한 지명 된 엔티티를 다룰 때에도 모델이 다양한 NER 작업에서 잘 수행 할 수 있습니다.
또한 변압기 아키텍처는 일부 전통적인 재발 신경 네트워크 기반 모델에 비해 입력 토큰 순서에 비교적 무감각합니다. 이는 입력 문장에 약간의 노이즈가 있거나 완벽하게 구성되지 않은 경우에도 모델이 여전히 이름이 지정된 엔티티를 정확하게 인식 할 수 있음을 의미합니다. 예를 들어, 실제 세계 텍스트 데이터에서 오타, 약어 또는 비 표준 단어 순서가있을 수 있습니다. 변압기 모델은 여전히 전체 컨텍스트를 활용하여 명명 된 엔티티를 식별 할 수 있습니다.
NER에서 변압기의 적용
변압기 공급 업체로서 우리는 NER의 정확도를 크게 향상시킬 수있는 다양한 고품질 변압기 기반 솔루션을 제공합니다. 당사의 변압기는 최적화 된 아키텍처 및 교육 알고리즘으로 설계되어 탁월한 성능을 보장합니다.
우리는 제공합니다Long -Life Oil- 채워진 그리드 파워 변압기,,,번개 - 보호 산업 전력 변압기, 그리고자체 - 보호 천연 냉각 오일 - 침지 변압기. 이 변압기는 NER 프로젝트의 특정 요구에 따라 사용자 정의 할 수 있습니다. 우리의 기술 팀은 NER 과제 작업에 대한 풍부한 경험을 가지고 있으며, 전 훈련에서 미세 조정 및 배포에 이르기까지 포괄적 인 지원을 제공 할 수 있습니다.
NER 작업의 정확도를 높이려면 변압기가 이상적인 선택이 될 수 있습니다. 대규모 규모의 정보 추출 프로젝트 또는 소규모 스케일 질문에 대한 답변 시스템을 개발하든, 변압기는 더 나은 결과를 달성하는 데 도움이 될 수 있습니다.
NER 솔루션은 저희에게 문의하십시오
우리는 트랜스포머를 사용한 NER 솔루션에 대한 In -in -Depth 토론을 위해 잠재 고객에게 연락 할 수 있도록 환영합니다. 우리의 영업 팀은 자세한 제품 정보, 기술 사양 및 가격 세부 정보를 제공 할 것입니다. 우리의 전문 지식과 높은 성능 변압기를 활용하면 NER 프로젝트를 다음 단계로 끌어 올릴 수 있습니다.
참조
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). 주의를 기울이기 만하면됩니다. 신경 정보 처리 시스템의 발전.
- Devlin, J., Chang, MW, Lee, K. 및 Toutanova, K. (2018). Bert : 언어 이해를위한 심층 양방향 변압기의 사전 훈련. Arxiv preprint arxiv : 1810.04805.
