최근 몇 년 동안 변압기 아키텍처는 원래 자연어 처리 작업을 위해 설계된 기계 학습 분야에서 혁신적인 힘으로 부상했습니다. 그러나 그 기능은 텍스트를 넘어서서 훨씬 확장되며 시간 - 시리즈 데이터를 처리 할 때 큰 잠재력을 보여주었습니다. 트랜스포머 공급 업체로서,이 강력한 아키텍처를 시간 - 시리즈 분석에 어떻게 적용 할 수 있는지, 그리고 어떤 이점이 테이블에 가져 오는지를 탐구하게되어 기쁩니다.
시간 - 시리즈 데이터 이해
시간 - 시리즈 데이터는 연속적인 시점에서 수집 된 일련의 데이터 포인트입니다. 금융, 기상학, 의료 및 산업 모니터링과 같은 다양한 영역에서 널리 퍼져 있습니다. 예를 들어 주가, 일일 온도 판독 값, 환자 활력 징후 및 제조 장비의 센서 데이터가 있습니다. 시간 - 시리즈 데이터의 주요 특성은 각 데이터 포인트가 이전 및 후속 지점과 관련된 시간 순서입니다. 이 순차적 특성은 장기 용어 종속성 포착, 계절성 처리 및 정확한 예측과 같은 분석에 독특한 문제를 제기합니다.
전통적인 접근 방식 대 변압기
변압기가 출현하기 전에 전통적인 시간 - 시리즈 분석에는 ARIMA (Autoregressive Integrated Moving Average) 모델, 지수 스무딩 및 RNN (Rong Short -Term Memory) 및 게이트 재발 단위 (GRU)와 같은 재발 신경 네트워크 (RNN)가 포함되었습니다.
ARIMA 모델은 선형 가정을 기반으로하며 정지 시간 시리즈 데이터에 적합합니다. 그들은 미래의 가치를 예측하기 위해 과거의 가치에 의존하지만, 비 선형 패턴과 장기 용어 종속성으로 어려움을 겪고 있습니다. 지수 평활화 방법은 과거의 관측치에 기하 급수적으로 감소하는 가중치를 할당하며, 이는 단기 예측에 효과적이지만 복잡한 추세를 포착하지 못할 수 있습니다.
RNNS, 특히 LSTM 및 GRU는 시간이 지남에 따라 정보를 전달할 수있는 숨겨진 상태를 유지함으로써 순차 데이터를 처리하도록 설계되었습니다. 그러나 그들은 사라지는 그라디언트 문제로 고통을 겪으므로 장기 용어 종속성을 배우기가 어렵습니다. 서열 길이가 증가함에 따라, RNN의 성능은 상당히 저하된다.
대조적으로, Vaswani et al. 2017 년에는 이러한 한계를 극복합니다. 그것은 거리에 관계없이 순서대로 두 위치 사이의 관계를 포착 할 수있는 자체주의 메커니즘을 사용합니다. 이는 변압기가 사라지는 그라디언트 문제없이 시리즈 데이터를 효과적으로 모델링 할 수 있음을 의미합니다.
변압기를 처리하는 방법 - 시리즈 데이터
시간을 인코딩 - 시리즈
시간 - 시리즈 데이터를 위해 변압기를 사용하는 첫 번째 단계는 입력 순서를 인코딩하는 것입니다. 시간 - 시리즈의 각 데이터 포인트는 일반적으로 벡터로 표시됩니다. 그런 다음 위치 인코딩을 이러한 벡터에 추가하여 순서대로 데이터 포인트의 순서에 대한 정보를 제공합니다. RNN과 달리 변압기는 전체 시퀀스를 병렬로 처리하고 고유 한 위치 감각을 갖지 않기 때문에 중요합니다.
위치 인코딩은 원래 변압기 용지에 설명 된 바와 같이 고정 된 사인 및 코사인 기능 일 수 있습니다. 이러한 기능은 순서대로 각 위치에 고유 한 패턴을 추가하여 모델이 다른 시간 단계를 구별 할 수 있습니다.
자기 -주의 메커니즘
변압기의 핵심은 자체주의 메커니즘입니다. 벡터의 입력 순서가 주어지면, 자체주의는 이들 벡터의 가중 합계를 계산하여 각각의 위치를 나타냅니다. 가중치는 쿼리, 키 및 값 벡터 사이의 유사성에 의해 결정됩니다.
시간 - 시리즈 데이터의 맥락에서, 자체주의 메커니즘을 통해 모델은 예측할 때 시퀀스의 다른 부분에 집중할 수 있습니다. 예를 들어, 주가 - 시리즈에서 다음 가치를 예측할 때, 모델은 같은 요일의 가격 또는 비슷한 시장 동향 동안 가격과 같은 관련 역사 가격에 더 많은주의를 기울일 수 있습니다.
자기 -주의 메커니즘은 다음과 같이 표현 될 수 있습니다.
[주의 (q, k, v) = softmax (\ frac {qk^{t}} {\ sqrt {d_ {k}}) v]
여기서 (q)는 쿼리 행렬이고 (k)는 키 매트릭스이고 (v)는 값 행렬이고 (d_ {k})는 키 벡터의 치수입니다.
멀티 - 헤드주의
시리즈 시리즈에서 다양한 유형의 관계를 포착하기 위해 변압기는 멀티 헤드주의를 사용합니다. 단일 자체주의 메커니즘 대신 다중 자체주의 헤드가 병렬로 적용됩니다. 각 헤드는 시퀀스의 다른 측면에 초점을 맞추고 모든 헤드의 출력이 연결된 다음 선형으로 변환됩니다.
멀티 - 헤드주의를 통해 모델은 시간 시리즈 데이터에서 다양한 패턴을 배울 수 있습니다. 예를 들어, 한 헤드는 짧은 기간 추세에 중점을 둘 수 있고 다른 머리는 긴 계절성을 포착 할 수 있습니다.
예측을위한 디코더
시간 - 시리즈 예측 작업에서 변압기는 순서대로 - 시퀀스 방식으로 사용할 수 있습니다. 인코더는 입력 시간 - 시리즈를 처리하고 디코더는 예측 된 값을 생성합니다. 디코더는 또한 자기 -주의와 교차주의 메커니즘을 사용합니다. 자체 - 디코더의주의는 마스크가 마스크되어 모델이 예측할 때 과거 정보 만 사용하도록합니다. 크로스 -주의를 통해 디코더는 입력 순서에 대한 정보가 포함 된 인코더의 출력에 참석할 수 있습니다.
시간 - 시리즈 데이터에 대한 변압기 사용의 장점
장기 - 용어 종속성 모델링
트랜스포머의 가장 중요한 장점 중 하나는 시간 - 시리즈 데이터의 장기 용어 종속성을 모델링하는 능력입니다. 자체주의 메커니즘을 사용 함으로써이 모델은 먼 데이터 포인트 간의 관계를 캡처 할 수 있으며, 이는 정확한 장기 용어 예측에 중요합니다.
병렬 처리
시퀀스를 순차적으로 처리하는 RNN과 달리 변압기는 전체 서열을 병렬로 처리 할 수 있습니다. 이로 인해 특히 긴 시퀀스의 경우 더 빠른 훈련 및 추론 시간으로 이어집니다.
비 선형 패턴에 대한 적응성
변압기는 시간 - 시리즈 데이터의 복잡한 비 선형 패턴에 적응할 수있는 비 선형 모델입니다. 기본 분포에 대한 강력한 가정을하지 않고 데이터에서 배울 수있어 광범위한 응용 프로그램에 적합합니다.
다른 산업의 응용
재원
금융 산업에서는 주가, 환율 및 이자율과 같은 시간 - 시리즈 데이터가 매우 중요합니다. 변압기는 주가 예측, 위험 평가 및 포트폴리오 최적화에 사용될 수 있습니다. 장기 시장 동향과 비 선형 관계를 포착함으로써 전통적인 방법보다 더 정확한 예측을 제공 할 수 있습니다.
의료
건강 관리에서 시간 - 시리즈 데이터에는 환자 활력 징후, 의료 검사 결과 및 질병 진행이 포함됩니다. 변압기는 조기 질환 검출, 환자 모니터링 및 치료 계획에 사용될 수 있습니다. 예를 들어, 환자가 역사적 건강 데이터를 기반으로 특정 질병을 발급 할 가능성을 예측할 수 있습니다.
산업 모니터링
산업 환경에서는 제조 장비의 센서의 시간 - 시리즈 데이터를 예측 유지 보수에 사용할 수 있습니다. 변압기는 센서 데이터를 분석하여 이상을 감지하고 장비 장애가 발생하기 전에 장비 고장을 예측하여 다운 타임 및 유지 보수 비용을 줄일 수 있습니다.
우리의 변압기 제품
변압기 공급 업체로서 우리는 다양한 응용 분야에 적합한 다양한 고품질 변압기를 제공합니다. 우리의3 단계 과전압 - 저항성 변압기과전압 조건을 견딜 수 있도록 설계되어 가혹한 환경에서 안정적인 작동을 보장합니다. 그만큼높은 효율 3- 위상 분포 변압기에너지 효율, 전력 손실 감소 및 비용 절감에 최적화됩니다. 우리의Long -Life Oil- 채워진 그리드 파워 변압기파워 그리드에서 장기 용어 사용을 위해 구축되어 안정적인 전원 공급 장치가 제공됩니다.
구매하려면 저희에게 연락하십시오
시리즈 데이터 분석 또는 기타 응용 프로그램 시간 동안 변압기 제품을 사용하는 데 관심이 있으시면 자세한 토론을 위해 저희에게 연락하십시오. 당사의 전문가 팀은 특정 요구에 맞는 트랜스포머를 선택하고 프로세스 전반에 걸쳐 기술 지원을 제공하는 데 도움을 줄 수 있습니다.
참조
Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). 주의를 기울이기 만하면됩니다. 신경 정보 처리 시스템의 발전,
