기여도 상위 5% dtm, tfidf 만들기

from google.colab import drive
drive.mount('/content/drive')
 
 
 
 
 
 
 
import pandas as pd
 
train = pd.read_csv('/content/drive/My Drive/BIGCOIN/PREPORCOESSING/트레인데이터/최종 훈련 text/final_text.csv')
train= train.dropna()
 
# 트레인 데이터 가볍게 만들기 및 인덱스 수정, 인덱스가 본래 데이터 그래로 들어와 있어서, 슬라이싱이 잘 되지 않았음
 
index = [i for i in range(len(train))]
train = train[["text", "gap_weighted_price"]]
train['index']= index
train =train.reset_index()
 
print(train.shape)
 
 
 
 
 
 
 
 
 
 
# KaggleWord2VecUtility 데이터 전차리
 
import re
import nltk
nltk.download('punkt')
import pandas as pd
import numpy as np
 
from bs4 import BeautifulSoup
from nltk.corpus import stopwords
from nltk.stem.snowball import SnowballStemmer
 
from multiprocessing import Pool
 
class KaggleWord2VecUtility(object):
 
    @staticmethod
    def review_to_wordlist(review, remove_stopwords=False):
        # 1. HTML 제거
        review_text = BeautifulSoup(review, "html.parser").get_text()
        # 2. 특수문자를 공백으로 바꿔줌
        review_text = re.sub('[^a-zA-Z]', ' ', review_text)
        # 3. 소문자로 변환 후 나눈다.
        words = review_text.lower().split()
        # 4. 불용어 제거
        if remove_stopwords:
            stops = set(stopwords.words('english'))
            words = [w for w in words if not w in stops]
        # 5. 어간추출
        stemmer = SnowballStemmer('english')
        words = [stemmer.stem(w) for w in words]
        # 6. 리스트 형태로 반환
        return(words)
 
    @staticmethod
    def review_to_join_words( review, remove_stopwords=False ):
        words = KaggleWord2VecUtility.review_to_wordlist(\
            review, remove_stopwords=False)
        join_words = ' '.join(words)
        return join_words
 
    @staticmethod
    def review_to_sentences( review, remove_stopwords=False ):
        # punkt tokenizer를 로드한다.
        """
        이 때, pickle을 사용하는데
        pickle을 통해 값을 저장하면 원래 변수에 연결 된 참조값 역시 저장된다.
        저장된 pickle을 다시 읽으면 변수에 연결되었던
        모든 레퍼런스가 계속 참조 상태를 유지한다.
        """
        tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')
        # 1. nltk tokenizer를 사용해서 단어로 토큰화 하고 공백 등을 제거한다.
        raw_sentences = tokenizer.tokenize(review.strip())
        # 2. 각 문장을 순회한다.
        sentences = []
        for raw_sentence in raw_sentences:
            # 비어있다면 skip
            if len(raw_sentence) > 0:
                # 태그제거, 알파벳문자가 아닌 것은 공백으로 치환, 불용어제거
                sentences.append(\
                    KaggleWord2VecUtility.review_to_wordlist(\
                    raw_sentence, remove_stopwords))
        return sentences
 
 
    # 참고 : https://gist.github.com/yong27/7869662
    # http://www.racketracer.com/2016/07/06/pandas-in-parallel/
    # 속도 개선을 위해 멀티 스레드로 작업하도록
    @staticmethod
    def _apply_df(args):
        df, func, kwargs = args
        return df.apply(func, **kwargs)
 
    @staticmethod
    def apply_by_multiprocessing(df, func, **kwargs):
        # 키워드 항목 중 workers 파라메터를 꺼냄
        workers = kwargs.pop('workers')
        # 위에서 가져온 workers 수로 프로세스 풀을 정의
        pool = Pool(processes=workers)
        # 실행할 함수와 데이터프레임을 워커의 수 만큼 나눠 작업
        result = pool.map(KaggleWord2VecUtility._apply_df, [(d, func, kwargs)
                for d in np.array_split(df, workers)])
        pool.close()
        # 작업 결과를 합쳐서 반환
        return pd.concat(result)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
# 참고 : https://gist.github.com/yong27/7869662
# http://www.racketracer.com/2016/07/06/pandas-in-parallel/
from multiprocessing import Pool
import numpy as np
 
def _apply_df(args):
    df, func, kwargs = args
    return df.apply(func, **kwargs)
 
def apply_by_multiprocessing(df, func, **kwargs):
    # 키워드 항목 중 workers 파라메터를 꺼냄
    workers = kwargs.pop('workers')
    # 위에서 가져온 workers 수로 프로세스 풀을 정의
    pool = Pool(processes=workers)
    # 실행할 함수와 데이터프레임을 워커의 수 만큼 나눠 작업
    result = pool.map(_apply_df, [(d, func, kwargs)
            for d in np.array_split(df, workers)])
    pool.close()
    # 작업 결과를 합쳐서 반환
    return pd.concat(list(result))
 
 
 
 
 
 
 
 
 
 
 
 
 
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
 
 
 
# 튜토리얼과 다르게 파라메터 값을 수정
# 파라메터 값만 수정해도 캐글 스코어 차이가 많이 남
# tfidf 이용시 TfidfVectorizer로 교체
 
vectorizer_tfidf = TfidfVectorizer로(analyzer = 'word', 
                             tokenizer = None,
                             preprocessor = None, 
                             stop_words = None, 
                             #min_df = 50, # 토큰이 나타날 최소 문서 개수
                             ngram_range=(1,1),
                             #max_features = 50000
                            )
vectorizer
 
 
 
vectorizer_dtm = CountVectorizer(analyzer = 'word', 
                             tokenizer = None,
                             preprocessor = None, 
                             stop_words = None, 
                             #min_df = 50, # 토큰이 나타날 최소 문서 개수
                             ngram_range=(1,1),
                             #max_features = 50000
                            )
vectorizer
 
 
 
 
 
 
 
 
# 여기에서는 하나의 과정만 묶어주어 pipeline이 불필요 할 수도 있습니다.
# pipeline은 feature engineering의 여러 과정을 묶어 줄 때 사용합니다.
pipeline_tdidf = Pipeline([
    ('vect', vectorizer_tfidf),
])  
 
 
pipeline_dtm = Pipeline([
    ('vect', vectorizer_dtm),
])  
 
 
# 클린 데이터 dtm생성
 
%time train_data_features_tfidf = pipeline_tdidf.fit_transform(clean_train_reviews)
train_data_features
 
 
%time train_data_features_dtm = pipeline_dtm.fit_transform(clean_train_reviews)
train_data_features
 
 
 
 
 
#피쳐 이름 저장, 이름은 똑같으니 하나만 ok
features = train_data_features_tfidf.get_feature_names()
 
 
 
 
 
# 피쳐 이름 데이터 프레임화
feature_df= pd.DataFrame(features).reset_index()
 
# cont 상위 5% 리스트 데이터 프레임화
five_df = pd.DataFrame(upper_five_list).reset_index()
 
 
# 둘 병합
merge = pd.merge(feature_df,five_df, how ="inner", on =0)
 
# 병합된 것으로 부터, train_data_features에서 슬라이싱 하기 위한 index를 리스트화
 
upperfivelist= merge["index_x"].tolist()
 
# 인덱스 번호로 변환된 cont 상위 5%리스트로 인덱싱
 
cont_upper_five_features_tfidf = train_data_features_tfidf.T[upperfivelist].T
cont_upper_five_features_dtm = train_data_features_dtm.T[upperfivelist].T
 
 
 
# 저장
 
import pickle
 
with open("cont_upper_five_features.pickle", "wb") as fr:
  pickle.dump(cont_upper_five_features,fr)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

일단 기록 해 놓자, 기여도는 dtm 기반으로 만들어진 rating에 의해 계산되었다. 만약 tfidf로 계산한 rating이었다면 또 다른 값이 나왔을 것이다.

 

또 만약, tfidf로 이용했을 때, 빈도 수가 아닌, 변화량을 기준으로 rating을 산출 할 가능성도 있다.... 

 

의미적으로 볼 때, 어떤 값이 더 정확하게 단어들의 긍부정에 대한 민감도를 표시할지는 모르겠지만.. 가능성을 상정하야 두자.일단 하나의 흐름을 만들어야 한다.