딥러닝 (6) 썸네일형 리스트형 [파이썬] 딥러닝에서 하이퍼 파리미터 조정하기 학습률 조정하기 학습률 감소 학습률을 감소시킨다. 이때 원하는 정도로 학습률을 감소시킬 수 있다. 옵티마이저에서 구현이 되있어서 이 옵티아마이저에 파라미터를 조정하면 된다. model.compile(optimizer=tf.keras.optimizers.Adam(lr=0.001, beta_1 = 0.89) , loss='sparse_categorical_crossentropy' , metrics=['accuracy'])학습률 계획법 사진처럼 학습률을 계속 조정하는 것 first_decay_steps = 1000 initial_learning_rate = 0.01 lr_decayed_fn = ( tf.keras.experimental.CosineDecayRestarts( init.. [자연어처리] 단어 자체를 벡터화(Embedding, Word2Vec) word2Vec Word2Vec 에서는 우리가 벡터화하고자 하는 타겟 단어(Target word)의 표현이 해당 단어 주변 단어에 의해 결정됩니다. 단어 벡터를 이렇게 정하는 이유는 분포 가설(Distribution hypothesis) 때문입니다. 분포 가설은 다음과 같습니다. '비슷한 위치에서 등장하는 단어들은 비슷한 의미를 가진다' I found good stores. I found beautiful stores. 두 문장에서 "good 과 beautiful 은 해당 단어 주변에 분포한 단어가 유사하기 때문에 비슷한 의미를 지닐 것이다" 라고 가정하는 것이 분포 가설입니다. 코사인 유사도 함수 구현하기 import numpy as np def cos_sim(a, b): """ 코사인 .. [자연어처리] 자연어 처리 기본 추가) append와 extend의 차이점 list 안에 있는 것만 넣을때는 extend를 쓰고 리스트 째로 리스트에 들어갈때는 append이다. https://m.blog.naver.com/wideeyed/221541104629 정규표현식 메서드 re.sub re.sub('정규표현식', '치환문자', 대상문자열) import re text = "I like apble And abple" text_mod = re.sub('apble|abple',"apple",text) print (text_mod) https://ponyozzang.tistory.com/335 추가) join a = ['a', 'b', 'c', '.. [딥러닝] 딥러닝 기본 공부 flatten layer는 추출된 주요 특징을 전결합층에 전달하기 위해 1차원 자료로 바꿔주는 layer이다. 이미지 형태의 데이터를 배열형태로 flatten하게 만들어준다. batch size에 영향을 주지 않는다. tf.keras.layers.Flatten() from tensorflow.keras.layers import Dense Dense(8, input_dim=3, activation='relu') input_dim은 입력층의 노드수 이러면 입력층의 노드수는 3개이고 은닉층의 노드수는 8이니 (활성화 함수는 relu) 총 3 * 8 즉 24개의 가중치가 만들어진다. +) 여기서 자동으로 bias 즉 노드가 층이 가지고 있는 편향이 1개가 추가되서 파라미터는 (3 + 1) * 8 .. [딥러닝] 활성화 함수와 출력층 함수 활성화 함수 vs 출력층 함수 1) 활성화 함수 : - 출력층에서도 사용할수 있긴 하지만, 주된 목적은 아니다. - 보통, 여러 겹의 layer들 사이에서 사용되는 것. ex) 시그모이드, ReLU, Tanh 등2) 출력층 함수 : - 출력층에 있는 함수 (각 layer들 사이에 있는건 출력층 함수라고 안 부른다. 그건 활성화함수) - 적절하게 출력하도록 유도해서, Y 데이터셋과 잘 비교할 수 있도록 해준다 - 활성화 함수들 중에서도 출력층 함수로 쓰이는 경우가 간혹 있다 (ex. 시그모이드) ex) 시그모이드, 소프트맥스, 항등함수 등중요한것 : 활성화 함수와 출력층 함수는 다르다!! 목적에 따른 출력층 함수 : 1) "값"을 출력해야 하는 함수 : 항등함수 (=출력층 함수 필요 없음) ex) 유동 인.. [딥러닝] 순전파와 역전파 퍼셉트론 레고? 다수의 신호를 출력받아서 하나의 신호를 출력함 활성화 함수 가중합의 결과를 하나의 값으로 변환하기 위한 것??? 가중합의 결과를 하나의 출력신호로 바꿔주는 것 ex) 시그모이드, relu, 소프트맥스 입력층과 은닉층 출력층의 개수?? 입력층 데이터가 가지고 있는 특성에 따라 결정됨 은닉층 데이터의 특성 수와 상관없이 노드의 수를 결정할 수 있음 출력층 이진분류 : 1 (활성화는 시그모이드) 다중분류 : 레이블의 클래수의 수 (활성화는 소프트맥스) 회귀 : 출력층의 노드수는 보통 1로 활성화 함수 활성화 함수는 계산된 가중합을 얼마 만큼의 신호로 출력할지를 결정합니다. 아래에서는 여러 가지 활성화 함수를 알아보도록 하겠습니 하나의 층에서 값이 계산된 다음에 활성화 함수를 이용해서 어떤 신호.. 이전 1 다음
